PetaPixelに、OMDS(OM SYSTEM)事業部長のインタビュー記事が掲載されています。
・OM System Is Considering AI Upscaling as a Solution to Low Resolution Sensors
- OM Systemは低解像度センサーの解決策としてAIアップスケーリングを検討中だ。OM Systemは「旅行と冒険に最適なカメラブランド」を目指す一方で、同社の多くのコアユーザーが鳥や野生動物の撮影に熱心であることを理解している。競合他社に比べてカメラの解像度が相対的に低いことから、OM Systemは「成長の余地がある」と考えている。
OM Systemの事業部長は、鳥を撮影するカメラマンにとっては「やはり解像度が重要だ」ということも認識しているという。
「OM-1シリーズでは、バードフォトグラフィーにおけるナンバーワンのカメラブランドを目指している。ただ、このカメラや他の製品も含め、当社のカメラは風景写真やマクロ撮影にも非常に適している。これは、コンピュテーショナル・フォトグラフィーのおかげで多くの優れた機能が搭載されているからだ。現在は特にハードウェアとソフトウェアの改良、特にコンピュテーショナル・フォトグラフィーの向上に注力している」
「我々はLive GNDのような新しいコンピュテーショナル機能を開発した。これは風景写真家にとって大きな意味を持つ。この機能はさらに強化される予定だが、詳細はまだ開示できない」
「しかし、コンピュテーショナル機能を使用したり、あるいは非常に高速なコンティニュアスAFを維持したい場合、高解像度化との両立は困難だ。これは読み出し速度と高解像度化がトレードオフになるからだ。そのため、現在は読み出し速度と処理速度の向上に取り組む一方で、ソフトウェアと現在のセンサー技術、AI技術を組み合わせることで、オリジナル画像から大幅に解像度を向上させる方法も検討している」
これはOM SystemがAIベースの画像アップスケーリング技術に関心を持っていることを示している。これにより、ノイズの少ない高解像度画像が得られる可能性があるが、これを実現するにはカメラ内での処理が必要となる。
カメラ内アップスケーリングは業界初の試みではなく、キヤノンが昨年、EOS R5 Mark IIおよびEOS R1にこの機能を採用している。OM Systemはこの技術に対して、キヤノンのときとは異なる反応をユーザーから得たいと考えている。キヤノンの場合、この試みは、やや冷ややかに受け止められた。
OM SYSTEMは、今後も引き続きコンピューテーショナル・フォトグラフィーに力を入れていくようですね。OM SYSTEMは鳥の撮影には高解像度化が必要だと考えているようですが、これはセンサーの高画素化よりもAIによるアップスケーリングで実現する方向性のようです。
キヤノンのアップスケーリング機能はそれほどユーザーの反応がよくなかったようですが、OM SYSTEMの場合はどうなることでしょうか。
カタスマー
アップスケーリングはスマホにも高画素センサーにもセンサーシフト系の高画素化にも勝てないような気がします…
ヤーノシュ
キヤノンはそれは二年前の話、その当時はウケが悪かったかもしれませんが、
今はだいぶAI処理に関しては当たり前になりつつあるし、画質として不利なマイクロフォーサーズがやるのはいいトライだと思いました。
wow
ピクセルシフトでは他の機能と同時に使うのが難しいんでしょうね。
PCでのソフトウェアによるアップスケーリングより優秀でRAW保存できるのであればよさそうに思います。
Ura
R5 Mark II や R1 を買う層に受けが悪いのは
まぁなんとなく分かります。
ただ、センサーの限界にずっと苦しんでいる
マイクロフォーサーズに関しては
もうソフトウェア処理で戦うしかないでしょう。
スマホのAI処理は良くも悪くも映え重視すぎるので、
そこまではいかずにバランスを取った所を目指してほしいです。
SoA
オリジナルRawデからAI処理する手間が省けるなら、歓迎されるかも知れないですね。
ただ、どこまでが自分が捉えた真実なのかを考えてしまうかも。
ilce-1m2
【鳥を撮影するカメラマンにとっては「やはり解像度が重要だ」】
鳥も撮るイチユーザーとして言わせてもらうと、現在の技術でもってのアップスケーリングは愚策です。
というのも、鳥ならば羽毛等ごく細い線を出したくなるものです。
これがアップスケーリングしたところで写っていない線は作れない。
ただの引き伸ばしに過ぎず、羽毛のディテールは太くバッキバキになり、本来求める自然な生き物の繊細さとはかけ離れていきます。
風景も撮るので伝えやすい感覚としては、何十m先にある葉の形もとい葉脈1本1本をどう写し切るかみたいなものです。
とはいえ風景の広角寄りではそこまで求めない場合がほとんどなので、その場合に真価が発揮され有用な機能になると考えてます。
PenPen
鳥的には作った映像は所詮Fakeなので、必ずOff機能は付けて欲しいです。
それよりはとりあえず連写してあとで時間のある時ゆっくり画像合成してくれる機能の方が有難いです。
合成するコマ数も選べると有難いです。
田舎のカメラ好き
連写(プロキャプチャ含む)でどの程度使えるかでしょうかね。
制約が多いのなら、後でPure Raw使った方がいいかも。
OM-1X
解像度と言うけど具体的に何千万画素必要なのでしょうか。
一般層なら2000万画素で十分でしょうし、ハイアマ層なら編集で画素数は増やせる時代です。
高画質を伴う高画素が必要であれば、そもそもマイクロフォーサーズを選びません。
画質はパナソニックの最上級クラスのカメラならもう何も不足がないレベルに達しているので、OMもそこを目指せば良いだけだと思います。
まさる
コンピューテーショナル・フォトグラフィーに主軸がAIで処理は賛否両論ありそうで新しい世代になり得るのか気になりますね。
シュワシュワ
ちょっと前の記事でアップスケーリングをやってみてはと書きましたが、検討しているのですね
m4/3ならセンサーを高画素化したとしてもLUMIXの25MBから27MB程度までにとどめた方がいいでしょうから、品質次第でアリだと自分は思います
それは話が違うと思われるかもしれませんが、ゲームは2Kレンダリングを4Kにアップスケーリングして表示したりするのがもう当たり前で誰も疑問に思ってない
誰もが後編集をガッツリやる訳ではないですし、撮影時にできる意義は十分あるんじゃないでしょうか
microzukoh
アップスケーリングですが、AI処理だけではなく、OM-1系センサの位相差情報も使うとすれば、かなり高精度になるかもしれません。
このセンサは全画素クアッドピクセル(2x2OCL)なので出力1画素辺り位相差情報4つを持ってます。OCL(オンチップレンズ)が1つなので4画素ぶんの解像力は無いでしょうけど、アップスケールの足しにはなります。
(ピント追従連射の50fps時は4位相差情報含めて80Mpx相当分を全部読み出してると思われる。)
同様の機能が、キヤノンのDPRAWの解像感アップ機能に使われてるので、アップスケーリングに利用されても不思議ではないと思います。
懸念があるとしたら処理速度と特許でしょうか…。
正直なところ、高画素化したいなら80Mpx/20Mpx切り替え式のクアッドベイヤーにしちゃった方が良いと思いますけどもね。
OCLをクアッドベイヤ用に載せ替えて、全画素位相差は捨ててOM-5と同程度の像面位相差にする。高感度または高速撮影には20M、高画素には80M出力を切り替えればいい。(多分80Mそのままでの画像出力だと品質が不足するだろうから適切に縮小する。)
OM-1系センサと言われてるIMX472にはHDRモードもあるのでダイナミックレンジに特化した出力も多分できる。
ただ、記事本文で言われてる鳥撮影には向かないし、風景ならハイレゾが更に良くなれば済みそうではあります。
ペンタのリアレゾのように、ベイヤー配列をキャンセルするだけでも解像感と色は確実に良くなるので、ハイレゾをもっと軽くしたり動体除去するなどの方向で頑張って欲しいかも。
げーまー
どこまでが許容される工夫でどこまでが許容されないフェイクか、AIが浸透するにつれて境界が曖昧になっていますね。
すでにノイズ除去技術もAI利用が当たり前ですが、あれだって厳密には想像で補っているとも言えますし。
私はAIアップスケーリングはアリだと思いますが、これを進めると「過去の鳥の画像から想像して羽のディテールを描き出す」になっていくわけで、それはさすがにどうなのかなと…
境界は曖昧ですが、今後その境界はAI利用側に少しずつ押し広げられるのは既定路線なのかなと思いました。
keik
2000万画素ならなんとか使える画素数でしょうが、問題はトリミング耐性でしょう。
Z9(4500万画素)とZ50II(2000万画素)で鳥撮りをしてますが、動き回る鳥ゆえに鳥を中央に撮影し後からトリミングで構図を整えることが多く、写真展の作品作りにはZ50IIの低画素機は使い辛いです。
AIアップスケーリングに頼るのならカメラ内じゃなくてパソコンでの編集段階でやって欲しいですね。
あり
出力ピクセル数を増すアップスケーリングは要りませんが、PureRAWを常用している身としては、ピクセル数そのままで解像感だけをビシッとマシマシしてくれ、更に高感度ノイズが2段ちょい改善するPureRAWの処理がリアルタイムで入るなら、それは是非とも欲しいですね。
ただし、必ずOffにもできるようにしてもらうことが前提ですが。
ヤマ
線が太くなったり、のっぺりした平坦な印象に仕上がるようならoffにする機能は欲しいです。
57もにな
野鳥写真家屋や昆虫写真家屋が高画素がほしいのは、トリミング前提での撮影だからですよね。
ただ、150mmで撮りアップスケーリングしてからそれをトリミングして500mmレンズで撮ったような写真にすることが可能という話であれば、
それは嫌悪する方もいるでしょうね。
それなら、150-600mmのレンズをもっと安くする方がもっと支持を得られる気はするのですが…。
あうりす
コンピュテーショナル・フォトグラフィーによる多くの優れた機能の搭載は他社への大きなアドバンテージと思いますが、
AF性能や高感度画質など基本性能の向上やハードウェアの性能を使い切るファームウェアの更新にもっと注力してもらいたいです。
HiT
どのセンサーフォーマットも高画素化の要望がすごく多いと聞きますが、アップスケーリングはちょっと違う気はします。ただAIの進化で高画素化と同等の写真になる時代が来るのかもしれませんし、結果を伴ってさえいればいいとは思います。