DigitalCameraWorldに、キヤノンEOS R1とEOS R5 Mark II のAIアップスケーリングとAIノイズ除去に関する記事が掲載されています。
・OH. MY. GOD. Canon's in-camera AI is going to change everything
- EOS R1とEOS R5 Mark IIの新技術の中でも最も驚くべきものは、AI とディープラーニングを活用したカメラ内ニューラル ネットワーク処理の組み込みで、400%カメラ内アップスケーリングと 2stopのノイズ低減を実現する。これは実に素晴らしい機能だ。
Topazなどのポストプロダクションソフトでは、画像拡大時に推測とAIを使用してデータを補間し、完全に作り出す必要があるが、キヤノンの技術では撮影時にカメラに記録された情報を使用して画像に関するすべてを把握するので、何も推測する必要がない。
キヤノンのソフトウェアは、使用したレンズ、その光学系によって生じる収差、ISO感度とそれがもたらすノイズ、絞りとそれがぼけに与える影響、ホワイトバランス、ビット深度を把握している。つまり、これらの値を推測するだけのサードパーティのアップスケーリングソフトウェアとはレベルが違う。
画像のアップスケールは簡単だが、面倒な点もいくつかあり、一度に 1 枚ずつ画像を選択するのは (一括読み込みする場合でも) 少々面倒だ。また、カメラに多くの画像が保存されている場合 、どこに保存したかを探すのは非常に面倒だ。 また、現時点では、アップスケーリングは RAWではなく JPEG または HEIFでのみ機能する。
キヤノンはこれらの機能をDPPに実装しており、Adobe製品向けにニューラルネットワーク画像処理用のプラグインをリリースしているので、これらの処理は間もなくデスクトップでもできるようになる。
ノイズ低減機能に関してはアップスケーリングほど派手でも印象的でもないが、非常に高い感度を使う人にはこれは画期的な機能だ。ノイズ除去では失われたディテールは回復しないが、暗部の汚れは全て除去される。しかし、ノイズ低減機能は工程が多くアップスケーリングに比べるとより面倒だ。
この操作の面倒さはさておき、これらのAI機能は我々の考え方を完全に変えると私は信じている。ある意味ではEOS R5 Mark IIは非常に非常にクリーンな高感度ノイズ性能を備えた1億8000万画素カメラだ。この品質でアップスケールできるのに、なぜわざわざクレイジー画素数の高価なセンサーを作らなければならないのだろう。
そして、この機能を小型センサーのPowerShotに応用すると、ポケットサイズのカメラから得られる画像がどれだけ向上するだろうか。キヤノンのカメラ内AI機能が全てを変えることになるだろう。
元記事のサンプルを見ると、確かにAIによるアップスケーリングとノイズ除去は非常にハイレベルの機能のように思えます。この機能が優れている理由について、既存の後処理用のソフトに比べると、カメラがアップスケーリングやノイズ除去に利用できる情報が多いことが挙げられていますが、これは確かに納得の行く理由だと感じます。
今後、このAIアップスケーリングとノイズ除去が更に進化していくと、レビュアーが言っているように、カメラの画素数や高感度ノイズに関する考え方が変わってくるかもしれませんね。
フタアミン
今までもノイズ除去などで画像処理されていましたけど、これからはもっと画像処理されていくんでしょうね。
もはや画素数や高感度などではなく、いかに上手く処理するかになっていくのか。
Taka
今後ファームアップでRAWも有効にならないんですかね?技術的に無理なんでしょうか?
私はRAWのみで保存していますが、R52を買ったらRAW+JPEGで保存しないといけないかも
2石
元文章をよく読むと素子の画素数を増やす事に対する意味がないような感じで書いてある部分があるけど、違うと思いますね。
こういうAI関係の技術は進化が止らないですし、キヤノンだけができる技術でもなく、
他社もやろうと思えば出来てしまう技術です。
AFとか認識なら良いですが、画像生成画質をAIに頼る方向へ向かわないで頂きたい。
それはPCの仕事であり、メーカーはあくまでも素子の開発に力を注いで頂きたいと思います。
この道を追求されては一眼がスマホと同じになってしまいます
Kazuu
AIがオートフォーカスを飛躍的に向上させましたが、解像度やノイズ処理にも使われ
「非常に非常にクリーンな高感度ノイズ性能を備えた1億8000万画素カメラ」というのは驚きですね。
ダブルマウント使い
>キヤノンの技術では撮影時にカメラに記録された情報を使用して画像に関するすべてを把握するので、何も推測する必要がない。
この文の意味が理解できませんでしたが、画像データとして保存されたデータとは別の撮影した瞬間にのみ収集可能なデータをカメラ内に保管していて、カメラ内AIはそのデータを利用した処理を行うことができるということでしょうか?
もしもカメラ内AIが利用するデータが保存された画像データのみであれば、PCの処理となんら変わらないことになるので、どういう仕組みの処理なのか興味深いです。
海都
Taka さま
アップスケーリングの出力先が、TIFFもしくはJPGなだけで、撮影はRAWで大丈夫です。
Lll
RAWで使えないのがなあ・・・と思ったけどHIEFなら許容範囲かも
使いたくなるのって風景とかだろうしそこまでゴリゴリに編集で色変えないはず
F TAKE
この先,RAWファイル自体がなくなってくる予兆でしょうか。。jpegを編集して劣化しても使える写真に直してくれるAI様がいればもはやRAWの優位性とは?ってなってしまいます。フィルムからデジタルになったような転換の時期に入っているのでしょうか。。
モロゾフ
確かにAIがあれば高感度撮影でも低解像度撮影でも言い訳なんですよね。それだけ仕事しては使いやすくなるし、クラウドにも低解像度なら保存しやすい。バックアップも便利になりますね。もはやAdobeもAI使ってますし、自然な流れといえば自然ですね。これからはAI画像生成と共存していく方向に進むんでしょうか。
タスク
AIには期待してるんですが後処理だとPCで行うのに対してメリットが少ないので、超解像ズームのようにリアルタイムに出来れば便利だと思います
となりのバービー
アップスケーリングされた画像をRAWにする必要はあまりないかと。アップスケーリングがPCで出来るようになれば、2400万画素・4500万画素のRAW画像をPCで編集して、高画素にしたい画像だけ選んでJPEGに現像すれば良いので。1億8000万画素のRAW画像を、直接PCで編集すると、作業も重くなるし、画像を保存しておく場合もPCの容量をかなり圧迫しそうです。
フレディ
RAWでという方は、RAW現像してからPC上でアップスケーリングツールを使えばよいだけです。
なんなら現行のR5でも使えますし。
ただ、有料なのがちょっとね。
ほ゜ち
Rawファイルに残らない情報をカメラ内で利用してるような言い方ですよね ほんとうかなぁ
レビューなら後処理のアップスケーリングのツールとの比較などに言及してほしかった
フォベオン使い
AIアップスケーリングですが、風景撮影で小さく写っている葉っぱをAIアップスケーリングしても元の画像に写ってない葉脈や葉のギザギザはどうしようもないと思うのですが、どうなんでしょう。
ほか皿やカップの柄や岩肌など。
少なくとも記録画像としては問題あるような気がします。
ライカビギナー
すごいですね。
いずれスタジアムを動画で撮って、そこから選手のアップを高解像度の写真で切り出す(生成する?)時代が来るんでしょうね。
もちろん後処理で背景はボカしたりメインの被写体を浮かび上がらせるライティングも施せたり。
なんならAIが良い写真をピックアップしてリアルタイム配信する、なんてのもね。
スタジアム全周にカメラを配置したらカメラマンいらずかもしれませんね。。。
パパカメ
もしRAWで保存出来るようになったとしても、アップスケールした画像をRAWと呼んでいいのかは疑問ですね。
LaTL
カメラ本体でAI処理を行うことに価値がある、といわれても結局撮影時の様々なセンサーの情報はデジタルで保存されるのだから、RAWに撮影時の情報を残しておいてPCで処理することと何も変わらないのでは?
むしろ計算資源の潤沢なPCで行った方が品質も良いはずです。
何も推測する必要がない、などと書かれているので、そもそもAI処理に対する理解が間違っているような気もしますが。
カメラ本体でAI処理を行うことに価値を見出すなら、まさにリアルタイムで結果が確認できる様なものでない限り難しいでしょう。
メキシカン
将来的には低画素機で撮影して全ての画像をリアルタイムアップスケールみたいにできるかもしれませんね
このボタン再押しするまでオートアップスケーリングみたいなカスタムボタンを設定するとか
動画と静止画両方保存するのも今はフルHDだけですが、8kとフル解像度RAWを保存できるようになったら嬉しいです
テイアリアードン
これは今後、他のメーカーのフラグシップカメラ(Lanボート内蔵ですぐにサーバーに画像転送が可能なカメラ)には標準搭載されていくのかもしれないですね。
特に報道系だと現地で撮影してアップスケールして本社に写真アップロードして、本社で記事にするために自由にトリミングできるとなると、業務の幅が広がっていきそうです。
そういう場合にRaw画像を現地から転送するなんて無茶ですし、
アップスケールJpeg画像をカメラだけで行うなら、
現地でわざわざPC開いてとかしなくて済みそうです。
なの郎
ベイヤー機の時点でアップスケーリングをやっているようなものですし、
大伸ばし・拡大時の見た目は良くなるのでアップスケーリング自体は良いのですが、
記録としては別の話で、
(実際、Google PixelのAI超解像だと赤白の鉄塔が白の鉄塔になってしまったり)
高画素機の価値が劇的に減るかというとそうでもないでしょうね。
もっともそういう真の意味で高画素機を必要としている人の比率は案外少なかったりするのかもしれませんが。
norionagao2000
R5ユーザーですが、風景、天体メインでたまに鳥を撮ります。現状でも満足してるので、一旦、買い替えは待ちで、何かエキサイティングなレンズに投資したいです。贅沢言って申し訳ないんですが、キャノンはズームは攻めて居るんですが、最近、面白い単焦点がないのが残念です。
暴走レイバー
単に周辺ピクセルの差分を取って線形補完しているだけ
(周辺物理ピクセルの真ん中の色を補完しているだけ)
だったら残念なのですが、そうでもなさそうですね。
IBISのセンサーシフトを利用してピクセル数を4倍にするのでしたら何の問題なし
ですが、写真が「本物を写した物」だとするとこの機能はどこまで
真実を写したことになるのでしょうか?
もう買うつもりでいますのでここまで評価が高いと手に取るのが楽しみなのですが、
いろいろ追加機能も含めて同じ物を撮影したときどんな差が
出てくるのか、またカメラ本来の機能だけでどんな絵が出てくるのか楽しみです。
Niko
キヤノンはデュアルピクセルですから、RAWよりは情報が多いかもしれませんが
左右で受光する角度が異なりますので、その情報を元に高解像画像を推定、
悪く言えば塗り絵をしていることになります。
キヤノンの株主
AIを使った画質向上技術、キヤノンはサブスク提供を試行していますが、今のところは失敗気味。一部の機能は提供終了となりました。
今回はカメラ内蔵でリターンマッチといったところかと思います。
試す人も増えるでしょうし、役立つ機能として評価を高めることができるのか、注目したいと思います。
Oort
レンズにしても電子補正に頼っていない巨大なレンズが好きなタイプです。でもR1のアップスケーリングの9600万画素とGFX100を撮り比べて遜色が無ければ考え方を変えます。
R10の人
アップスケーリングは結構色々言われているようですが、あくまで個人的な意見ですが、利点も多くあると思います。
●1億画素超えのセンサーを作ったすると…
·ローリングシャッター歪みが大きくなる
·連写速度が遅くなる
·高感度に弱い
·センサーの価格がより高いものになる
この辺が全てクリアになる事と、センサーシフトでやると動き物はNGですし、連写も一切できないので、カメラの使用用途等を考えると、センサーの画素数を抑えてAI等を活用してのアップスケーリングは現状としては、最適解と言えそうな気がします。(R5Ⅱは十分高画素だと思いますが)
あと、adobe製品用に処理用のプラグイン(カメラに搭載されたアップスケーリングと同じ?)を作っているとのことなので、Lightroomなどの標準機能でやるのとは何かしら違う処理をしているのでは?(もちろん単純なピクセル補間ではない)というのと、カメラ内でできる事でワークフローの簡略化につながる可能性があるのではないかと。
もちろん技術革新が起きて、1億画素超えのグローバルシャッターなフルサイズセンサーにクアッドピクセル+AIのAFで、120コマ連写がRAW+JPGいけて、しかも高感度にめちゃくちゃ強く安いセンサーができましたってなれば一番いいですが、何十年もかかるでしょうしね…
長井
R1の一番気になる機能です。
AFや連写が良いのは当然として24Mってどうなの?と、ほんとにそれだけならスポーツ報道限定モデルみたいですが、この機能で96Mの解像度のよい画質を得られれば風景静物写真もいけるしトリミングもし放題・・
ですかね
けんすけ
報道カメラマンがクロップで撮影して すぐ送る時に緊急で使う用の
機能じゃないかと、ネットでどなたかが 推察しておられました。
クロップした時は1千万画素を切るので
一般人の僕でも 使ってみたいと思うでしょうね。
可能性を広げる機能だと思います。
本田
YouTuberでも力強く否定されてる方がいましたが、AIを使ってアップスケーリングする画像処理と、生成AI画像は全然異なるものです。
アップスケールしたものをさらにアップスケールして、さらにそれをアップスケールして…
終いには写っていなかった被写体まで写り出すとかそういう類のものではありません。
これはRAWを入力として高度に画素予測をする画像処理です。
そもそも現代はセンサーがベイヤ配列な時点で画素を予測して補完することが前提となっている画像処理アルゴリズムが主流です。
また、全てのメーカーのRAWファイルは画素のサンプリング後にメーカー独自の画像処理を何段階にも施して人間がもっともらしく見えるような予測の元に加工したデータです。
そして、AIというかニューラルネットは、入力の特性情報とそれらを処理する際の特徴量から学習させた正解に近い結果を高度に予測するアルゴリズムです。
この高度に予測が出来る手段を画素の予測に応用したのがアップスケールの画像処理アルゴリズムだと思われます。
入力特性が分からないと高精度な予測出来ないので、画像処理ソフト側のAIだけで完結して処理出来るようなアルゴリズムでは無いのでしょう。
新しいカメラが発表されると画像処理ソフトはRAW現像する際にメーカーのプロファイル情報を読み込むまで現像が出来ないと思いますが、これと同じく処理に必要な入力情報が正確かつ潤沢に無いと高精度なアップスケールは出来ないものと思われます。
デジタル画像処理の世界に移行して以来、我々は人が見た際に魅力的に感じるよう塗り絵された画像しか見てきていません。
精度高くアップスケール出来るなら、それはもう高解像に撮ったのと変わらないですし、むしろ高画素化は高ノイズや撮影時のコスト増加の主たる要因で手放しには喜べませんので、それぞれの美味しい所がとれるということなのだと思います。
R5で次を待つ人
〝何も推測する必要がない〟という一文で今年のCP+のキヤノンブースで実施されていたデュアルピクセルCMOSの活用デモを思い出しました
それは1回(1枚)の撮像から立体像を生成する→1画素中に存在する複数のフォトダイオードをそれぞれ活用するとこんなこともできるよというものだったわけですが、この技術の線上にR1、R5M2のアップスケーリングがあるとは考えられないでしょうか?
だとすれば問題とされる画像の真正性の問題は生じません(そこまで問題視するならRAW現像という行為やレンズの光学補正も「問題」とするべきです)し、そもそもこれまで多くの国宝、重文の記録等に携わってきたキヤノンがそれを考えないはずはないように思うのですが
ジェラ
考え方を変えるレベルと言うことは、目でわかっても頭が受け入れられない人が出る可能性もありますね。
もう少し色々な人のレビューを見てみたいですが、もし常識を覆すレベルならカメラの進む方向自体も変えるかも知れませんね。
素ゴック
これはm4/3やAPS-Cセンサー搭載カメラのPC用現像ソフトで対応してフルフレームに対抗していく術としてあったならよかったのになと思いました。
Adobe Lightroomなどで使えるようになると他社に対するさらに大きなアドバンテージをうむのではないでしょうか。どうしても明るさが不足気味なモモンガやアカショウビン、シマフクロウの撮影にも大きな助けになるような気がします。
キヤノン使い
AIという言葉で勘違いされている方も多いですが、生成AIではなくディープラーニングを使ったAIですよね。無いものを生み出すわけではなく、あるはずのものを手持ちの様々な情報を駆使して推測しています。膨大な量の正答データをもとに学習させているはずですので極めて本物に近い画像が得られるはずです。
ken2
このような技術はどんどん採り入れて行ってほしいと思います。それによって得られる恩恵は図りしれない物があります。
もし気に食わなければそれを使わないという選択肢もあるわけですので、有って悪いものではないと思います。
キヤノンに続くメーカーがどんどん現われて欲しいです。
KT
これは写真ではないと思うなら使わなければいいだけの話で、他社ユーザーの私から見ても意味のある機能に思えます。PCで行えばいいだけとの声もありますが、その一手間をカメラ内で完結できるだけで付加価値と言えるのでは?
Robin
AIアップスケーリングとは要するにスマホやコンデジについているデジタルズームをAIにやらせているということですね。それっぽい画像にはなるけどホンモノではない。
ただ証拠写真とか特別な用途でない限り「それっぽい画像」に問題は無い気はします。
でもやっぱり気にはなりますね・・・。
to
スマホのリアルタイムHDRなどのようにリアルタイムに意識せず使えるようになれば多くの人に恩恵がありそうですね。
SoCの高速化のほか積層センサーの読み出し速度高速化もいずれは高画質化にも生かされるのでしょう。
azor
マーケティングの失敗では?
カメラでアップスケールと言われてしまうとゲーム機やTVが実装してきた、
最近ではPCハードのFSR/DLSS/XeSSで所詮無いものを作り出してる
カメラでやるべきではない機能ですが
ピクセルシフト/HDR撮影の進化系であれば十分納得できます。
OMDSみたいにコンピュテーショナルを使うべきだったかも
KEN
R6Ⅱにはあるデジタルテレコンが搭載されてない事に疑問を持っていましたが、Aiアップスケーリングをしてトリミングすれば同じでしょ?というCANONの回答なのだと思いました。
それでもデジタルテレコンは多用しているので、R6Ⅲには搭載して欲しいところです。
写楽どっとねっと
仕組みの一つとして考えられるのは、キヤノンの場合センサーがDualPixel構成で(厳密には異なりますが)全画素がある程度の粒度で距離情報を持っていますので、その情報も最大限利用してスケーリング時の補間を行っていることが想像できます。
※ぼけている場所か、線や面を含めた輪郭で精鋭度を高める必要がある場所か等
R1が4分割素子ではなくDualで配列により縦横検知を可能にしているのも、その辺りと処理能力などのバランスを考えてのことではないでしょうか?AFのことだけを考えた4分割であれば、現状でも十分実装できそうな気がしますので
写楽どっとねっと
連投すみません
前述のような仕組みがあるとすれば、キヤノン以外のセンサーでは実装できていない部分で、AIプロセッサーだけの話ではなくなりますので、他社の追従は簡単にはいかないかもしれませんね
つられクマー
こういう面白い機能がDPPで提供されるのは非常によいですね。
サードとの差別化という意味で、高価格を納得させられる。
無理に高画素機にせず、高感度を維持したまま解像度はアップスケーリング対応でとなれば、痒いところに手が届きそうで夢が広がります。
と、ここまで書いて、点像が多い星野写真だと意味あるのかな?と思ってしまった。
実際どうなるのか実写見てみたいですね。
かなや
アップスケーリングと言っても、縦横の解像度をそれぞれ2倍にしているだけですからね。
AIを使うことの利点は、撮影対象が何かを判別できることだと思います。例えば毛のふさふさした動物の写真を見た人間は、実際には毛の1本1本を解像していなくても、その画素ごとの明暗を頭の中で毛の形状として再現します。
他にも壁のタイルやレンガ模様などの表面のテクスチャ、小さく写った家や自動車の細かな部分、看板に書かれた文字なども、それが何かをわかっていれば、センサで読み取ったデータと矛盾させずに形状を再現できます。
もしかすると重なった2本の毛を1本として描写することがあるかもしれませんが、それはAIを使わない画像でもままあることです。
SoA
すでに一部の現象ソフトで実用的な高解像化機能があると聞いていますし、現在のコンピュータ処理技術を考えると驚くほどの機能ではない気がしました。確かにプロユースでは撮ったカメラ内で完結する事で威力を発揮する場面がありそうですね。
ごく個人的見解では機種選択の決定要因までにはならないかも。
hato
400%AIアップスケーリングは写真なのか?
基本原理は画像生成AIと同じなので踏み込んでますね。
AIによるAF機能と合わせてこれほどAI技術を製品に落とし込んだ例を知らないのですごいことです。
自動車の自動運転ならやってるかな。
やすし
ざっくり言えば野鳥撮影カメラマンが喜ぶ機能かなぁ~
フジ好き
400%が何を指すのかが気になります。
画素数(解像度)だけじゃなくて陰影のグラデーション(グレースケールの段数?)なんかも増えてるんじゃないでしょうか?
AI生成された凄い画像って立体感が写真で撮影したものよりアップしてるような気がします。
sabotaro
必要な画像だけ高画素にするのは理にかなっているかもしれません。個人的には千枚撮っても作品として現像するのは数枚のことが多いです。その数枚のために高画素機を使い、メディアにもお金を掛けているわけで・・
プロの現場はよく分かりませんが、打率重視の高効率カメラが求められているとCanonは考えているのでしょうね。
Kanuma
400%はピクセルを縦2倍横2倍で画素数4倍=400%ということでしょう。「キヤノンの技術では撮影時にカメラに記録された情報を使用して画像に関するすべてを把握するので、何も推測する必要がない」とありますが、マルチショットピクセルシフトと違って画素数相当の画像情報を持っているわけではないので、ポストプロダクションソフトより向上するのかは正直疑問です。実証比較の結果を見てみたいですね。
2石
元データ→カメラ内4倍スケーリングデータ
と
元データ→ギガピクセルAIによる4倍スケーリングデータ
の仕上がりを比べると
ギガピクセルAIの方が良い感じです。
その場ですぐに4倍に出来る便利さはありますが、時間があれば自宅PCでやったほうが良い結果が得られる感じがします。
皆さんもやってみて下さい。
https://m.dpreview.com/samples/4066714833/canon-eos-r5-ii-pre-production-sample-gallery
鳥好き会社員
キヤノンがレンズ固有の歪みデータ等を持っているからAIアップスケーリングも最適化出来るというレビュアーの方の意見もわかります。
一方で、いくらR1が最新のチップを搭載しているとは言えRTX4090等を載せたPCとAI処理速度を競わせても勝負になりません。使える処理能力、電力、メモリ、冷却性能がPCとカメラでは桁違いです。
そのPCで、最新のソフトを使ってアップスケーリング処理を施せば、言ってしまえばどのカメラで撮っても400%のアップスケーリングは可能です。
このレビューはやや過大で、ここに焦点を当てるのは違うんじゃないかなーと思っています。比較対象がデスクトップPCになってしまって、なーんだ大したこと無いよね、となりかねません。
もちろん、カメラ内で出来るというのは凄いことなので緊急的に画素数を上げたい場合などには使えますが。
R1の本質はAF性能だと思っています。
みやーん
> 400%AIアップスケーリングは写真なのか?
基本的にベイヤーセンサーは4画素で一色を生成しているので、混色前ならコントラストぐらいは取り出せるのかも。
根拠はないけどモノクロ機は4倍の解像感が出るって言うのと同じような事なのかなと思ってます。
まさる
AIが進んで行くとカメラ設定で雨天を晴れの日にできたり
そんな時代が来るのかな。
tombo
アップスケーリングは、同一機種以外で撮影された画像は行えないとの記述があり、カメラの特性も考慮してるのかな?