東芝が小型センサーで大型センサー並みの画質を実現する「無限高画質」技術を開発

物理的に完全な静物しか無理だと思うのですが、どうなんでしょう

あんまり目新しい技術では無いような…。ていうのは素人考えなのでしょうね。

オリンパスと似たような技術なのかな。。。

高画質というからオリンパスのハイレゾショットみたいなのかと思ったけど、これはノイズ減らすのが目的なんですね
図解を見ても私にはイマイチ仕組みが謎ですがｗ

胸ポケットに入るような薄型軽量コンデジの高感度耐性が、これで向上するでしょうね。暗所ザラザラ画像と、早くお別れしたいです。

大型センサーだけどコンデジ並の高感度性能な
FOVEONセンサーでこの技術が使えたら
どんな画像が生まれるのか・・・

単なるマルチショットNRですね。
無限高画質とか、大型センサー並みとか、一々言うことが大げさすぎる気がします。

「逐次合成処理」の説明を見ると、手持ち撮影も十分いけますよ、ということなのでは？
オリンパスが「将来は手持ちも」と言っていた技術ですから、これは面白いですね。
もちろん静物対象でしょうけど。
小型センサーだけでなく、大型センサーにも対応してほしいですね。

単なるマルチショットNRじゃないから話題になるわけで

・従来のマルチショットNR
RAMに複数枚の画像を保存して処理→RAMの容量から枚数が限られて効果が低い

・無限高画質
RAMは画像1枚分で手ブレ補正した画像を逐次合成していく
（例えばニコン1クラスの高速センサーなら全画素数で1秒間に60枚を撮影可能）
→枚数が多い（理論上は無限）ので効果的にノイズ除去が可能
手ブレも枚数が多いので合成でより軽減出来るはず

ということですね。
手ブレ補正するので手持ちはOKですが、撮影対象は静物ですね。

Googleのサービス（YouTube)でやってる「動画の手ぶれ補正」みたいな技術ですね。
Googleの場合は逆に「大きくブレてるフレームを間引く」ものですが（動画なので）今までと違う論理って点では同じかと。
（１枚の画像だけでは完結させないとか）
高画素の逆ってないもんですかねー？
画素数「１」とか。
１枚の画像をとことん小さく刻んで記録するって意味ではデジタルもフィルムも同じことをやってるわけで、何かブレイク・スルー的な技術もありそうでないんですね。

コンパクトでありながら手間をかければ必要に応じて
画質をアップできる類の技術は大歓迎です。

それにしても最近小さいサイズのコンデジが減りましたね。

どんなに画像枚数を重ねようと小さなセンサーで受光できない微かな光は解像できないと思うのですが。

撮って合成、合成が終わったらまた１枚撮って合成。
RAMの限られたスマホ向け機能ですね。

一言でいうと「単なるMSNRの使用メモリを低減効率化」みたいな感じですね

この手の発表で「○○並」という表現で書かれている時はユーザー的にはそこまでではない場合が殆どですけどね。
逆に本当に並ぶならメーカーとしては超えるとか凌ぐとかいう表現になるので。
でもどの程度の効果なのかは気になりますね。

こうしてスマホで撮影した画像がどんどんキレイになって、ますますコンパクトデジタルカメラの市場を駆逐していくんでしょうね。個人的に期待するのは音楽の世界であっと言う間に広がったシミュレーションです。好きなカメラやレンズをシミュレートできるスマホが出来たらいいなー。

この類いの技術が進化すれば、コンデジサイズにスマホのカメラユニットを複数個搭載した多眼カメラみたいなものでも高価なカメラを脅かせるんじゃ無いかと思ってます。カーナビがスマホに駆逐されたように。
従来のマルチショットNRもすでに動体撮影に対応できてますよね？
カメラメーカーはどんな危機感を持ってるんでしょうか……

逆に言えば、SONYのマルチショットNRより精度が高いけど、処理が多い分だけバッテリーに持ちが悪いという事ですね

画像1枚分のメモリ領域で実現、ということですから、簡単にいえば、複数枚画像合成演算の結果をオリジナル画像データの頭（？）から逐次上書きしていく、ということだと思うのですが、途中で「あれ、これ画像動いてるや」と判定された場合はどうなっちゃうんでしょうね？

上書きして最初の画像データ破壊しているから、1枚も撮れずに撮影失敗ってことになります？

それとも合成結果が反映された感度アップノイズダウンなデータと合成失敗で一枚目のオリジナルな画像データだけが残ってる部分とでちぐはぐですかね？？？

後者はひどすぎますね。ということは前者でしょうか。

・独自の高精度動き検出技術
・順次合成
が今までより発展した部分でしょうかね。
センサーシフトのアイデアもそうですが、センサーそのものでの画質向上がひと段落（時間がかかる）状態なので、こういった方向の技術発表が増えてきた感じでしょうか。

これってコンポジット合成の一つなんですかね？
比較明みたいな感じですね。

動画から綺麗な写真が(メモリさほど消費しないで)できますよって意訳しました。
ノイズはランダムに発生するらしいので、n枚のショットがあればノイズは1/nになり、合成をエイヤッと最後に行うとメモリ消費量が1枚のショットのn倍以上となってしまうしシステムの能力を注ぎこむ必要もあるのでしょう。
随時合成していけば、メモリはショット2枚分程度で済むし動画撮れる程度のシステム能力で済むから他のこともできますよというあたりかと。
以上、妄想のまとめ
スマホ向けにはアドバンテージありそう(と予想)

処理はどこが担当するんでしょう？
センサー内のエンコーダデコーダ？処理空間(容量)は？
曲面センサーでフルサイズ並のS/N比とか謳われてましたから、併用して処理すればマルチショットNRも超高性能化するんでしょうね。
超高速SSハイレゾマルチショットNRで夜間超高解像度手振レス撮影とか。
低ISOから12800の高ISOまでNR弱でもディティール再現などほとんど見分けがつかなくなるまで行くとうれしいですね。
画素ピッチがどんどん狭くなる多画素数撮像阻止時代に突入しますから。

リアルタイムコンポジット合成を少ないメモリでやりますよ、ってことですよねこれ。しかも位置合わせもしながらやると。
最大で概ね2倍までの解像度向上、平均化による低ノイズ化という、
PCでやっていたことをカメラでやることはすごいことですね。

時間軸でノイズ軽減をするけれど、逐次処理によって無限にマルチショットが可能になったと理解しました。が、何とはなしに塗り絵にしかならなそう…

ただ、スマホでの手持ち夜景撮影には威力を発揮しそうかも。

東芝ということはこれまでの例に倣えば富士フイルムのカメラが採用するのかな
Xpro2に載ると面白い

まあ、大型センサーの最大の魅力は被写界深度だと思ってますからね〜

しかしネーミングはもうちょっと何とかならなかったんですかね？（笑）

すでに書かれている方がいらっしゃるように、従来マルチショットNRで必要だった大容量メモリが、１枚分(?)のバッファのみで無限に撮り続けられる、ということなんでしょうね。
画質面ではさほど画期的ではない（従来のマルチショットNRと同じ）という気がします。枚数増やせば、その分、撮像時間も長くなりますし。

以前はノイズリダクションの為にメモリに写真を残しておく必要があったのが、この技術では逐次捨てていけるのがウリのようですね。
例えば秒間60コマ撮影可能な機体で30秒間被写体を撮ろうとすると、従来であれば1800枚の写真を一時保存する必要がありましたが、それがいらなくなるため上記のような膨大な枚数の写真合成も可能になる。
30秒シャッターを開きっぱなしにするわけではないので手持ちでも撮影が可能。
技術が成熟すればおもしろいと思います。

原理図を見るとマルチショットNR的な効果に加えて電子的手ぶれ補正も織り込んでいる？
これはスマフォ等のカメラでは便利に使えそうですね。普通の長時間露光より実用的。
動いている物には使えなさそうですけど、豆粒センサーで暗い所の動体撮影とか
そりゃさすがに無理ゲーでしょうからね。
これだとカメラのスペック画素数より記録画素数は減ることになるんでしょうけど、
最近のXperiaへのユーザーの反応を見る限り、一般的なスマフォユーザーは
カタログスペックのカメラ画素数は凄く気にするのに記録画素数が減ることに関しては
非常に鈍感っぽいからこれはいいやり方でしょう。

画像処理ではメモリ消費と演算量/時間が問題になることが多いので、そういう意味では良い技術なんじゃないでしょうか？
他の類似技術と較べて優れた写真が撮れるだとかいう技術ではないので、あまり華はないですが…

　注目点は「当社独自の高精度動き検出技術」でしょう。
　Sonyより、動き検出の精度が高ければ、将来的にはノイズ低減だけでなく、解像度向上にも役立つでしょうし。

＞ノイズはランダムに発生するらしいので、n枚のショットがあればノイズは1/nになり
　２枚加算すると、信号は２倍になり、ノイズは「２の平方根=1.414」倍になって、S/N比は2/1.414=1.414倍になります。
　４枚加算すると、S/N比は２倍。複数のトランジスタを並列接続して低雑音化する技術の理論を元に推測すると、そうなります。

　動画録画のエンコード処理ICは、リアルタイムで動き検出を実行しているのだから、連写合成専用高速処理ICを開発すれば、待ち時間無しで連写合成ノイズ低減機能が使えるようになるのではないでしょうか。
　一般向けのグローバル電子シャッターに高速連写カメラが登場すれば、連写合成による画質向上機能が幅広く活躍するようになりそうです。手持ちで可能にするため、動き検出の技術が重要になりますね。

連写合成は最初の一枚が１番ずれてることが多いので
メモリーは数枚分使うんじゃないかなあ。

HMGさんの文で、ほゞ言い尽くされている気がします。
（それを踏まえた上で、、）

■【位置合わせ】：

上記マルチショットNRや、天体撮影用コンポジットソフトにおいて随分前から使われている"枯れた技術"で、
（画像処理的には、）"オプティカル・フロー"からブレ（=平行移動量）を算出する
というに過ぎません。

■【逐次合成】：

単純なコンポジット（、加算）ではなく、n枚目合成の際、

　　..........................................................【重み】
---------------------------------------------------------
　　１）蓄積された1～n-1の合成画像　1.0/(n-1)
　　２）n枚目の画像　　　　　　　　　　　　 1.0
と重み付けするところだけがキモだと思います。　

■【微妙な動き】：

天体撮影でも微妙な空気の動きによる"像の揺らぎ"が発生しますが、
シングルショットに比べればコンポジットの威力は絶大です。
今回の場合も、デメリットよりメリットの方が遥かに大きいはずです。

レジスタックスの拡張のようなものかな？像の小変形まで修正して蓄積可能なら効果はあると思う

連写合成技術の延長ならそれほど目新しさも無いですね。
「無限～」というネーミングは不信感を抱かせるように思いますが・・・

ノイズと思われるものを除去していって綺麗に見えるようにしていくのかな？
グラビアモデルの顔補正みたいになっていきそうな気がします

単純な連写合成ですが、バッファが必要ないくらいに、高速で現像、動き補償、重ねあわせができるようにエンジンを最適化してあるのでしょう。

動画であれば動き補償できる時間軸ノイズ除去は珍しくないですね。

ノイズ低減だけでなく階調表現にも応用出来そうな技術ですね

アイデアとしては昔からありますから、
複数回露光で手ブレを補正する部分がキモでしょうか。

でも、撮影に使うセンサーはベイヤーですよね。
すると横に1ピクセルだけズレた場合、縦に1ピクセルだけとか、
縦横とも1ピクセルの場合も加えると全部で4種類になります。
（もっとズレても、この4種類のどれかに該当）
単純に各ピクセルを平均する方法は使えません。

最悪は各ピクセルごとにRGBの3つのデータになるでしょう。
データ量は1枚分の3倍にまで増えるはずです。
でも色の補間が不要になって、偽色が出なくなる結果に。
つまり、最悪じゃなくて最良という嬉しい状態に。

三脚に乗せて撮ると手ブレがないので、ノイズ低減だけで偽色あり。
手持ちで撮ると微ブレで各ピクセルが複数色のデータとなり、
最良の場合には、ノイズ低減効果は下がるものの、偽色無しになりそう。
手持ちで複数回撮影し、最良の1枚を選ぶことになるのでしょうか。

三脚撮影のほうが画質が悪い、珍しいカメラになるかも。

一瞬スゲー！って思ったけど
電池とチップセットの事考えるとスマホと
タブレットに限定されそうですね。
シーンごとにHDR掛けたりがオートでってのが当たり前になりつつあるのでコンデジはこの先更に厳しい局面に立たされそうですね…

｢東芝｣で｢静物と動体を判別｣と聞くと、かつて東芝のビデオデッキで採用されていた映像処理技術｢三次元マジック｣を思い出しますね。今回の新技術はその応用かもしれませんが、そうするとこの技術も写真よりむしろ動画で威力を発揮しそうですね｡

バッファを使わずに合成NRをするって感じか
スマホや、1/2.3の低価格帯コンデジには
恩恵があるような。

フルサイズに搭載したら、逆の意味でおもしろいか。

mさんの一言。
＞「無限～」というネーミングは不信感を抱かせるように思いますが・・・

　確かに、誤解を生みそうなネーミングですね。誇大宣伝を批判する書き込みは、敬遠されそうですが、少し考察してみます。
　バッファメモリ容量による連写合成数の制限が無いので、いくらでも連写枚数を増やせば、いくらでもノイズが減らせる、という意味で、「無限～」というネーミングをしたと思いますが、どこかでノイズ低減量が飽和状態になって、10000枚連写合成すれば、感度が100倍になるということは無いと思います。
　RAW出力の最小bit(LSB)以下の信号は、値が0ですから、いくら加算しても、0のままです。超小型センサーで「無限高画質」技術を使えば、α7Sの35mmフルサイズセンサーと同等のISO10万クラスの感度を実現出来るということはないと思います。

　動き検出=ぶれ補正の処理を除けば、ノイズ低減は単純に画素毎に加算して最後に撮影枚数で割って平均値を求めるだけでOKなので、元々積算用のメモリは一つで大丈夫です。従来技術が全撮影データをバッファに格納した後、一括して合成処理していたのは、動き検出の演算に時間がかかるためでしょう。
　実際には連写中は、動き検出・補正した後の撮影データを１枚撮影する毎に、単純に積算用メモリに加算して、撮影終了後に割り算をして仕上げていると思います。１枚撮影する毎に平均値を算出していたら、下位のビットの情報が失われてノイズ低減効果が低下します。ノイズが多く含まれる下位のビットを全て加算しないと、ノイズは減りません。
　そうすると、積算メモリのビット幅が16bitで、撮影データが12bitなら、１６回が上限で、それ以上だと加算値がオーバーフローします。32bitなら16×65536回が上限でしょうか。

　というわけで、「無限～」というネーミングは、やはり誤解を招きます。「超多連写合成～」というネーミングの方が正確なのではないでしょうか。

各社から連写データの合成による高画質化技術が登場していますね。先行きはそれぞれの良いところを集約した技術に育ってほしいところです。
ちなみにLUMIXのGMシリーズとGF7は電子シャッターで40枚／秒の連写ができます。4枚合成で10分の1秒ならあまりストレスを感じないでしょう。

電子職人さんへ

> １枚撮影する毎に平均値を算出していたら、下位のビットの情報が失われてノイズ低減効果が低下します。

モバイル向けセンサは10bitA/Dのものが多く、6bit-shiftして16bit演算すれば、撮影毎に割算しても十分に精度が保てるのでは？

画像処理の分野ではFIR（有限インパルス応答）とIIR（無限インパルス応答）フィルタという名称を使用します。

この技術は、ビデオカメラやテレビなどでは昔から使われている「3DNR」、「巡回型NR」と同様だとすると、時間方向にIIRフィルタをかけてノイズを取る技術ですから、そこから「無限」という名前が来たのではないかと思います。
※ マルチショットはFIRフィルタです。

動きの位置合わせも重ね合わせも、国内のカメラ・ビデオメーカーならどこでもやっている技術ですが、普通は技術を外に売ったりすることはないと思いますあ。
東芝としては、LSI向けの回路や信号処理を、ノウハウを持っていない中国メーカーなどに売り込むのが目的ではないかと予想しています。