MENU
  1. ホーム
  2. クロニクル
  3. イメージセンサーの動物園

イメージセンサーの動物園

広告
クロニクル

イメージセンサー・クロニクル (8)

前章では、CCDを追い越したCMOSイメージセンサーが、どのようにして撮像素子の主役の座についたのかを見た。だが、主役が決まったからといって、撮像素子の世界が一色に塗りつぶされたわけではない。むしろ、CMOSという共通の土台が普及したからこそ、その上でさまざまな工夫を凝らした変わり種が次々と生まれていった。色をどう捉えるか、光をどう受けるか、可視光の外まで見るか、動きだけを追うか、そして平面という前提そのものを疑うか。本章では、王道のベイヤー配列CMOSやCCDから外れた、いわば撮像素子の動物園ともいうべき多様な種を見て回る。それぞれの種が、どんな課題を解こうとして生まれたのかに注目したい。

なお、色の捉え方やカラーフィルターの配列については、本連載と並行する記事「Xマウントの軌跡」でも富士フイルムの選択を扱っている。本章はその技術的な背景を、より広い動物園の一員として位置づける試みでもある。

目次

Foveonと積層型三層センサー

動物園の最初の一種は、色の捉え方が根本から違う。

通常のCMOSやCCDは、一つ一つの画素が明るさしか測れない。そこで、画素の上に赤・緑・青のいずれかの色フィルターを格子状に並べ、隣り合う画素の色を混ぜ合わせて、それぞれの点の色を推定している。もっとも一般的なのが、緑を多めに配したベイヤー配列である。だがこの方式では、一つの画素は一色ぶんの光しか受け取れず、残りの色は周囲から計算で補うことになる。この推定の過程で、本来ない色の縞、いわゆる偽色が生じることがある。

この弱点を、まったく別の発想で解こうとしたのがFoveon（フォベオン）である。シグマの記事によれば、Foveonの開発陣は、ケイ素という素材が持つある性質に着目した。光は波長によってケイ素に吸収される深さが違い、波長が長い光ほど深くまで潜り込む。青は浅く、緑は中ほど、赤は深く吸収される。ならば、フォトダイオードを平面に並べるのではなく、深さ方向に三層積み重ねれば、一つの画素の位置でそのまま赤・緑・青を分けて捉えられるのではないか。同記事によれば、一つの画素位置で赤緑青をすべて読み取る素子そのものはディック・メリルが発明し、そこから質の高い画像を得るという課題を解いたのが、Foveonの創業者の一人で開発責任者だったディック・ライオンである。そのライオンの発想を、記事はこう伝えている。

Dick Lyon conducted research into the absorption capabilities of silicon and the characteristics of RGB wavelengths in the spectrum, finally coming to the theory of a method where through 3 photo diodes; color is captured within the particular depths of each pixel location.

和訳すれば、「ディック・ライオンはケイ素の吸収特性と、スペクトルにおける赤緑青の波長の性質を研究し、ついに三つのフォトダイオードを通じて、各画素の位置の特定の深さで色を捉えるという方法の理論にたどり着いた」となる。こうして生まれた三層構造の素子を、記事は次のように位置づける。

the 3-layered RGB structure (2048 x 2048 pixels x 3 layers), what became ‘the world’s first 3-layered CMOS image sensor’ was put to the test.

「三層の赤緑青構造（2048×2048画素×3層）、すなわち『世界初の三層CMOSイメージセンサー』が試された」。この素子はFoveon X3ダイレクトイメージセンサーと名づけられ、シグマのカメラに採用された。色フィルターで間引くことも、周囲から色を推定することもないため、独特の解像感と色の再現が得られる。フィルムの色感光層になぞらえて語られることも多い。一方で、深さ方向に三層を重ねる構造ゆえに、高感度や連写では難しさを抱え、主流にはならなかった。撮像素子の進化が、必ずしも一本道ではないことを示す好例である。

図1 受光構造の三つの型
図1 受光構造の三つの型

Xトランスという配列の思想

Foveonが「フィルターそのものをなくす」方向へ進んだのに対し、フィルターの並べ方を工夫することで弱点を減らそうとしたのが、富士フイルムのX-Trans（Xトランス）CMOSである。

ベイヤー配列は、赤緑青を規則正しく格子状に並べる。この規則性が、被写体の細かい模様と干渉すると、モアレと呼ばれる不自然な縞や偽色を生む。そこで多くのカメラは、光をわずかにぼかす光学ローパスフィルターを撮像素子の前に置いて、モアレを抑える代わりに解像感を犠牲にしてきた。富士フイルムは、この妥協を別の道で避けようとした。同社の公式説明はこう述べる。

Nurtured the idea from film technology, X-Trans controls moiré while achieving high resolution without the use of a low-pass filter.

「フィルム技術から発想を得たX-Transは、ローパスフィルターを使わずに、モアレを抑えつつ高解像を実現する」。その鍵は、色フィルターの並べ方にある。

Moiré is controlled by a low-periodic color filter array that replicates a highly random arrangement of silver particles on the analog films and efficient color interpolation from surrounding pixels.

「モアレは、アナログフィルム上の銀粒子の、きわめて不規則な並びを模した周期性の低い色フィルター配列と、周囲の画素からの効率的な色補間によって抑えられる」。つまり、あえて不規則にフィルターを並べることで、規則性が生む干渉そのものを起きにくくする。フィルムの粒子がランダムだったからこそ縞模様と干渉しなかった、という写真の記憶を、デジタルの配列設計に持ち込んだわけである。富士フイルムは銀塩フィルムの時代からの蓄積を持つメーカーであり、この発想の背景には、色をめぐる同社独自の哲学がある。その経緯は「Xマウントの軌跡」でも詳しく扱っている。

有機薄膜・量子ドットセンサー

次の一種は、光を受ける部分の素材そのものを、ケイ素から取り替えようとする試みである。

これまで見てきた撮像素子は、光を電気に変える受光部も、信号を処理する回路部も、同じケイ素の中に同居していた。だが、この二つの役割を切り離し、受光を専門の膜に任せられれば、設計の自由度は大きく上がる。パナソニックが2018年に発表した有機薄膜（OPF）CMOSイメージセンサーは、その考えを形にしたものだ。発表はこう説明する。

In this OPF CMOS image sensor, the photoelectric-conversion part and the circuit part are independent.

「このOPF CMOSイメージセンサーでは、光電変換部と回路部が独立している」。光を電気に変える仕事を薄い有機膜が担い、その下の回路は電荷をためて読み出すことに専念する。役割を分けたことで、パナソニックは8K相当の高解像（3600万画素）、毎秒60コマ、広いダイナミックレンジ、そして全画素を同時に露光するグローバルシャッターを、本来は両立の難しい形で同時に実現したと述べている。有機膜にかける電圧で感度を変えられるため、光の量を電子的に絞るNDフィルターのような機能まで持たせられるという。

素材を取り替えるもう一つの道が、量子ドットである。ナノメートルの大きさの半導体の粒を膜にして、光を受けさせる。この技術を開発したInVisage（インビセージ）は、2017年にアップルに買収された。TechCrunchが引くInVisage自身の説明はこうだ。

QuantumFilm is a photosensitive layer that relies on InVisage’s newly invented class of materials to absorb light; specifically, the new material is made up of quantum dots, nanoparticles that can be dispersed to form a grid once they are synthesized.

「QuantumFilmは、光を吸収するためにInVisageが新たに発明した種類の材料に頼る感光層である。具体的には、その新素材は量子ドット、すなわち合成すると格子状に分散できるナノ粒子でできている」。さらにTechCrunchは、この膜の利点を次のように記す。

its QuantumFilm is able to absorb the same amount of light as silicon, but in a layer that is ten times thinner

「QuantumFilmは、ケイ素と同じ量の光を、十分の一の薄さの層で吸収できる」。塗って乾かすだけで作れるほど薄く、光をよく吸う膜。スマートフォンのように厚みを許されない機器にとって、この方向は魅力的だった。ケイ素という土台を守るCMOSの本流に対し、素材から変えようとする挑戦者たちがいる。これも動物園の多様さの一面である。

非可視光：InGaAs・SWIR・赤外

ここまでは、人の目に見える光をどう捉えるかの工夫だった。だが撮像素子の中には、人の目には見えない光を見るために生まれた種もいる。

ケイ素は、波長がおよそ1マイクロメートルより長い赤外線をうまく吸収できない。そこで、短波長赤外（SWIR）と呼ばれる光を捉えるために使われるのが、インジウム・ガリウム・ヒ素（InGaAs）という化合物半導体である。ソニーが2020年に製品化したSenSWIR技術について、同社は次のように説明する。

SenSWIR is a wide-band and high-sensitivity SWIR image sensor technology implemented by the combination of compound semiconductor InGaAs photodiodes and Silicon readout circuits through Cu-Cu bonding.

「SenSWIRは、化合物半導体InGaAsのフォトダイオードと、ケイ素の読み出し回路を、銅同士の接合で組み合わせて実現した、広帯域かつ高感度のSWIRイメージセンサー技術である」。光を受けるのはInGaAs、信号を読むのはケイ素という、いわば適材適所の分業だ。SWIRの光は、可視光とは吸収や反射のしかたが異なる。ソニーはこの性質を用途の面からこう説明する。

Utilizing the absorption and reflection properties of SWIR-band light makes it possible to perceive differences between substances that are difficult to see with visible light alone.

「SWIR帯の光の吸収と反射の性質を利用すると、可視光だけでは見分けにくい物質の違いを知覚できる」。中身の見えない容器の検査、食品に混じった異物の発見、半導体ウエハーの位置合わせなど、人の目に見えない世界を写す用途で活躍している。カメラが「写真を撮る道具」から「見えないものを見る道具」へ広がっていく方向を、この一種はよく示している。

SPADとイベントベースセンサー

さらに変わった種は、光の捉え方そのものの原理から違う。

通常のCMOSは、一定の時間に画素へ届いた光の量をまとめて測る。これに対し、SPAD（単一光子アバランシェダイオード）は、光の粒である光子を一つずつ数える。キヤノンの技術解説は、両者の違いをこう述べる。

While in CMOS sensors, each pixel measures the amount of light that reaches to the pixel within a given time, SPAD sensors on the other hand measure each individual light particle (i.e, photon) that reaches to the pixel. Each photon that enters the pixel immediately get converted into an electric charge, and the generated electrons are eventually multiplied as an avalanche, allowing one photon to be extracted as one electrical signal.

「CMOSセンサーでは各画素が一定時間内に届いた光の量を測るのに対し、SPADセンサーは画素に届いた一つ一つの光の粒、すなわち光子を測る。画素に入った各光子はただちに電荷に変換され、生じた電子はやがてなだれ（アバランシェ）のように増えていき、一つの光子を一つの電気信号として取り出せる」。わずかな光でも一粒から反応をつくり出せるため、SPADは極端に暗い場所で威力を発揮する。キヤノンは2021年、SPADセンサーとして世界最多とする3.2メガ画素の素子を開発した。星のない夜空より暗い0.002ルクスの環境でも動画を撮影でき、2022年後半から同社の監視用ネットワークカメラ向けに製造を始める計画だと発表している。また、光子が返ってくるまでの時間を測れる性質から、SPADは自動車のLiDARにも使われている。ソニーは2021年、車載LiDAR向けの積層型のダイレクト飛行時間方式SPAD測距センサーを業界で初めて開発したと発表している。光を「量」ではなく「粒」と「時間」で捉える発想が、暗所撮影と距離計測という二つの新しい用途を開いた。

もう一つ、時間の捉え方を変えたのがイベントベースセンサーである。ふつうのカメラは、一定の間隔で画面全体をまるごと撮り続ける。だがイベントベースセンサーは、明るさが変化した画素だけを、変化した瞬間に報告する。ソニーがプロフェシー社と共同開発し2020年に発表した積層型イベントベースビジョンセンサーの発表は、その仕組みをこう説明する。

The new stacked event-based vision sensor detects changes in the luminance of each pixel asynchronously and outputs data including coordinates and time only for the pixels where a change is detected, thereby enabling high efficiency, high speed, low latency data output.

「この新しい積層型イベントベースビジョンセンサーは、各画素の輝度の変化を非同期に検出し、変化が検出された画素についてのみ、座標と時刻を含むデータを出力する。これにより、高効率・高速・低遅延のデータ出力を可能にする」。動かない背景を毎回律儀に撮り直す無駄をなくし、動いたものだけを高速に追う。生き物の目と脳の働きをまねたこの方式は、プロフェシー社の言葉を借りればニューロモルフィック、すなわち神経を模した視覚であり、自動運転や産業機械の目として期待されている。

曲面センサー・グローバルシャッター

最後に、撮像素子が当然のように前提としてきた「平らであること」と「一行ずつ読むこと」を、それぞれ疑った二つの試みを見ておく。

まず、平面という前提を疑ったのが、ソニーの曲面センサーである。人間や動物の網膜は、眼球の内側の丸い面に沿って湾曲している。ならば撮像素子も曲げてしまえばよい、という生物のまねびの発想だ。IEEE Spectrumの記事は、ソニーのR&Dプラットフォームでデバイスのマネージャーを務めるKazuichiro Itonaga（イトナガ）の発表を次のように伝える。

A curved CMOS sensor has a few advantages over a planar sensor, Itonaga said. Because of the geometry, it can be paired with a flatter lens and a larger aperture, which lets in more light.

「曲面CMOSセンサーは平面センサーに比べていくつかの利点がある、とイトナガは述べた。その形状ゆえに、より平らなレンズや、より大きな絞りと組み合わせられ、多くの光を取り込める」。加えて、端の画素では光がまっすぐ入るようになり、素子を曲げることで生じるひずみがケイ素の性質を変え、暗い場所での雑音（暗電流）まで減るという。記事によれば、曲面センサーは中央で1.4倍、周辺で2倍の感度を示したとされる。レンズを単純にでき、しかも感度が上がる。目という完成された装置に学ぶという方向は、なお研究の途上にある。

もう一つは、一行ずつ読むという前提を疑うグローバルシャッターである。多くのCMOSは、画面を上の行から順に読み出すローリングシャッター方式をとる。このため、高速で動く被写体や素早いカメラの振りでは、像がゆがんで写ることがある。これに対し、全画素を同時に露光して読み出すのがグローバルシャッターだ。先に見たパナソニックの有機薄膜センサーは、有機膜にかける電圧を一斉に切り替えることでこのグローバルシャッターを実現した一例である。動くものをゆがみなく捉えるこの技術は、後の章で扱うフルサイズカメラの最新動向にもつながっていく。

本章で扱う「世界の潮流」

本章で見た変わり種たちからは、いくつかの潮流が読み取れる。

第一に、CMOSという共通の土台が、多様性の源になっているということだ。CCDを逆転したCMOSは、単に王座についただけではない。その汎用的な製造技術と設計の自由度が、色フィルターの配列、受光素材、光の数え方、平面かどうかといった、あらゆる部分での実験を後押しした。標準が固まったからこそ、その上で多様な種が花開いた。生物の進化で、体の基本設計が共通だからこそ多様な種が生まれるのと似ている。

第二に、それぞれの種が、特定の課題を解くために生まれたということだ。FoveonとX-Transは色と偽色の問題に、有機薄膜と量子ドットは薄さと設計自由度に、InGaAsは見えない光に、SPADは暗さと距離に、イベントベースは動きと速さに、曲面センサーはレンズと感度に、それぞれ答えようとした。撮像素子の進化は、画素数を競うだけの一本道ではなく、いくつもの問いに向かって枝分かれしてきた。

第三に、この動物園の主要な種の多くが、日本の企業から生まれているという事実である。X-Transは富士フイルム、有機薄膜はパナソニック、SWIRとイベントベースと曲面はソニー、SPADはキヤノンとソニーが手がけた。CCDやCMOSの発明こそアメリカだったが、その先の多様化の現場では、日本のメーカーが世界の潮流をつくっている。誰がセンサーをつくっているのか、そしてどの企業がこの分野で覇を競っているのかは、次章以降で企業と人の観点から詳しく見ていく。

多様な種を見渡したところで、視点を素子そのものから、それをつくる人々と経済の仕組みへ移そう。次章では、フルサイズがなぜ高価なのか、その値段を決める「歩留まり」という製造の現実に踏み込む。

典拠（出典一覧）

イメージセンサー・クロニクル

クロニクル
中級者向け
よかったらシェアしてね！
  • URLをコピーしました！
  • URLをコピーしました！
目次