グローバルシャッターとローリングシャッターの比較

防犯カメラでは、一般的にローリングシャッター方式のイメージセンサーが使用されています。グローバルシャッター方式とローリングシャッター方式のセンサーの根本的な違いは露光方式です。

グローバルシャッターセンサーは、すべてのピクセルを同時に露光しますが、ローリングシャッターセンサーは、ピクセルを1行ずつ順次露光し、行ごとの露光タイミングに時間的なずれが生じます。この行ごとの露光タイミングのずれによって、動きの速い被写体の歪みが生じます。この現象は「ローリングシャッター現象」と呼ばれます (下の図を参照)。このホワイトペーパーでは、露光時間によって生じる動きによる画像のブレと、行ごとの露光タイミングのずれによって生じる被写体の歪みを区別しています。

グローバルシャッター方式は、短い露光時間を使用する場合のみ、効果があります。露光時間を長くすると、動きによる画像のブレが生じます。このブレによってローリングシャッターによる歪みは実質的に隠れるため、パルス照明を使用してもほとんど効果は得られません。そのため、まず、そのアプリケーションでは短い露光時間が求められるかどうかを確認する必要があります。求められるのであれば、グローバルシャッターカメラが最適な選択肢となるでしょう。

グローバルシャッターセンサーは、高速の工程において広く使用されています。たとえば、高速コンベアベルト上の荷物のスキャンや高速の製造工程の監視など、マシンビジョンを使用した産業オートメーションにおいて高品質の歪みのない画像が求められる場合です。

グローバルシャッターセンサーのもう1つの使用例が交通監視です。高輝度の短時間のフラッシュによって、高速で移動する車両の極めて詳細な画像を撮影できるほか、低光量条件でも車内の様子を鮮明に捉えることが可能です。

グローバルシャッターセンサーの同時露光によって、非常に短時間のフラッシュをセンサーの露光タイミングと同期させることが可能になり、高輝度発光による全体的な消費電力を最小限に抑えることができます。ローリングシャッターセンサーは、交通監視ソリューションにおいて短時間のフラッシュを使用すると、通常の露光時間 (1ミリ秒) で画像に明るい帯が写り込みます。グローバルシャッターカメラとローリングシャッターカメラの両方を設置した環境では、Axisの同期キャプチャーを使用することで、ローリングシャッター画像に明るい帯が写り込む問題を軽減することができます。

イメージセンサーの役割は、光 (光子) をデジタル信号に変換することです。この変換は3つの段階に分けられます。最初の2つの段階は、ピクセル内で行われます。まず、露光中に光子が吸収され、電子に変換されます。露光は、電子転送の段階によって終了します。次に、電子がアナログ電圧信号に変換されます。3つ目のピクセル読み出し段階で、アナログ電圧信号がアナログ-デジタル変換器 (ADC) によってデジタル信号に変換されます。

通常、イメージセンサーは数百万個のピクセルの配列で構成されています。ただし、一般的なセンサーの設計は、ピクセル列ごとに1つのADCを使用します。すなわち、ピクセルは1行ずつ順次読み出されます。

ローリングシャッターセンサーでは、ピクセルが1行ずつ読み出されるため、行ごとの露光タイミングのわずかなずれが生じます。この行ごとの露光タイミングのずれによって、画像上を速く移動する被写体の歪みが生じます。この現象は「ローリングシャッター現象」と呼ばれます。

これに対し、グローバルシャッターセンサーは、すべてのピクセルを同時に露光します。露光は、ピクセル信号をピクセル内メモリに転送することで終了します。このメモリは、電子がアナログ信号に変換される前 (電荷ドメイン)、または、電子がアナログ信号に変換された後 (電圧ドメイン) に配置されています。信号はメモリに保存された後、ローリングシャッターと同様に、ADCによって1行ずつ転送され、処理されます。グローバルシャッターセンサーでは、すべてのピクセルが同時に露光されるため、動きの速い被写体の歪みは生じません。

画像に見られるローリングシャッターによる歪みの程度は、センサーの行ごとの露光タイミングのずれの長さや、画像上を被写体がどれくらいの速さでどちらの方向に動くのかによって異なります。

センサーの行ごとの露光タイミングのずれは、センサーが行を読み出す時間と読み出す行数によって決まります。通常、高解像度センサーでは、低解像度センサーより歪みが大きくなります。

画像に動きの速い被写体が写っていない場合は、ローリングシャッターによる歪みは目立ちません。現在のローリングシャッターは、非常に高速で、ほとんどの監視シーンにおいて歪みのない画像を撮影することができます。多くの場合、バレル歪曲など、レンズによって引き起こされる歪みの方が、ローリングシャッターによる歪みよりはるかに大きな影響を及ぼします。

しかし、場合によっては、ローリングシャッターによって画像が著しく歪むこともあります。一般的には、高速で回転するファンやプロペラ、モーターなどがこれに当てはまります。

ローリングシャッターセンサーでは、コンベアベルト上の箱や高速で通過する車両など、画像上をまっすぐ高速で移動する被写体が傾いて写ります。

露光時間は歪みには影響しません。しかし、露光時間が長くなると、動きによる画像のブレが生じます。動きによる画像のブレによって、ローリングシャッターによる歪みはぼやけて目立たなくなります。

一般的に、グローバルシャッターセンサーは、被写体が高速で移動するアプリケーションでのみ必要とされます。この場合は、動きによる画像のブレを防ぐために露光時間を短くする必要があります。交通監視においては、露光時間を最大1/1000秒 (1ミリ秒) 程度にするのが一般的ですが、回転するファンやプロペラを撮影する場合は、露光時間をさらに短い1/10000秒 (0.1ミリ秒) に設定することが必要になる場合もあります。

暗い条件では、赤外線照明や白色照明などを使用してシーンを照らすことで、画質を向上させることができます。動きの速い被写体を撮影する場合は、動きによる画像のブレを防ぐために露光時間を短くする必要があります。これにより、センサーが取り込む光の量が少なくなるため、シーンの照明を明るくする必要があります。

グローバルシャッターセンサーを選択する主な理由の一つは、シーンの照明に定常光ではなく非常に短時間のフラッシュを使用できる点です。定常光ではなく、センサーの露光に合わせて1フレームごとに1回のフラッシュを発光させるストロボ光を使用することによって、画質を損なわずにデバイスの消費電力を抑えたり、照明のピーク強度を大幅に高めたりすることができます。

例：ストロボによる照明の消費電力の低減

ある交通監視カメラは、露光時間1/1000秒 (1ミリ秒)、フレームレート25 fpsを使用しています。この場合、露光のデューティサイクルは (1/1000秒)÷(1/25秒) = 2.5％になります。つまり、センサーが光を取り込んでいる時間は全体のわずか2.5％で、残りの時間は次のフレームを待っているだけということになります。

このカメラが連続赤外線照明 (常時オン) を使用している場合、照明の大部分はセンサーに検知されません。

センサーが光を取り込んでいないときは、赤外線照明をオフにするのがより適切なソリューションとなります。赤外線照明をパルス発光し、その赤外線パルスをセンサーの露光と同期することで、センサーが光を取り込んでいる間、つまり全体の2.5％の時間のみ赤外線照明が発光します。これにより、赤外線LEDの消費電力が、連続赤外線照明を使用した場合の2.5％まで低減されます。

露光中にセンサーが取り込む光の量は変わらないため、画像の信号対雑音比 (SNR) は変わりません。画質は低下しません。

例：ストロボを使用して照明のピーク強度を高める

上記と同じ、露光時間1ミリ秒、フレームレート25 fpsの交通監視カメラを使用して、利用可能な電力をすべて使用し、できるだけ赤外線照明の強度を高めることもできます。

消費電力20Wの連続赤外線照明を使用したとします。LEDを連続点灯させる代わりに、その電力を蓄えておき、センサーの露光と完全に同期させて1フレームごとにその電力をすべて放出すれば、短時間にはるかに高い光の強度が得られます。

この例のデューティサイクルは2.5％です。すなわち、理想的には赤外線強度を40倍 (1÷0.025) に高めることができます。その結果、1ミリ秒の露光中の赤外線LEDのピーク駆動電力は、20Wではなく800Wとなりますが、平均消費電力は20Wのままで上昇することはありません。

ストロボイルミネーターの使用によって、交通監視における新たな活用が可能になります。適度な消費電力の連続赤外線照明を使用すると、ナンバープレートを十分鮮明に捉えることができます。消費電力がほぼ同じのストロボ赤外線照明は、車両の詳細も鮮明に捉える十分な明るさがあり、フロントガラスの向こう側の車内の様子を確認することもできます。たとえば、夜間に車両のメーカーやモデルを検出したり、ドライバーがシートベルトを着用しているかや、携帯電話を使用しているかを確認したりできます。

理論上では、露光時間が十分長く、先頭行と最終行の露光インターバルが重なる場合には、ローリングシャッターセンサーでフラッシュまたはストロボを使用することができます。しかし、タイミングが合わないと、ストロボによって非常に不自然な画像の乱れが生じることがあります (付録の画像例を参照)。

ただし、交通監視など、速い動きやその他の光源が存在する状況では、動きによる画像のブレを防ぐために露光時間を非常に短くする必要があります。そのような場合、センサーの先頭行と最終行の露光が重ならず、フラッシュは一部の行のみを照射するため、出力画像に明るい帯が写り込みます。

グローバルシャッターカメラとローリングシャッターカメラの両方を設置したサイトでは、グローバルシャッターカメラからのストロボ光によって、ローリングシャッターセンサーで明るい帯のような画像の乱れが生じることがあります。光の強度、ストロボのパルス幅、およびローリングシャッターカメラの露光時間によって、この現象がほとんど目立たない場合もあれば、ローリングシャッターカメラで撮影した画像が使用できなくなる場合もあります (付録のその他の画像例を参照)。

この問題を解決する方法として、ストロボをオフにして定常光を使用する方法と、すべてのAxisカメラで同期キャプチャーを使用する方法の2つがあります。

同期キャプチャー

Axis同期キャプチャーは、同じネットワーク上の複数のカメラが、それぞれのセンサーの露光を同期させ、まったく同じ瞬間に画像を撮影できるようにする機能です。また、この方法を使用することで、カメラの同期を意図的にずらし、ローリングシャッターカメラで発生するストロボ光による画像の乱れを除去することもできます。

特定のネットワーク内のすべてのAxisカメラで同期キャプチャーを有効にすると、カメラが自動的に同期し、すべてのローリングシャッターカメラが時間枠1で同時に画像をキャプチャーし、すべてのグローバルシャッターカメラがローリングシャッターカメラとは同期していない別の時間枠2で同時に画像をキャプチャーします。その結果、グローバルシャッターカメラによってトリガーされるストロボ光は、ローリングシャッターのいわゆるブランキング期間 (光を取り込まず次のフレームを待っているだけの時間) に合わせて発光します。ローリングシャッターカメラでは、ストロボ光は実質的に写らなくなります。

グローバルシャッターセンサーのピクセル設計は、ローリングシャッターセンサーに比べてより複雑なため、センサーが高価になります。また、グローバルシャッターセンサーは、通常、ローリングシャッターセンサーに比べてノイズが多くなります。これは、特に読み出しの前に電圧ドメインに信号を保存するグローバルシャッターセンサーに当てはまります。このノイズはアナログゲイン処理の前に発生するため、アナログゲインを上げても、ノイズの低減効果は限られます。

しかし、画質に関しては、ノイズレベルだけですべてを説明することはできません。画質に影響を与える重要なパラメーターの一つが、信号対雑音比 (SNR) です。シーンからの光が増えると、センサーの信号も大きくなります。ピクセル数の多い大きなセンサーとF値が低いレンズを使用すると、シーンからの集光量が増え、SNRが高くなります。これを考慮したカメラの設計によって、グローバルシャッターセンサーの過剰なノイズを完全に補正できますが、カメラの部品のコストが高くなります。

自然光がほとんどない夜間のシーンでは、人工照明を使用することで、SNRと視認性を高めることができます。グローバルシャッターセンサーとストロボ照明を組み合わせることで、消費電力を増やさずに光の強度を高めることが可能になります。これにより、たいていはローリングシャッターカメラで連続照明を使用した場合よりSNRが高くなります。

動きの速さがどのくらいになると、ローリングシャッターによる歪みが見られるのでしょうか？以下の計算例を参照してください。

これは複雑な質問です。歪みの大きさは、キロメートル毎時やメートル毎秒といった実際の速度ではなく、ピクセル毎秒で被写体が画像上をどれだけ速く動くかに関連しているためです。そのため、解像度、ズームレベル、距離、動く被写体に対する角度などの複数の要素に依存します。

• 道路脇に設置されたカメラが、左から右に通過する車両を撮影しています。センサーの解像度は1080×1920ピクセルで、行ごとの露光タイミングのずれは10マイクロ秒 (1/100000秒) です。簡略化するために、車両の高さが画像の縦いっぱいに写るとします。車速が30 km/hの場合、車両の像は画像全体で約64ピクセルずれて、3°傾きます。車速が100 km/hの場合、車両の像は画像全体で213ピクセルずれ、11°傾きます。

• 道路の頭上6メートルの高さに設置されたカメラが、路上30メートル先の車両を撮影しています。センサーの解像度は1080×1920ピクセルで、行ごとの露光タイミングのずれは10マイクロ秒 (1/100000秒) です。車両の高さは画像の縦方向の約50％を占めています。車両は画像の上から下へ移動しているため、ローリングシャッターによる歪みによって、(ローリングシャッターが画像の下から上へスキャンするか上から下へスキャンするかに応じて) 車両が押しつぶされたり引き伸ばされたりして写ります 。車速が30 km/hの場合、車両が1ピクセル未満しか押しつぶされたり引き伸ばされたりしないため、歪みは見られません。車速が100 km/hの場合は、3ピクセル分 (約0.5％)、車速が200 km/hの場合は、6ピクセル分 (約1％) 押しつぶされたり引き伸ばされたりして写ります。この場合、ローリングシャッターによる歪みは見た目ではわからないため無視できます。これは、カメラと車両の角度によって、車両が路上を高速で走行していても、画像上ではわずかにしか移動しないためです。

• カメラがコンベアベルトにズームインし、画像上を左から右へ移動するバーコード付きの荷物を検知しています。荷物の幅は30 cmで、画像の縦いっぱいに写ります。センサーの解像度は1080×1920ピクセルで、行ごとの露光タイミングのずれは10マイクロ秒 (1/100000秒) です。コンベアベルトの搬送速度が1 m/sの場合、荷物 (およびバーコード) は2°傾きます。ベルトの搬送速度を4 m/sに上げると、傾きは8°になります。この場合、被写体が動く速さは高速道路を走行する車両よりはるかにゆっくりですが、カメラが被写体の近くまでズームインしているため、大きな歪みが生じます。

• 

• カメラが回転する直径40 cm、ブレード幅30 cmのファンを撮影しています。カメラがズームインし、ファンが画像の縦いっぱいに写っています。センサーの解像度は1080×1920ピクセルで、行ごとの露光タイミングのずれは10マイクロ秒 (1/100000秒) です。この場合、ローリングシャッターによる歪みによって、画像のさまざまな部分で、ファンのブレードが曲がったり、伸びたり、押しつぶされたりして写ります。歪みを目立たなくするために、たとえば伸びを1％未満にするには、ファンの回転速度を0.3 rps (回転毎秒) 未満に抑える必要があります。上の画像では、1つのブレードが上下に伸びています。これは約44 rpsで発生します。

画像例:

• ローリングシャッターカメラにおけるストロボ光による画像の乱れ:

• 
• 

• ローリングシャッターとグローバルシャッターで違いが見られないシーン: 多くのシーンや使用例では、ローリングシャッター方式とグローバルシャッター方式のカメラで違いは見られません。これには以下が含まれます。

• • 動きがそれほど激しくない日中のシーン (人が歩いている、または走っている、車両が低速で走行している、または車両が高速で走行しているがカメラに向かっているため画像上の動きがゆっくりの場合など)。

  • 連続照明があるか、または人工照明がない、動きがそれほど激しくない夜間 (低照度) のシーン。

  • 長い露光時間 (>1/100秒) を使用する夜間 (低照度) のシーン。