Global-Shutter im Vergleich mit Rolling-Shutter

In Überwachungskameras kommen in der Regel Bildsensoren mit Rolling-Shutter-Effekt zum Einsatz. Der grundlegende Unterschied zwischen einem Global-Shutter-Sensor und einem Rolling-Shutter-Sensor liegt in der Belichtung.

Bei einem Global-Shutter-Sensor werden alle Pixel gleichzeitig belichtet, während bei einem Rolling-Shutter-Sensor die Pixel zeilenweise belichtet werden, wobei zwischen den einzelnen Zeilen ein zeitlicher Versatz besteht. Dieser zeitliche Versatz bei der zeilenweisen Belichtung hat als Ergebnis Verzerrungen bei sich schnell bewegenden Objekten, was als Rolling-Shutter-Effekt bezeichnet wird (siehe Abbildung unten). Bitte beachten Sie, dass wir in diesem Whitepaper zwischen Bewegungsunschärfe, die durch die Dauer der Belichtung verursacht wird, und Objektverzerrung unterscheiden, die durch den Versatz der Belichtung zwischen den Zeilen entsteht.

Global-Shutter-Sensoren machen nur in Kombination mit einer kurzen Belichtungszeit einen Unterschied. Längere Belichtungszeiten führen zu Bewegungsunschärfe, die die Rolling-Shutter-Verzerrung effektiv verdeckt, sodass der Einsatz einer gepulsten Beleuchtung kaum Verstärkung bringt. Daher lautet die erste Frage, die Sie sich stellen sollten: Benötigt Ihre Anwendung eine kurze Belichtungszeit? Sollte dies der Fall sein, ist eine Global-Shutter-Kamera wahrscheinlich die richtige Wahl.

Ein häufiger Anwendungsfall für Global-Shutter-Sensoren sind Hochgeschwindigkeitsprozesse, wie beispielsweise das Scannen von Paketen auf Förderbändern oder das Überwachen schneller industrieller Abläufe, bei denen die bildverarbeitungsgestützte industrielle Automatisierung hochwertige, verzerrungsfreie Bilder erfordert.

Ein weiterer Anwendungsfall für Global-Shutter-Sensoren ist in Verkehrsinstallationen, bei denen kurze, sehr intensive Lichtblitze äußerst detaillierte Aufnahmen von sich mit hoher Geschwindigkeit bewegenden Fahrzeugen ermöglichen und sogar die Sicht ins Fahrzeuginnere bei dunklen Lichtbedingungen gewährleisten.

Eine Folge der gleichzeitigen Belichtung bei Global-Shutter-Sensoren ist die Möglichkeit, sehr kurze Lichtblitze mit der Belichtungszeit des Sensors zu synchronisieren, wodurch der Gesamtenergieverbrauch von Licht hoher Intensität minimiert wird. Bei Rolling-Shutter-Sensoren führt der Einsatz kurzer Lichtblitze in Verkehrslösungen bei typischen Belichtungszeiten (1 ms) zu hellen Streifen in den Bildern. Bei Installationen, die sowohl Global-Shutter- als auch Rolling-Shutter-Kameras umfassen, lassen sich Probleme mit hellen Streifen im Rolling-Shutter-Bild durch den Einsatz der synchronisierten Bildaufnahme von Axis mindern.

Die Aufgabe des Bildsensors besteht darin, Licht (Photonen) in ein digitales Signal umzuwandeln. Diese Umwandlung lässt sich in drei Schritte unterteilen. Die ersten beiden Schritte werden auf Pixelebene durchgeführt. Zunächst werden während der Belichtung Photonen absorbiert und in Elektronen umgewandelt. Die Belichtung wird durch einen Elektronentransfer abgeschlossen. Danach werden die Elektronen in ein analoges Spannungssignal umgewandelt. Im dritten Schritt, beim Pixelauslesen, wird die analoge Spannung durch einen Analog-Digital-Wandler (ADC) in ein digitales Signal umgewandelt.

Ein Bildsensor besteht in der Regel aus mehreren Millionen Pixeln, die in einem Array angeordnet sind. Ein gängiges Design für Sensoren sieht jedoch vor, pro Pixelspalte einen ADC zu verwenden. Das bedeutet, dass das Auslesen der Pixel zeilenweise erfolgt.

Bei einem Rolling-Shutter-Sensor verschiebt sich die Belichtungszeit jeder Zeile aufgrund des zeilenweisen Auslesens der Pixel zeitlich geringfügig. Diese zeitliche Abweichung bei der Belichtung hat als Ergebnis eine Verzerrung schnell bewegter Objekte im Bild; dies wird als Rolling-Shutter-Effekt bezeichnet.

Im Gegensatz dazu belichtet ein Global-Shutter-Sensor alle seine Pixel gleichzeitig. Die Belichtung wird durch die Übertragung des Pixelsignals in einen In-Pixel-Speicher abgeschlossen. Dieser Speicher kann sich entweder vor der Umwandlung der Elektronen in ein analoges Signal (Ladungsdomain) oder nach der Umwandlung der Elektronen in ein analoges Signal (Spannungsdomain) befinden. Das im Speicher gespeicherte Signal wird anschließend, wie beim Rolling-Shutter-Verfahren, zeilenweise an die ADCs übertragen und von diesen verarbeitet. Da alle Pixel gleichzeitig belichtet werden, kommt es beim Global-Shutter-Sensor nicht zu Verzerrungen bei sich schnell bewegenden Objekten.

Das Ausmaß der in einem Bild sichtbaren Rolling-Shutter-Verzerrung hängt davon ab, wie groß der zeitliche Versatz zwischen der Belichtung der einzelnen Zeilen im Sensor ist, sowie davon, wie schnell und in welche Richtung sich Objekte durch das Bild bewegen.

Der Zeitversatz zwischen den Zeilen auf dem Sensor wird durch die Zeilenauslesezeit des Sensors und die Anzahl der auszulesenden Zeilen bestimmt. Ein Sensor mit hoher Auflösung verursacht in der Regel mehr Verzerrungen als ein Sensor mit niedriger Auflösung.

Sind auf dem Bild keine sich schnell bewegenden Objekte zu sehen, tritt keine sichtbare Rolling-Shutter-Verzerrung auf. Rolling-Shutter-Sensoren sind heutzutage sehr schnell und können verzerrungsfreie Bilder von nahezu jeder Videosicherheit-Szene liefern. Häufig haben durch das Objektiv verursachte Verzerrungen, wie beispielsweise die Tonenverzeichnung, weitaus größere Auswirkungen als die Rolling-Shutter-Verzerrung.

In manchen Fällen führt ein Rolling-Shutter-Effekt jedoch zu stark verzerrten Bildern. In der Regel gilt dies für sich schnell drehende Objekte wie Ventilatoren, Propeller oder Motoren.

Objekte, die sich schnell in einer geraden Linie durch das Bild bewegen, wie beispielsweise Kisten auf einem Förderband oder sehr schnell vorbeifahrende Fahrzeuge, erscheinen auf einem Rolling-Shutter-Sensor schräg.

Die Belichtungszeit hat keinen Einfluss auf die Verzerrung. Eine längere Belichtungszeit führt jedoch zu Bewegungsunschärfe. Bewegungsunschärfe verwischt die Rolling-Shutter-Verzerrung und macht sie dadurch weniger sichtbar.

Global-Shutter-Sensoren werden im Allgemeinen nur in Anwendungen benötigt, in denen sich Objekte schnell bewegen. Gleichzeitig ist eine kurze Belichtungszeit erforderlich, um Bewegungsunschärfe zu vermeiden. Bei Anwendungsfällen im Straßenverkehr ist eine maximale Belichtungszeit von etwa 1/1000 s (1 ms) üblich, und bei sich drehenden Lüftern oder Propellern können sogar noch kürzere Belichtungszeiten von 1/10000 s (0,1 ms) erforderlich sein.

Bei Dunkelheit kann eine Beleuchtung der Szene, beispielsweise mit IR- oder sichtbarem Weisslicht, die Bildqualität verbessern. Bei der Aufnahme schneller Bewegungen sind kurze Belichtungszeiten erforderlich, um Bewegungsunschärfe zu vermeiden. Dadurch wird die vom Sensor erfasste Lichtmenge verringert, was eine stärkere Ausleuchtung der Szene erforderlich macht.

Einer der Hauptgründe, um einen Global-Shutter-Sensor zu wählen, ist die Möglichkeit, zur Ausleuchtung der Szene sehr kurze Lichtblitze anstelle von Dauerlicht zu verwenden. Die Verwendung von Stroboskoplicht – bei dem pro Bild ein Blitz ausgelöst wird, der mit der Belichtung des Sensors synchronisiert ist – anstelle von Dauerlicht kann eine Möglichkeit sein, den Stromverbrauch des Geräts ohne Einbußen bei der Bildqualität zu senken, oder die Spitzenintensität des Lichts deutlich zu erhöhen.

Beispiel: Reduzierung des Stromverbrauchs der Beleuchtung durch Pulsbetrieb

Eine Verkehrskamera verwendet eine Belichtungszeit von 1/1000 s (1 ms) und eine Bildrate von 25 Bildern pro Sekunde. Der Arbeitszyklus der Belichtung beträgt somit (1/1000 s) / (1/25 s) = 2,5 %. Das bedeutet, dass der Sensor nur 2,5 % der Zeit Licht erfasst; den Rest der Zeit wartet er lediglich auf das nächste Bild.

Wenn diese Kamera eine kontinuierliche IR-Beleuchtung verwendet (die ständig eingeschaltet ist), wird ein großer Teil des Lichts vom Sensor niemals erfasst.

Eine bessere Lösung wäre es, die IR-Beleuchtung auszuschalten, wenn der Sensor kein Licht erfasst. Durch das Pulsieren des Infrarotlichts und die Synchronisierung der Infrarotimpulse mit der Belichtung des Sensors wird Infrarotlicht nur in dem Zeitraum emittiert, in dem der Sensor Licht erfasst, was 2,5 % der Zeit entspricht. Der Stromverbrauch der IR-LEDs wird dann im Vergleich zur Situation mit kontinuierlicher IR-Beleuchtung auf 2,5 % reduziert.

Während der Belichtung nimmt der Sensor die gleiche Lichtmenge auf, sodass das Signal-Rausch-Verhältnis (SNR) des Bildes unverändert bleibt. Es tritt kein Verlust an Bildqualität auf.

Beispiel: Die maximale Lichtstärke durch Blitzen erhöhen

Bei Verwendung derselben Verkehrskamera wie oben, mit einer Belichtungszeit von 1 ms und einer Bildrate von 25 Bildern pro Sekunde, könnte man auch die gesamte verfügbare Leistung wählen und die Lichtstärke des Infrarotlichts so weit wie möglich erhöhen.

Stellen Sie sich eine kontinuierlich betriebene IR-Lampe vor, die 20 W elektrische Leistung verbraucht. Anstatt die LEDs kontinuierlich leuchten zu lassen, können wir, wenn wir diese Energie speichern und dann einmal pro Bild die gesamte Energie freisetzen – genau synchronisiert mit der Belichtung des Sensors –, für kurze Zeit eine wesentlich höhere Lichtstärke erzielen.

In diesem Beispiel beträgt der Arbeitszyklus 2,5 %, was es uns im Idealfall ermöglichen würde, die IR-Intensität um den Faktor 1/0,025 = 40 zu erhöhen. Die Spitzenantriebsleistung der IR-LEDs während der 1-ms-Belichtung würde dann 800 W statt 20 W betragen, ohne dass sich die durchschnittliche Leistungsaufnahme erhöht, die weiterhin bei 20 W liegt.

Der Einsatz von Strahlern eröffnet neue Anwendungsmöglichkeiten im Straßenverkehr. Kontinuierliches Infrarotlicht mit angemessenem Stromverbrauch reicht aus, um Fahrzeugkennzeichen deutlich zu erkennen. Mit einer blinkenden IR-Lampe mit vergleichbarer Leistungsaufnahme steht genügend Licht zur Verfügung, um auch Details an Fahrzeugen deutlich zu erkennen – sogar durch die Windschutzscheibe hindurch bis ins Innere der Fahrzeuge. Dies kann beispielsweise dazu genutzt werden, um nachts die Marke und das Modell von Fahrzeugen zu erkennen und festzustellen, ob der Fahrer angeschnallt ist oder ein Mobiltelefon benutzt.

Ein Blitz oder ein Stroboskop kann theoretisch mit einem Rolling-Shutter-Sensor verwendet werden, sofern die Belichtungszeit lang genug ist, sodass sich die Belichtungszeiträume der ersten und der letzten Zeile überschneiden. Ist das Timing jedoch nicht korrekt, kann der Blitz sehr seltsame Bildartefakte verursachen (siehe Bildbeispiele im Anhang).

Bei Anwendungsfällen mit schnellen Bewegungen und anderen Lichtquellen, wie beispielsweise dem Straßenverkehr, sind jedoch sehr kurze Belichtungszeiten erforderlich, um Bewegungsunschärfe zu vermeiden. In diesen Fällen gibt es keine Überschneidung bei der Belichtung der ersten und der letzten Zeile des Sensors, und der Blitz beleuchtet nur eine begrenzte Anzahl von Zeilen, was zu einem hellen Streifen im Ergebnis des Bildes führt.

An einem Standort, an dem sowohl Global-Shutter-Kameras als auch Rolling-Shutter-Kameras im Einsatz sind, kann das Stroboskoplicht der Global-Shutter-Kameras Artefakte auf den Rolling-Shutter-Sensoren verursachen, beispielsweise helle Streifen. Je nach Lichtstärke, Blitzimpulsdauer und Belichtungszeit der Rolling-Shutter-Kameras kann dies kaum sichtbar sein oder das Bild der Rolling-Shutter-Kameras unbrauchbar machen (weitere Bildbeispiele finden Sie im Anhang).

Für dieses Problem gibt es zwei Lösungen: Entweder schalten Sie den Blitz aus und verwenden stattdessen Dauerlicht, oder Sie nutzen die synchronisierte Aufnahme bei allen Axis-Kameras.

Synchronisierte Aufnahme

Die synchronisierte Aufnahme von Axis ist eine Funktion, die es mehreren Kameras im selben Netzwerk ermöglicht, die Belichtung ihrer jeweiligen Sensoren zu synchronisieren und Bilder genau zum gleichen Zeitpunkt aufzunehmen. Dies kann auch dazu genutzt werden, Kameras absichtlich aus dem Takt zu bringen, um Stroboskopeffekte bei Rolling-Shutter-Kameras zu beseitigen.

Wenn die synchronisierte Bildaufnahme bei allen Axis-Kameras in einem bestimmten Netzwerk aktiviert wird, synchronisieren sich diese automatisch so, dass alle Rolling-Shutter-Kameras gleichzeitig in einem Zeitfenster 1 Bilder aufnehmen und alle Global-Shutter-Kameras gleichzeitig in einem anderen Zeitfenster 2 Bilder aufnehmen, das nicht mit den Rolling-Shutter-Kameras synchron ist. Das Ergebnis ist, dass das von den Global-Shutter-Kameras ausgelöste Blitzlicht genau in der sogenannten Austastperiode der Rolling-Shutter-Kameras blinkt – also zu dem Zeitpunkt, zu dem diese kein Licht erfassen, sondern lediglich auf das nächste Bild warten. Das Blitzlicht ist für Rolling-Shutter-Kameras praktisch unsichtbar.

Das Pixeldesign eines Global-Shutter-Sensors ist im Vergleich zu einem Rolling-Shutter-Sensor komplexer, was zu einem höheren Sensorpreis führt. Zudem ist das Rauschen bei einem Global-Shutter-Sensor in der Regel höher als bei einem Rolling-Shutter-Sensor. Dies gilt insbesondere für Global-Shutter-Sensoren, die das Signal vor dem Auslesen in der Spannungsdomain speichern. Da dieses Rauschen bereits vor der analogen Verstärkungsstufe auftritt, hat eine Erhöhung der analogen Verstärkung nur begrenzte Auswirkungen auf die Reduzierung des Rauschens.

Was die Bildqualität angeht, sagt der Rauschpegel jedoch nicht alles aus. Ein entscheidender Parameter, der die Bildqualität beeinflusst, ist das Signal-Rausch-Verhältnis (SNR). Je mehr Licht von der Szene einfällt, ist das Ergebnis ein stärkeres Signal im Sensor. Ein größerer Sensor mit größeren Pixeln sowie ein Objektiv mit einer niedrigen Brennweite erhöhen die aus der Szene aufgenommene Lichtmenge und tragen zu einem höheren Signal-Rausch-Verhältnis (SNR) bei. Durch die Entwicklung einer Kamera unter Berücksichtigung dieser Aspekte lässt sich das zusätzliche Rauschen eines Global-Shutter-Sensors vollständig kompensieren, was jedoch mit höheren Kosten für die Kamerakomponenten verbunden ist.

Bei Nachtszenen mit wenig natürlichem Licht kann künstliche Beleuchtung eingesetzt werden, um das Signal-Rausch-Verhältnis und die Sichtbarkeit zu verbessern. Durch den Einsatz von Stroboskopbeleuchtung in Verbindung mit einem Global-Shutter-Sensor lässt sich die Lichtstärke steigern, ohne den Stromverbrauch zu erhöhen. Das Ergebnis ist häufig ein besseres Signal-Rausch-Verhältnis im Vergleich zu einer Rolling-Shutter-Kamera mit kontinuierlicher Beleuchtung.

Ab welcher Geschwindigkeit der Bewegung tritt eine Rolling-Shutter-Verzerrung auf? Siehe folgende berechnete Beispiele:

Dies ist eine komplexe Frage, da das Ausmaß der Verzerrung davon abhängt, wie schnell sich ein Objekt in Pixeln pro Sekunde durch das Bild bewegt, und nicht von der tatsächlichen Geschwindigkeit in km/h oder m/s. Es hängt somit von verschiedenen Faktoren ab, wie beispielsweise der Auflösung, dem Zoom-Faktor, der Entfernung und dem Winkel zum sich bewegenden Objekt.

• Eine Kamera steht am Straßenrand und filmt Fahrzeuge, die von links nach rechts vorbeifahren. Der Sensor verfügt über eine Auflösung von 1080 x 1920 Pixeln und einen Belichtungsversatz zwischen den Zeilen von 10 Mikrosekunden (1/100000 Sekunden). Der Einfachheit halber nehmen wir an, dass die Höhe des Fahrzeugs das gesamte Bild von oben bis unten ausfüllt. Beträgt die Geschwindigkeit des Fahrzeugs 30 km/h, verschiebt sich das Bild des Fahrzeugs über das gesamte Bild hinweg um etwa 64 Pixel, was einer Neigung von 3 Grad entspricht. Bei einer Geschwindigkeit von 100 km/h beträgt die Verschiebung über das gesamte Bild hinweg 213 Pixel, und das Fahrzeug weist eine Neigung von 11 Grad auf.

• Eine Kamera befindet sich 6 m über der Straße und filmt Fahrzeuge, die sich in einer Entfernung von 30 m entlang der Straße befinden. Der Sensor verfügt über eine Auflösung von 1080 x 1920 Pixeln und einen Belichtungsversatz zwischen den Zeilen von 10 Mikrosekunden (1/100000 s). Die Höhe des Fahrzeugs nimmt etwa 50 % der Bildhöhe ein. Da sich das Fahrzeug vom oberen zum unteren Bildrand bewegt, führt die Rolling-Shutter-Verzerrung zu einer Komprimierung oder Dehnung des Fahrzeugs (je nachdem, ob der Rolling Shutter vom unteren zum oberen Bildrand oder vom oberen zum unteren Bildrand verläuft). Beträgt die Geschwindigkeit des Fahrzeugs 30 km/h, erfolgt die Komprimierung oder Dehnung des Fahrzeugs um weniger als 1 Pixel, sodass keine Verzerrung auftritt. Beträgt die Geschwindigkeit des Fahrzeugs 100 km/h, wird das Fahrzeug um 3 Pixel bzw. um etwa 0,5 % komprimiert oder gestreckt. Beträgt die Geschwindigkeit 200 km/h, wird das Fahrzeug um 6 Pixel bzw. um etwa 1 % komprimiert oder gestreckt. In diesem Fall ist die Rolling-Shutter-Verzerrung mit bloßem Auge nicht erkennbar und kann vernachlässigt werden. Der Grund dafür ist, dass der Winkel zwischen der Kamera und dem Fahrzeug so gewählt ist, dass sich das Auto im Bild kaum bewegt, selbst wenn es mit hoher Geschwindigkeit auf der Straße fährt.

• Eine Kamera zoomt auf ein Förderband heran und erfasst dabei Pakete mit Barcodes, die sich im Bild von links nach rechts bewegen. Die Pakete sind 30 cm breit und nehmen die gesamte Höhe des Bildes ein. Der Sensor verfügt über eine Auflösung von 1080 x 1920 Pixeln und einen Belichtungsversatz zwischen den Zeilen von 10 Mikrosekunden (1/100000 s). Bewegt sich das Förderband mit einer Geschwindigkeit von 1 m/s, werden die Pakete (und die Barcodes) um 2 Grad neigen. Wenn wir die Geschwindigkeit des Förderbands auf 4 m/s erhöhen, beträgt die Neigung 8 Grad. In diesem Fall bewegen sich die Objekte zwar wesentlich langsamer als Fahrzeuge auf einer Autobahn, dennoch kommt es zu erheblichen Verzerrungen, da die Kamera stark auf die Objekte herangezoomt ist.

• 

• Eine Kamera filmt einen sich drehenden Ventilator mit einem Durchmesser von 40 cm und mit 30 cm breiten Blättern. Die Kamera ist so mit Zoom herangezoomt, dass der Ventilator die gesamte Höhe des Bildes ausfüllt. Der Sensor verfügt über eine Auflösung von 1080 x 1920 Pixeln und einen Belichtungsversatz zwischen den Zeilen von 10 Mikrosekunden (1/100000 s). In diesem Fall führt die Rolling-Shutter-Verzerrung dazu, dass die Blades des Ventilators an verschiedenen Stellen des Bildes verbogen, gestreckt und zusammengedrückt erscheinen. Damit die Verzerrung nicht wahrnehmbar ist – beispielsweise bei einer Dehnung von unter 1 % –, muss sich der Ventilator langsamer als 0,3 Umdrehungen pro Sekunde drehen. Auf dem obigen Bild ist eines der Blätter von oben nach unten ausgestreckt. Dies erfolgt mit einer Drehzahl von etwa 44 Umdrehungen pro Sekunde.

Beispielbilder:

• Stroboskopartige Lichtartefakte bei einer Kamera mit Rolling-Shutter-Effekt:

• 
• 

• Szenen, in denen kein Unterschied zwischen Rolling-Shutter und Global-Shutter besteht: In vielen Szenen und Einsatzszenarien gibt es keinen sichtbaren Unterschied zwischen einer Rolling-Shutter-Kamera und einer Global-Shutter-Kamera. Dazu zählen:

• • Tageslichtszenen mit nur mäßiger Bewegung (Menschen, die gehen oder laufen, Fahrzeuge, die langsam fahren, oder Fahrzeuge, die schnell auf die Kamera zufahren, sodass die Bewegung im Bild verlangsamt wirkt).

  • Nachtszenen (bei schwachem Licht) mit kontinuierlicher Beleuchtung oder ohne künstliche Beleuchtung und nur mäßige Bewegung.

  • Nachtszenen (bei schwachem Licht) mit langen Belichtungszeiten (>1/100 s).