Migawka globalna a migawka krocząca

W kamerach dozorowych stosuje się zazwyczaj przetworniki obrazu z migawką kroczącą. Podstawową różnicą pomiędzy przetwornikiem obrazu z migawką globalną a przetwornikiem obrazu z migawką kroczącą jest schemat ekspozycji.

W pierwszym z nich wszystkie piksele są naświetlane jednocześnie, w drugim piksele naświetlane są sekwencyjnie linia po linii, z przesunięciem czasowym między poszczególnymi liniami. Przesunięcie czasowe w przypadku ekspozycji linia po linii powoduje zniekształcenie szybko poruszających się obiektów, nazywane efektem migawki kroczącej (ang. rolling shutter) (p. poniższy rysunek). Należy zauważyć, że w niniejszej białej księdze odróżniamy rozmycie ruchu spowodowane czasem ekspozycji od zniekształcenia obiektu spowodowanego przesunięciem ekspozycji pomiędzy liniami (rzędami fotoelementów przetwornika obrazu).

Przetworniki obrazu z migawką globalną czynią różnicę wyłącznie w połączeniu z krótkim czasem ekspozycji. Dłuższe ekspozycje powodują rozmycie ruchu, co skutecznie maskuje zniekształcenia związane z efektem migawki kroczącej; stosowanie oświetlenia impulsowego daje bardzo niewielki zysk. W związku z tym warto przede wszystkim postawić pytanie, czy w danym zastosowaniu wymagany jest krótki czas ekspozycji. Jeżeli tak, kamera z migawką globalną będzie najpewniej najlepszym wyborem.

Częstym zastosowaniem przetworników obrazu z migawką globalną są procesy przebiegające z dużą szybkością, takie jak skanowanie paczek na przenośnikach taśmowych czy monitorowanie szybkich procesów przemysłowych, w których automatyka przemysłowa oparta na wizji maszynowej wymaga wysokiej jakości obrazów pozbawionych zniekształceń.

Drugim przykładem zastosowania przetwornika obrazu z migawką globalną są instalacje dozoru ruchu drogowego, gdzie krótkie błyski światła o wysokim natężeniu umożliwiają uzyskanie bardzo szczegółowych obrazów samochodów poruszających się z dużą szybkością, a nawet widoczności w kabinie pojazdu przy niekorzystnym oświetleniu.

Konsekwencją jednoczesnej ekspozycji w przetwornikach obrazu z migawką globalną jest możliwość zsynchronizowania bardzo krótkich błysków światła z czasem ekspozycji przetwornika obrazu, co pozwala zminimalizować całkowity pobór mocy światła o wysokim natężeniu. W przypadku przetworników obrazu z migawką kroczącą zastosowanie krótkich błysków światła w rozwiązaniach dla ruchu drogowego powoduje powstawanie jasnych pasm na obrazie przy typowych czasach ekspozycji (1 ms). W instalacjach, w których zastosowano zarówno kamery z migawką globalną, jak i kamery z migawką kroczącą, problem jasnych pasm na obrazie z kamery z migawką kroczącą można złagodzić, stosując rozwiązanie Axis - synchronizowane przechwytywanie.

Zadaniem przetwornika obrazu jest przekształcanie światła (fotonów) w sygnał cyfrowy. Proces ten można podzielić na trzy etapy. Etapy pierwszy i drugi dzieją się na poziomie pikseli. W pierwszym w trakcie ekspozycji fotony są pochłaniane i przekształcane na elektrony. Ekspozycja kończy się przeniesieniem ładunku elektronów. W drugim elektrony są przekształcane na analogowy sygnał napięciowy. W etapie trzecim, czyli fazie odczytu pikseli, analogowy sygnał napięciowy jest przekształcany na sygnał cyfrowy za pomocą przetwornika analogowo-cyfrowego (ADC).

Przetwornik obrazu składa się zazwyczaj z kilku milionów pikseli ułożonych w matrycę. W typowej konstrukcji przetwornika obrazu stosowany jest jeden przetwornik analogowo-cyfrowy (ADC) na każdą kolumnę pikseli. Oznacza to, że odczyt pikseli odbywa się linia po linii.

W przetworniku obrazu z migawką kroczącą, ze względu na odczyt pikseli w kolejnych liniach, czas ekspozycji każdej linii jest nieznacznie przesunięty w czasie. Różnica w czasie ekspozycji powoduje zniekształcenie szybko poruszających się obiektów na obrazie; zjawisko to nazywa się efektem migawki kroczącej.

Natomiast w przetworniku obrazu z migawką globalną wszystkie piksele naświetlane są jednocześnie. Ekspozycja kończy się przeniesieniem sygnału z pikseli do pamięci wewnętrznej pikseli. Pamięć ta może być umieszczona na drodze przed przekształceniem elektronów w sygnał analogowy (dziedzina ładunkowa) lub po przekształceniu elektronów w sygnał analogowy (dziedzina napięciowa). Sygnał zapisany w pamięci jest następnie przekazywany i przetwarzany przez przetworniki analogowo-cyfrowe (ADC) linia po linii, podobnie jak w przypadku migawki kroczącej. Ponieważ wszystkie piksele są naświetlane jednocześnie, przetwornik obrazu z migawką globalną nie wykazuje zniekształceń przy reprodukcji szybko poruszających się obiektów.

Stopień zniekształcenia wnoszonego przez migawkę kroczącą widoczny na obrazie zależy od tego, jak duże jest przesunięcie czasowe między ekspozycją poszczególnych linii przetwornika obrazu, a także od tego, jak szybko i w jaki sposób obiekty poruszają się w scenie.

Różnica czasowa między liniami na przetworniku obrazu zależy od czasu odczytu zawartości linii przez przetwornik obrazu oraz od liczby linii do odczytania. Przetwornik obrazu o wysokiej rozdzielczości zazwyczaj powoduje większe zniekształcenia niż przetwornik obrazu o niskiej rozdzielczości.

Jeżeli na obrazie nie ma żadnych szybko poruszających się obiektów, nie będzie widocznych zniekształceń spowodowanych migawką kroczącą. Współczesne przetworniki obrazu z migawką kroczącą są bardzo szybkie i potrafią wytwarzać pozbawiony zniekształceń obraz niemal każdej sceny w zastosowaniach dozorowych. Często zniekształcenia powodowane przez obiektyw, choćby zniekształcenia beczkowate, wpływają na obraz w znacznie większym stopniu niż zniekształcenia spowodowane efektem migawki kroczącej.

W niektórych jednak przypadkach migawka krocząca powoduje znaczące zniekształcenie obrazu. Dotyczy to zazwyczaj obiektów obracających się z dużą szybkością, takich jak wentylatory, śmigła czy silniki.

Obiekty poruszające się szybko po linii prostej, takie jak pudełka na przenośniku taśmowym lub bardzo szybko przejeżdżające samochody, będą na obrazie z kamery z migawką kroczącą wyglądać na przechylone.

Czas ekspozycji nie ma wpływu na zniekształcenia. Dłuższy czas ekspozycji powoduje jednak rozmycie ruchu. Rozmycie obiektów w ruchu maskuje zniekształcenia spowodowane migawką kroczącą, przez co stają się mniej widoczne.

Przetworniki obrazu z migawką globalną są zasadniczo potrzebne jedynie w zastosowaniach, w których obiekty poruszają się szybko. Jednocześnie, aby uniknąć rozmycia ruchu, konieczne jest stosowanie krótkiego czasu ekspozycji. W zastosowaniach drogowych maksymalny czas ekspozycji wynosi około 1/1000 s (1 ms), natomiast w przypadku obracających się wentylatorów czy śmigieł wymagane mogą być jeszcze krótsze czasy ekspozycji rzędu 1/10000 s (0,1 ms).

W warunkach złego oświetlenia jakość obrazu da się poprawić poprzez oświetlenie sceny podczerwienią lub światłem białym. Przy ujmowaniu szybkiego ruchu konieczne jest stosowanie krótkich czasów ekspozycji dla uniknięcia rozmycia ruchu. Zmniejsza to ilość światła odbieranego przez przetwornik obrazu i wymusza doświetlenie sceny.

Jednym z głównych powodów, dla których warto wybrać przetwornik obrazu z migawką globalną jest możliwość oświetlenia sceny z wykorzystaniem bardzo krótkich błysków zamiast światła ciągłego. Zastosowanie oświetlenia stroboskopowego — polegającego na wyzwalaniu jednego błysku zsynchronizowanego z ekspozycją przetwornika obrazu, zapewniającego należytą ekspozycję w każdej ramce — zamiast oświetlenia ciągłego może pomóc obniżyć pobór mocy przez urządzenie bez utraty jakości obrazu bądź też zwiększyć znacząco szczytowe natężenie oświetlenia.

Przykład: Zmniejszenie poboru mocy przez oświetlenie stroboskopowe

Czas ekspozycji kamery drogowej ustawiony jest na 1/1000 s (1 ms), a częstotliwość odświeżania to 25 obrazów (ramek) na sekundę. Współczynnik wypełnienia ekspozycji wynosi zatem (1/1000 s) / (1/25 s) = 2,5%. Oznacza to, że przetwornik obrazu odbiera strumień światła jedynie przez 2,5% czasu, przez resztę oczekując na kolejną ramkę.

Jeżeli kamera wykorzystuje ciągłe oświetlenie podczerwienią (czyli takie, które jest włączone przez cały czas), dużo światła nie zostaje odebrane przez przetwornik obrazu.

Lepiej byłoby wyłączyć oświetlenie podczerwienią, kiedy przetwornik obrazu nie odbiera strumienia światła. Dzięki impulsowemu oświetleniu podczerwienią i synchronizowaniu jego impulsów z czasem ekspozycji przetwornika obrazu podczerwień emitowana jest wyłącznie, gdy przetwornik obrazu odbiera światło, co stanowi 2,5% całkowitego czasu. Pobór mocy przez diody LED IR zmniejsza się wówczas do 2,5% w porównaniu z sytuacją, w której oświetlenie podczerwienią jest stale włączone.

W czasie ekspozycji przetwornik obrazu odbiera taką samą ilość światła, zatem stosunek sygnału do szumu (SNR) w obrazie pozostaje bez zmian. Nie pogarsza się również jakość obrazu.

Przykład: Zwiększenie szczytowej intensywności oświetlenia poprzez zastosowanie efektu stroboskopowego

Korzystając z tej samej kamery drogowej co powyżej, przy czasie ekspozycji wynoszącym 1 ms i częstotliwości odświeżania wynoszącej 25 obrazów na sekundę można również zdecydować się na wykorzystanie całej dostępnej mocy i maksymalne zwiększenie natężenia oświetlenia podczerwienią.

Wyobraźmy sobie oświetlacz podczerwienią działający w trybie ciągłym, pobierający moc 20 W. Zamiast stale zasilać diody LED IR, zgromadźmy tę moc i uwolnijmy pełną energię raz na ramkę, dokładnie synchronizując włączenie z czasem ekspozycji przetwornika obrazu, a uzyskamy znacznie większe natężenie promieniowania w krótkim czasie.

W tym przykładzie cykl pracy wynosi 2,5%, co w idealnym przypadku pozwoliłoby zwiększyć natężenie podczerwieni o współczynnik 1/0,025 = 40 razy. Szczytowa moc wysterowania diod LED IR podczas ekspozycji trwającej 1 ms wyniosłaby wówczas 800 W zamiast 20 W, bez zwiększania średniego poboru mocy, który nadal wynosiłby 20 W.

Wykorzystanie oświetlaczy stroboskopowych wytycza nowe możliwości zastosowań w ruchu drogowym. Oświetlenie podczerwienią o stałym natężeniu i rozsądnym poborze mocy wystarczy, aby wyraźnie rozpoznać numery tablic rejestracyjnych. W przypadku stroboskopowych oświetlaczy podczerwienią o podobnym poborze mocy natężenie oświetlenia jest wystarczające, by wyraźnie dostrzec również cechy pojazdów, a nawet przez przednią szybę zajrzeć do ich wnętrz. Oświetlenie takie można wykorzystać na przykład do rozpoznania w nocy marki i modelu samochodu albo sprawdzenia czy kierowca ma zapięte pasy bezpieczeństwa lub używa telefonu komórkowego.

Teoretycznie do współpracy z przetwornikiem obrazu z migawką kroczącą można używać lampy błyskowej lub oświetlenia stroboskopowego, o ile czas ekspozycji jest na tyle długi, by pierwsza i ostatnia linia miały nakładające się przedziały ekspozycji. Jeżeli jednak synchronizacja nie jest odpowiednia, oświetlenie stroboskopowe może powodować bardzo dziwne artefakty obrazu (p. przykładowe obrazy w Dodatku).

Jednak w przypadku ujęć przedstawiających szybki ruch oraz inne źródła światła, jak w ruchu ulicznym, konieczne jest stosowanie bardzo krótkich czasów ekspozycji dla uniknięcia rozmycia ruchu. Nie dochodzi wtedy do nakładania się ekspozycji pierwszej i ostatniej linii fotoelementów w przetworniku obrazu, a błysk oświetla tylko ograniczoną liczbę linii, co skutkuje pojawieniem się jasnego pasma w obrazie wyjściowym.

W miejscu, w którym obecne są zarówno kamery z migawką globalną, jak i kamery z migawką kroczącą oświetlenie stroboskopowe emitowane przez kamery z migawką globalną może powodować powstawanie artefaktów w kamerach z przetwornikami obrazu z migawką kroczącą, jakimi są na przykład jasne pasma na obrazie. W zależności od natężenia oświetlenia, długości impulsu stroboskopowego oraz czasu ekspozycji w kamerach z migawką kroczącą zjawisko to może być ledwie widoczne albo sprawić, że obraz stanie się bezużyteczny (więcej przykładowych obrazów znajduje się w Dodatku).

Istnieją dwa rozwiązania tego problemu: wyłączenie pracy stroboskopowej i użycie światła ciągłego lub włączenie trybu synchronizowanego przechwytywania we wszystkich kamerach Axis.

Synchronizowane przechwytywanie

Synchronizowane przechwytywanie obrazu, będące opracowaniem firmy Axis, to funkcja umożliwiająca wielu kamerom w tej samej sieci IP zsynchronizowanie ekspozycji ich przetworników obrazu i przechwytywanie obrazów dokładnie w tym samym momencie. Działanie to można również wykorzystać do wymuszenia braku synchronizacji kamer w celu wyeliminowania efektu migotania obrazu występującego w kamerach z migawką kroczącą.

Po włączeniu synchronizowanego przechwytywania obrazu we wszystkich kamerach Axis w danej sieci IP kamery te automatycznie zsynchronizują się tak, aby wszystkie kamery z migawką kroczącą ujmowały obraz jednocześnie w oknie czasowym 1, a wszystkie kamery z migawką globalną ujmowały obraz jednocześnie w innym oknie czasowym 2, które nie jest zsynchronizowane z kamerami z migawką kroczącą. W efekcie oświetlenie stroboskopowe sterowane przez kamery z migawką globalną załączy się dokładnie w tak zwanym okresie wygaszania migawek kroczących, kiedy to nie przyjmują one światła, oczekując jedynie na kolejną ramkę. Oświetlenie stroboskopowe będzie praktycznie niewidoczne dla kamer z migawką kroczącą.

Budowa pikseli w przetworniku obrazu z migawką globalną jest bardziej skomplikowana niż w przetworniku obrazu z migawką kroczącą, co przekłada się na cenę. Ponadto poziom szumu jest zazwyczaj wyższy w przypadku przetwornika obrazu z migawką globalną niż przetwornika obrazu z migawką kroczącą. Dotyczy to w szczególności przetworników obrazu z migawką globalną, które przed odczytem przechowują sygnał w dziedzinie napięciowej. Ponieważ szum wtrącany jest przed etapem wzmocnienia analogowego, zwiększenie wzmocnienia analogowego ma ograniczony wpływ na jego redukcję.

Poziom szumu to jednak nie jedyny czynniki określający jakość obrazu. Kluczowym parametrem jest stosunek sygnału do szumu (SNR – Signal-to-Noise Ratio). Im więcej światła ze sceny pada na przetwornik obrazu, tym wyższy jest wyjściowy poziom sygnału. Większy przetwornik obrazu o większych pikselach oraz obiektyw o niskiej liczbie przysłony zwiększają ilość światła padającego ze sceny i przyczyniają się do uzyskania wyższego stosunku sygnału do szumu (SNR). Projektując kamerę z uwzględnieniem tych czynników, można w pełni zrekompensować dodatkowy szum wytwarzany przez przetwornik obrazu z migawką globalną, co jednak wiąże się z wyższymi kosztami komponentów samej kamery.

W przypadku ujęć nocnych, przy słabym oświetleniu naturalnym, można zastosować oświetlenie sztuczne w celu poprawy stosunku sygnału do szumu (SNR) oraz ogólnej widoczności. Zastosowanie oświetlenia stroboskopowego w połączeniu z przetwornikiem obrazu z migawką globalną pozwala zwiększyć natężenie światła bez zwiększania poboru mocy. Rezultatem jest często lepszy stosunek sygnału do szumu w porównaniu z kamerą z migawką kroczącą przy ciągłym oświetleniu.

Przy jakiej szybkości ruchu widoczne są zniekształcenia spowodowane efektem migawki kroczącej? Przyjrzyjmy się następującym przykładom:

Zagadnienie to jest złożone, ponieważ stopień zniekształcenia jest powiązany z szybkością, z jaką obiekt przemieszcza się na obrazie w pikselach na sekundę, nie zaś z rzeczywistą szybkością wyrażoną w km/h lub m/s. Zależy zatem od kilku czynników: rozdzielczości, poziomu zoomu, odległości oraz kąta względem ruchomego obiektu.

• Obok drogi stoi kamera, która ujmuje samochody przejeżdżające z lewej strony na prawą. Przetwornik obrazu ma rozdzielczość 1080 x 1920 pikseli i przesunięcie ekspozycji między liniami wynoszące 10 mikrosekund (1/100 000 s). Dla uproszczenia załóżmy, że wysokość samochodu pokrywa cały obraz od góry do dołu. Jeżeli szybkość samochodu wynosi 30 km/h, obraz samochodu ulegnie przesunięciu o około 64 piksele w stosunku do całego obrazu, co odpowiada odchyleniu wynoszącemu 3 stopnie. Jeżeli szybkość samochodu wynosi 100 km/h, przesunięcie wyniesie 213 pikseli w stosunku do całego obrazu, a samochód będzie odchylony pod kątem 11 stopni.

• Kamera zainstalowana jest na wysokości 6 m nad jezdnią i ujmuje samochody poruszające się w odległości 30 m od niej. Przetwornik obrazu ma rozdzielczość 1080 x 1920 pikseli i przesunięcie ekspozycji między liniami wynoszące 10 mikrosekund (1/100 000 s). Wysokość samochodu pokrywa ok. 50% wysokości obrazu. Ponieważ samochód porusza się od górnej do dolnej części obrazu, zniekształcenie spowodowane efektem migawki kroczącej spowoduje ściśnięcie lub rozciągnięcie obrazu samochodu (w zależności od tego czy migawka krocząca skanuje linie od dolnej do górnej części obrazu czy na odwrót). Jeżeli szybkość samochodu wynosi 30 km/h, jego obraz zostanie ściśnięty albo rozciągnięty o mniej niż 1 piksel, tak że nie wystąpią żadne zniekształcenia. Jeżeli szybkość samochodu wynosi 100 km/h, jego obraz będzie ściśnięty albo rozciągnięty o 3 piksele, czyli o około 0,5%. Jeżeli szybkość to 200 km/h, ściśnięcie albo rozciągnięcie wyniesie 6 pikseli, czyli około 1%. Zniekształcenie spowodowane efektem migawki kroczącej nie będzie widoczne gołym okiem i można je zignorować. A wynika stąd, że kąt między kamerą a samochodem jest taki, że samochód przemieszcza się po obrazie w bardzo niewielkim stopniu, nawet gdy porusza się z dużą szybkością.

• Kamera wykonuje zbliżenie przenośnika taśmowego celem wykrycia kodów kreskowych na paczkach przemieszczających się na obrazie od lewej do prawej strony. Paczki mają szerokość 30 cm i pokrywają całą wysokość obrazu. Przetwornik obrazu ma rozdzielczość 1080 x 1920 pikseli i przesunięcie ekspozycji między liniami wynoszące 10 mikrosekund (1/100 000 s). Jeżeli taśma przenośnika porusza się z szybkością 1 m/s, paczki (wraz z kodami kreskowymi) odchylone będą o 2 stopnie. Jeżeli przyspieszymy taśmę do 4 m/s, odchylenie wyniesie 8 stopni. Obiekty poruszają się teraz znacznie wolniej niż samochody na autostradzie, ale zniekształcenie jest nadal znaczące, ponieważ kamera ustawiona jest na duże zbliżenie do obiektów.

• 

• Kamera ujmuje obracający się wentylator o średnicy 40 cm z łopatkami o szerokości 30 cm. Ustawiona jest na takie zbliżenie, że wentylator pokrywa całą wysokość obrazu. Przetwornik obrazu ma rozdzielczość 1080 x 1920 pikseli i przesunięcie ekspozycji między liniami wynoszące 10 mikrosekund (1/100 000 s). W tym przypadku zniekształcenie spowodowane efektem migawki kroczącej sprawi, że łopatki wentylatora będą wyglądały na wygięte, rozciągnięte i ściśnięte w różnych częściach obrazu. Aby zniekształcenie pozostało niewidoczne – załóżmy, przy rozciągnięciu poniżej 1% – wentylator musi obracać się z szybkością poniżej 0,3 obrotu na sekundę. Na powyższym obrazie jedna z łopatek jest rozciągnięta od góry do dołu. Tak będzie przy szybkości około 44 obrotów na sekundę.

Przykładowe obrazy:

• Artefakty spowodowane oświetleniem stroboskopowym w kamerach z migawką kroczącą:

• 
• 

• Sceny, w których nie ma różnicy pomiędzy migawką kroczącą a migawką globalną: W wielu scenach i zastosowaniach nie ma widocznej różnicy między kamerą z migawką kroczącą a kamerą z migawką globalną. Obejmuje to:

• • Sceny ujmowane w ciągu dnia przy umiarkowanym ruchu (idący lub biegnący ludzie, samochody jadące powoli lub samochody jadące szybko w kierunku kamery w taki sposób, że ruch na obrazie jest powolny).

  • Ujęcia nocne (przy złym oświetleniu) z oświetleniem ciągłym lub bez sztucznego oświetlenia przy jedynie umiarkowanym ruchu.

  • Ujęcia nocne (przy złym oświetleniu) z długimi czasami ekspozycji (>1/100 s).