글로벌 셔터와 롤링 셔터 간의 비교

보안 카메라에는 일반적으로 롤링 셔터 이미지 센서를 사용합니다. 글로벌 셔터 센서와 롤링 셔터 센서의 근본적인 차이는 노출 방식에 있습니다.

글로벌 셔터 센서는 모든 픽셀을 동시에 노출하지만, 롤링 셔터 센서는 행마다 시차를 두고 픽셀을 순차적으로 노출합니다. 행별 노출에서 발생하는 이러한 시간 차이로 인해 빠르게 움직이는 물체가 왜곡되는데, 이를 롤링 셔터 효과라고 합니다(아래 이미지 참조). 이 백서에서는 노출이 지속되는 동안 객체가 움직여 발생하는 모션 블러와, 행별 노출 시점의 차이로 인해 발생하는 객체 형태의 왜곡을 구분합니다.

글로벌 셔터 센서는 노출 시간이 짧을 때만 뚜렷하게 장점을 발휘합니다. 노출 시간이 길어지면 모션 블러가 발생하여 롤링 셔터로 인한 왜곡이 가려지게 되므로 펄스 조명을 사용하더라도 얻을 수 있는 이점이 거의 없습니다. 따라서 가장 먼저 따져 볼 것은 해당 용도에 짧은 노출 시간이 필요한지 여부입니다. 짧은 노출 시간이 필요하다면 글로벌 셔터 카메라가 올바른 선택일 가능성이 높습니다.

글로벌 셔터 센서의 일반적인 활용 사례로는 컨베이어 벨트 위의 소포 스캔이나 고속 산업 공정의 모니터링과 같이 머신 비전 기반의 산업 자동화를 위해 왜곡 없는 고품질 이미지가 필요한 고속 공정이 있습니다.

글로벌 셔터 센서의 두 번째 주요 활용 사례로는 교통 모니터링 환경이 있습니다. 고광도 조명을 짧게 점등해 빠르게 주행하는 차량을 매우 세밀하게 포착할 수 있으며, 저조도 환경에서도 차량 내부까지 확인할 수 있습니다.

글로벌 셔터 센서는 모든 픽셀을 동시에 노출하므로, 센서 노출 시간에 맞춰 매우 짧은 광 펄스를 동기화할 수 있습니다. 덕분에 고광도 조명의 전체 전력 소비를 최소화할 수 있습니다. 롤링 셔터 센서를 교통 모니터링 환경에 사용할 경우, 일반적인 노출 시간(1ms)에서 짧은 광 펄스가 이미지에 밝은 띠를 만들 수 있습니다. 글로벌 셔터 카메라와 롤링 셔터 카메라가 함께 설치된 환경에서는 Axis 동기화 캡처 기능을 사용해 롤링 셔터 이미지의 밝은 띠 현상을 줄일 수 있습니다.

이미지 센서는 빛(광자)을 디지털 신호로 변환합니다. 이 변환 과정은 세 단계로 나뉘며, 처음 두 단계는 픽셀 내부에서 수행됩니다. 첫 번째 단계에서는 노출 시간 동안 광자를 흡수해 전자로 변환하고, 전하를 전송하면서 노출을 종료합니다. 두 번째 단계에서는 전자를 아날로그 전압 신호로 변환합니다. 세 번째 단계인 픽셀 판독 과정에서는 아날로그-디지털 변환기(ADC)가 아날로그 전압 신호를 디지털 신호로 변환합니다.

이미지 센서는 일반적으로 배열 형태로 배치된 수백만 개의 픽셀로 구성됩니다. 그러나 일반적인 센서 설계에서는 픽셀 열마다 하나의 ADC를 사용하므로, 픽셀 신호는 행 단위로 판독됩니다.

롤링 셔터 센서는 픽셀을 행 단위로 판독하기 때문에 각 행의 노출 시점이 조금씩 어긋납니다. 이 노출 시차로 인해 이미지에서 빠르게 움직이는 객체가 왜곡되는 현상을 롤링 셔터 효과라고 합니다.

반면 글로벌 셔터 센서는 모든 픽셀을 동시에 노출합니다. 픽셀 신호를 픽셀 내 메모리로 전송하면서 노출이 종료됩니다. 이 메모리는 전자가 아날로그 신호로 변환되기 전 단계인 전하 도메인에 배치되거나, 변환된 후 단계인 전압 도메인에 배치될 수 있습니다. 메모리에 저장된 신호는 이후 행 단위로 ADC에 전달되어 디지털 신호로 변환됩니다. 이러한 판독 방식은 롤링 셔터와 동일합니다. 모든 픽셀이 동시에 노출되므로 글로벌 셔터 센서에서는 빠르게 움직이는 객체의 왜곡이 발생하지 않습니다.

이미지에서 롤링 셔터 왜곡이 나타나는 정도는 센서의 행별 노출 시차뿐 아니라, 객체가 이미지 안에서 얼마나 빠르게 어느 방향으로 움직이는가 하는 것에 따라 달라집니다.

센서의 행간 시차는 한 행을 판독하는 데 걸리는 시간과 전체 판독 행 수에 따라 결정됩니다. 일반적으로 고해상도 센서가 저해상도 센서보다 더 심한 왜곡을 유발합니다.

이미지에 빠르게 움직이는 객체가 없다면 눈에 띄는 롤링 셔터 왜곡도 발생하지 않습니다. 오늘날의 롤링 셔터 센서는 속도가 매우 빨라 거의 모든 영상 감시 장면을 왜곡 없이 촬영할 수 있습니다. 술통형 왜곡과 같이 렌즈 자체로 인해 발생하는 왜곡이 롤링 셔터 왜곡보다 훨씬 더 뚜렷한 영향을 미치는 경우가 많습니다.

그러나 일부 상황에서는 롤링 셔터로 인해 이미지가 심하게 왜곡될 수 있습니다. 대표적으로 팬, 프로펠러, 모터와 같이 빠르게 회전하는 객체가 이에 해당합니다.

컨베이어 벨트 위의 상자나 빠르게 지나가는 차량처럼 이미지를 가로질러 직선으로 빠르게 움직이는 객체는 롤링 셔터 센서로 촬영하면 비스듬히 기울어져 보입니다.

노출 시간은 왜곡에 영향을 주지 않습니다. 그러나 노출 시간이 길어지면 모션 블러가 발생합니다. 모션 블러는 롤링 셔터 왜곡을 뭉개기 때문에 왜곡이 덜 눈에 띄게 됩니다.

일반적으로 글로벌 셔터 센서는 빠르게 움직이는 객체를 촬영해야 하는 용도에만 필요합니다. 이 경우, 모션 블러를 방지하려면 노출 시간이 짧아야 합니다. 교통 모니터링 활용 사례에서는 보통 최대 1/1000초(1ms) 전후의 노출 시간이 사용되며, 회전하는 팬이나 프로펠러를 촬영하려면 1/10000초(0.1ms)와 같이 훨씬 더 짧은 노출 시간이 필요할 수 있습니다.

어두운 환경에서는 적외선이나 백색광 조명으로 장면을 비추면 이미지 품질을 개선할 수 있습니다. 빠르게 움직이는 객체를 촬영할 때는 모션 블러를 방지하기 위해 노출 시간을 짧게 해야 합니다. 이로 인해 센서가 포착하는 빛의 양이 줄어들어 장면 조명의 필요성이 커집니다.

글로벌 셔터 센서를 선택하는 주요 이유 중 하나는 장면을 비출 때 연속광 대신 매우 짧은 광 펄스를 사용할 수 있다는 점입니다. 연속광을 사용하는 대신 센서의 노출에 맞춰 프레임마다 한 번씩 스트로브 조명을 점등하면, 이미지 품질을 떨어뜨리지 않으면서 장치의 소비 전력을 줄이거나 빛의 순간 최대 조명 강도를 크게 높일 수 있습니다.

예: 스트로브 조명으로 조명 소비 전력 절감

교통 카메라의 노출 시간이 1/1000s(1ms)이고 프레임 레이트가 25fps라고 가정해 보겠습니다. 이 경우 노출의 듀티 사이클은 (1/1000초) / (1/25초) = 2.5%입니다. 즉, 센서가 실제로 빛을 수집하는 시간은 전체의 2.5%뿐이며, 나머지 시간에는 다음 프레임을 기다립니다.

이 카메라에 항상 켜져 있는 연속 IR 조명을 사용하면, 방출되는 빛의 대부분은 센서에 감지되지 않은 채 낭비됩니다.

더 나은 해결책은 센서가 빛을 수집하지 않을 때 IR 조명을 끄는 것입니다. 적외선을 펄스 방식으로 구동하고 IR 펄스를 센서의 노출과 동기화하면, 센서가 빛을 수집하는 전체 시간의 2.5% 동안에만 적외선이 방출됩니다. 그러면 IR LED의 소비 전력은 연속 IR 조명을 사용할 때의 2.5% 수준으로 줄어듭니다.

노출 중 센서에 들어오는 빛의 양은 동일하므로 이미지의 신호 대 잡음비(SNR)는 그대로 유지되며, 이미지 품질도 저하되지 않습니다.

예: 스트로브 조명으로 순간 최대 조명 강도 향상

위와 동일하게 노출 시간이 1ms이고 프레임 레이트가 25fps인 교통 카메라에서, 사용 가능한 전력을 모두 활용해 적외선 조명 강도를 최대한 높이는 방식도 선택할 수 있습니다.

소비 전력이 20W인 연속 IR 램프를 예로 들어 보겠습니다. LED를 계속 켜 두는 대신 프레임 사이에 에너지를 축적했다가 센서의 노출 시점에 정확히 맞춰 프레임마다 한 번씩 방출하면, 짧은 시간 동안 훨씬 더 높은 조명 강도를 얻을 수 있습니다.

이 예시에서 듀티 사이클은 2.5%이므로, 이론상 IR 광도를 1/0.025 = 40배까지 높일 수 있습니다. 그러면 1ms의 노출 시간 동안 IR LED의 순간 최대 구동 전력을 20W 대신 800W까지 높일 수 있으며, 평균 소비 전력은 여전히 20W로 유지됩니다.

스트로브 조명기를 사용하면 교통 분야에서 새로운 활용 사례를 만들어낼 수 있습니다. 소비 전력이 적정한 연속 적외선만으로도 번호판을 선명하게 확인할 수 있습니다. 그러나 소비 전력이 비슷한 스트로브 IR 램프를 사용하면 차량의 세부 사항은 물론, 앞유리를 투과해 차량 내부까지 확인할 만큼 충분한 빛을 확보할 수 있습니다. 예를 들어 야간에 차량의 브랜드와 모델을 식별하거나, 운전자의 안전벨트 착용 여부 및 휴대전화 사용 여부를 확인하는 데 활용할 수 있습니다.

이론적으로는 첫 번째 행과 마지막 행의 노출 구간이 서로 겹칠 만큼 노출 시간이 길다면 롤링 셔터 센서에도 플래시나 스트로브 조명을 사용할 수 있습니다. 그러나 점등 시점이 정확하지 않으면 스트로브 조명으로 인해 매우 이상한 이미지 아티팩트가 발생할 수 있습니다(부록의 이미지 예시 참조).

그러나 교통 모니터링처럼 빠른 움직임과 다른 광원이 함께 존재하는 환경에서는 모션 블러를 방지하기 위해 노출 시간을 매우 짧게 해야 합니다. 그러한 경우에는 센서의 첫 번째 행과 마지막 행의 노출 구간이 겹치지 않으므로, 광 펄스가 일부 행만 비추게 되어 출력 이미지에 밝은 띠가 생깁니다.

글로벌 셔터 카메라와 롤링 셔터 카메라가 함께 설치된 환경에서는 글로벌 셔터 카메라의 스트로브 조명으로 인해 롤링 셔터 센서로 촬영한 이미지에 밝은 띠와 같은 아티팩트가 발생할 수 있습니다. 조명 강도, 스트로브 펄스 길이 및 롤링 셔터 카메라의 노출 시간에 따라 이 현상이 거의 눈에 띄지 않을 수도 있지만, 심한 경우에는 롤링 셔터 카메라 이미지를 사용하지 못할 정도가 될 수 있습니다(추가 이미지 예시는 부록 참조).

이 문제를 해결하는 방법은 두 가지입니다. 스트로브 조명을 끄고 연속광을 사용하거나, 모든 Axis 카메라에서 동기화 캡처를 사용하는 것입니다.

동기화 캡처

Axis 동기화 캡처는 동일한 네트워크에 연결된 여러 카메라가 각 센서의 노출 시점을 동기화해 정확히 같은 순간에 이미지를 캡처하도록 하는 기능입니다. 반대로 카메라의 노출 시점을 의도적으로 서로 어긋나게 설정해 롤링 셔터 카메라에서 발생하는 스트로브 조명 아티팩트를 제거하는 데도 사용할 수 있습니다.

특정 네트워크의 모든 Axis 카메라에서 동기화 캡처를 켜면 카메라가 자동으로 노출 시점을 조정합니다. 모든 롤링 셔터 카메라는 시간 구간 1에서 동시에 이미지를 캡처하며, 모든 글로벌 셔터 카메라는 롤링 셔터 카메라와 노출 시점이 겹치지 않는 별도의 시간 구간 2에서 동시에 이미지를 캡처합니다. 그 결과 글로벌 셔터 카메라가 작동시키는 스트로브 조명은 롤링 셔터가 빛을 수집하지 않고 다음 프레임을 기다리는 이른바 블랭킹 구간에 정확히 발광합니다. 따라서 롤링 셔터 카메라에는 스트로브 조명이 사실상 보이지 않습니다.

글로벌 셔터 센서는 롤링 셔터 센서보다 픽셀 구조가 복잡해 센서 가격이 더 높습니다. 또한 일반적으로 글로벌 셔터 센서의 노이즈가 롤링 셔터 센서보다 많습니다. 특히 판독 전에 신호를 전압 영역에 저장하는 글로벌 셔터 센서에서 이러한 특성이 두드러집니다. 이 노이즈는 아날로그 게인 단계에 앞서 발생하므로 아날로그 게인을 높여도 노이즈를 줄이는 효과가 제한적입니다.

그러나 이미지 품질을 판단할 때 노이즈 레벨만으로 모든 것을 설명할 수는 없습니다. 이미지 품질을 좌우하는 핵심 지표는 신호 대 잡음비(SNR)입니다. 장면에서 들어오는 빛이 많을수록 센서가 얻는 신호도 커집니다. 픽셀이 큰 대형 센서와 F값이 낮은 렌즈를 사용하면 장면에서 수집되는 빛의 양이 늘어나 SNR이 높아집니다. 이를 고려해 카메라를 설계하면 글로벌 셔터 센서에서 추가로 발생하는 노이즈를 완전히 상쇄할 수 있지만, 카메라 부품 비용은 더 높아집니다.

자연광이 거의 없는 야간 장면에서는 인공조명을 사용해 SNR과 객체의 식별성을 높일 수 있습니다. 글로벌 셔터 센서와 스트로브 조명을 함께 사용하면 전력 소비를 늘리지 않고도 조명 강도를 높일 수 있습니다. 따라서 연속 조명을 사용하는 롤링 셔터 카메라보다 더 높은 SNR을 얻는 경우가 많습니다.

객체가 어느 정도 속도로 움직일 때 롤링 셔터 왜곡이 눈에 띄기 시작합니까? 다음 계산 예시를 살펴보십시오.

이는 단순히 답할 수 있는 문제가 아닙니다. 왜곡의 정도를 결정하는 것은 km/h나 m/s로 나타낸 객체의 실제 속도가 아니라, 객체가 이미지 안에서 움직이는 속도인 픽셀/초이기 때문입니다. 따라서 해상도, 줌 배율, 거리, 움직이는 객체를 바라보는 각도와 같은 여러 요인에 따라 달라집니다.

• 도로변에 설치된 카메라가 왼쪽에서 오른쪽으로 빠르게 지나가는 차량을 촬영합니다. 센서의 해상도는 1080x1920픽셀이고, 행간 노출 시차는 10마이크로초(1/100000초)입니다. 계산을 단순화하기 위해 차량 높이가 전체 이미지의 위에서 아래까지 가득 찬다고 가정합니다. 차량 속도가 30km/h이면 전체 이미지에 걸쳐 차량 이미지의 위쪽과 아래쪽 위치가 수평 방향으로 약 64픽셀 어긋나 3도 정도 기울어져 보입니다. 차량 속도가 100km/h이면 전체 이미지에 걸쳐 차량 이미지의 위쪽과 아래쪽 위치가 수평 방향으로 213픽셀 어긋나 차량 이미지가 11도 기울어져 보입니다.

• 도로에서 6m 높이에 설치된 카메라가 도로를 따라 30m 떨어진 차량을 촬영합니다. 센서의 해상도는 1080x1920픽셀이고, 행간 노출 시차는 10마이크로초(1/100000초)입니다. 차량 높이는 이미지 높이의 약 50%를 차지합니다. 차량이 이미지의 위에서 아래로 이동하기 때문에, 롤링 셔터 왜곡이 발생하면 차량 이미지가 세로 방향으로 눌리거나 늘어나 보입니다. 어느 쪽으로 왜곡되는지는 센서의 행별 노출이 화면 아래쪽에서 위쪽으로 진행되는지, 위쪽에서 아래쪽으로 진행되는지에 따라 달라집니다. 차량 속도가 30km/h이면 차량 이미지의 세로 방향 변형이 1픽셀 미만이므로 눈에 띄는 왜곡이 발생하지 않습니다. 차량 속도가 100km/h이면 차량 이미지가 세로 방향으로 3픽셀, 즉 약 0.5% 눌리거나 늘어납니다. 속도가 200km/h이면 6픽셀, 즉 약 1% 눌리거나 늘어납니다. 이 경우 롤링 셔터 왜곡은 육안으로 식별하기 어려우므로 무시할 수 있습니다. 차량이 도로에서 빠르게 달리더라도 카메라와 차량의 각도 때문에 이미지 안에서 차량이 움직이는 거리는 매우 짧기 때문입니다.

• 카메라가 컨베이어 벨트를 확대 촬영하면서 화면 왼쪽에서 오른쪽으로 이동하는 바코드 부착 소포를 감지합니다. 소포의 너비는 30cm이며, 소포가 이미지 높이를 가득 채웁니다. 센서의 해상도는 1080x1920픽셀이고, 행간 노출 시차는 10마이크로초(1/100000초)입니다. 컨베이어 벨트가 1m/s로 움직이면 소포와 바코드가 2도 기울어집니다. 벨트 속도를 4m/s로 높이면 기울기가 8도가 됩니다. 이 경우 객체의 실제 이동 속도는 고속도로 차량보다 훨씬 더 느리지만, 카메라가 객체를 근접 확대 촬영하므로 상당한 왜곡이 발생합니다.

• 

• 카메라가 직경이 40cm이고 블레이드 너비가 30cm인 회전 팬을 촬영합니다. 팬이 이미지 높이를 가득 채우도록 확대해 촬영합니다. 센서의 해상도는 1080x1920픽셀이고, 행간 노출 시차는 10마이크로초(1/100000초)입니다. 이 경우 롤링 셔터 왜곡으로 인해 이미지의 각 부분에서 팬 블레이드가 휘거나 늘어나거나 눌려 보입니다. 늘어나는 정도를 1% 미만으로 유지해 왜곡이 눈에 띄지 않게 하려면 팬이 초당 0.3회전보다 느리게 돌아야 합니다. 위 이미지에서는 블레이드 하나가 화면 위쪽에서 아래쪽까지 길게 늘어나 있습니다. 이 현상은 팬이 초당 약 44회전할 때 발생합니다.

이미지 예시:

• 롤링 셔터 카메라에서 발생하는 스트로브 조명 아티팩트:

• 
• 

• 롤링 셔터와 글로벌 셔터의 차이가 나타나지 않는 장면: 많은 장면과 사용 사례에서는 롤링 셔터 카메라와 글로벌 셔터 카메라의 차이를 육안으로 구분할 수 없습니다. 다음과 같은 경우가 이에 해당합니다.

• • 모션이 보통 수준인 주간 장면(걷거나 뛰는 사람, 천천히 주행하는 차량 또는 카메라를 정면으로 향해 빠르게 주행하지만 이미지 안에서는 움직임이 느린 차량).

  • 연속 조명을 사용하거나 인공 조명이 없고 모션이 보통 수준인 야간(저조도) 장면.

  • 노출 시간이 긴(>1/100초) 야간(저조도) 장면.