Latência em videomonitoramento em rede ao vivo

O processo de streaming de vídeo ao vivo no videomonitoramento via IP consiste em capturar o vídeo na câmera, empacotá-lo e transportá-lo pela rede e desempacotá-lo no receptor para exibi-lo. Cada uma dessas etapas adiciona mais ou menos latência.

• Latência introduzida no lado da câmera. A captura do vídeo é seguida pelo processamento, compactação e empacotamento da imagem. Cada etapa introduz alguma latência, mas, no geral, os processos dentro da câmera contribuem apenas para uma pequena fração da latência de ponta a ponta total.

• Latência introduzida pela rede. Ela pode ser muito grande ou muito pequena, e é o fator mais imprevisível na “equação“ da latência de ponta a ponta. Você pode torná-la mais previsível investindo em um bom software e hardware de rede. A latência da rede depende muito da relação entre os dados e a largura de banda. É possível configurar a câmera para reduzir o volume de dados gerado, reduzindo, assim, a quantidade de pacotes que precisam ser enviados pela rede.

• Latência introduzida no lado do cliente. No lado do cliente, os dados são recebidos e armazenados em buffer para serem classificados e enfileirados na placa de vídeo e no monitor. A latência é mais afetada, mesmo por até vários segundos, pelo buffer de recebimento no cliente. Sem um buffer grande, há o risco de o stream de vídeo não ser reproduzido uniformemente.

Reduzir a latência é sempre uma questão de custo. As maiores vitórias podem ser obtidas com o aprimoramento da rede, do hardware e do software no lado do cliente.

No contexto do videomonitoramento, a latência é o tempo entre o instante em que um quadro é capturado e o instante em que o mesmo quadro é exibido. Isso também é chamado de latência de ponta a ponta ou latência de sensor para tela. O processo de transporte de um quadro do sensor da câmera para o monitor de exibição envolve um longo pipeline de etapas.

Este white paper descreve as várias etapas que contribuem para a latência total. Ele também fornece recomendações sobre como a latência pode ser reduzida.

A definição de latência depende do contexto. Na tecnologia de rede, a latência é comumente percebida como o atraso entre o momento em que uma informação é enviada da fonte e o momento em que a mesma informação é recebida em seu destino final.

Neste documento, discutimos a latência em sistemas de videomonitoramento em rede. Aqui, definimos latência como o atraso entre o momento em que uma imagem é capturada pela câmera e o momento em que ela fica visível em uma exibição de vídeo. Durante esse período, a imagem é capturada, compactada, transmitida, descompactada e exibida. Cada etapa acrescenta a própria parcela de atraso ao atraso total. Para simplificar, a latência de ponta a ponta pode ser vista como composta por três estágios principais:

• Latência introduzida pela câmera (latência de processamento de imagens, latência de compactação)

• Latência introduzida pela rede (latência de transmissão)

• Latência introduzida pelo lado do receptor (buffer do cliente, latência de descompactação, latência de exibição)

Para cumprir a meta de latência de um sistema de videomonitoramento, cada uma dessas latências deve ser considerada durante o projeto da solução de vídeo.

A latência geralmente é expressa em unidades de tempo, normalmente segundos ou milissegundos (ms). É muito difícil medir a latência exata, pois isso exigiria que os relógios da câmera e do dispositivo de exibição estivessem sincronizados com exatidão. Uma maneira simples (com reserva de desvio mínimo dos valores padrão) é usar o recurso de texto de sobreposição de registro de data e hora. Esse método mede a latência de ponta a ponta de um sistema de videomonitoramento, ou seja, a diferença de tempo entre a captura de um quadro de imagem na lente e o momento em que esse mesmo quadro é renderizado em um dispositivo de monitoramento.

Observe que esse método produzirá um possível erro de até um intervalo de quadro. Isso depende do fato de que os registros de data e hora usados para calcular a latência são coletados apenas na captura de quadros. Portanto, só poderemos computar a latência com o fator da taxa de quadros. Assim, se tivermos uma taxa de quadros de 25 fps, poderemos calcular a latência como um múltiplo de 40 ms. Se tivermos uma taxa de quadros de 1 fps, poderemos calcular a latência como um múltiplo de segundos. Esse método, portanto, não é recomendado para taxas de quadros baixas.

Para medir a latência usando o recurso de texto de sobreposição de registro de data e hora:

1. Ative o registro de data e hora na sobreposição usando (%T:%f)

2. Coloque a câmera em um ângulo para que ela capture a própria saída de stream ao vivo

3. Capture instantâneos da saída do stream ao vivo para comparar a diferença de tempo entre o tempo exibido na sobreposição de texto original e o tempo exibido no loop de tela

A latência total é a soma das latências introduzidas pela câmera, pela rede e pelo lado do cliente.

Cada quadro tem um intervalo de tempo de aproximadamente 1/30 s de exposição, seguido de um curto período de tempo para dimensionar e codificar a imagem. A imagem codificada é cortada e empacotada, e uma imagem é enviada para a rede a cada 33 ms. O tempo necessário para esse processo na câmera pode ser inferior a 50 ms, mas é mais comum que seja de algumas centenas de ms. Ele varia um pouco dependendo da câmera (excluindo PTZ) e de o quadro ser um quadro I ou um quadro P.

Vamos dar uma olhada no interior da câmera de vídeo. O sensor de imagem da câmera é composto por milhões de fotodetectores (pontos fotossensíveis), conhecidos como pixels. O sensor captura a luz em seus pixels ao longo de todo um intervalo de exposição, antes de converter a energia luminosa registrada em sinais eletrônicos. Em seguida, os pixels ficam vazios e prontos para outra exposição. O número de exposições que o sensor fornece por unidade de tempo, ou seja, quantos quadros a câmera pode capturar por segundo, define a taxa de captura do sensor.

A latência da captura depende da taxa de captura. Se você definir a taxa de captura para 30 fps, o que significa que o sensor capturará uma imagem a cada 1/30 de segundo, a latência de captura será de até 33,3 ms.

Cada quadro capturado passa por um pipeline de etapas de processamento de imagens, como desentrelaçamento, dimensionamento e rotação de imagem, o que aumenta a latência. Quanto mais processamento, maior a latência introduzida pela câmera. Mas, como o processamento na câmera afeta o volume de dados produzidos, a quantidade de processamento também leva a efeitos na latência da rede quando os dados são transferidos pela rede.

Alguns parâmetros que afetam a latência são:

• Rotação da imagem. A rotação do stream de vídeo em 90 ou 270 graus adiciona uma carga extra ao processador de codificação. Os pixels terão que ser reorganizados e armazenados em buffer, o que causa algum atraso.

• Resolução. Uma resolução mais alta significa mais pixels para o processador codificar. O aumento no tempo de processamento de uma resolução mais alta em comparação com uma resolução mais baixa geralmente é insignificante porque é equilibrado por uma unidade de processamento mais rápida em câmeras de alta resolução. Mas a resolução mais alta resulta em mais dados por quadro e, portanto, mais pacotes a serem transmitidos. Em uma rede com largura de banda limitada, isso pode levar a atrasos durante a transmissão. Isso, por sua vez, levará à necessidade de um buffer maior no lado do receptor, causando maior latência.

• Filtragem de ruído. A filtragem de ruído avançada requer o armazenamento em buffer de vários quadros, o que introduz latência adicional.

• Máscara de privacidade. Recursos avançados de máscara de privacidade, como o AXIS Live Privacy Shield, podem introduzir latência adicional. Isso se deve ao armazenamento em buffer necessário para garantir que as máscaras de privacidade corretas sejam aplicadas no momento certo.

O vídeo é codificado para compactar os dados antes de transferi-los. A compactação envolve um ou vários algoritmos matemáticos que removem dados de imagem. Isso leva mais ou menos tempo, dependendo do volume de dados a serem processados. A latência de compactação introduzida nessa etapa é afetada por vários aspectos da compactação:

• Complexidade dos algoritmos de compactação

  O H.264 e o H.265 são métodos de compactação mais avançados do que o MJPEG. No entanto, as câmeras Axis normalmente têm uma capacidade maior de compactação do H.264 e H.265, em comparação com a compactação MJPEG, o que significa que a latência de compactação com H.264 ou H.265 não é necessariamente maior. Por outro lado, pode ser maior no local de decodificação. Os streams de dados H.264 e H.265 produzidos pelas câmeras Axis requerem que o decodificador armazene em buffer pelo menos um quadro, enquanto a decodificação MJPEG não requer buffer. Além disso, o perfil de armazenamento Zipstream acrescenta até dois quadros de latência adicional, ou seja, 66,7 ms para um vídeo de 30 fps.

• Eficácia do método de compactação

  Os esquemas de codificação mais comuns usados nas câmeras Axis são MJPEG, H.264 e H.265. Todos eles introduzem latência na câmera. O H.264 e o H.265 minimizam a vazão de vídeo mais do que o MJPEG, o que significa que haverá menos pacotes de dados para enviar pela rede, descompactar e renderizar no receptor. Isso reduzirá a latência total.

• Escolha da taxa de bits

  A compactação de vídeo reduz o tamanho dos dados do vídeo. No entanto, nem todos os quadros terão o mesmo tamanho após a compactação. O tamanho dos dados compactados pode variar de acordo com a cena. Em outras palavras, os dados originais compactados consistem em streams de taxa de bits variável (VBR), o que resulta na saída de uma taxa de bits variável para a rede. É preciso considerar as restrições da rede disponível, tais como limitações de largura de banda. As limitações de largura de banda de um sistema de vídeo por streaming geralmente exigem a regulação da taxa de bits da transmissão. Em alguns codificadores, você pode escolher entre VBR e taxa de bits máxima (MBR). Com a escolha da MBR, você tem a garantia de que a rede receberá um volume limitado de dados. Evitando sobrecarregar a rede, você reduz o atraso da rede e a necessidade de um buffer maior na extremidade receptora do sistema.

  Nas câmeras Axis, os codificadores H.264 e H.265 oferecem a opção de selecionar VBR e MBR. No entanto, geralmente recomendamos o uso de VBR com vídeo em rede, em que a qualidade é adaptada ao conteúdo da cena em tempo real. Não é recomendável usar sempre a MBR como uma ferramenta geral de redução de armazenamento ou correção para conexões de rede fracas, pois as câmeras que fornecem vídeo MBR podem ser forçadas a apagar detalhes forenses importantes em situações críticas.

  O uso do Zipstream na câmera reduz a taxa de bits. Ele mantém o volume de dados baixo, reduzindo, assim, a latência na rede.

• Número de streams. Se mais de um tipo de stream for solicitado da câmera (diferentes taxas de quadros ou resoluções), o processamento do tipo adicional de stream aumentará a latência, pois todos os streams devem ser codificados pelo mesmo processador.

Ao escolher um método de compactação, você deve levar em consideração todos esses aspectos. Por um lado, um algoritmo de codificação avançado pode levar mais tempo para codificar e decodificar, mas, por outro, reduzirá o volume de dados que estão sendo enviados pela Internet, o que, por sua vez, diminuirá os atrasos de transição e reduzirá o tamanho do buffer do receptor.

Como o vídeo é processado um quadro de cada vez, somente um volume limitado de dados pode ser compactado de uma vez. Às vezes, são necessários buffers de curto prazo entre os estágios de processamento, o que contribui para a latência na câmera.

Em alguns casos, o stream de vídeo é acompanhado de áudio. O codificador de áudio precisa esperar por uma certa quantidade de amostras antes que um bloco esteja disponível para iniciar a codificação do áudio, e isso adiciona atraso no lado da câmera. As taxas de amostragem e os tamanhos de bloco são diferentes em diferentes algoritmos de codificação de áudio.

Depois que a imagem é capturada, processada e compactada, os dados do vídeo percorrem uma rede antes de chegar ao lado do cliente para renderização. Para entender como a rede afeta a latência, precisamos primeiro entender alguns conceitos básicos do sistema em rede de vídeo: taxa de bits, largura de banda e vazão. A latência da rede é proporcional à taxa de bits e inversamente proporcional à largura de banda.

• A taxa de bits é o volume de dados, medido em bits, que é processado por unidade de tempo. No videomonitoramento, a taxa de bits é definida pelo volume de dados gerados pela câmera a serem enviados pela rede por unidade de tempo. A taxa de bits depende de muitos fatores; depende muito da cena filmada, do processamento realizado na câmera e das configurações do stream de vídeo. Quando a câmera está produzindo mais dados a serem transmitidos, é possível esperar uma latência de rede maior se a largura de banda for limitada.

• A largura de banda é o volume de dados que a rede pode potencialmente processar entre a câmera e o monitor. É a capacidade máxima do seu link. A largura de banda depende do comprimento e da infraestrutura do link, ou seja, switches, roteadores, cabos, proxies, entre outros. Se aumentarmos a capacidade da rede, mais dados poderão ser transmitidos, o que reduzirá a latência.

• A taxa de transferência é a velocidade real alcançada (em bits/s) de sua transferência de dados. Isso depende de você estar compartilhando o link com outras pessoas e da interferência eletromagnética dos cabos no link. A vazão também pode ser limitada pelas configurações de QoS (qualidade de serviço) definidas nas portas.

A latência total na rede depende de três fatores principais: a infraestrutura do link entre a câmera e o dispositivo de visualização de vídeo (que determina a largura de banda), o volume de dados produzidos pela câmera (que determina a taxa de bits) e a escolha do protocolo de transmissão.

A rede é a fonte mais imprevisível da latência de ponta a ponta. Switches, roteadores, cabos, proxies: tudo na rede entre o emissor e o receptor afeta a latência total. Em uma LAN, a latência na rede pode ser de apenas alguns ms, o que é insignificantemente baixo e pode ser ignorado. Entretanto, se o stream de vídeo precisar ser.transmitido pela Internet com rotas não especificadas, a latência da rede será difícil de prever e, em muitos casos, poderá ser o principal fator de contribuição para a latência de ponta a ponta.

Com o gerenciamento cuidadoso da rede e a alocação da largura de banda, os fatores imprevisíveis da latência da rede podem se tornar mais previsíveis. O link entre a câmera e o dispositivo de visualização precisa ter vazão garantida.

Em uma LAN, isso pode ser feito garantindo que haja o mínimo de saltos possível no link. O link não deve ser compartilhado com outros tipos de tráfego, como Voice over IP (VoIP) ou outros protocolos que serão priorizados sobre o vídeo por padrão, ou outros serviços exigentes que sobrecarregarão o link.

Se o link for via WAN (rede de longa distância), a QoS precisará ser garantida em cada salto, ou seja, nos roteadores e switches. Isso também pode ser feito alugando-se uma rota ponto a ponto junto ao seu provedor de Internet local.

Fatores configuráveis que afetam a vazão:

• Sobrecarga do pacote (exemplo dependente de protocolo: cabeçalho de VLAN)

• Proxies e firewalls

• QoS de cada link em toda a rota

• Modo Burst ou não (ativado -> velocidade mais alta)

• MTU - o tamanho da carga útil do vídeo

Fatores relacionados ao custo que afetam a vazão:

• Velocidade do processador e buffer de porta dos switches e roteadores

• Tipo de cabo (ou sem fio)

A escolha do processamento de imagem e do método de compactação na câmera afeta a latência da rede, pois essas escolhas afetam o volume de dados de vídeo que estão sendo produzidos. O envio de um volume menor de dados claramente levará menos tempo.

Os quadros de vídeo da câmera são passados para um aplicativo de protocolo de transporte, geralmente RTP ou HTTP. A transmissão para o cliente de renderização é feita por meio de uma rede IP. A transmissão é feita por meio de TCP confiável, que é um protocolo orientado à conexão com retransmissão de pacotes de dados perdidos, ou por meio do UDP, que é um protocolo mais simples que não garante a entrega e não oferece nenhum recurso para retransmissão de pacotes perdidos.

Com as câmeras Axis, você tem as seguintes opções ao encapsular o stream de dados codificados para transmissão:

Normalmente, leva mais tempo para transportar um pacote por TCP do que por UDP, devido à configuração extra da conexão, às mensagens de confirmação e à retransição de pacotes quando uma perda é detectada. Por outro lado, com o UDP, o usuário experimentará artefatos ou interrupções no stream de vídeo quando os pacotes forem perdidos no caminho. O TCP produzirá jitter (instabilidade) na perda de pacotes, enquanto o UDP produzirá artefatos e/ou interrupções na perda de pacotes. Se a perda de dados e a degradação temporária da qualidade forem aceitáveis, o UDP poderá ser uma opção para redes com baixa largura de banda.

Se você usar TCP, haverá mais pacotes a serem enviados e, para suportar isso, precisará de uma largura de banda maior. Se você sabe que há muito congestionamento na rede, deve selecionar UDP como protocolo de transmissão. Como a perda de pacotes é aceita, ao mesmo tempo, ela também levará à perda de pacotes, resultando em menor qualidade da imagem.

Com o WebRTC e a taxa de bits adaptável, o vídeo será adaptado à rede para evitar picos de latência incontroláveis, como os que podem ocorrer com o TCP.

Depois que o vídeo é recebido no lado do cliente do sistema de vídeo, ele é descompactado, reordenado e decodificado, e um reprodutor de mídia é usado para renderizar o vídeo. Cada etapa contribui para a latência total gerada no lado do cliente, e o próprio computador desempenha um papel importante. A capacidade da CPU, o sistema operacional, a placa de rede e a placa gráfica afetam a latência. Normalmente, o MJPEG é o método com a menor latência de decodificação e exibição porque os dados podem ser desenhados na tela à medida que chegam, sem códigos de tempo. O H.264 e outros padrões de compactação de vídeo atribuem códigos de tempo a cada imagem e exigem que sejam renderizadas de acordo.

Redes reais geralmente são muito grandes e complicadas, com comportamento de tráfego explosivo e pacotes que chegam em ordens diferentes. Para compensar as variações introduzidas pelo transporte de rede, um buffer é usado no lado do cliente. Conhecido como buffer de reprodução ou buffer de jitter, esse buffer garante que os pacotes fiquem na ordem certa e armazena dados suficientes para que o decodificador não fique “faminto“; a taxa de quadros uniforme é exibida no visualizador.

Esse buffer contribui para uma latência relativamente alta. Diferentes aplicativos visualizadores têm diferentes tamanhos de buffer de reprodução e, na maioria dos visualizadores, é possível alterá-los. Mas é importante ter em mente que a redução do buffer aumentará o jitter, portanto, é necessário encontrar um equilíbrio entre o jitter e a latência aceitável.

Na reprodução, o streaming de áudio é mais sensível a falhas ou atrasos do que o streaming de vídeo. Um único pacote de áudio atrasado gera uma rachadura desagradável na trilha sonora, e o áudio precisa ser sincronizado com o vídeo. Por esses motivos, é necessário configurar um grande buffer de reprodução quando o vídeo é acompanhado de áudio, o que, obviamente, aumenta a latência.

O tempo necessário para o processo de descompactação depende de qual método de codificação é usado. A latência da decodificação depende muito do suporte ao decodificador de hardware disponível na placa de vídeo. A decodificação em hardware geralmente é mais rápida do que em software. Geralmente, a decodificação do H.264 é mais demorada do que a do MJPEG. Para a decodificação em H.264, a latência também depende do perfil escolhido na fase de codificação. A base é a mais fácil de decodificar, enquanto a principal e a alta levarão mais tempo. O stream de dados H.264 produzido pelos produtos de vídeo da Axis exige que o decodificador armazene em buffer pelo menos um quadro.

O dispositivo de exibição também afeta a latência, por meio do tempo de transferência, taxa de atualização e tempo de resposta.

O tempo de transferência é o tempo necessário para que os dados de vídeo decodificados sejam enviados do decodificador por meio do cabo (por exemplo, HDMI) para o monitor. O tempo de transferência depende da velocidade do cabo e da resolução do monitor. Para um monitor FHD conectado com um cabo HDMI padrão, isso adiciona cerca de 10 ms de latência.

A frequência de atualização do dispositivo de exibição também afeta a latência. Para monitores de computador, a taxa de atualização é de cerca de 17 a 20 ms, enquanto os monitores especiais para jogos têm uma taxa de atualização de 4 a 5 ms.

O tempo de resposta é o tempo que leva para os pixels do monitor mudarem de valor. Isso depende do tamanho da alteração, mas, para alterações maiores, pode adicionar uma latência de 5 a 20 ms.

O projeto de um sistema para atender às metas de baixa latência exigirá outras compensações. É preciso decidir qual é a latência aceitável e encontrar um equilíbrio entre a qualidade do vídeo e o custo do sistema de videomonitoramento Este capítulo fornece algumas recomendações simples sobre o lado da câmera, a rede e o lado do cliente, para reduzir a latência de ponta a ponta.

• Resolução. Escolha uma resolução mais baixa, se possível. Uma resolução mais alta implica mais dados a serem codificados, o que pode levar a uma latência mais alta.

• Aprimoramentos. Reduza aprimoramentos de imagem, como rotação, desentrelaçamento e dimensionamento. O uso de aprimoramentos de imagem pode aumentar a latência.

• Modo de baixa latência. Você pode otimizar o tempo de processamento de imagens de seu stream ao vivo ativando o modo de baixa latência nas configurações simples. A latência em seu streaming ao vivo é reduzida ao mínimo, mas a qualidade da imagem é inferior ao normal.

• Máscara de privacidade. Considere não usar máscara de privacidade, pois ela aumenta a latência.

• Codificação. Certifique-se de que o codificador ofereça o nível de controle sobre a latência que o seu sistema exige. É preciso haver um equilíbrio entre o volume de dados e a capacidade da infraestrutura de rede. Se o vídeo for enviado por uma rede com largura de banda limitada, escolha H.264 ou H.265 como método de codificação. Isso resultará em uma taxa de bits mais baixa devido à compactação mais rígida. Escolha o perfil baseline se a rede puder gerenciar a taxa de bits, pois o baseline será mais fácil de codificar e decodificar.

• Perfil de armazenamento no Zipstream. Considere a possibilidade de não usar o perfil de armazenamento, pois ele aumenta a latência.

• Número de streams. Limite o número de streams da câmera com diferentes configurações. Cada combinação exclusiva de configurações, como resolução, taxa de quadros e compactação, requer seu próprio processo de codificação individual, o que adiciona carga ao processador e causa atraso.

• Taxa de bits. Tente usar uma taxa de bits mais baixa. Para reduzir a latência na câmera, precisamos reduzir o volume de dados gerados. A taxa de bits é afetada por muitos fatores, como condições de luz, tipo de cena, bem como nível de compactação, resolução, taxa de quadros e mais.

• Taxa de quadros. Use a taxa de quadros mais alta possível. Como os quadros são codificados e decodificados um de cada vez, os buffers atrasarão pelo menos um quadro. Com taxas de quadros mais altas, os atrasos causados nos buffers serão reduzidos. Para um stream com 30 fps, cada quadro leva 1/30 de segundo para ser capturado. Podemos então esperar uma latência de até 33 ms nos buffers. Para 25 fps, o atraso será de até 40 ms.

• Modo de captura. Considere o uso de um modo de captura com a menor resolução e a maior taxa de quadros possível. A baixa resolução significa menos pixels para processar e a alta taxa de quadros significa um atraso reduzido do buffer.

• Áudio. Considere a possibilidade de não usar áudio. O áudio que precisa ser sincronizado com o vídeo requer um buffer de reprodução maior, o que leva a uma latência mais alta.

Muitas das recomendações relativas ao lado da câmera visam limitar o volume total de dados enviados pela rede. Na maioria dos casos, uma rede limitada é o maior fator de contribuição para a latência de ponta a ponta. Se a rede tiver alta capacidade, muitas das recomendações acima não serão necessárias. Certifique-se de que sua rede tenha uma boa qualidade de serviço e que todos os saltos dentro da rede estejam configurados para atender à sua demanda de vídeo. Certifique-se de que a taxa de bits na rede seja capaz de fornecer a saída de dados da câmera.

As melhorias no lado do cliente têm um grande impacto na latência de ponta a ponta, e geralmente há muito que você pode fazer.

Processador e placa de vídeo. A CPU desempenha um papel central na latência do lado do cliente. Use um bom processador com capacidade suficiente para processar o stream de vídeo e lidar com outras solicitações simultaneamente. Use uma boa placa de vídeo atualizada com o software e o suporte mais recentes para decodificação.

Visualizador/VMS - Certifique-se de que o visualizador não tenha um buffer de reprodução desnecessariamente longo, mas esteja ciente da compensação com o jitter do vídeo.

Visor. Use um visor com a taxa de atualização mais rápida possível. Para obter uma visão em tempo real agradável (sem, no entanto, afetar a latência), ajuste a frequência da tela para um múltiplo da taxa de quadros de captura da câmera. Um exemplo seria 60 Hz para o modo de 30 fps ou 50 Hz para o modo de 25 fps.