Kodek AV1 w dozorze wizyjnym

Branża dozoru wizyjnego przechodzi z długo stosowanego standardu kompresji obrazu H.264 na standard AV1. Ten nowszy kodek pozwala lepiej sprostać rosnącym wymaganiom w zakresie przepustowości i pojemności pamięci masowej, jakie stawia współczesna transmisja obrazu o wysokiej rozdzielczości. W odróżnieniu od standardu H.265, którego rozwój został spowolniony przez skomplikowane warunki licencyjne, standard AV1 stanowi pozbawioną opłat licencyjnych¹ bardzo wydajną alternatywę, wspieraną przez liderów branży technologicznej.

Firma Axis wdrożyła obsługę standardu AV1 w kamerach opartych na układzie SoC (System-on-Chip) ARTPEC-9. Wdrożenie to koncentruje się na funkcjach istotnych w zastosowaniach w systemach dozorowych, a nie funkcjach związanych z transmisją rozgłoszeniową. AV1 zapewnia wydajność kompresji porównywalną z standardem H.265 bez konieczności ponoszenia rosnących kosztów sprzętowych ani zwiększania poboru mocy. Jest kompatybilny z istniejącymi technologiami Axis w rodzaju Zipstream, a jednocześnie umożliwia korzystanie z nowych funkcji, w tym Togglable overlays (Przełączane nakładki) oraz standardu AVIF dla obrazów statycznych.

Opiera się na tych samych podstawowych zasadach kompresji blokowej, estymacji ruchu oraz kodowania z wykorzystaniem transformat, co standardy H.264 i H.265, wprowadzając jednocześnie bardziej elastyczne mechanizmy predykcji. Sztywne konstrukcje ramek typu P i typu B zastąpiono w nim wszechstronnymi międzyramkami oraz bardziej wydajnymi ramkami kluczowymi. Dokładniejszy jest podział obrazu dzięki wykorzystaniu superbloków, które można dzielić na różne kształty i współczynniki proporcji.

Na potrzeby dozoru wizyjnego narzędzia do analizy ruchu globalnego i ruchu z zakrzywieniem umożliwiają koderowi obsługę ruchów kamery przy wykorzystaniu minimalnej ilości danych. Ramki przełączające umożliwiają strumieniowanie z adaptacyjną przepływnością, pozwalając na zmianę rozdzielczości bez konieczności tworzenia nowej, niezależnej ramki kluczowej. Jakość techniczną zapewniają większa wewnętrzna głębia bitowa, różne rodzajom transformat oraz zaawansowane filtrowanie w pętli. Udoskonalenia te wspiera niebinarny koder arytmetyczny, zaprojektowany z założeniem wydajnej implementacji sprzętowej i szybszego przetwarzania.

¹Wymagana jest zgoda użytkowników na warunki licencji związane z technologią wizyjną AV1.

Od ponad dwudziestu lat standard H.264 (AVC) jest dominującym wyznacznikiem kompresji obrazu w systemach dozorowych i podobnych zastosowaniach, zapewniając równowagę między przepływnością a jakością obrazu. Jednak współczesne systemy bezpieczeństwa muszą sprostać bezprecedensowym wymaganiom w odniesieniu do pozyskiwanych danych. Wyższe rozdzielczości, większa liczba kamer oraz rosnąca popularność analiz obrazu działających w chmurze sprawiają, że przepustowość sieci i pojemność pamięci masowej dochodzą do własnych granic. Branża się rozrasta i wymaga, by technologia kompresji zmieniała się wraz z nią.

Chociaż standard H.265 był niegdyś uważany za naturalnego następcę, skomplikowane zasady licencjonowania spowolniły jego wdrażanie. Inaczej jest ze standardem AV1, który zapewnia wyższą wydajność kompresji w połączeniu z szerokim wsparciem ze strony branży informatycznej oraz dopracowaniem ekosystemu. Standard ten to otwarty kodek bez opłat licencyjnych wspierany przez wiodące światowe firmy technologiczne, zaprojektowany z myślą o wymaganiach współczesnych materiałów wizyjnych.

Wiele lat temu Axis zapoczątkowała w branży erę standardu H.264, będąc pierwszym producentem kamer dozorowych, który przyjął go w swoich urządzeniach. Obecnie Axis wprowadza do branży standard AV1.

W niniejszej białej księdze przeanalizowano zastosowanie standardu AV1 w dozorze wizyjnym – od wydajności kompresji po wsparcie ekosystemu oraz praktyczną integrację. Dokument zawiera porównania przepływności, ogólny opis techniczny działania standardu AV1 oraz przewodnik dla partnerów programistycznych dotyczący integracji urządzeń Axis.

Bez kompresji obrazu strumieniowanie i przechowywanie materiałów wizyjnych byłyby praktycznie niemożliwe. Standardowy strumień wizyjny w rozdzielczości 1080p przy 30 obrazach na sekundę miałby przepływność niemal 1 Gb/s bez kompresji. Przy tak wysokiej przepływności dysk o pojemności 1 TB wypełniłby się nagraniem w niecałe trzy godziny, a typowa sieć informatyczna nie byłaby w stanie przesłać obrazu z jednej kamery. W przypadku kamery 8K, która zapewnia wyjątkowo wysoką jakość obrazu, ten sam dysk zapełniłby się w ciągu około 30 minut.

Kodery wizyjne mocno kompresują dane wizyjne, dzięki czemu strumieniowanie, przechowywanie i transmisja obrazu z systemu dozorowego na dużą skalę są możliwe do realizacji.

Chociaż standard H.265 wniósł usprawnienia względem standardu H.264, umożliwiając zastosowanie kamer wyższej rozdzielczości przy zmniejszonej przepływności, sama liczba zainstalowanych kamer nadal stanowi obciążenie dla przepustowości sieci i zasobów pamięci masowej. W miarę stosowania w branży rozdzielczości wyższej niż 4K stopniowe usprawnianie kompresji przestaje wystarczać.

Do tego nowoczesne kodery wizyjne opierają się na metodach kompresji opracowanych na przestrzeni lat przez wiele różnych firm i badaczy. Znaczącą trudnością związaną zarówno ze stosowaniem standardów H.264, jak i H.265 są ich rozdrobnione i często nieprzewidywalne modele licencjonowania patentów. W przypadku standardu H.265 mieliśmy do czynienia z wieloma konsorcjami patentowymi oraz indywidualnymi właścicielami patentów, co stworzyło mętny i kosztowny ekosystem dla producentów i użytkowników. Ta złożoność utrudniła przystosowanie, ograniczyła kompatybilność oraz spowodowała powstanie nieprzewidzianych kosztów podczas wdrażania rozwiązań. Doprowadziła nawet do tego, że niektórzy czołowi producenci sprzętu zaczęli wycofywać obsługę standardu H.265 z istniejących urządzeń.

Branża zabezpieczeń potrzebuje kodeka, który nie tylko zapewnia znakomitą kompresję, ale także działa w oparciu o przejrzystą, dostępną i przyszłościową platformę.

Standard kompresji obrazu AV1 został opracowany przez Alliance for Open Media (AOMedia) – konsorcjum założone w celu utworzenia otwartego standardu wizyjnego pozbawionego opłat licencyjnych. Obecnie standard AV1 jest preferowanym kodekiem wśród głównych dostawców usług strumieniowej transmisji treści w rodzaju Netfliksa i YouTube. Obsługiwany jest przez wszystkie główne systemy operacyjne z przeznaczeniem dla komputerów (Windows®, macOS® i Linux®) oraz platform mobilnych (Android™ i iOS®).

Jako otwarty standard wspierany przez takie spółki jak Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, Nvidia i Samsung w ramach organizacji AOMedia, AV1 ma znakomite perspektywy rozwojowe na przyszłość. Jego otwarty charakter oznacza również mniej niepewności związanych z licencjonowaniem oraz niższe koszty opracowania patentów w porównaniu z innymi kodekami.

Obecnie trwa przyjęcie standardu na potrzeby systemów zarządzenia obrazem (VMS), a kilku wiodących dostawców z branży, w tym Milestone, Genetec i Axis, już zapewnia jego obsługę. Klient internetowy wielu rozwiązań w zakresie systemów VMS, w tym program AXIS Camera Station Pro, korzysta z natywnej obsługi standardu AV1 – czego standard H.265 nie zdołał osiągnąć nawet po dziesięciu latach obecności na rynku. Dodanie obsługi standardu AV1 jest stosunkowo proste dzięki dopracowanym bibliotekom i narzędziom o otwartym kodzie źródłowym.

Axis aktywnie współpracuje z organizacjami branżowymi w rodzaju ONVIF® w celu promowania współpracy rozwiązań w zakresie standardu AV1. Axis ocenia, że obecna metoda strumieniowania obrazu ONVIF jest już zgodna ze standardem AV1, i przewiduje, że szersze wdrożenie tego standardu w branży utoruje drogę do jego formalnego włączenia do standardów ONVIF.

Gdy idzie o sprzęt, nowoczesne procesory coraz częściej wyposażone są w zintegrowaną funkcję dekodowania standardu AV1. Chociaż niektóre urządzenia wizyjne wyprodukowane w latach 2015 – 2020 obsługują standard H.265, ale nie obsługują standardu AV1, szybki wzrost sprzętowej obsługi standardu AV1 w nowoczesnych urządzeniach oznacza, że luka ta szybko się zmniejsza. Na przykład system zarządzania obrazem AXIS Camera Station S2216 Mk II Rack Appliance to rozwiązanie do zapisu, które zapewnia sprzętową obsługę dekodowania standardu AV1 w 16 kanałach bez konieczności stosowania dedykowanego procesora graficznego (GPU). Jednak nawet typowe procesory stosowane w laptopach są w stanie obsłużyć strumienie AV1 w rozdzielczości 8K30. Ponadto coraz więcej smartfonów i tabletów zawiera sprzętowe dekodery standardu AV1, co eliminuje obawy związane z nadmiernym rozładowywaniem się akumulatorów zasilających bądź opóźnieniami podczas odtwarzania na urządzeniach mobilnych.

O ile standard AV1 nie był pierwotnie projektowany z myślą o zastosowaniach dozorowych, standardy H.264 i H.265 również nie były. Podstawowa metoda kompresji we wszystkich standardach jest jednak niezwykle elastyczna, a implementacja standardu AV1 w architekturze SoC ARTPEC-9 Axis została zoptymalizowana pod kątem dozoru wizyjnego.

W przypadku konkretnej ilości danych wizyjnych niższe przepływności, jakie można uzyskać dzięki standardowi AV1, bezpośrednio przekładają się na zmniejszenie zapotrzebowania na pojemność pamięci masowej, co potencjalnie pozwala przedłużyć okres eksploatacji istniejącej infrastruktury pamięci masowej lub zapewnić dłuższe okresy przechowywania danych. Ponadto zmniejszenie zapotrzebowania na przepustowość może przyczynić się do opóźnienia lub wyeliminowania konieczności przeprowadzania kosztownych modernizacji sieci. Ogólnie rzecz ujmując, standard ten pozwala obniżyć całkowity koszt posiadania (TCO) systemu dozoru wizyjnego.

Wobec obserwowanego szybkiego rozwoju systemów dozoru wizyjnego opartych na chmurze technologii kompresji stawiane są wysokie wymagania. Przesyłanie obrazu z setek lub tysięcy kamer do pamięci masowej w chmurze oraz platform analitycznych wymaga kodeka zapewniającego wysoką jakość przy niskich przepływnościach w łączach internetowych. Standard AV1 został pomyślany z założeniem transmisji obrazu przez internet, a dzięki modelowi rozpowszechniania bez opłat licencyjnych jest natywnie obsługiwany przez przeglądarki, platformy i usługi chmurowe. Tak szerokie wsparcie ułatwia integrację z chmurą i eliminuje bariery związane z kompatybilnością, które w przeszłości utrudniały wdrażanie standardu H.265 na dużą skalę w środowiskach chmurowych.

Firma Axis jako pierwszy producent w branży zabezpieczeń wdrożyła obsługę standardu AV1 w produkowanych przez siebie kamerach. Odzwierciedla to zaangażowanie Axis zarówno w rozwój sektora dozoru wizyjnego, jak i w zwiększenie korzyści dla klientów.

Wdrożenie standardu AV1 skupia się na podstawowych zaletach kodeka w zastosowaniach związanych z bezpieczeństwem. Standard został zaadoptowany na potrzeby konkretnych wymagań związanych z ciągłym zapisem przez całą dobę, integracji z analizą wspartą sztuczną inteligencją oraz możliwości współpracy systemów dozorowych. Funkcje związane z transmisją rozgłoszeniową, które nie mają związku z dozorem wizyjnym, zostały celowo pominięte. Wykorzystywane są natomiast podstawowe możliwości kompresji oparte na elastycznym podziale na bloki w kodeku, zaawansowanej predykcji wewnątrz- i międzyramkowej oraz zaawansowanym filtrowaniu.

Obsługa standardu AV1 nie stanowi czynnika kosztowego w kamerach Axis, ponieważ architektura ARTPEC w kamerze umożliwia skuteczne wdrażanie i integrację nowych kodeków. Klienci czerpią zatem z wydajności standardu AV1 bez ponoszenia dodatkowych kosztów. Architektura ARTPEC-9 zapewnia pełną wydajność kodowania AV1 w czasie rzeczywistym przy minimalnym zwiększeniu obciążenia, bez konieczności stosowania dodatkowego procesora czy zwiększania poboru mocy.

Od momentu wprowadzenia na rynek obsługiwane są wszystkie funkcje Axis dostępne w standardach H.264 i H.265, w tym technologia Zipstream, podpisane nagrania, algorytmy kontroli przepływności oraz profile Zipstream. Standard AV1 jest również w pełni obsługiwany w aplikacjach AXIS Camera Station i AXIS Site Designer.

Standardy AV1, H.264 i H.265 zostały opracowane z myślą o szerokim zastosowaniu w wielu branżach. Ponieważ standardy koncentrują się na możliwościach dekodera, nie zaś na koderze, można niezależnie wprowadzać stopniowe ulepszenia kodera. To właśnie umożliwiło firmie Axis opracowanie technologii Zipstream – optymalizacji przeznaczonej specjalnie do zastosowań w systemach dozoru wizyjnego, zaprojektowanej do współpracy z podstawowym kodekiem wizyjnym. Pozwala ona uzyskać o co najmniej 50% mniejsze zapotrzebowanie na przepustowość łącza i pojemność pamięci masowej, zachowując jednocześnie wartość dowodową nagrań.

Technologia Zipstream analizuje obserwowane sceny w czasie rzeczywistym, dynamicznie identyfikując obszary zainteresowania takie jak twarze ludzi i tablice rejestracyjne pojazdów z zachowaniem detali, stosując jednocześnie większą kompresję obszarów o mniejszym znaczeniu. Dzięki połączeniu tej technologii z charakterystyczną dla standardu AV1 doskonałą kompresją złożonych obiektów ruchomych zachowane zostają wysokiej jakości detale istotne pod kątem wartości dowodowej tam, gdzie mają największe znaczenie, przy jednoczesnym znacznym obniżeniu całościowej przepływności.

Już w swojej pierwszej implementacji w układzie ARTPEC standard AV1 konsekwentnie wykazywał wydajność kompresji porównywalną z implementacją trzeciej generacji standardu H.265. Ponadto standard AV1 oferuje bardziej zaawansowany zestaw narzędzi, który otwiera zupełnie nowe możliwości. Wśród funkcji, które wkrótce dostępne będą w kamerach Axis, znajdą się Togglable overlays (Przełączane nakładki) oraz standard AVIF dla obrazów statycznych.

Funkcja „Togglable overlays” (Przełączane nakładki) umożliwia włączanie i wyłączanie elementów graficznych na obrazie zarówno na żywo, jak i w czasie odtwarzania nagrań. Elementy te obejmują ramki otaczające obiekty, notatki tekstowe oraz wizualizacje danych MQTT. Trwale osadzone w specjalnej warstwie obrazu nakładki są zawsze obecne w zapisie bądź transmisji wizyjnej, nawet jeżeli nie są wyświetlane. Operator może zatem wybrać wyświetlanie samego obrazu, gdy nie potrzebuje nałożonych informacji, nie tracąc przy tym żadnych danych osadzonych w nagraniu czy transmisji. Togglable overlays (Przełączane nakładki) pokazują, w jaki sposób bardziej zaawansowana architektura standardu AV1 umożliwia wykorzystanie zupełnie nowych funkcji, wykraczających poza możliwości standardów H.264 i H.265.

AVIF to nowoczesny standard obrazów statycznych oparty na tej samej technologii kompresji, co standard wizyjny AV1. Podobnie jak standard AV1 stanowi postęp w stosunku do standardów wizyjnych H.264 i H.265, tak standard AVIF zapewnia znacznie lepszą wydajność kompresji niż starsze standardy w rodzaju JPEG, przy jednoczesnym zachowaniu wysokiej jakości obrazu. W kontekście systemów dozoru wizyjnego oznacza to, że obrazy statyczne ujmowane przez kamery – takie jak pojedyncze ujęcia na potrzeby powiadomień lub dowodowe – będą przechowywane i przesyłane w bardziej efektywny sposób. Standard AVIF obsługuje również szeroką gamę kolorów oraz wysoki zakres dynamiki obrazu, co pozwala zachować więcej detali w trudnych warunkach oświetleniowych, które często występują w dozorze wizyjnym.

Wbudowany koder w układzie ARTPEC-9 umożliwia kompresję obrazu przy użyciu standardów MJPEG, H.264, H.265 lub AV1.

Chociaż standard MJPEG charakteryzuje się wyjątkowo niską efektywnością pod względem przepływności, jest łatwy w użyciu i po 30 latach nadal znajduje zastosowania. Ponieważ algorytm JPEG skutkuje wytworzeniem bardzo wysokiej przepływności, oprogramowanie w kamerze nakłada ograniczenie na całkowitą przepustowość w standardzie MJPEG.

Standardy H.264, H.265 i AV1 odznaczają się znacznie niższymi podstawowymi przepływnościami niż w MJPEG, a układ ARTPEC-9 umożliwia jednoczesne przesyłanie strumieni przy użyciu wszystkich trzech kodeków. Można dowolnie ustawiać rozdzielczość, częstotliwość odświeżania i kodowanie w zależności od potrzeb danego zastosowania, w granicach możliwości obliczeniowych urządzenia. W konfiguracji pamięci o najwyższej wydajności układ ARTPEC-9 zapewnia strumień 4K o częstotliwości odświeżania 60 obrazów na sekundę, osiągając łączną przepustowość na poziomie 540 MP/s. Więcej informacji znajduje się w białej księdze Wydajność strumieniowania w urządzeniach z układem ARTPEC-9.

Trudno jest przewidzieć przepływność w nowej scenie, ponieważ kodeki wizyjne są złożone, a efektywność przepływności jest w każdej scenie inna. Bardziej zaawansowane kodeki wykazują zazwyczaj większe zróżnicowanie. Aby uzyskać pomoc w oszacowaniu wymaganej przepływności i zapotrzebowania na pamięć masową w całościowych instalacjach wykorzystujących standardy H.264, H.265 i AV1, można skorzystać z narzędzia projektowego AXIS Site Designer, dostępnego na stronie axis.com/support/tools/axis-site-designer.

Testy przeprowadzone przez Axis z wykorzystaniem równoczesnych strumieni z tej samej kamery ujmującej wybrane sceny w ramach dozoru wizyjnego wykazały, że przepływność w standardzie AV1 jest zazwyczaj zbliżona do przepływności w standardzie H.265, natomiast przepływność w standardzie H.264 jest znacząco wyższa.

Porównywanie przepływności jest bezcelowe w przypadku różnicy jakości obrazu. Niestety nie ma niezawodnego sposobu automatycznego pomiaru jakości obrazu, a ocena manualna jest czasochłonna.

Jeżeli wykorzystywane są dwie kamery, należałoby:

• skonfigurować obie kamery tak, aby wytwarzały tę samą przepływność, a następnie porównać jakość obrazu, przeglądając kolejne ramki i poszukując ewentualnych artefaktów,

• albo skonfigurować obie kamery tak, aby zapewniały taką samą jakość obrazu (co jest długotrwałe i trudno weryfikowalne), a następnie porównać wynikową przepływność.

Jednak ustawione obok siebie dwie kamery będą mieć tylko w przybliżeniu takie samo pole widzenia. W konfiguracjach testowych niepewność przepływności może sięgać nawet 20%, a to zbyt dużo dla dokonania miarodajnego porównania. Aby zrekompensować fakt, że wykonywane są niemal identyczne ujęcia, użytkownik musiałby ująć szeroki wachlarz różnych scen.

Aby rzetelnie porównać dwa kodeki, należy zakodować nimi dokładnie ten sam obraz. Obraz (ujmowana scena) musi być identyczny w każdej ramce, co oznacza, że wszystkie ustawienia kamery, pole widzenia, ostrość oraz zawartość sceny muszą być zgodne. Jedynym sposobem na osiągnięcie tego warunku w trybie podglądu na żywo jest jednoczesne kodowanie obu strumieni w tej samej kamerze. Najnowsze układy ARTPEC dysponują wystarczającą mocą obliczeniową, aby poradzić sobie z takim zadaniem. Mogą one kodować dwa strumienie równolegle i zapisywać je na karcie SD lub strumieniować do systemu zarządzania obrazem (VMS). Zalecanym rozwiązaniem jest wykorzystanie jednej kamery ze wstępnie skonfigurowanymi profilami strumieniowania i wyzwalaczami; w ten właśnie sposób przeprowadzono opisane tu porównanie efektywności przepływności.

Chociaż przejście na standard AV1 wiąże się z nowymi korzyściami w zakresie wydajności i parametrów, najwłaściwiej jest rozumieć je jako udoskonalenie istniejących rozwiązań. Standard AV1 opiera się na tych samych podstawowych zasadach kompresji blokowej, estymacji ruchu oraz kodowania z wykorzystaniem transformat co standardy H.264 i H.265. Wprowadza też zestaw zaawansowanych narzędzi i mechanizmów predykcji.

Podstawowe różnice między kodekami dotyczą stopnia elastyczności, jakim dysponuje koder przy predykcji ruchu pikseli.

Standardy H.264 i H.265 wykorzystują hierarchię trzech podstawowych rodzajów skompresowanych ramek w celu uzyskania kompresji międzyramkowej. Sekwencja tych ramek tworzy grupę obrazów (GOP – Group of Pictures), która zazwyczaj rozpoczyna się ramką typu I, a po niej następuje kombinacja ramek typu P i ramek typu B. Koder może dowolnie wybrać rodzaj ramki następującej po ramce typu I.

• Ramki typu I, zwane również ramkami z kodowaniem wewnętrznym, to niezależne ramki kluczowe, które zawierają kompletny obraz bez odniesienia do innych ramek. Zazwyczaj zapewniają one punkty losowego dostępu przy dekodowaniu, wyszukiwaniu i korekcji błędów. Ramki typu I, wykorzystujące wyłącznie predykcję przestrzenną na podstawie sąsiednich pikseli w tej samej ramce, stanowią największy rodzaj ramek. Standard H.265 udoskonalił predykcję wewnątrzramkową poprzez wprowadzenie większej liczby trybów kierunkowych oraz większe bloki predykcji w porównaniu ze standardem H.264.

• Ramki typu P to ramki predykcyjne, kodowane poprzez przewidywanie różnic względem jednej lub dwóch poprzednich ramek typu I lub ramek typu P. Są one znacząco mniejsze od ramek typu I, ponieważ przechowują jedynie wektory ruchu (wskazujące jak przesunęły się bloki pikseli) oraz dane cząstkowe (pozostałości, różnice między obrazem przewidywanym a rzeczywistym). Chociaż ramki typu P skutecznie odzwierciedlają ruch między ramkami, ich oparcie o dane z przeszłości może ograniczać dokładność przewidywania przy złożonym ruchu lub znaczących zmianach sceny.

• Ramki typu B to ramki dwupredykcyjne odwołujące się zarówno do przeszłych, jak i przyszłych danych w celu maksymalizacji wydajności kodowania. Osiągają najwyższe współczynniki kompresji dzięki wykorzystaniu informacji z dwóch kierunków oraz zastosowaniu hierarchii, która zapobiega rozchodzeniu się artefaktów na inne ramki. Mimo że są doskonałym rozwiązaniem zapewniającym płynność ruchu, przez zależność od przyszłych ramek powodują opóźnienie dekodowania. Standard H.265 poprawił ich działanie dzięki elastycznym listom referencyjnym oraz adaptacyjnej predykcji wektorów ruchu.

Standard AV1 zachowuje koncepcję porównywania z innymi ramkami w celu zmniejszenia ilości danych, zastępując jednocześnie sztywne oznaczenia ramek typu P lub typu B elastyczną strukturą międzyramkową.

• Ramki kluczowe pełnią tę samą podstawową rolę co ramki typu I, dostarczając samodzielne obrazy, które można niezależnie dekodować. Pozostają niezbędne do rozpoczęcia odtwarzania, wyszukiwania i zapewnienia odporności na błędy. Udoskonalona predykcja wewnątrzramkowa zapewnia, że nawet „pełne” ramki kluczowe w standardzie AV1 są kodowane efektywniej niż ramki typu I w starszych kodekach, pozwalając zmniejszyć ich wielkość przy zachowaniu jakości. Do konkretnych narzędzi do predykcji wewnątrzramkowej należy więcej trybów kierunkowych, predyktor Paetha i predyktor palety barw oraz Chroma from Luma.

• • Więcej trybów kierunkowych oznacza szerszy zakres 56 kątów służących do predykcji wartości pikseli na podstawie pikseli sąsiednich, w porównaniu z 35 w standardzie H.265 i dziewięcioma w H.264.

  • Predyktor Paetha wybiera kierunki na podstawie gradientów, natomiast predyktor palety barw pozwala efektywnie zarządzać treściami wykorzystującymi ograniczone zestawy kolorów, takimi jak grafika komputerowa.

  • Chroma from Luma (CfL) to technika predykcji wewnątrzramkowej, która pozwala przewidywać informacje o kolorze (chrominancja) na podstawie danych dotyczących jaskrawości (luminancja).

• Ramki Inter odzwierciedlają ruch i zmiany zachodzące pomiędzy ramkami kluczowymi. Są one zasadniczo podobne do ramek typu P, jednak przewyższają możliwościami zarówno ramki typu P, jak i typu B dzięki wykorzystaniu wielokierunkowej struktury referencyjnej. W odróżnieniu od ramek typu P, które odwołują się do jednej ramki referencyjnej, oraz ramek typu B, które odwołują się do maksymalnie dwóch ramek, ramki Inter w standardzie AV1 mogą odwoływać się do nawet sześciu wcześniej zdekodowanych ramek w odniesieniu do dowolnego bloku. Dzięki temu koder może znaleźć najlepsze dopasowanie spośród wielu odległości czasowych, pozwalając uzyskać dokładniejszą predykcję i mniejsze pozostałości.

Standard AV1 wprowadza szereg zaawansowanych narzędzi służących do udoskonalania sposobu przetwarzania bloków.

Zaawansowany podział na bloki. Chociaż w standardzie AV1 obsługiwane są superbloki wielkości 128 x 128, główną jego zaletą jest elastyczność podziału na bloki. Superbloki wielkości 128 x 128 lub 64 x 64 pikseli można podzielić na bardzo elastyczne układy, w tym podziały typu T oraz współczynniki proporcji 4:1 lub 1:4, aż do wielkości 4 x 4 piksele. Dzięki temu koder może dzielić obrazy z większą precyzją na podstawie drobnych detali niż w przypadku sztywnych struktur, jak ma to miejsce w standardach H.264 lub H.265.

Predykcja połączeń. Funkcja ta umożliwia łączenie dwóch różnych predykcji dotyczących jednego bloku. Metoda „inter-inter” łączy różne ramki referencyjne lub wektory ruchu, natomiast metoda „inter-intra” łączy predykcje międzyramkowe (inter) i wewnątrzramkowe (intra) dla poprawy wyodrębniania konturów obiektów. Narzędzia w rodzaju predykcji podziału na kliny tworzą płynne, skośne linie przejściowe między łączonymi predykcjami, co pozwala uniknąć artefaktów w postaci bloków oraz precyzyjnie oddzielić ruchome obiekty.

Niektóre narzędzia w standardzie AV1 zostały zaprojektowane specjalnie z myślą o ruchu kamery i wysokich parametrach strumieniowania.

Ruch globalny i ruch z zakrzywieniem. Standard AV1 uwzględnia ruchy kamery, czyli obrót, pochylenie i zoom, poprzez zastosowanie jednego zestawu parametrów zakrzywienia krawędzi w dużych obszarach lub w całych ramkach. Eliminuje to potrzebę kodowania poszczególnych wektorów ruchu dla każdego bloku podczas ruchu kamery, zapewniając wysoką efektywność w przypadku materiału wizyjnego z systemu dozorowego.

Ramki przełączające (ramki typu S). Są to specjalistyczne ramki pośrednie przeznaczone do strumieniowania z adaptacyjną przepływnością. Można je przewidzieć na podstawie ramki referencyjnej o wyższej rozdzielczości. Dekoder może dzięki nim przełączyć się na strumień o niższej rozdzielczości bez konieczności uzyskania pełnej ramki kluczowej, czym pozwala na optymalizację działania w zależności od zmieniających się warunków sieciowych.

Standard AV1 wprowadza szereg udoskonaleń w zakresie obliczeń matematycznych i przetwarzania końcowego, które poprawiają końcową jakość obrazu oraz wydajność kodowania.

Wyższa precyzja wewnętrzna. Standard AV1 wykonuje przetwarzanie wewnętrzne z rozdzielczością 10 lub 12 bitów na próbkę, co pozwala ograniczyć błędy zaokrąglenia i zachować detale. Szczególną korzyść stanowi to w sytuacjach charakteryzujących się szerokim zakresem dynamiki.

Transformaty. W standardzie AV1 zawarty jest znacznie szerszy zakres transformat niż w standardzie H.265. Wykorzystuje on różne rodzaje transformat do odwzorowania wzorców cząstkowych na dziedzinę częstotliwości, w tym prostokątną dyskretną transformatę kosinusową (DCT) oraz asymetryczną dyskretną transformatę sinusową (DST). Kodek może łączyć różne transformaty 1D (jednowymiarowe) w płaszczyźnie poziomej i pionowej celem lepszego dostosowania do charakterystyki danych cząstkowych.

Filtrowanie w pętli. Standard AV1 wykorzystuje kierunkowy filtr poprawy jakości z ograniczeniami (CDEF – Constrained Directional Enhancement Filter) w celu wygładzenia artefaktów oscylacyjnych zgodnie z geometrią dominujących krawędzi. Wykorzystuje on również filtr Wienera - przywracania pętli (Wiener-based loop restoration filter) w celu zredukowania artefaktów rozmycia w obrębie całej ramki.

Synteza ziarnistości filmu. Zamiast stosowania nieefektywnego kodowania szumu losowego w standardzie AV1 przesyłane są parametry umożliwiające syntezę ziarnistości w dekoderze. Pozwala to zachować postrzeganą teksturę przy jednoczesnej znaczącej redukcji przepływności. Funkcja ta pomyślana została raczej z założeniem zastosowań filmowych i rozgłoszeniowych niż dozorowych.

Niebinarne kodowanie arytmetyczne. Standard AV1 korzysta z niebinarnego kodera arytmetycznego, który może być wydajniejszy i szybszy w implementacji sprzętowej niż binarne systemy CABAC stosowane w standardach H.264 lub H.265.

Axis obsługuje standard kodowania obrazu AV1 w urządzeniach wyposażonych w układ scalony SoC (System-on-Chip) ARTPEC-9 lub nowszy. Taka implementacja jest w pełni zgodna ze specyfikacjami standardu AV1 i obsługuje profil Main Profile z 8-bitową głębią kolorów, co zapewnia kompatybilność z szeroką gamą platform.

Biblioteka strumieniowania Axis obsługuje strumieniowanie obrazu w standardzie AV1 za pośrednictwem protokołów RTSP / RTP. Implementacja ta napisana jest w języku C# i wykorzystuje protokół VAPIX do komunikacji z urządzeniami Axis.

Aby zapewnić odtwarzanie o wysokich parametrach, stosuje się określone strategie dekodowania w zależności od platformy, na której odtwarzanie się odbywa. W przypadku aplikacji komputerowych wykorzystuje się narzędzie FFmpeg z dostępną biblioteką dekodera dav1d. Klienci internetowi korzystają z wbudowanej obsługi standardu wizyjnego AV1 we współczesnych przeglądarkach.

W przypadku aplikacji mobilnych pisanych dla systemów iOS i Android wdrożenie standardu AV1 przez Axis zapewnia równowagę między elastycznością a wydajnością (rozumianą jako zestawienie wysokich parametrów różnych składników). Do pobierania ramek obrazu ze strumienia wykorzystywane jest narzędzie FFmpeg. Faktyczne dekodowanie wykonuje sama platforma mobilna. Natywne odtwarzacze obrazu renderują ramki, aby zapewnić płynne odtwarzanie i efektywny pobór mocy.

Interfejsy API VAPIX® zapewniają niezbędne narzędzia i dokumentację umożliwiające dostosowaną do indywidualnych potrzeb integrację z oprogramowaniem układowym (systemem operacyjnym) AXIS OS. Aby uzyskać wskazówki dotyczące integracji strumienia wizyjnego kodowanego w standardzie AV1 pochodzącego z urządzeń Axis z rozwiązaniami i systemami użytkownika, p. dokumentacja Axis dla programistów, a w szczególności strona: https://developer.axis.com/video-streaming-and-recording/av1/how-to-guides/integration-guide-av1/.

Przed integracją z urządzeniami Axis obsługującymi standard AV1 należy upewnić się, że sprzęt i oprogramowanie systemowe obsługują dekodowanie obrazu w standardzie AV1. Dekodowanie obrazu w standardzie AV1 może angażować więcej zasobów procesora niż w przypadku standardu H.265 w razie braku obsługi sprzętowej lub braku optymalizacji biblioteki dekodera. Należy rozważyć zwiększenie wydajności aplikacji poprzez zastosowanie wielowątkowości, akceleracji GPU lub innych technik.

Korzystanie z technologii wizyjnej AV1 wiąże się z określonymi warunkami licencji. Obowiązkiem użytkownika jest uzyskanie wszelkich niezbędnych licencji od stron trzecich w odniesieniu do patentów lub innych praw własności intelektualnej, które mogą być wymagane w celu korzystania z technologii wizyjnej AV1.

Programiści w swych aplikacjach mogą pobierać strumienie AV1 przy użyciu standardowych protokołów w rodzaju RTSP / RTP lub HTTP poprzez dostęp do określonego adresu URL, który akceptuje parametry strumieniowania takie jak kodek, rozdzielczość, częstotliwość odświeżenia i przepływność.

Do odtwarzania strumieni AV1 można również wykorzystać standard WebRTC. W tym celu należy skorzystać z aplikacji klienckiej WebRTC do wyświetlania strumienia wizyjnego, co najmniej jednego serwera sygnalizacyjnego do nawiązania początkowego połączenia oraz serwera STUN lub TURN w celu włączenia funkcji NAT traversal.

W przypadku aplikacji klienckiej WebRTC najpopularniejszym i najbardziej elastycznym rozwiązaniem jest wykorzystanie współczesnej przeglądarki internetowej oraz opracowanie strony internetowej z wykorzystaniem języka JavaScript w celu współpracy z interfejsami API WebRTC (w rodzaju RTCPeerConnection i getUserMedia). W przypadku komputerów lub urządzeń mobilnych można zamiast tego opracować własną aplikację z wykorzystaniem bibliotek WebRTC (w rodzaju LibWebRTC) na potrzeby obsługi strumienia wizyjnego.

Jeżeli nie jest wykorzystywane rozwiązanie Axis Cloud Connect, konieczne będzie uruchomienie własnego serwera sygnalizacyjnego. Serwer będzie pełnić rolę koordynatora, umożliwiając kamerze Axis (jako jednemu z punktów końcowych WebRTC) oraz klientowi (drugiemu punktowi końcowemu) wymianę informacji niezbędnych do nawiązania bezpośredniego połączenia. Obejmuje to:

• Oferty i odpowiedzi SDP (Session Description Protocol). Podają one możliwości multimedialne oraz konfiguracje poszczególnych węzłów.

• Kandydaci ICE (Interactive Connectivity Establishment). Są to potencjalne adresy sieciowe (kombinacje adresów IP i portów), za pośrednictwem których uzyskać można dostęp do każdego węzła.

Serwer sygnalizacyjny można utworzyć z wykorzystaniem różnych technologii backend (np. Node.js z WebSockets, Python, Java, Go) w celu obsługi tej wymiany danych.

Większość urządzeń, w tym kamery i komputery klienckie, znajduje się za ruterami NAT (Network Address Translator) i zaporami sieciowymi. Utrudnia to nawiązywanie bezpośrednich połączeń typu peer-to-peer, ponieważ ich wewnętrzne adresy IP nie są publicznie rutowalne. Serwer STUN (Session Traversal Utilities for NAT) pomaga urządzeniom w ustaleniu ich publicznych adresów IP i mapowań portów. Wnosi stosunkowo niewielkie obciążenie przepustowości. Można korzystać z publicznych serwerów STUN lub uruchomić własny serwer.

Jeżeli serwer STUN nie wystarcza do nawiązania bezpośredniego połączenia (na przykład z powodu restrykcyjnych symetrycznych urządzeń NAT lub korporacyjnych zapór sieciowych), konieczne jest użycie serwera TURN (Traversal Using Relays around NAT). Serwer TURN pełni rolę przekaźnika przekazującego ruch multimedialny pomiędzy węzłami. Rozwiązanie to zajmuje więcej przepustowości i wprowadza niewielkie opóźnienie, ale gwarantuje łączność. Konieczne będzie uruchomienie własnego serwera TURN.

Aby dekodować strumienie wizyjne w standardzie AV1 u użytkownika, można skorzystać z FFmpeg – popularnego narzędzia multimedialnego o otwartym kodzie źródłowym. Do renderowania strumieni wizyjnych w standardzie AV1 można korzystać z większości współczesnych przeglądarek, odtwarzaczy multimedialnych, urządzeń do odtwarzania obrazu lub ogólnodostępnych narzędzi.

© 2026 Axis Communications AB. AXIS COMMUNICATIONS, AXIS, ARTPEC oraz VAPIX są zastrzeżonymi znakami towarowymi firmy Axis AB w porządku prawnym różnych krajów. Microsoft i Windows są zastrzeżonymi znakami towarowymi grupy spółek Microsoft. MacOS i Apple są znakami towarowymi spółki Apple Inc., zastrzeżonymi w Stanach Zjednoczonych i innych krajach. iOS jest znakiem towarowym lub zastrzeżonym znakiem towarowym spółki Cisco w Stanach Zjednoczonych i innych krajach i jest wykorzystywany na podstawie licencji. Android i Google są znakami towarowymi spółki Google LLC. Linux jest zastrzeżonym znakiem towarowym Linusa Torvaldsa w Stanach Zjednoczonych i innych krajach. ONVIF jest znakiem towarowym spółki ONVIF, Inc. Wszystkie inne znaki towarowe są własnością odpowiednich podmiotów.