Horizontglättung

Januar, 2023

Zusammenfassung

Eine Panoramakamera mit Mehrfachsensor wird, bzw. vielmehr die Sensoren werden, üblicherweise geneigt installiert, um mehr vom Boden und weniger vom Himmel einzufangen. Doch aufgrund der Art der Projektion lässt die Neigung den Horizont im erzeugten Weitwinkel-Panoramabild gekrümmt erscheinen.

Horizontglättung ist eine Funktion von Multisensor-Kameras zum Ausgleich dieser Neigung. Durch die Glättung des Horizonts und die Korrektur der Verzerrung verbessert die Funktion die Bildqualität und liefert ein als gerade empfundenes Bild. Objekte, die im wirklichen Leben vertikal sind, bleiben auch im Bild vertikal.

Durch die Projektion fehlen an den Ecken des begradigten Bilds einige Sensordaten. Diese Bereiche können je nach Nutzervorliebe erhalten (als schwarze Pixel angezeigt) oder sanft gestreckt werden, so dass die Ecken ausgefüllt werden. In beiden Fällen wird entlang des Horizonts die maximale Abdeckung bewahrt.

Einführung

Horizontglättung ist eine Funktion von Multisensor-Panorama-Kameras, um ein visuell ansprechendes Bild zu erzeugen, das als gerade empfunden wird. Die Funktion kompensiert die Neigung der Kamera, die ansonsten den Horizont krümmen würde. Nebeneffekte dieser Kompensation werden automatisch so ausgeglichen, dass die Abdeckung gleich bleibt und das Bild weiterhin rechteckig erscheint.

In diesem Whitepaper gehen wir kurz auf die Funktionsweise der Horizontglättung ein sowie auf die Vorteile, die sich dadurch für Panorama-Kameras ergeben können.

    180-Grad-Ansicht, erfasst von einer Panorama-Kamera mit Horizontglättung. Obwohl die Kamera nach unten geneigt ist, ist der Horizont gerade und Objekte, die im echten Leben senkrecht stehen, bleiben auch im Bild senkrecht.

Hintergrund: Panoramabilder

Panorama-Kameras mit Mehrfachsensor liefern mithilfe mehrerer Sensoren einen gemeinsamen Panoramaüberblick in Weitwinkel. Neueste Fortschritte bei der Entwicklung von Stitching-Algorithmen ermöglichen das nahtlose Zusammenfügen der Bilder aller Sensoren zu einem durchgehenden Bild ohne sichtbare Grenzen, Lücken, Überlappungen oder Farbunterschiede zwischen den Daten der verschiedenen Sensoren.

    Eine Multisensorkamera mit vier Sensoren, die bei der Installation geneigt werden kann, um eine Szene optimal zu erfassen.

Eine Multisensorkamera wird (bzw. vielmehr die Sensoren werden) üblicherweise geneigt installiert, um mehr vom Boden und weniger vom Himmel einzufangen. Dadurch wird der Horizont verzerrt, weil er sich nicht in der Bildmitte befindet.

So, wie das Bild in einer Panorama-Kamera projiziert wird, muss alles im Sichtfeld um eine Mittellinie gekrümmt werden. Um jeden Bildsensor optimal zu nutzen, wird das Bild üblicherweise so projiziert, dass sich diese Linie in der Bildmitte befindet. Befindet sich der Horizont zufälligerweise auf der Mittellinie, ist er gerade. Neigt man aber die Kamera, so dass sich der Horizont nicht auf der Mittellinie befindet, wird er gebogen.

    180 Grad Panorama-Schnappschüsse, aufgenommen von einer Multisensorkamera ohne Horizontglättung. Die zusätzlichen Linien im Bild veranschaulichen, wie die Weitwinkel-Multisensorausgabe zu einem gemeinsamen, rechteckigen Bild projiziert wurde. Alle Linien außer der horizontalen und vertikalen Bildmitte erscheinen gebogen oder geneigt.

Das obige Panoramabild ist voll funktionsfähig, aber die Ansicht ist noch nicht ideal. Die Tatsache, dass der Bildinhalt nicht gerade ist, kann auch das Ergebnis der Objekterkennungsanalytik beeinflussen, falls eine solche angewandt wurde.

Was ist Horizontglättung?

Horizontglättung gleicht die physische Neigung der Kamera aus, wodurch Verzerrungen entfernt werden und der Horizont wieder gerade erscheint, auch wenn er sich nicht in der Bildmitte befindet. Alle im echten Leben senkrechten Objekte und Linien bleiben auch in der Abbildung senkrecht. So verbessert die Horizontglättung das Bild.

Horizontglättung bewahrt die Abdeckung von 180 Grad am Horizont und die senkrechte Abdeckung der Kamera in der senkrechten Mittellinie. Die Pixeldichte des Horizonts ändert sich leicht, wenn der Horizont von einer gekrümmten in eine gerade Linie mit der gleichen horizontalen Breite umgewandelt wird.

    180 Grad Panorama-Schnappschüsse, aufgenommen von einer Mehrfachsensorkamera.
  1. Links: Ohne Horizontglättung ist das Bild um die Mittellinie der Kameraansicht (gelb markiert) gekrümmt. Wegen der nach unten geneigten Kamera liegt diese Linie nicht auf dem Horizont.
  2. Rechts: Horizontglättung gleicht die Abwärtsneigung der Kamera aus, das Bild wird um den Horizont herum projiziert.
    180 Grad Panorama-Schnappschüsse, aufgenommen von einer Mehrfachsensorkamera mit Horizontglättung. Der Horizont ist gerade, senkrechte Objekte sind senkrecht.

Auswirkungen auf die Ecken des Bildes

Wenn die Horizontglättung das ursprüngliche, rechteckige Bild biegt, entsteht ein nicht rechteckiges Bild. Dabei werden die ursprünglichen Bildecken abgeschnitten, d .h. die Sensordaten von den Ecken der Kameraansicht gehen verloren. Dies ist normalerweise kein Problem, da die Ecken des Kamerabilds meist nur wenige Pixel von Himmel und Wand (bei wandmontierten Kameras) enthalten.

Das geglättete Bild hat in den Ecken keine Sensordaten. Die Abdeckung der Kamera reicht nämlich nicht aus, um alle Pixel des verzerrten Bildes zu füllen. Sie können es wahlweise mit schwarzen Ecken speichern und eventuell das Bild zuschneiden, so dass die Bildecken sowieso nicht sichtbar sind. Doch die Horizontglättung kann auch ein gutes Bild liefern, indem sie vorsichtig und intelligent die verfügbaren Daten bis zu den Ecken streckt. So entsteht ein vollständiges Bild ohne schwarze Ecken. Die maximale Abdeckung entlang des Horizonts wird bewahrt, sowohl in einem gestreckten Bild als auch bei einem Bild mit schwarzen Ecken.

Abhängig vom gewählten Ausmaß funktioniert die Streckung unterschiedlich. Bei maximaler Einstellung wird hauptsächlich der untere Teil des Bilds gestreckt, was sich stark auf das Erscheinungsbild der dort befindlichen Objekte auswirken kann. Bei der Einstellung „Minimum“ wirkt sich die Streckung auf einen größeren Teil des Bildes aus, jedoch mit kleineren Auswirkungen im gesamten Bild. Minimale Streckung hält außerdem der Rauschpegel niedrig, was besonders bei Szenen mit wenig Licht wichtig sein könnte.

    Die Bereiche in den Ecken des Bilds, in denen die Bildsensoren keine Daten liefern, können je nach Vorliebe des Benutzers bewahrt (als schwarze Pixel angezeigt) (links) oder gestreckt (rechts) werden.