12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern

12.12.2002 Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS

Frank Ottmann

Georeferenzierung von Videos und Bildern


Frank Ottmann

Inhalt

1. Motivation2. Grundlagen3. Beispiel: Pariser Brücke4. Video Compass5. Panorama-Aufnahme6. Patent


Frank Ottmann

Grundlagen

Bei der Modellierung der Aufnahme benötigt man 3 Koordinatensysteme:

1. Objektkoordinaten-system So

2. Kamerakoordinaten-system Sk

3. Koordinatensystem in der Bildebene Sc


Frank Ottmann

GrundlagenBei der Orientierung der Kamera unterscheidet man :• Äußere Orientierung (ÄO):

– sie bestimmt die räumliche Lage der Kamera bezogen auf das Objektkoordinatensystem

– Räumliche Bewegung wird durch 3 Translations- und 3 Rotationsparameter bestimmt

• Innere Orientierung (IO):– sie enthält die Koordinatentransformation zwischen Sk

und Sc (Hauptpunkt, Kamerakonstante) sowie die Korrektur der Abbildungsfehler (Scherung, Maßstab)


Frank Ottmann

Grundlagen• Falls IO der Kamera bekannt:

kalibrierte Kamera

• Falls IO nicht oder nur teilweise bekannt: nicht kalbrierte Kamera


Frank Ottmann

Beispiel: Pariser BrückeProjekt: Simulation verschiedener Beleuchtungssysteme für Brücken in Paris und deren Einfluß auf die Umgebung

Beispiel: Aufnahme einer 300 Bilder großen Sequenz einer speziellen Brücke, der Pont-Neuf

Notwendig:robuste Methode zur Berechnung der Position der Kamera, um damit die virtuellen Objekte in die richtige Stelle im Bild einzuordnen


Frank Ottmann

Beispiel: Pariser Brücke

160.Bild der Sequenz von anderer Brücke in der Dämmerung aufgenommen


Frank Ottmann

Beispiel: Pariser Brücke• Keine Informationen über ÄO der Kamera• Features (Punkte, Bögen) werden automatisch

detektiertAusnahme: 1.Bild

Ablauf: • Im ersten Bild werden nicht-koplanare features

gesucht und halbautomatisch mit den entsprechenden features im 3D-Modell gematched

• Diese features dienen zur Berechnung einer Schätzung der Kameraposition nach DeMenthon und Davis


Frank Ottmann

Beispiel: Pariser Brücke• die anfängliche Schätzung wird durch eine robuste

Minimierung der Projektionsfehler verfeinert Berechnung des Kamerastandpunktes

• Einarbeitung des virtuellen Objektes ins Bild• Die features, die im 1.Bild detektiert worden sind

werden über die Sequenz getracked und mit den 3D-features gematched Berechnung des Kamerastandpunktes für jedes

Bild der Sequenz nach dieser Methode


Frank Ottmann

Beispiel: Pariser BrückeAugmented-reality Schleife:


Frank Ottmann


Image Synthesis:• Modellierung der 3D-Brücke mittels alter

Konstruktionspläne • unterteilt man in 3 Prozesse:

1. Modellierung der Geometrie 2. Modellierung der Bestandteile der

Oberflächenmaterialien3. Modellierung der Position und

Beleuchtungsintensität der virtuellen Lichtquelle


Frank Ottmann


Image compositions:• Nach Berechnung des Kamerastandpunktes für

jedes Bild, werden die computergenerierten Bilder durch sogenannte ray-casting Algorithmen erstellt


Frank Ottmann

Beispiel: Pariser BrückeKamerakalibrierung:• IO wird durch ein Referenzobjekt in ca. 3m

Entfernung zur Kamera bestimmt• Grund für die Trennung der Bestimmung der IO und

des Kamerastandpunktes liegt in der Anzahl der features

• Bei der Bestimmung des Kamerastandpunktes liegt die Anzahl der features zwischen 10 und 20 mangelhaft zur Ausführung einer kompletten

Kalibrierung


Frank Ottmann


Kamerakalibrierung (Methode nach DeMenthon und Davis):

O = Kamerazentrum

f

feature points


Frank Ottmann


Kamerakalibrierung:W = R*T Perspektive Projektionsmatrix M = * W

f 0 00 f 00 0 1

( )Unbekannte Parameter: • Translation: X0; Y0; Z0

• Orientierung des Kamerasystems (Rotation): i, j, k


Frank Ottmann


Methode nach DeMenthon und Davis:• k = i x j ,da k orthogonal zur ij-Ebene• Hier gilt:

Gesucht: X0; Y0; Z0, i, j,

k

es müssen nur die Unbekannten Z0, i, j bestimmt werden

bzw.


Frank Ottmann


Perspektive Projektion: Gesucht: X0; Y0; Z0, i, j,

k


Frank Ottmann


Perspektive Projektion:

skalar multiplizieren mit i

* i = ... ~

* i = ... ~

* i = 0, da orthogonal

Faktoren hier vernachlässigt

mit = kleiner Wert


Frank Ottmann


Perspektive Projektion: Gesucht: X0; Y0; Z0, i, j,

k

Gleichungssystem:

mit mit


Frank Ottmann


Orientierungsschätzung mittels POSIT-Algorithmus:

1.Näherung: Z0, i, j

2.Iteration:

3.Iteration: ...

usw. Ergebnis für Z0, i, j Ergebnis für X0, Y0, k


Frank Ottmann

Paris

Ergebnis der Simulation


Frank Ottmann

Video Compass

Prinzip:Gewinnung der Relativen Orientierung (RO) mit Hilfe von Fluchtpunkten und Fluchtlinien

• Fluchtpunkte schneiden sich bei parallelen Geraden in der Realwelt im Unendlichen

• Wegen des Effekts der perspektiven Projektion schneiden sich parallele Linien der Realwelt im Bild


Frank Ottmann

Video Compass

Ansatz: x´= P X

mit x´= [ x´, y´, 1]und X = [ X, Y, Z, 1]

T

T

3 Fluchtpunkte im Unendlichen = unendlich ferne Punkte

• unendlich ferner Punkt in x-Richtung: v1 = [1,0,0,0]• unendlich ferner Punkt in y-Richtung: v2 = [0,1,0,0]• unendlich ferner Punkt in z-Richtung: v3 = [0,0,1,0]

T

T

T


Frank Ottmann

Video Compass

x´= P v1 x´= [p11, p21, p31]T

1. Spalte der Projektionsmatrix P Tx´= P v2 x´= [p12, p22, p32]

2. Spalte der Projektionsmatrix P

Tx´= P v3 x´= [p13, p23, p33]

3. Spalte der Projektionsmatrix P

Fluchtpunkte im Bild suchen


Frank Ottmann

Video Compass

• Dazu werden die Linien im Bild detektiert• Zur Berechnung der Fluchtpunkte werden nur

Linien mit einer Länge von mind. 5% der Bildbreite benutzt

• Automatische Suche nach Fluchtpunkten und deren geschätzten Koordinaten wird mittels EM-Algorithmen (Wahrscheinlichkeitskeitsmaximierung) vollzogen


Frank Ottmann

Video Compass

Problem: Fluchtpunkte sind nicht immer eindeutig Lösung über Kleinste-Quadrate


Frank Ottmann

Video Compass

Kalibrierung:Für nicht kalibrierte Kameras gilt:

Einheitsvektoren:

Fluchtpunkte:

Wegen Orthogonalität:


Frank Ottmann

Video Compass

Mit

Für 3 im Bild detektierte Fluchtpunkte gibt es 3 Beschränkungen der Matrix S:

Durch Cholewsky-Zerlegung von S erhält man Kalibriermatrix


Frank Ottmann

Panorama-AufnahmeMIT City Projekt:• Ziel: vollautomatische Rekonstruktion einer 3D-

Stadtlandschaft aus Bildern• Bewegliche Plattform mit Kamera macht

Panoramaaufnahmen mit genäherten Orientierungs- und Positionsdaten durch on-board Sensoren wie GPS,

Beschleunigugsmesser, Meterzähler• Aufnahmestandpunkte heißen nodes • Abstände zwischen den Aufnahmenstandorten ca. 5-

10m


Frank Ottmann

Panorama-Aufnahme• Annahmen:

– IO ist bekannt – Rotation wird aufgezeichnet– Ungefähre Bewegung der Kamera ist bekannt

Prinzip: • Suche benachbarter nodes-Paare• Schätzung der Basislinie zwischen den nodes• Schätzung der Bewegungsrichtung für jedes Paar mittels

Hough-Transformation und Monte-Carlo-Wahrscheinlichkeitsmaximierung alle geschätzten Bewegungen gehen in eine Optimierung ein, die die Kameraposition berechnet


Frank Ottmann

Patent

Patent vom 28.12.2000:Elektronische Schaltung zur Aufzeichnung von geographischen Positionsdaten auf dem Tonkanal eines Camcorders.

Ziel: Aufgenommene Bildsequenzen auf einfache Weise zu den entsprechenden Aufnahmeorten zu referenzieren


Frank Ottmann

PatentAufbau:• Anschluß des GPS-Empfängers über den 1. Schaltungsteil

mit Mikrofon- oder Audioeingang des Camcorder• Nahezu Synchrone Aufnahme der Bilder und der aktuellen

geographischen Position auf Aufzeichnungsmedium (z.B. Magnetband)

• Zur Nachbearbeitung: Anschluß des Videoausgangs des Camcorders über 2. Schaltungsteil mit einem PC

• Datenverarbeitungsprogramm zeigt Landkarte mit markierten Orte der Filmaufnahme

• Durch Mausklick auf einen bestimmten Ort werden automatisch die entsprechenden Filmsequenzen angezeigt


Frank Ottmann

Patent• Camcorder zeichnet i.d.R. Aufnahmezeiten mit auf, bzw.

Aufnahmezeiten sind in den GPS-Informationen enthalten Datenverarbeitungsprogramm errechnet bereiste Route

• Mittels Schnittprogramm kann Film und Karte zu einem kompletten Film zusammgesetzt werden

• Bei Kameras mit Stereo-Tonaufzeichnung genügt ein Tonkanal für kontinuierliche Aufnahme der GPS-Signale

• Es besteht Möglichkeit der Differenzkorrektur mittels Differential-GPS (Verbindung PC mit Internet): Ortsgenauigkeit von ca. 1m

Documents

12.12.2002Multimediale Visualisierung ortsspezifischer Informationen Vertiefer GIS Frank Ottmann Georeferenzierung von Videos und Bildern