Upload
vantu
View
228
Download
6
Embed Size (px)
Citation preview
Computer Vision 1_Seite 1
Beispiel Andocksystem (ADS) Komponenten im System
Flugha
fenge
bäud
e
Passagierbrücke
Rollfeld
Einroll-leitlinie
StoppositionVideokamera
B 737-300
Display
Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition.
Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen.
Computer Vision 1_Seite 2
ADS im Flughafen-Informationssystem Komponenten im System
Leitsystem
Tower
Vorfeld-kontrolle
Gate
Touchdownzeit, Flugzeugtyp, Flugnummer
Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer
Gateankunftzeit (ist), Stopposition
ADSRegler:Display
Video-auswertung Flugzeugmodell
Status, Position, Winkel, Zeit
TypLage
Computer Vision 1_Seite 3
ADS: Systemanforderungen Komponenten im System
ADSRegler:Display
Video-auswertung Flugzeugmodell
Status, Position, Winkel, Zeit
TypLage
● Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel)
● Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT
● Messfrequenz: mindestens 12 Hz
● Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2°
● Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi-Leitlinienfähigkeit
● Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung
Computer Vision 1_Seite 4
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum):
ADS: Messaufgabe Komponenten im System
z
y
Szenenpunkt
Objektpunkt aufder Bildebene, z.B. Triebwerksmitte
Bildebene
Sehstrahl
Rollfeld(Boden)
Höhe der Triebwerksmitte über
dem Boden
Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt.
Computer Vision 1_Seite 5
Erinnerung: Kameramodell und -kalibrierung
Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert.
Begriffe
Kameramodell
=
Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors.
z.B. Lochkamera: Die Transformation P : R³ → R² ist durch 5 Parameter gegeben:f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln)dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems
yc
c
yx
c
c
x
czy
dfjc
zx
dfi +⋅=+⋅=
Computer Vision 1_Seite 6
Kamerakalibrierung Begriffe
Kalibrierkörper und die IDs undWeltkoordinaten der Marken
z.B. SchachbrettmusterGröße der Quadrate 2 cm
Marke 0(0, 0, 0)T
Marke 1(2, 0, 0)T
Marke 3(4, 0, 0)T
Marke 8(0, 2, 0)T
gemessen (soll)
Bild vom Kalibrierkörperund die Bildkoordinaten der Marken
Was wird für die Kamerakalibrierung benötigt?
projiziert (ist)
Computer Vision 1_Seite 7
Kamerakalibrierung Begriffe
Bemerkungen zu den Kalibriermarken:
● Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen).
● Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert.
gemessen (soll)
projiziert (ist)
Computer Vision 1_Seite 8
Bemerkungen:
● Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung)
● Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken.
● Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung.
● Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!)
Kamerakalibrierung Begriffe
Radial verzeichnetesSchachbrettmuster(Fischauge)
Computer Vision 1_Seite 9
ADS: Kameramodell Komponenten im System
Abbildungsmodell nachRoger Tsai (Lochkamera plus radiale Verzeichnung)
Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein.
Projiziere die Markierungen auf das Bild (rote Kreuze)
Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen.
Computer Vision 1_Seite 10
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum).
ADS: Messaufgabe Komponenten im System
Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung.
Computer Vision 1_Seite 11
Kreuzkorrelation Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt
Kreuzkorrelation von g und s.
⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛
⎟⎟⎠
⎞⎜⎜⎝
⎛
=
∑∑∑∑
∑∑−
=
−
=
−
=
−
=
−
=
−
=
1
0
1
0
21
0
1
0
2
1
0
1
0
),(),(
),(),(),(
B
x
H
y
B
x
H
y
B
x
H
y
yxsyxg
yxsyxgsgKorr
Computer Vision 1_Seite 12
Schablonenanpassung Komponenten im System
● Gegeben seien ein Bild g und eine Schablone s.
● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation.
● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten.
Bild g
Schablone s
Kreuz-korrelationsbild
Computer Vision 1_Seite 13
ADS: Objektmodell Komponenten im System
Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter)
Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen.
Schablonen,starres Gitter
Centerline
Stopposition
Computer Vision 1_Seite 14
ADS: Suchvorgang im Fangbereich Komponenten im System
141
81121
161201
241281
321361
ce3ce
5ce24ce
20ce16ce
12ce17ce
13ce10ce
21ce23ce
26ce9ce
2
- 0.100.10.20.30.40.50.60.70.80.9
Kor
rela
tions
w
Bild-Nr.Sequenz
Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtyp: 737; Kamera: color; Mittelwert-Template. ce3
ce4ce5ce25ce24ce19ce20ce8ce16ce15ce12ce6ce17ce18ce13ce14ce10ce11ce21ce22ce23ce7ce26ce27ce9ce1ce2
Sequenz Bild-Nummer
Kor
rela
tions
wer
t
Korrelationsverlauf für verschiedene Sequenzen
3D-Template an Suchpositiontransformieren
Suchposition festlegen
Start
Flugzeugposition über 3D-Fit berechnen
Tracking
Korr. berechnen für Umgebungum Suchposition
Template gefundenKorr>Schwellwert
Nein
Ja
Bild einziehen
Computer Vision 1_Seite 15
ADS: Objektverfolgung Komponenten im System
Schablone an aktuelle Flugzeugposition transformieren
Aktuelle Flugzeugposition aus "Searching"
Start
Stop-Postion
Korrelation für Schabloneberechnen
ja
nein
Stop
Aktuelle Flugzeugposition über 3D-Fit berechnen
Bild einziehen
Schablone mit aktuellemBildinhalt überblenden
Computer Vision 1_Seite 16
ADS: Verfolgungsergebnisse Komponenten im System
1
38
75
112
149
186
223
260297
334371
t3d_
3t3
d_4
t3d_
5t3
d_25
t3d_
24t3
d_19
t3d_
20t3
d_8
t3d_
16t3
d_15
t3d_
12t3
d_6
t3d_
17t3
d_18
t3d_
13t3
d_14
t3d_
10t3
d_11
t3d_
21t3
d_22
t3d_
23t3
d_7
t3d_
26t3
d_27
t3d_
9t3
d_1
t3d_
2
0
0.2
0.4
0.6
0.8
1
Korrelationswert
Bild-Nr.
Sequenz
KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 Pt3d_3t3d_4t3d_5t3d_25t3d_24t3d_19t3d_20t3d_8t3d_16t3d_15t3d_12t3d_6t3d_17t3d_18t3d_13t3d_14t3d_10t3d_11t3d_21t3d_22t3d_23t3d_7t3d_26t3d_27t3d_9t3d_1t3d_2
Korrelationsverlauf für verschiedene Sequenzen
Sequenz
Bild-Nummer
Computer Vision 1_Seite 17
ADS: Auswerteergebnisse Komponenten im System
Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5
0
5
10
15
20
25
30
-0,5
0 0,5
0
5
10
15
20
25
30
1 33 65 97 129
161
193
225
257
289
321
353
385
417
449
481
Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7
0
5
10
15
20
25
-0,5 00
5
10
15
20
251 33 65 97 129
161
193
225
257
289
321
353
385
417
449
481
Computer Vision 1_Seite 18
ADS: Auswerteergebnisse Komponenten im System
0
10
20
30
40
50
60
70
80
90
-5 0 5 10 15 20
0
10
20
30
40
50
60
-2 -1,5 -1 -0,5 0
Computer Vision 1_Seite 19
Zusammenfassung
Operationelle Lösungskonzept SystemanforderungenAnforderungen Bildauswertung
Geschwindigkeit SensorenNutzungskonzept
Latenzzeit Aufgabendefinition SzeneDatensätze
Genauigkeit Algorithmen Kommunikations-HW-/SW-Konzept Einbindung
Einsatz- EchtzeitlösungRandbedingungen Trainingsumgebung Hardware
TestumgebungZuverlässigkeit Systemintegration
BetriebssystemVerfügbarkeit
Komponenten im System