Hochschule für Angewandte Wissenschaften Hamburg

Hamburg University of Applied Sciences

Fakultät Technik und InformatikStudiendepartment InformatikBetreuer: Prof. Dr.-Ing Bernd SchwarzDatum: 31. Dezember 2005

Seminararbeit - Master Informatik

Olaf Tetzlaff

Sensordatenfusion zur Umgebungserfassungin Fahrerassistenzsystemen

2

Olaf Tetzlaff

Thema der Seminararbeit - Master Informatik

Sensordatenfusion zur Umgebungserfassung in Fahrerassistenzsystemen

Stichworte

Fahrerassistenzsystem, Bremsassistent, Kollisionsvermeidung, Modellierung, Sensordatenfusion, So-nar, Radar, Laserscanner, Stereokamera

Kurzzusammenfassung

Diese Seminararbeit gibt einen Konzeptüberblick zur Sensordatenfusion, die in Fahrerassistenzsyste-men die Umwelterfassung bereitstellt. Die Grundlagen der unterschiedlichen Sensortechniken werdenzur Einführung aufgezeigt, um eine fundierte Auswahl bezüglich des Einsatzes bestimmter Sensorenund deren sinnvolle Montage am Fahrzeug zu treffen. Nachdem die grundsätzlichen Eigenschaften derunterschiedlichen Sensortypen aufgeszeigt wurden, werden die möglichen Fusionsmodelle erklärt undderen Vor- und Nachteile dargestellt. Die Sensordatenfusion soll in der Master-Thesis zum vertieftenUntersuchungsgegenstand werden. Davon ausgehend sollen Erweiterungen mit eigenen Ansätzen ent-wickelt werden und in einem Prototypen-Assistenzsystem für ein fahrerloses Modeltransportsystem zurAnwendung kommen.

INHALTSVERZEICHNIS 3

Inhaltsverzeichnis

1 Einleitung 4

2 Sensortypen und Einsatzzweck 52.1 Bestimmung des eigenen Fahrzeugzustandes . . . . . . . . . . . . . . . . . . . 52.2 Sensoren zur Bestimmung der Fahrzeugumgebung . . . . . . . . . . . . . . . 5

2.2.1 Sonar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.2.2 Radar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.2.3 Laserscanner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2.4 Bildverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3 Sensordatenfusion 103.1 Aspekte der Sensorfusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.2 Arten von Fusionsmodellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

4 Ausblick Master-Thesis 124.1 Implementation kooperatives Fusionsmodell . . . . . . . . . . . . . . . . . . . 124.2 Virtueller Sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124.3 Umfeldmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

5 Abbildungsverzeichnis 14

6 Literaturverzeichnis 15

7 Glossar 17

A Weitere Recherche und Realisierungen 18A.1 Neuentwicklung Celldar - Passives Radar . . . . . . . . . . . . . . . . . . . . 18A.2 Berechnung der Disparität - Erstellung von Tiefenbildern . . . . . . . . . . . . 18

1 EINLEITUNG 4

1 Einleitung

Moderne Fahrerassistenzsysteme entwickeln sich zunehmend von reinen Komfortsystemen zuWarn- und Sicherheitssystemen. (s. Abb. 1 und [Lag00], [Ame02], [Mil04]) Alle großen Au-tokonzerne führen derzeit den selbständig abstandsregelnden Tempomaten und automatischeBremsassistenten /-warnsysteme ein. Um diese Aufgabe fehlerfrei zu realisieren muss ein ge-naues Umfeldmodell des Fahrzeugs bestimmt werden, das dem reaktiven System zu jeder Zeitein dynamisch veränderliches Abbild der Umgebung und der Verkehrssituation übermittelt.Wie diese Systeme zur Erhöhung der aktiven Sicherheit eingesetzt werden können, wird sichin naher Zukunft zeigen, wenn die ersten serienreifen Systeme in den Oberklassemodellen dergroßen Automobilhersteller eingesetzt werden. Die Akzeptanz der Fahrer gegenüber dieserEntscheidungsabnahme bestimmt die daraus folgende Verbreitung und den Erfolg.

Abbildung 1: Derzeitige Situation im Bereich von Fahrerassistenzsystemen. [Ibe05]

Zur Erzeugung eines möglichst detaillierten Umfeldmodells ist eine umfassende Kenntnis überden eigenen Fahrzeugzustand und die Lage im Raum zwingend erforderlich. Beispielsweisekann die Berechnung der Geschwindigkeit von vorausfahrenden Fahrzeugen und deren Ab-stand durch eine Differenzmessung realisiert werden. Insbesondere dient die Umgebungserfas-sung dem präventiven Verhalten der Unfallvermeidung indem unter anderem der Bremsdruckbereits bei der Wahrscheinlichkeit einer möglichen Kollision erhöht wird, um den unvermeid-lichen Zusammenstoss im Ausmaß zu begrenzen. Nur über eine kontinuierliche und genaueUmgebungserfassung können Informationen über die Fahrbahn und deren Verlauf für ein dy-namisches Reaktionsverhalten ermittelt werden.

Damit das System schnell und zuverlässig auf plötzlich eintretende Gefahrensituationen reagie-ren kann, ist eine Objekterkennung und Klassifikation als Schnittstelle zwischen der Sensorda-tenverarbeitung und dem reaktiven System des Assistenzsystems erforderlich. Für eine genaueKlassifikation und fehlerfreie Objekterkennung benötigt das System die geometrischen unddynamischen Eigenschaften von den im Fahrzeugumfeld befindlichen Objekten. Diese müssenzuverlässig mit Hilfe der Sensordaten ermittelt werden. Um eine zweifelsfreie Identifikation zuermöglichen werden die Daten einzelner Sensoren in einem Fusionsmodell zusammengefügt.Einzelne Sensoren sind heute noch nicht in der Lage eine zweifelsfreie Zuordnung der Objektezu ermöglichen. Redundante und komplementäre Sensorwerte migrieren in einem kooperati-ven Fusionsmodell und tragen so zu einer genaueren Interpretation der Umwelt bei.[Stü03]

2 SENSORTYPEN UND EINSATZZWECK 5

2 Sensortypen und Einsatzzweck

2.1 Bestimmung des eigenen Fahrzeugzustandes

Die Bestimmung des eigenen Fahrzeugzustandes und der Position in einem globalen Koordi-natensystem ist erforderlich, um dem Fahrerassistenzsystem Berechnungen für ein reaktivesund dynamisches Verhalten auf das Fahrzeugumfeld zu ermöglichen. Abstände für Brems-,Ausweich- und Überholmanöver sowie der Abstand zu einem vorausfahrenden Fahrzeug wer-den in der Regel relativ zum eigenen Fahrzeug berechnet. Hierfür ist es für viele Parametermöglich die bereits vorhandene Fahrzeugelektronik zu nutzen. Zusätzliche Systeme wie GPS,Neigungssensor und Kompass stehen bei einem vorhandenen Navigationssystem zur Verfü-gung oder müssen zusätzlich angeschlossen werden. Um in jeder Situation eine verlässlicheInformation über die genaue Eigenposition zu haben, müssen die Sensorwerte kontinuierlichausgelesen werden.

Der Einsatz eines DGPS kann die Genauigkeit der Positionierung in einem für die Umwelt er-zeugten globalen Koordinatensystem von fünf auf einen Meter gesteigert werden. Durch einenKompass und Neigungssensoren kann die Lage des Fahrzeugkoordinatensystems bezüglichder Weltkoordinaten bestimmt werden. Der Bordelektronik des Fahrzeugs mit bereits vorhan-denen Systemen wie ABS und ESP können Messwerte wie Radumdrehungen und Gierwinkelentnommen werden. Durch diese Möglichkeit können Kosten für zusätzliche Hardware ge-spart werden. Zudem sind die Messwerte durch bereits erprobten Einsatz und weitreichendeTests der Hersteller eine zuverlässige Referenz. Mit einem durch die verwendeten Sensorenermittelten Eigenzustand kann die Umgebungserfassung erfolgen.

2.2 Sensoren zur Bestimmung der Fahrzeugumgebung

Abbildung 2: Sensoren zum Ermitteln von Umfeldinformationen.

In diesem Kapitel werden die für eine Umgebungserfassung einsetzbaren Sensoren und ihreFunktionsweise erklärt. Abbildung 2 zeigt unterschiedliche Sensoren für den Einsatz zur Um-felderkundung in Fahrerassistenzsystemen, sowie ganz links aussen ein in das Fahrzeugumfeldprojiziertes Gittermodell und ganz rechts aussen ein autonomes fahrerloses Transportsystemmit tastendem Laserscanner. Die Sensoren im Bild zeigen von links nach rechts, zwei Lasers-canner der Fimen Sick[Las05] und Ibeo[Ibe05], ein Radarsensor und die Bumblebee Stereo-kamera der Firma Point Grey[Gre05]. Aspekte für die Auswahl der Sensoren sind ihrer Mobi-lität für einen Einsatz in der Fahrzeugindustrie, deren prädestinierte Anordnung am Fahrzeugund ihrer Eigenschaften bei auftretenden Umweltsituationen wie Beleuchtungs- und Wetter-abhängigkeit, sowie die Verarbeitungsgeschwindigkeit in Bezug auf den Einsatz bei typischen

2 SENSORTYPEN UND EINSATZZWECK 6

Fahrgeschwindigkeiten im Strassenverkehr. Ziel ist es, dass das Fahrzeug einen zuverlässigenRundumblick seiner Umgebung mit einer seiner Fahrgeschwindigkeit angepassten Entfernungerfassen kann. Im folgenden werden nun geeignete Sensoren und deren Fähigkeiten zur Um-felderfassung vorgestellt.

2.2.1 Sonar

Ultraschallsensoren basieren auf dem Prinzip der Laufzeitmessung und haben einen Messbe-reich von ca. 15cm bis 8m. Sie werden derzeit in Fahrerassistenzsystemen beim Einparkas-sistent und generell als Abstandswarner im Nahbereich eingesetzt. Sie senden elektroakusti-sche Signale mit Frequenzen von 20KHz bis 1 GHz. Diese Frequenzen sind oberhalb des vomMenschen hörbaren Bereichs und werden als Ultraschallwellen bezeichnet. Die vom Senderinduzierten Ultraschallwellen werden von der Umgebung und in ihr befindlichen Objekten re-flektiert. Die Laufzeitverzögerung mit der die Echosignale den Empfänger entspricht der Ent-fernung zu erkannten Objekten. Aus der Form des reflektierten Signals kann ein Rückschlussauf die Beschaffenheit auf die Objektstruktur gemacht werden. Bei charakteristisch eindeuti-gen Echos, können unter Umständen sogar Objekte direkt erkannt werden.[Ahr01]

2.2.2 Radar

Radar ist die Abkürzung für die Englische Bezeichnung "Radio Angle Detection and Ran-gingünd steht für ein Ortungsverfahren für Objekte durch ein Gerät das elektromagnetischeWellen im Mikrowellenbereich (MHz-GHz) als Primärsignal aussendet und diese durch diereflektierten Strahlen, auch Echos genannt, lokalisieren kann. Für den Einsatz von Radarsen-soren zur Detektion von Objekten in der Fahrzeugumgebung spricht eine große Reichweite inder Objekte noch detektiert werden können. Ein Nachteil ist, dass nur metallische Oberflächendie Strahlung reflektieren und das ein vermehrter Einsatz im Massenmarkt nicht unbedenklichfür die Umweltbelastung ist. Aus den reflektierten Radarwellen von entfernten metallischenObjekten können folgende Informationen abgelesen oder berechnet werden(aus [Wik05]):

1. Aus dem Winkel Richtung Norden ergibt sich die relative Richtung des angepeilten Ob-jekts.

2. Aus der Zeit zwischen Absenden und Empfangen kann die Entfernung unter Verwen-dung der Lichtgeschwindigkeit als Geschwindigkeitskonstante berechnet werden.

3. Aus der reflektierten Frequenz kann mit Hilfe des Doppler-Effekts berechnet werden, obund wie sich das Objekt relativ auf den Beobachter zubewegt oder von ihm weg.

4. Aus dem Verfolgen der einzelnen Messvorgänge ergibt sich die bereits zurückgelegteBahn bzw. Strecke des Objekts.

5. Bei guter Auflösung des Radars können sogar Bilder des Objekts erzeugt werden.

2 SENSORTYPEN UND EINSATZZWECK 7

Laut Literaturlage sind Radarsensoren die zurzeit am häufigsten eingesetzten Sensoren fürderzeit existierende Assistenzsysteme, wie die automatische Abstandsregelung und den au-tomatischen Einparkassistent. Allerdings werden sie bisher aufgrund von noch sehr hohenProduktions- und Materialkosten nur in der gehobenen Mittelklasse und Oberklasse angeboten.Aus diesem Grund wurde im Jahre 2003/04 ein Generationswechsel hin zu kostengünstigerenSystemen angestrebt. Eine hoffnungsvolle Technologie hierfür ist die im Jahre 2004 genehmig-te 24 GHz - Kurzpuls Technologie. Da die Zulassung allerdings an gewisse Auflagen gebundenist, laufen die Entwicklungen der Marktführer wie Raytheon und Siemens weiterhin mit Tech-nologien des 77-79 GHz Bandes.

CW-Radarsysteme (CW = Continuous Wave) strahlen mit ihrer Antenne eine konstante Fre-quenz ab, die von den zu ortenden Objekten reflektiert wird. Bewegt sich dieses Objekt, ver-ändert das reflektierte Signal gegenüber dem ausgesandten seine Frequenz. Diese Veränderungder Frequenz wird als Doppler-Effekt bezeichnet. Durch diesen Effekt ist es möglich zu erken-nen ob sich das geortete auf den Betrachter zubewegt oder von ihm weg. Nimmt die Frequenzzu, kommt das Objekt auf den Betrachter zu, nimmt sie ab, von ihm weg. Durch einen Vergleichvon gesendeter und empfangener Frequenz lässt sich zudem die Geschwindigkeit des Objektsermitteln. Diese Prinzip wird beispielsweise von Radargeräten der Polizei zur Messung vonGeschwindigkeitsüberschreitungen.

Eine andere Art von Radar- Geräten sind die Frequenzmodulierten Geräte. Sie senden mit ei-ner ständig alternierenden Frequenz. Die Frequenz steigt dabei linear an um dann bei einerbestimmten Frequenz abrupt wieder auf den Anfangswert abzufallen. Hierdurch ergibt sichfür den Signalverlauf ein Sägezahnmuster. Durch das stetige Senden und ändern der Frequenzkann sowie die lineare Änderung der Frequenz kann neben der aus der Differenz der Fre-quenzen bestimmten Geschwindigkeit auch die absolute Entfernung zwischen Betrachter undObjekt ermittelt werden. Durch diese Eigenschaft finden diese Art von Radarsensoren in Ab-standswarnsystemen von Autos Verwendung. Im Gegensatz zu Antikollisionssystemen in derAutomobiliundustrie gibt es in der Luftfahrt schon seit geraumer Zeit Kollisionsvermeidungs-systeme. Diese stationär am Boden befindlichen Systeme errechnen aufgrund der Flugkoordi-naten von erkannten Objekten und der prognostizierten Flugbahn ob ein naher Vorbeiflug odergar ein Zusammenstoss bei beibehalten der derzeitigen Flugbahn wahrscheinlich ist. Wird ei-ne Gefahrensituation erkannt, werden die Fluglotsen über die Notsituation informiert. Diesist möglich, da die Flugzeuge bei der Reflexion der Radarstrahlung ein digitales Muster undKennung zur Identifikation sowie Informationen über die aktuellen Flugparameter in die re-flektierten Strahlen einkodieren.

2.2.3 Laserscanner

Bei den Laserssensoren gibt es neben den Scannern die als Sendeeinheit nur eine Laserdi-ode besitzen, deren Strahl durch einen sich rotierenden Spiegel abgelenkt wird, auch noch dieMehrstrahllaser. Die Mehrstrahllaser besitzen statt einer mehrere Sendeeinheiten mit denenein Laserstrahl in die Umwelt projiziert wird. In der Regel sind die Laserdioden die durchihre halbkreisförmige Anordnung einen Erfassungsbereich von generell 30◦ ermöglichen. ImGegensatz hierzu verwenden die Laserscanner lediglich eine Sende- und Empfangseinheit, dieallerdings über eine Mechanik bei einigen Typen einen Erfassungsbereich von 180◦ und bei

2 SENSORTYPEN UND EINSATZZWECK 8

anderen sogar einen Rundumblick (360◦) ermöglicht. Um die Datenmenge bei Bedarf kleinzu halten und nur die benötigten Informationen auszuwerten, kann der Erfassungsbereich soft-waretechnisch eingeschränkt werden. Für den Laserscanner spricht die Eigenschaft das auchnicht metallische Oberflächen seine Strahlung reflektieren und das aus seinen den empfan-genden Daten sofort eine Entfernungs- und Richtungsinformation entnommen werden kann.Kritikpunkt sind aufgrund seiner radialen Abstrahlung die eingeschränkte Reichweite für ga-rantierte Detektion von Objekten einer bestimmten Mindestgröße.

Zur Verwendung im Faust-Projekt wird unter anderem der SICK PLS Laserscanner kommen.[SIC05] Bei ihm handelt es sich um einen tastenden Laserscanner, was bedeutet, der Scannerbraucht keine separaten Empfänger oder Reflektoren. Daher eignet er sich für dynamisch ver-änderliche und unbekannte Umgebungen weshalb ein Einsatz für autonome Fahrzeuge bzw.Fahrerassistenzsysteme denkbar ist. Durch die Lichtlaufzeitmessung ist er in der Lage durchdie gemessene Entfernung und Richtung von erkannten Objekten deren relative Position zumScanner zu bestimmen und diese dem datenverarbeitenden Programm zur Verfügung zu stellen.Hierfür sendet er sehr kurze Lichtimpulse aus, die durch einen sich im Scanner befindlichenSpiegel in die Umgebung ablenkt werden. Dieser konstant rotierende Spiegel bewirkt, dass dieLichtimpulse eine halbkreisförmige Fläche überstreichen, wodurch ein Erfassungsbereich von180◦ entsteht. Trifft das Licht auf ein Objekt, so wird es reflektiert und zum Sensor zurückge-worfen. In dieser Zeit läuft eine elektronische Stoppuhr mit, um die Laufzeit des reflektiertenLichtstrahls messen zu können. Die verstrichene Zeit zwischen Sende- und Empfangszeitpunktbestimmt durch Berechnung die Entfernung zum Objekt. Der Spiegelwinkel des reflektiertenLichtstrahls bestimmt in welcher Richtung sich das Objekt befindet. Durch beide Parameterzusammen kann dann die genaue Position des Objekts zum Sensor bestimmt werden.

Durch die physikalische Eigenschaft der radialen Abtastung der Umgebung durch den Sensor,ergibt sich mit einer großer werdenden Entfernung vom Scanner ein geringer werdendes Auf-lösungsvermögen welches einer garantierten Mindestauflösung von 70mm bis zu einer Entfer-nung von 4m entspricht. Diese Eigenschaft bewirkt eine Begrenzung des Wahrnehmungsradiusin Abhängigkeit der mindestens zu detektierenden Objekte aus dem Fahrzeugumfeld. Der ga-rantierte Messbereich ist bis zu einer Entfernung von 50m ausgelegt. Bis zu dieser Entfernungwerden Konturen noch erkannt, wenn der Reflexionsgrad (mindestens 20-30 Prozent) des Ob-jekts zur Detektion ausreicht. Prinzipiell kann eine Erhöhung der Auflösung kann durch dieVerwendung von mehreren Sensoren erreicht werden, indem sie versetzt nebeneinander undmit einem unterschiedlichen Abstrahlwinkel am Fahrzeug angebracht werden. Es gibt auch dieVariante eines abbildenden Laserscanners. Dieser misst zusätzlich zu der Laufzeit des ausge-sendeten Lichtimpulses auch die Intensität des reflektierten Signals. Die Aufnahme der Inten-sitätswerte erfolgt üblicherweise in 16bit Graustufen. Das Ergebnis ähnelt einem Abbild derOberfläche wie bei einem Schwarzweißfoto.

Durch Einsatz eines rotierbaren oder schwenkbaren 180◦ Sick-Laserscanners, ist es möglichunterschiedliche Erfassungsbereiche zu erhalten. Diese reichen von großen Kugelsegmenten,bis hin zu einer Vollkugel, die eine komplette Abbildung des Fahrzeugumfelds erlaubt. EinzigeBeschränkung im Hinblick auf Verwendbarkeit in mobilen Systemen ist die Aufnahmedauer,die durch die Dauer für eine Scannzeile multipliziert mit dem Abfahren des Kugelabschnittsbestimmt wird. Eine Überlegung im Bezug auf den maximal benötigten Scanbereich, solltefür eine Minimierung der Verarbeitungszeit gemacht werden. Die Reichweite des Lasersen-

2 SENSORTYPEN UND EINSATZZWECK 9

sors wird begrenzt durch die Lichtgeschwindigkeit und die Drehgeschwindigkeit des Spiegelsim Scanner. Da der Laserscanner nach dem Prinzip der Laufzeitmessung arbeitet, muss derreflektierte Lichstrahl mit der Drehgeschwindigkeit des Spiegels synchronisiert werden. Diemaximale Reichnweite wird somit von der Leistung der Infrarot/Laserdiode und der Drehge-schwindigkeit des Ablenkspiegels bestimmt. [Han05]

2.2.4 Bildverarbeitung

Die Erfassung der Umgebung durch den Einsatz von Laserscanner bietet eine besonders hoheGenauigkeit, Zuverlässigkeit und ist wenig rechenintensiv. Sie ermöglicht jedoch keine eindeu-tige Fahrspurerkennung. Hier kommt die dritte Art von Sensoren, die bildgebenden Sensorenwie Mono- und Stereokameras zum Einsatz. Die digitale Bildverarbeitung bietet zuverlässigeund erprobte Verfahren zur Erkennung der Fahrspur und von Verkehrsschildern.[Lev05] Vor-teile der digitalen Bildverarbeitung für den Einsatz zur Umgebungserfasssung ist die relativeWetterunempfindlichkeit im Vergleich zu Laserscannern, die große Reichweite und die erhöhteAnzahl von Objektmerkmalen. Nachteile sind eindeutig die rechenintensive Verarbeitung derBilddaten und die Beleuchtungsempfindlichkeit, sowie die Tatsache das im Vergleich zu Laser-und Radar-Sensoren die Entfernungsinformation nicht direkt aus den Sensordaten ableitbar ist.Unterschiedliche Aspekte der zu ermittelnden Ergebnisse geben die Art der zu verwendendenbildgebender Hardware vor.

Mit Hilfe von Stereokameras, oder einer multikamera Anordnung lassen sich Tiefenbilder vonder Umgebung erzeugen. Bei der Stereobildverarbeitung geht es um das Ermitteln von In-formationen über die Lage von Objekten im 3-D Raum, welche aus zweidimensionalen Bil-dern gewonnen wird. Ein klassisches Beispiel für die Visualisierung bzw. die Erzeugung einesdreidimensionalen Seheindrucks ist die Anaglyphentechnik, bei der rechtes und linkes Bildunterschiedlich eingefärbt werden. Durch eine Brille mit verschieden farbigen Brillengläsern,wird dem menschlichen Gehirn, die jeweils horizontal versetzten Bilder getrennt zugeführt.Der Versatz zwischen linkem und rechten Bild erzeugt einen dreidimensionalen Seheindruck,obwohl nur zweidimensionale Abbildungen vorliegen. Dieser Versatz wird Disparität genanntund entsteht durch den Abstand zwischen den zwei Objektiven der Stereokamera, welche beimMensch dem Abstand zwischen seinen beiden Augen entspricht.

Eine rein zweidimensionale Interpretation der Umwelt , wie Fahrspur- und Verkehrsschilder-kennung lässt sich im Vergleich zur Stereobildverarbeitung mit erheblich weniger Rechen-aufwand auch aus Einzelbildern oder sogar Bildfolgen ermitteln. Mit Hilfe der Stereobild-verarbeitung lassen sich zusätzlich, zu der mit Hilfe von Einzelbildern möglichen Fahrspur-und Verkehrschilderkennung, Tiefeninformationen aus der Umgebung gewinnen. Diese durchStereokameras erzeugten Bildpaaren liefern das Basismaterial für Algorithmen der Stereobild-verarbeitung zum Erzeugen von Tiefenbildern. Diese Tiefenbilder zeigen eine Art Tiefenkartein der helle Grauwerte nahe Bildbereiche und dunkle Grauwerte Bildbereiche markieren, dieweiter vom Betrachter entfernt sind. (s. Abb. 6)In Entfernungsinformation bzw. in die Reali-tät übertragen, entsprechen helle Grauwerte einer großen Disparität und dunkle einer kleinen.(Für die Methoden zum Ermitteln der Disparität sein an dieser Stelle auf den Anhang A.2verwiesen.)

3 SENSORDATENFUSION 10

3 Sensordatenfusion

3.1 Aspekte der Sensorfusion

Bei dem Einsatz einer Sensordatenfusion muss ein Vergleich der Kosten und des zusätzlichenNutzen durch Einsatz mehrerer Sensoren angestellt werden, um eine qualifizierte und gezielteAuswahl von Sensoren machen zu können. Sicher ist dies momentan auch der Grund für denausschließlichen Einsatz von Fahrerassistenzsystemen in Oberklassefahrzeugen renommierterAutohersteller. Nur eine kontinuierliche Weiterentwicklung und der erfolgreiche Einsatz kannden Einzug in den Massenmarkt bewirken. Ein Beispiel für ein Sicherheitssystem basierendauf dem Einsatz von Laserscannern findet sich in [Kir00].

Die unterschiedliche Charakteristik der eingesetzten Sensoren geben eine Vorgabe für die zuempfehlende Fusionsarchitektur. Hierfür ist eine Klassifikation von Sensoren nötig. Je nachMontageort und Fähigkeit gibt es generell zwei unterschiedliche Klassifikationsmerkmale diedie Fusionsarchitektur bestimmen. Zum einen die homogenen Sensoren, welche physikalischdas gleiche Messprinzip verwenden und somit die gleichen Einschränkungen in Form von Auf-lösung und Reichweite mit sich bringen. Zum anderen die heterogenen Sensoren, die selbstunterschiedliche Eigenschaften besitzen und somit sich eher ergänzend aufeinander auswir-ken. Hierdurch ist es möglich das ein Sensor die Schwächen eines anderen ausgleichen kannund somit zu einer genaueren Umgebungserfassung beiträgt. Dies ist die eigentliche Intensi-on bei der Sensordatenfusion, wo durch die Multisensorik eine Verbesserung der Messdatengegenüber denen von Einzelsensoren erreicht werden soll.[vH04]

3.2 Arten von Fusionsmodellen

Bei der Fusion der Messdaten von den einzelnen Sensoren kommen hauptsächlich drei Prinzi-pien zur Anwendung:

1. Redundante Fusion

2. Komplementäre Fusion

3. Kooperative Fusion

Beim redundanten Fusionsmodell wird das Umfeld von mehreren identischen Sensoren auf-genommen. Die Sensoren besitzen den gleichen, mindestens einen sich grob überlappendenErfassungsbereich. Mit diesem Modell kann die Genauigkeit und Fehlertoleranz, sowie eineerhöhte Ausfallsicherheit durch redundante Sensoren, der aufgenommenen Daten erreicht wer-den. Eine Erhöhung der Akquisitionsgeschwindigkeit kann durch Paralleliesieren der Mess-wertaufnahme erzielt werden.

Bei der komplementären Fusion werden hauptsächlich unterschiedliche Sensoren mit sowohlsich ergänzendem als auch überlappendem Erfassungsbereich eingesetzt. Durch diese Voraus-

3 SENSORDATENFUSION 11

setzung ergibt sich ein erweiterter Merkmalsraum für Beobachtungen der Umwelt. Die Kom-plementarität bewirkt einen Informationsgewinn durch Ergänzung und Auflösen von Mehr-deutigkeiten. Als Beispiel sei die unterstützende Vorverarbeitung für eine Bildverarbeitunggenannt, indem durch einen Laserscanner einzelne interessante Regionen (ROI) im Gesamt-bild ermittelt werden, bevor die doch rechenintensive Bildverarbeitung, weitere Details imgewünschten Bildausschnitt ermitteln kann. Im Gegensatz zum redundanten Fusionsmodellbewirkt in dieser Konstellation ein Ausfall von Sensoren auch einen Informationsverlust.

Ein kooperatives Fusionmodell (s. Abb. 3) vereint das redundante und komplementäre Fusion.Da die Grenzen bei beiden eher fließend sind ist das kooperative Model das am häufigstenverwendete, denn häufig lässt sich die Fusionsarchitektur gar nicht eindeutig bestimmen, dadie Erfassungsbereiche und Merkmale teilweise identisch und teilweise komplementär sind.Durch das Zusammenspiel von mehreren Sensoren bei der Auswertung kommt es zu neuenInformationsmerkmalen, die die einzelnen Sensoren für sich gesehen nicht leisten können. EinBeispiel für die kooperative Fusion bei der Abbildung der Umwelt stellt die Triangulationzweier entfernungsmessender Sensoren dar. Nur durch die Kombination der Messwerte kanndie Position des Objekts bestimmt werden.

Abbildung 3: Kooperatives Fusionsmodell

Oder wie im gezeigten Modell sind Sensoren wie Laserscanner, Radar, Sonar und Stereokame-ra als redundantes System für die Umgebungserfassung und Objekterkennung ausgelegt. Alskomplementäre Sensorwerte zur Positionsbestimmung und hierdurch einen zusätzlichen Infor-mationsgewinn zur eigenen Lage im Raum und Positionierung von anderen Objekten, dientdas DGPS und die Nutzung von vorhandenen Messwerten aus Navigationssystemen.

4 AUSBLICK MASTER-THESIS 12

4 Ausblick Master-Thesis

4.1 Implementation kooperatives Fusionsmodell

Wie bereits im vorherigen Kapitel beschrieben, kommen in einem kooperativen Fusionsmodell(s. Abb. 3) redundante und komplementäre Sensoren zum Einsatz. Da Radarstrahlen generellnur von metallischen Gegenständen reflektiert werden, kann keine Fahrspur erkannt werden.Für eine umfassende Sensordatenfusion müssen demzufolge komplementäre Sensoren für dieFusion hinzugezogen werden. Eine Fahrspurerkennung kann zuverlässig nur mit Hilfe von Ka-meras erkannt werden. Kommen dabei Stereokameras zum Einsatz, liefern diese neben denkomplementären Umgebungsdaten zur Verkehrsschild und Fahrbahnbegrenzungserkennung,zusätzlich Bildinformationen für eine Tiefenbildberechnung. Diese redundanten Sensordatenfür eine Entfernungsmessung könnten schneller und genauer auch mit Hilfe von Laserscan-nern ermittelt, allerdings kann mit den redundanten Messwerten auch eine höhere Sicherheitgewährleistet werden, da die Messergebnisse bei identischen Werten sich gegenseitig verifi-zieren. Die Implementierung eines Fusionsmodells stelle ich mir als einen Grundbestandteilmeiner Masterarbeit vor.

4.2 Virtueller Sensor

Sich überschneidende Sensorwerte können zur gegenseitigen Verifikation genutzt werden. Nichtüberlagerte Sensorwerte von geometrisch angeordneten gleichen Sensoren oder sich auch über-schneidende aber unterschiedlicher Sensortypen, können ergänzend genutzt werden. Die Be-einflussung von Werten und Parametern der unterschiedlichen Sensoren sowie der Zugriff derAnwendungen auf den virtuellen Sensor durch Rückkopplung der Applikation auf die Sensorenkann die Geschwindigkeit und Aussagekraft der Ergebnisse erhöhen, wenn durch eine Art vonSensoren eine ROI für weitere Sensoren gebildet werden. Als Beispiel kann der LaserscannerVerkehrsschilder lokalisieren den Ort für die Kameras zur Erkennung bestimmen.

Abbildung 4: Sensoranordnung entsprechend Invent-Projekt [Inv05]

4 AUSBLICK MASTER-THESIS 13

4.3 Umfeldmodell

Das Ziel der Masterarbeit sollte dann die Realisierung eines Umfeldmodells sein, welches ei-nem Entscheider für Fahrbefehle eines Fahrerassistenzsystems die benötigten Informationen ingeeigneter Weise zur Verfügung stellt. Der Entwurf eines dreidimensionalen Raumes als glo-bales Koordinatensystem der Umgebung zeigt als Idee Abbildung 5. Mit Hilfe dieses Modellssoll das System in seinem Fahrverhalten auf die in der Umgebung befindlichen Objekte reagie-ren können. Blaue Objekte im Entwurf entsprechen im Fahrverlauf befindliche Hindernissen.Die grüne Linie stellt eine mögliche Strecke dar, die hier einen Ausweichvorgang simuliert.

Abbildung 5: Dreidimensionale Darstellung des Umfeldes

Zum Erzeugen des Umfeldmodells in Form von Datensätzen für geometrische und objektbe-zogene Eigenschaften oder das Erstellen einer virtuellen Umgebung, werden die Parameter desUmfeldes und der darin befindlichen Objekte benötigt. Diese müssen durch Methoden der Ob-jekterkennung, Objektklassifikation und Objektverfolgung(Tracking) ermittelt werden. Hierfürgibt es Ansätze in der digitalen Bildverarbeitung und im Gebiet der neuronalen Netze.[Woo02]Im einzelnen müssen diese Methoden folgendes leisten:

1. Die Objekterkennung muss das Erkennen der Fahrbahn, von Hindernisse und anderenVerkehrsteilnehmern gewährleisten und diese dann selektiert für eine Klassifikation auf-bereitet weiterleiten.

2. Die Objektklassifikation hat die Aufgabe erkannte Objekte Anhand von bestimmtenMerkmalen zu klassifizieren. Wenn das System nicht zwischen Fahrzeugen und Passan-ten unterscheiden kann würde dies ein Problem beim reaktiven Verhalten darstellen.

3. Die Objektverfolgung stellt ein zusätzliches Feature dar, was in einfachen Systemennicht zwingend erforderlich ist. In einem komfortablen Assistenzsystem liefert es al-lerdings wichtige Informationen über dynamische Objekte aus der Umgebung, auf dieentsprechend reagiert werden muss.

5 ABBILDUNGSVERZEICHNIS 14

5 Abbildungsverzeichnis

Abbildungsverzeichnis

1 Derzeitige Situation im Bereich von Fahrerassistenzsystemen. [Ibe05] . . . . . 4

2 Sensoren zum Ermitteln von Umfeldinformationen. . . . . . . . . . . . . . . . 5

3 Kooperatives Fusionsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4 Sensoranordnung entsprechend Invent-Projekt [Inv05] . . . . . . . . . . . . . 12

5 Dreidimensionale Darstellung des Umfeldes . . . . . . . . . . . . . . . . . . . 13

6 Das linke Bild zeigt ein Tiefenbild, das rechte ein überlagertes Stereobildpaar. . 19

7 Berechnung von SAD - Summe der Absoluten Differenzen . . . . . . . . . . . 20

8 Berechnung von ZNCC - Normierte Kreuzkorrelation . . . . . . . . . . . . . . 20

9 Vergleich zwischen SAD und ZNCC . . . . . . . . . . . . . . . . . . . . . . . 20

6 LITERATURVERZEICHNIS 15

6 Literaturverzeichnis

Literatur

[Ahr01] Oliver Ahrens. Mikrosystemtechnische Sensoren in relativ bewegten Systemen fürdie industrielle Anwendung. PhD thesis, Universität Bremen, 2001.

[Ame02] Christian Ameling. Steigerung der aktiven Sicherheit von Kraftfahrtzeugen durchein Kollisionsvermeidungssystem. VDI Verlag, 2002.

[Gre05] Point Grey. http://www.ptgrey.com/, http://www.ptgrey.com/products/bumblebee/index.html, Bumblebee Stereokamera, November2005.

[Han05] RTS Hannover. http://www.rts.uni-hannover.de/forschung/roboter/3d-laser/, 3D-Laserscanner, November 2005.

[Ibe05] Ibeo. http://www.ibeo-as.de/, http://www.ibeo-as.de/html/knho/knho_senstech_st.html, Scanner Technology, November 2005.

[Inv05] Invent. http://www.invent-online.de, Intelligenter Verkehr und nutzge-rechte Technik, November 2005.

[Kir00] Alexander Kirchner. Sensordatenverarbeitung eines Laserscanners für autonomeFahrfunktionen von Kraftfahrzeugen. VDI Verlag, 2000.

[Lag00] Ulrich S. Lages. Untersuchung zur aktiven Unfallvermeidung von Kraftfahrzeugen.VDI Verlag, 2000.

[Las05] Sick Lasermesssysteme. http://www.sick.de/de/de.html, http://ecatalog.sick.com/Products/ProductFinder/product.aspx?finder=Produktfinder&pid=9168&lang=de, SICK Laserscan-ner, November 2005.

[Lev05] P. Levi, editor. Videobasierte Fahrspurerkennung zur Umfelderfassung bei Straßen-fahrzeugen, volume Autonome Mobile Systeme 2005. Spinger-Verlag, Dezember2005.

[Mil04] Frank Mildner. Untersuchung zur Erkennung und Vermeidung von Unfällen fürKraftfahrzeuge. VDI Verlag, 2004.

[Res05] Roke Manor Research. http://www.roke.co.uk/sensors/stealth/celldar.asp, Celldar, November 2005.

[SIC05] SICK. Tastender Laser Scanner PLS. SICK AG, 2005.

[Stü03] Dirk Stücker. Heterogene Sensordatenfusion zur robusten Objektverfolgung im Au-tomobilen Straßenverkehr. PhD thesis, Carl von Ossietzky-Universität Oldenburg,2003.

LITERATUR 16

[vH04] Volker von Holdt. Integrale Multisensorielle Fahrumgebungserfassung nach dem4D Ansatz. PhD thesis, Universität der Bundeswehr München, 2004.

[Wik05] Wikipedia. http://de.wikipedia.org/wiki/Radar, Radar, November2005.

[Woo02] Rafael C. Gonzales Richard E. Woods. Digital Image Processing. Prentice Hall,second edition edition, 2002.

7 GLOSSAR 17

7 Glossar

A

ABS Anti Blockier System. Verhindert bei einer Vollbremsung das die Räder/Bremsen blo-ckieren und so das Fahrzeug im Falle einer Notbremsung noch manövrierfähig bleibt.

D

DGPS Differential Global Positioning System. Dient der genaueren Positionierung als her-kömmliches GPS unter Verwendung eines Referenzsatelliten.

Disparität Die Disparität in der Stereobildverarbeitung ist ein Maß für den Versatz zwischenlinkem und rechtem Bild an. Es ist zu erkennen, das dichte Objekte eine hohe Disparitätbesitzen und weiter entfernte eine geringere Disparität. Die Disparität entspricht in derStereobildverarbeitung auch der inverse Tiefe.

E

ESP Electronisches Stabiltäts Programm. Verhindert das Ausbrechen oder unkontrolliertesFahrverhalten, bei zu hoher Kurvengeschwindigkeit oder zu heftigen Beschleunigen.

R

ROI Region of Interest. Definiert Bildbereiche die für weitere Berechnungen oder Betrach-tungen relavant sind. Durch festlegen von ROI können Berechnungen optimiert werden,indem für Berechnungen uninteressante Bildbereiche ausgeschlossen werden die keinedirekte Rolle für das Ergebnis spielen.

S

SAD Sum Of Absolute Differences - Summe der Absoluten Differenzen.

T

Tiefenbild Ein Teifenbild zeigt eine Art Tiefenkarte in der helle Grauwerte nahe Bildbereicheund dunkle Grauwerte Bildbereiche markieren, die weiter vom Betrachter entfernt sind.

Triangulation Verfahren aus der Geometrie, um den Abstand zu einem Punkkt zu finden,indem durch aufspannen eines Dreiecks zwischen dem Zielobjekt und einem weiterenReferenzpunktes mit geometrischen Berechnungen der Abstand ermittelt werden kann.

Z

ZNCC Zero Mean Normalized Cross Correlation - Normierte Kreuzkorrelation.

A WEITERE RECHERCHE UND REALISIERUNGEN 18

A Weitere Recherche und Realisierungen

A.1 Neuentwicklung Celldar - Passives Radar

Eine andere Technik als das bisher vorgestellte Radar besitzt das passive Radar. Diese ziem-lich neue Technologie macht sich die heute mittlerweile schon vorhandenen Strahlung in derUmwelt zunutze, wodurch zumindest ein System auch seinen Namen erhalten hat. Das CelldarSystem[Res05], entwickelt in der den Forschungslabor der Roke Minor Limited, nutzt die vor-handenen Mobilfunkstrahlungen und Satelliten um Objekte in der Umgebung des Beobachterszu lokalisieren. Diese Technik hat den Vorteil, selbst keine aktive Strahlung auszusenden undist aus diesem Grund auch von großem Interesse für die Militärs. Für einen allgemeinen Ein-satz im Alltag spricht die kostengünstige Hardware und die umweltschonenden Eigenschaften.Eine hohe Verbreitung verhindert derzeit in mobilen Systemen die hohe Rechenleistung, diebenötigt wird um aus dem komplizierten Strahlungsgeflecht in der Umwelt, die reflektierteStrahlung herauszufiltern, die von den zu erkennenden Objekten reflektiert wird. Einsatz findetdiese System bereits in Verkehrsüberwachungsanlagen, die zudem die Eigenschaften besitzen,im Gegensatz zu anderen Sensortechniken, nahezu wetterunabhängig zu sein.

A.2 Berechnung der Disparität - Erstellung von Tiefenbildern

Bei der Aufnahme von Stereobildern gibt es in der Regel zwei unterschiedlich Arten der Kame-raanordnung. Zum einen die parallele Anordnung der Kameras, zum anderen eine Anordnung,bei der sich die optischen Achsen der Kameras in einem Punkt vor dem Betrachter schneiden.Die zweite Variante nennt man auch den Kreuzblick. Dieser entspricht mehr dem menschli-chen Organismus als die ersten Variante. Die parallele Anordnung der Kameras erlaubt eineeinfachere Berechnung der Disparitäten für einzelne Objektmerkmale. Es ist zu erkennen dassich vom linken zum rechten Bild nur positive Disparitäten. Um die Disparität zwischen linkemund rechtem Bild zu verdeutlichen, wurde das linke und rechte Kamerabild mit Tranzparenzdargestellt und überlagert. (s. Abb. 6) Die gelben Pfeile geben den Versatz zwischen linkemund rechtem Bild an. Es ist zu erkennen, das dichte Objekte eine hohe Disparität besitzen undweiter entfernte eine geringere Disparität. Disparität = inverse Tiefe.

Zum Ermitteln der Disparität gibt es die Möglichkeit der Korrelation von Grauwertintensitätender einzelnen Bildpunkte. Als Algorithmen für die Korrelation stehen zum einen die differen-tielle Methoden SAD zum anderen Kreuzkorrelation ZNCC zur Verfügung. Sie unterscheidensich in der Anfälligkeit für Beleuchtungsschwankungen und im Rechenaufwand. Durch ein-fache Rechenoperationen ist der SAD besonders Ressourcen schonend. Bei idealen Bildern,gibt der SAD sehr gute Ergebnisse, die nicht schlechter sind, als die von aufwendigeren Kor-relationsverfahren. Durch die Differenz der Grauwertintensität Schwierigkeiten bei Beleuch-tungsschwankungen nachvollziehbar. Es wird jeweils die Differenz der Grauwertintensität anPosition (m, n) im Linken Bild zur Position (m+d, n) im rechtem Bild gebildet. Diese Diffe-renzen werden summiert. Die Summe der Differenzen ist ein Maß der Übereinstimmung. Beiidentischer Bildinformation ist die Summe idealerweise NULL. Was aber in realen Bildernkaum zutrifft. (s. Abb. 7)

A WEITERE RECHERCHE UND REALISIERUNGEN 19

Abbildung 6: Das linke Bild zeigt ein Tiefenbild, das rechte ein überlagertes Stereobildpaar.

Im Gegensatz zum SAD ist der ZNCC wesentlich Rechenaufwändiger. (s. Abb. 8)Allerdingsliefert er auch bei nicht ganz idealem Bildmaterial gute Ergebnisse, wo der SAD bereits ver-sagt. Als Beispiel zeigt Abbildung 9 ein in der Helligkeit manipuliertes Stereo-Bildpaar. BeimSAD sind deutliche Schwächen zu erkennen. Eine zuverlässige Erzeugung eines Tiefenbil-des ist so nicht möglich. Der ZNCC zeigt hier seine Vorteile, dass er durch die Normierungdie Helligkeitsunterschiede ausgleicht, da hier die Grauwertverteilung auf den Helligkeitslevelerrechnet wird. Somit entsteht ein Verhältnis und keine absolute Abweichung, wodurch Hellig-keitsschwankungen zwischen linkem und rechtem Bild keine Rolle mehr spielen. Der Korre-lationkoeffizient der normierten Kreuzkorrelation ist der Quotient aus der Kovarianz zwischenden beiden Korrelationsfenstern und dem Produkt ihrer Varianzen. Er hat einen Maximalwertvon 1 für eine totale Übereinstimmung und man kann sagen das bei Werten über 0,7 ein identi-sches Merkmal gefunden ist. Bei der Berechnung der Korrespondenzen durch die Korrelationentsteht ein Volumen. Dies Volumen wird als Disparitätsvolumen bezeichnet, das praktisch dieKorrelationswerte in Scheiben hintereinander entsprechend ihrem Disparitätsgrad angordnet.

Wie können nun die Disparitäten für jeden Bildpunkt des Tiefenbildes gefunden werden? Einlaut Literatur sehr häufig angewendetes Verfahren ist das Best-Match Verfahren. Bei diesemVerfahren bestimmt der Disparitätsgrad mit der höchsten Korrelation die Disparität für dieBildpunkte im Tiefenbild. Es wird für jeden Bildpunkt entsprechend seiner (x, y)- Position dieentsprechende Disparität gesucht indem an der aktuellen Bildposition im Volumen der Dispa-ritätsgrad ermittelt wird, der die höchster Korrelation aufweist. Dies ist in vielen Fällen nichtverkehrt. Durch die bereits erwähnten Mehrfachdeutungen können allerdings Fehler entstehen.Bei einer Bildgröße von 384 x 268 wird bei einer Disparity Range von 15 Pixeln für die Er-zeugung eines Tiefenbildes 1,6s benötigt. Der Suchbereich entspricht etwa einer Tiefe von ca.7m. Hier zeigt sich die Negativseite der Stereobildverarbeitung gegenüber den Laserscannern.Bei den Lasercannern steht die Tiefeninformation sofort zur Verfügung und kann direkt in dasglobale Koordinatensystem eingetragen werden.

A WEITERE RECHERCHE UND REALISIERUNGEN 20

Abbildung 7: Berechnung von SAD - Summe der Absoluten Differenzen

Abbildung 8: Berechnung von ZNCC - Normierte Kreuzkorrelation

Abbildung 9: Vergleich zwischen SAD und ZNCC