Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Vorlesung im WS 2014 06. Januar 2014
Email: [email protected] Naturwissenschaftlich-Technische Fakultät I
Fachrichtung 6.2 Informatik Lehrstuhl für Künstliche Intelligenz
Universität des Saarlandes Campus E1 1
Postfach 15 11 50 66041 Saarbrücken
Prof. Dr. rer. nat. Dr. h.c. mult. Wolfgang Wahlster
Intelligente Fahrerassistenzsysteme
© W. Wahlster
Das Auto als fahrender Computer
Software steuert immer mehr Funktionen im Auto. Mehr als 100 Kleincomputer in einem Fahrzeug. Ein Software-Update wird zukünftig öfters vorkommen als ein Ölwechsel
© W. Wahlster
Die Gesellschafter der DFKI GmbH
Rheinland-Pfalz
Saarland
Bremen
Deutschland GmbH
© W. Wahlster
Passive Sicherheit Aktive Sicherheit
Situationserkennung rund ums Auto
Airbag Sicherheitsgurt Crash-Zelle
ESP ABS
Neue wissensbasierte Technologien
Crash Schadens-begrenzung
Unfallvermeidung durch Hilfe in riskanten Situationen
Unfallverhütung durch Vermeidung riskanter Situationen
Das Auto der Zukunft: Vermeidung gefähr- licher Situationen statt Schadensbegrenzung
Zukunft: Autos mit Umgebungsintelligenz und „Selbsterhaltungstrieb“
© W. Wahlster
Notfallassistent
Kreuzungsassistent Engstellenassistent
Geisterfahrerassistent Garagenassistent
Bremsassistent
Source: BMW
Car2X-basierte Fahrerassistenzsysteme trans- formieren das Fahrzeug in eine intelligente Umge- bung
© W. Wahlster
Fahrerassistenzfunktionen
Einparkhilfe
Erkennung des toten Winkels
Spurassistent
Adaptive Navigation
Nachtsichthilfen
Verkehrsschild- erkennung
Abstands- hilfen
© W. Wahlster
Drei Kilometer Kabel knüpfen das Bordnetz eines Autos
Leitungen : 1200 - 1500 Kontakte : 1600 - 2000 Leitungslänge max.: 3000 m
32 Kabelkanäle 30 Durchführungen 600 Steckverbinder
© W. Wahlster
Das Auto als intelligente Umgebung: Mehr als 200 Sensoren und Aktuatoren in modernen Fahrzeugen
© W. Wahlster
Radar mit großer Reichweite
Laserscanner
Stereo- kamera
Radar und Ultraschall mit kurzer Reichweite
Kamera
Autos werden immer stärker mit Umgebungssensoren aufgerüstet
© W. Wahlster
Sprache
Graphik
Gestik
Multimodale Interaktion
Im Auto mit allen Sinnen ins Internet – ohne Tastatur und Maus
Mimik Biometrie:
BlickbewegungA
Physische Aktion
© W. Wahlster
Das Auto als intelligente Umgebung
Instrumentierung des Fahrzeugs Fahrgastbezogene Instrumentierung
Fahrgastbezogene multimodale Ausgabe
• GPS • Gyrometer • Ultraschallsensor • Lasersensor • Radarsensor • Eis- / Regensensor • NFC/RFID Leser
• 4 Mikrophone • Eye-tracker • Gestikerkennung • Biosensoren • 4 Gewichtssensoren • NFC-Lesegeräte • 5 berührungsempfindliche Bildschirme
• Heads-up Display (HUD) in der Windschutzscheibe • 5 Bildschirme • LEDs • Instrumententafel • Dolby Surround Sound
© W. Wahlster
CANSpeech: Das neue DFKI-Sprachinterface für den CAN Bus
Wie warm ist es im Fahrzeug?
Bitte schließe mein Fenster
teilweise.
Öffne alle Fenster! Setze die
Temperatur auf 22 Grad!
Schalte die Sitzheizung
ein!
Mir ist kalt.
© W. Wahlster
Multimodale Sprachdialoge im Auto
© W. Wahlster
Multimodale Interaktion im Fahrzeug: Sprache in Kombination mit physischen Schnittstellen
“Fenster vorne
rechts” “Alle Fenster”
“Hintere Sitzheizung” “Lautstärke”
Sprache bestimmt die Semantik des Dreh-Drück-Bedienfeldes
Experimentelle Untersuchung zur
Bestimmung des Einflusses von
manueller vs. multimodaler Interaktion
mit den Komfortfunktionen des
Fahrzeugs auf den Grad der Ablenkung
des Fahrers. (Cao et al , IUI 2010)
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
manual multimodal
manuell multimodal
kognitive Last Abl
enku
ngsg
rad
des
Fahr
ers
© W. Wahlster
Twitter4Car: Kombination von Blickbewegungen und Sprache für den Zugriff auf Internet-Dienste
© W. Wahlster
Multimodale Fusion: Kombination aus Sprache und Mikrogestik
Kreisgestik Wahlgeste mit dem Zeigefinger plus Spracheingabe “Hans” = Bitte verbinde mich mit Hans.
Aktivierung einer speziellen automatischen Spracherkennungsgrammatik, die nur die Namen des Fahreradressbuches enthält , zur Verbesserung der Erkennungsleistung
.
Hans
© W. Wahlster
Die Ausrichtung des Kopfes als neue Eingabemodalität
Öffne!
Bitte öffne das vordere linke Fenster.
Was ist das?
Welches Objekt sieht man durch das vordere rechte
Fenster?
Wechselseitige Disambiguierung der Kombination aus Sprache und Kopfausrichtung
Verwendung der Eingabe einer normalen Webkamera
© W. Wahlster
Kombination von Sprache und Aktionskontext
„Schneller!“ „Schneller!
“
Interpretation und Disambiguierung von multimodalen Äußerungen: Auswahl der Scheibenwischergeschwindigkeit vs. wechseln der Tempomateinstellung
© W. Wahlster
Rollenbasierte Interaktion mehrere Fahrzeuginsassen
„Mir ist kalt. Schalte die
Heizung bitte an.“ Mehrpersonen-
interaktion rollen- basiertes
Rechtemodell
Sprecher- identifikation
und Lokalisierung
Auswahl der relevanten Zone der 4-Bereichsklimaanlage
© W. Wahlster
Mobile erweiterte Realität für Passagiere (AR in Seitenfenstern)
© W. Wahlster
Pervasive Konnektivität: Das vernetzte Auto erzeugt verschachtelte intelligente Umgebungen.
3 Typen der Konnektivi-
tät
Konnektivität zwischen Fahrzeugen und der Infrastruktur
von Straßen und der Stadt
Konnektivität innerhalb des
Fahrzeugs
Konnektivität zwischen Autos und Lebens- und Arbeitsumgebungen
© W. Wahlster
All-IP Automobil: Ein Echtzeit-Ethernet Bus und 4 Rechner statt 5 Spezialbussystemen und 70 ECUs
Firewall
© W. Wahlster
Dezentrale Car2X-Kommunikation
Drahlose ad-hoc Kommunikation X= andere Verkehrsteilnehmer
oder Verkehrsinfrastruktur
© W. Wahlster
Internet
Sichere Verbindung
UMTS/LTE
WLAN
Nahtloses Roaming zwischen Hotspots und zellulärer Mobilfunk-Kommunikation
ABC-Technologien (Always Best Connected): Stets verfügbare optimierte Internet-Konnektivität für Fahrer und Mitfahrer
WiMAX
WLAN
WLAN
© W. Wahlster
Car2X-Kommunikation: Das Auto als fahrender Sensor-Knoten, mobiler Computer und mobiler Internet-Knoten
1. Mehr Sicherheit 2. Weniger CO2 3. Bessere Effizienz 4. Bessere
Kommunikation
© W. Wahlster
Fahrerassistenz: Nach 2 km Eisbildung!
Fahrerassistenz: Achtung nicht überholen!
Gegenverkehr hinter Kurve
!
Fahrerassistenz: Fahrbahnarbeiten nach
500 Metern!
Fahrerassistenz: Fahrzeug von rechts
hat Vorfahrt!
M2M-Anwendungen: Eingebettete Systeme kommunizieren via Internet
© W. Wahlster
Lokale Gefahrenwarnung über Car2X-Kommunikation
© W. Wahlster
Informationsaustausch zwischen Fahrzeugen über drahtloses Internet
© W. Wahlster
Kreuzungsassistenz
© W. Wahlster
Geschwindigkeitsassistent für grüne Ampelphasen
© W. Wahlster
Anfahrtassistenz vor roter Ampel
© W. Wahlster
Baustellenassistenz
© W. Wahlster
Einsatzfahrzeugasssistenz
© W. Wahlster
Ampelassistent: WLAN-Kommunikation zwischen Fahrzeug und Ampelanlage
© W. Wahlster Source: BMW
Ampelassistent: Notfallbremsung basierend auf Car2X-Kommunikation
© W. Wahlster
Achtung, Aquaplaning
in 100 Meter !!!
Peer-to-Peer Austausch von Sensorischer Information
GPS: Geo- daten
GPS: Geodaten
Sensorik
Semantische Peer-to-Peer Verbindung
© W. Wahlster
Bordcomputer kommunizieren untereinander und lassen Fahrzeuge in Gefahrensituationen autonom reagieren.
Autonomes Blinken und Hupen des Motorrads zur Erhöhung der Aufmerksamkeit eines kreuzenden Autofahrers
© W. Wahlster
Das Pull-Paradigma für Car2X-Systeme
Informations- suche
Push
Pu
ll
Informations- quelle
Ad-Hoc Netz Auto Fahrer
Anfrage Information gefunden
Auffinden des anfragenden Fahrzeugs
Präsentation
Broadcast Relevanz- filter
Präsentation
Antwort
© W. Wahlster
Verwendung vonCar2X PADE des DFKI (Dissertation S. Castronovo 2013)
• 36 Präsentationsmodelle im weltweit größten Feldtest simTD
• 400 Testfahrer mit Autos von 6 Marken • 2 OEMs (VW, Opel): haben ihr Firmendesign über PADE
gelegt • Vor dem Feldtest 1 ½ Jahre Vortests auf einer Teststrecke
© W. Wahlster
Bidirektionale Car2X-Kommunikation mit IEEE 802.11p und Multi-Hop-Suche
© W. Wahlster
1
2
Intelligente Kreuzungsassistenz: Andere Autos können mit Car2X als mobile Sensoren verwendet
Als mobiler Sensor verwendetes Auto Auto fordert aus dem Netz Information über Querverkehr an
© W. Wahlster
2
1
Freie Fahrt trotz verdeckter Sicht mit Car2X
Smart hat WebCam im Netz freigeschaltett
Auto will ohne Halt in die Vorfahrtsstrasse einfahren
© W. Wahlster
BMW-Testfahrzeug des DFKI mit Car2X
© W. Wahlster
Drei Car2X-Testfelder zur experimentellen Evaluation der Car2X-Technologien des DFKI
SIM-TD Teststrecke PMC Teststrecke
lang, im Raum Frankfurt, für 400 Autos unterschiedlicher
Hersteller
mittel, im Raum Bremen für die DFKI-eigene
Elektroautoflotte
Car2Saar Teststrecke
kurz, hochentwickelt auf dem Campus der UdS
© W. Wahlster
SIM-TD: In Deutschland gab es weltweit größten Feldtest der Car2X-Technologie
Weltgrößte Datenerhebung
450 Fahrer 43.000 Fahrstunden
1.650.000 km
© W. Wahlster
Notfallassistenz aus dem SmartSenior-Projekt. Übergang zum hochautomatisierten Fahren
© W. Wahlster
1001010110111010001010011101001010110110110110001000001001001001001001001110101010010010010010001000111101001111010010011010100100100100101010100100110100100100100011001011111111011111111111101010110001000100100101001010001000100010000000000010001000100010111001111111010001001110100000000000000000000000000000000100100010010010101001010011110111100011111111110010010100101000001001111111010101111010101110100100100100010011011111010010010100001001001001001001010100100111011001101011001101011101001001001001011111100111100110101011010010010010100100100100100100000000010010010100
Android Markt App Store
Apps für das Motor-
management
Apps für die Fahrer-
assistenz
Apps für umweltfreund-liches Fahren
Apps als Intelligente
Benutzerschnitt-stellen
Das softwaredefinierte Auto: Anpassen der Fahrzeugfunktionalität durch Apps
© W. Wahlster Source: BMW
BMW Apps: Integration der neuesten Webdienste in die Fahrzeugumgebung
© W. Wahlster
SemProM: Das semantische Produktgedächtnis speichert ein Tagebuch des Fahrzeugs (Wahlster et al 2010)
Multimodale Interaktion & Browsing
Das sprechende Fahrzeug erzählt die Geschichte seines Lebens
Aktuatoren
Sensoren
Black Box Ereignisspeicher
Semantisches
Gedächtnis des Fahrzeugs
Der ‚Smart Car‘ überwacht sich selbst und seine Umgebung.
© W. Wahlster
Das digitale Fahrzeuggedächtnis SemProM unterstützt auch die Wartung: Digitale Ersatzteil- und Serviceinformationen im Fahrzeug.
Das Fahrzeug prüft Ersatzteile und Flüssigkeiten auf Kompatibilität und gewährleistet deren korrekten Einsatz. Echtheit der Ersatzteile kann so geprüft werden.
© W. Wahlster
Erfassung der Waren im PKW und Mehrwert-dienste auf der Basis der Einkaufsliste
© W. Wahlster © W. Wahlster
Einstellung der Klimaanlage hat Auswirkung auf die Fahrzeit zur Garantie
der geschlossenen Kühlkette
Zugriff auf das Produktgedächnis gekaufter Waren im PKW
© W. Wahlster
Innovationen in der Agrartechnologie: Cyber-physische Systeme ermöglichen autonome Landmaschinen
© W. Wahlster
Moderne Maschinen können orts-basiert Ernte- mengen und Feuchtigkeitsgehalt von Feldfrüchten bestimmen.
Feuchtigkeits- sensor
Durchflussmengen- sensor
© W. Wahlster
Der Machine Connector ermöglicht her-stellerübergreifenden Datenaustausch mit der Flotte
Schnittstellen für den Datenaustausch zwischen Maschine und iGreen Knoten– Kombination von ISOXML & Semantischer Annotation Maschine– Maschine, auch ohne verlässliche mobile Internet-Anbindung!
Die Schnittstellen entstehen in herstellerübergreifender Zusammenarbeit John Deere , Claas, CCI (KRONE, Grimme,…)
Vision: Alle Maschinen einer Flotte in einem synchronisierten Datenraum
MachineConnector Gateway
REST HTTP
©2013 DFKI & iGreen Consortium
© W. Wahlster
Anwendungsbeispiel: Flottenmanagement in der Ernte
de/testkunde/officecomputer Internet
de/igreen/rootserver
de/testkunde/tractor
de/deere/jdmd de/claas/clmd
WiFi
GPRS
©2013 DFKI & iGreen Consortium
© W. Wahlster
Automatisches Fahren basiert auf schnellen mobilen Netzen und präziser Sensorauswertung
© W. Wahlster
Cyber-Physische Systeme für Mobilitäts der Zukunft
Das vernetzte und wandlungsfähige Elektromobil EO des DFKI
© W. Wahlster
Soziale Mobilität: Verbindung von Netzwerken
• Verbindung von Sozialen Netzwerken mit Straßennetzwerken
Rinspeed Identiface (von Daimler MBtech) Facebookeinträge, Neuigkeiten, Carpool-Angebote
© W. Wahlster
Multimodale persuasive Intervention
• Grüne Mobilität: Verhaltensbeeinflussung des Fahrers durch belehrendes Eingreifen
• Virtuelle emotionale Charaktere überzeugen den Fahrer treibstoffsparend zu fahren
• Virtuelle Charaktere erscheinen nur, wenn es die Verkehrssituation zuläßt (Parkplatz, rote Ampel,…)
Achtung, es ist grün! Passen
Sie besser auf den Verkehr auf. Bis
später...
Wenn Sie so weiter fahren, verbrauchen
Sie mehr Benzin als gestern!
© W. Wahlster
Soziale Mobilität: Personalisierung
• Das Fahrzeug wird zu einem sozialen Partner / Handelnden
“Filmore” (Disney Pixar)
erinnere dich daran mich bald zur Inspektion zu bringen
© W. Wahlster
Intelligente Straßenbeleuchtung: Automatisches Einschalten oder Lichtkette durch E-Cars bei Näherung eines Fußgängers im Dunkeln
All-IP, Always-On E-Cars: Parkende Fahrzeuge schalten bei Bedarf das Licht an
© W. Wahlster
Intelligenter Straßenverkehr auf der Basis von C2X-Technologien
EO bietet eine Plattform für neue Mobilitätskonzepte EO unterstützt die Umsetzung neuer intelligenter Mobilitäts-konzepte. • CarSharing, Car2Go, Integration
verschiedener Verkehrsträger • Selbststeuernder Verkehr: EO
erprobt Schlüsseltechnologien • Selbstlokalisation/Navigation • Kollisionskontrolle • Car2Car Kommunikation • Car2Infrastructure Kommunikation • Einbindung von Fahrzeugen in
Intelligente Transportsysteme (IST) • Fahren mit minimalem Abstand • 0-Tote Autos • Automatisches Fahren • Echtzeitverarbeitung von BIG DATA
© W. Wahlster
Ressource Auto: Durchbruchsinnovationen
Ganzheitliche Betrachtung der Gesamtheit aller Fahrzeuge und deren Wechselwirkungen in der Automobilgesellschaft.
Das Auto der Zukunft wird Ressourcengeber (Energie, Kommunikation, Wissen, Rohstoffe) nicht wie bisher nur Ressourcennehmer !
Aktuell meist Verbesserungsinnovationen des einzelnen Autos: Sicherer, Sparsamer, Sauberer - Elektromobilität
© W. Wahlster
Ressource Energie: Autos sammeln und speichern Energie (Energie-Puffer und Kraftwerk)
Die Oberfläche hochentwickelter Autos wird durch neue photovoltaische Werkstoffe als Stromerzeuger genutzt werden.
Neue Generation von Batterien speichern über- schüssige Wind-energie in gepark-ten Autos im Sinne eines Smart Grid.
© W. Wahlster
Personalisierer
Profil des Fahrers Konfiguration
Schlüsselcode
Mehrkanal- ausgabe
Individueller Kanal
Standardsicht
Multiple Realität: Adaptive Windschutzscheibe
Multimodale Fissions-
technologie
© W. Wahlster
Diese Ausfahrt nehmen!
Multiple Realität: Personalisierte Anzeigen
© W. Wahlster
Konklusionen 1. Das Auto wird immer mehr zum mobilen Computer, Internet-
Knoten und Sensornetz. 2. Autos werden zu kognitiven und sozialen Systemen, die
untereinander kommunizieren und Unfälle ausschliessen. 3. Eine neue Generation von Elektroautos hängt ständig am
Web, vernetzt sich selbst und bietet disruptive Dienste an. 4. Auto-Piloten und Fernsteuerung werden möglich, der Fahrer
muss nur noch in außergewöhnlichen Situationen eingreifen. 5. Datenschutz und Sicherheit der Netze sind dabei essentiell lebenswichtig.
© W. Wahlster
dieser Vortrag basiert auf der Zusammenarbeit mit folgenden Mitarbeiter des DFKIs:
Dr. Christian Müller, Dr. Sandro Castronovo, Dr. Michael Feld, Angela Mahr, Rafael Math, Monika Mitrevska, Mohammad Mehdi Moniri Die Arbeiten wird durch das Bundesministerium für Bildung und Forschung (BMBF) und die Firmen BMW, Daimler, Globus, Nuance und Intel gefördert.
Danksagung
Vielen Dank für Ihre Aufmerksamkeit