26
Friedrich-Alexander-Universität Erlangen-Nürnberg Stefan Wildermann 1 Seminar im Grundstudium SS2007 Seminar im Grundstudium: Motion-Tracking in der Robotik Lehrstuhl für Hardware-Software-Co-Design Universität Erlangen-Nürnberg [email protected]

Seminar im Grundstudium: Motion-Tracking in der Robotik · Friedrich-Alexander-Universität Erlangen-Nürnberg Stefan Wildermann 2 Überblick - Ziele Ziele: Einblick in die Welt der

Embed Size (px)

Citation preview

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 1

Seminar im Grundstudium SS2007

Seminar im Grundstudium: Motion-Tracking in der Robotik

Lehrstuhl für Hardware-Software-Co-Design

Universität Erlangen-Nürnberg

[email protected]

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 2

Überblick - ZieleZiele:

Einblick in die Welt der Robotik

Gemeinsame Entwicklung einer Anwendung zum Motion Tracking

Lernen, wie wissenschaftliche Themen vorbereitet, bearbeitet und präsentiert werden

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 3

Überblick - AblaufAblauf:

Vorbesprechung: Einteilung der Gruppen

Nächstes Mal: Einführung / Vorstellung der Schnittstellen

1. Hälfte: In Gruppen sollen kleine Programmieraufgaben

durchgeführt werde

2. Hälfte: Vorträge der Gruppen über die bearbeiteten Themen Erstellen eines kurzen Handouts (1 - 2 Seiten), das die

wichtigsten Punkte zusammenfasst

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 4

Verwendung des Roboters Kurt3D, der mit einem 3D-Laserscanner ausgestattet ist

Ziel: Tracking von Personen mitHilfe des Laserscanners

Laserscanner tastet eineEbene parallel zum Fußbodenauf ca. 32 cm Höhe ab

Erkennen von Beinpaaren im Laserscan

Verfolgung der Positionen der gefundenen Personen über die Zeit

Darstellung und Visualisierung der beobachteten Personen

Motion-Tracking

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 5

Systemaufbau

Personenerkennungim Laserscan

Wissen

AnchoringTracking

Bewegungsvorhersage

SchnittstelleGUI

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 6

Personenerkennung Laserscanner liefert die

Koordinaten der Punkte einer Ebene

Segmentierung der Punkte benachbarte Punkte

gehören zu einem Segment

Erkennen solcher Segmente, die Beine darstellen

Identifizierung von Beinpaaren

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 7

Systemaufbau

Personenerkennungim Laserscan

Wissen

AnchoringTracking

Bewegungsvorhersage

SchnittstelleGUI

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 8

Anchoring Assoziation

Zuordnung eines in früheren Messzyklen beobachteten Objektes zu einem aktuell gemessenen Objekt

Das Gesehene muss mit den Daten im Gedächtnis verknüpft werden

Instanz von Person

Name: FranzPosition: da vorneGeschwindigkeit: langsam

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 9

MethodikDas Tracking lässt sich in folgende Verarbeitungsschritte unterteilen:

PrädiktionVorhersage der zukünftigen Position anhand bekannter Info und physikalischer oder mathematischer Gesetzmäßigkeiten

AssoziationZuordnung eines in früheren Messzyklen beobachteten Objektes zu einem aktuell gemessenen Objekt

Korrektur Gewichtete Zusammenführung von Prädiktion und aktueller

Messung Mehr Gewichtung der Prädiktion glättet die Ergebnisse

stärker Mehr Gewichtung der Messung reagiert schneller auf

Veränderungen der Messwerte

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 10

Systemaufbau

Personenerkennungim Laserscan

Wissen

AnchoringTracking

Bewegungsvorhersage

SchnittstelleGUI

Prädiktion Korrektur

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 11

Bewegungsvorhersage Zustand einer Person zum Zeitpunkt t

Position Geschwindigkeit

Vorhersage des neuen Zustandes

Korrektur entsprechend den Messungen

x

y

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 12

Bewegungsvorhersage Prädiktion und Korrektur

x

y

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 13

Messung

Bewegungsvorhersage

Vorhersage

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 14

Systemaufbau

Personenerkennungim Laserscan

Wissen

AnchoringTracking

Bewegungsvorhersage

SchnittstelleGUI

Prädiktion Korrektur

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 15

Schnittstelle - GUI Verschiedene Mensch-Maschinen-

Schnittstellen, z.B. Shell GUI Sprachsteuerung Gestenerkennung

hier GUI, z.B. mit Java Swing / Java SWT OpenGL

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 16

Beispiel: Laserscan: Punktewolke einer 2D Ebene

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 17

Beispiel: Detektion von Beinpaaren im Laserscan

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 18

Beispiel: Detektion von Linien (blau)

Tracking von Personen

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 19

Einteilung der Gruppen Gruppe1: Laserscanner

Gruppe2: Anchoring

Gruppe3: Bewegungsvorhersage

Gruppe4: Schnittstelle

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 20

Gruppen Gruppe 1: Laserscanner

Applied Computer Science Group – Uni Bielefeldwww.techfak.uni-bielefeld.de/ags/ai/projects/BIRON/tracking/legs/laserleg.html

Freyer, ZellRobust real-time pursuit of persons with a mobile robot using multisensor fusion, 2000

Xavier, Pacheco, Castro, Ruano, NunesFast Line, Arc/Circle and Leg Detection from Laser Scan Data in a Player Driver, 2005

Nguyen, Martinelli, Tomatis, SiegwartA Comparison of Line Extraction Algorithms using 2D Laser Rangefinder for Indoor Mobile Robots, 2005

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 21

Gruppen Gruppe 2: Anchoring

Coradeschi, SaffiottiAn introduction to the anchoring problem, 2003

Kleinehagenbrock, Lang, Fritsch, Lömker, Fink, SagererPerson Tracking with a Mobile Robot based on Multi-Modal Anchoring, 2003

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 22

Gruppen Gruppe 3: Bewegungsvorhersage

Hettler,Bewegungsvorhersage, in Virtual environments: Seminar, Uni Karlsruhe, 2003

Perse, Pers, Kritan, Kovacic, Vuckovic,Physic-Based Modelling of Human Motion using Kalman Filter and Collision Avoidance Algorithm, 2005

KohlerUsing the Kalman Filter to track human interactive motion – Modelling and Initialization of the Kalman Filter for translational motion, 1997

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 23

Gruppen Gruppe 4: Schnittstelle

Java Swing - Tutorialhttp://java.sun.com/docs/books/tutorial/uiswing/

OpenGL für Javahttps://jogl.dev.java.net/

OpenGL – The Redbookhttp://www.opengl.org/documentation/red_book/

Rogalla, Ehrenmann, Zollner, Becher, Dillmann,Using gesture and speech control for commanding a robot assistant, 2002

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 24

Termin

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 25

Termin

Friedrich-Alexander-Universität Erlangen-NürnbergStefan Wildermann 26

Dozenten: Prof. Dr.-Ing. Teich (Inf12) Dr.-Ing. Marcus Bednara (Fraunhofer IIS) Joachim Falk (Inf12) Stefan Wildermann (Inf12)

Weitere Fragen bitte an:

[email protected]

Kontakt