Embed Size (px)
Citation preview
1 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Biosignale und Benutzerschnittstellen
Biosignal: Bewegung
Enstehung, Messung, Anwendungen
Prof. Dr. Tanja Schultz
Dipl. Math. Michael Wand
Vorlesung WS 2012/2013
2 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Taxonomie Biosignale – Bewegung
Biosignale
Mechanische Biosignale
Elektrische Biosignale
Akustische Biosignale
Chemische Biosignale
Sprache
Nichtsprachl. Artikulation
Hirn EEG
Augen EOG
Muskeln EMG
Herz EKG
Bewegung
Mimik
Wärme MEG/PET
fMRI
Körper- geräusche
Thermische Biosignale
Gestik
3 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
Viele Folien sind von Frau Dr. Wörner (danke!)
4 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Definition:
Bewegungen sind räumliche Verschiebungen von Gewebe
• Großräumige Bewegungen, z.B. ausgreifende Bewegungen der Beine beim Gehen
• Kleinste, fast unmerkliche Bewegungen, z.B. Mimik, Augenbewegungen, Körperbalance
• Jegliche Bewegung geschieht durch Muskeln
• Skelettmuskeln: Muskeln des Bewegungsapparates
• Glatte Muskeln: Muskeln der inneren Organe und Gefäße (autonome Kontraktion)
• Unser Augenmerk gilt heute nicht der Muskelaktivität, sondern der eigentlichen Bewegung
Bewegung
5 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
6 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsapparat des Menschen
• Gewebestrukturen des Körpers:
• Knochen
• Knorpelgewebe
• Bänder
• Muskeln
• Sehnen
• Die einzelnen Gewebearten weisen ein unterschiedliches mechanisches Verhalten und biologische Funktion auf und werden daher separat betrachtet
• Zusammenspiel der unterschiedlichen Gewebetypen bildet den Bewegungsapparat des Menschen
Der menschliche Körperaufbau
Bildquelle: http://hamburger-heilpraktiker-fachschule.de/42237/42255.html
7 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Der menschliche Bewegungsapparat stellt ein System des Körpers dar, welches die Körpergestalt und deren Haltung, insbesondere auch die Fortbewegung ermöglicht.
• Der Bewegungsapparat unterteilt sich in
• den Passiven Bewegungsapparat und
• den Aktiven Bewegungsapparat.
• Die Grenzen zwischen den beiden Bereichen sind in der Literatur nicht eindeutig definiert.
Bewegungsapparat des Menschen
8 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Aktiver Bewegungsapparat
• Der aktive Bewegungsapparat dient in erster Linie der Bewegung und besteht aus der Skelettmuskulatur und ihren Anhangs- bzw. Hilfsorganen:
• Muskulatur
• Sehnen
• Sehnenscheiden, an Belastungspunkten
• Schleimbeutel
• Faszien (Kollagenhülle um die Muskeln)
9 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Passiver Bewegungsapparat
• Der passive Bewegungsapparat (Stützapparat) dient in erster Linie der Stützung bzw. Formgebung des Körpers und besteht aus dem Skelett mit seinen verschiedenen Anteilen:
• Knochen
• Knorpel
• Gelenke
• Bandscheiben
• Bänder
10 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Gewebetypen
• Aufbau des Knochenkomplexes:
• Im Inneren Spongiosa
• Außen Kompakta
• Knochenhaut, Knochenknorpel
• Knochengewebe ist einem permanenten Umbau unterworfen
• Höheres Alter schwächere Knochen
• Knochengewebe:
• Lebendiges Gewebe
• Unterschiedliche Knochentypen:
Röhrenknochen z.B. Oberschenkel
Platte Knochen z.B. Schädel,
Kurze Knochen z.B. Fingerknochen
http://www.uniklinik-saarland.de/med_fak/pathologie/ Knochen_Pathologie/figures_large/ Rem_Buch_021.jpg
http://www.wissenschaft-online.de/abo/ticker/783370
11 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Muskelgewebe
• Muskelgewebe:
• Antriebe für die Fortbewegung
• Muskel arbeitet auf Zug, d.h. Stoßbe- wegung ist nicht möglich!
• pro Gelenk immer eine agonistische und eine antagonistische Muskelgruppe.
• Unterschiedliche Gruppen an Muskeln:
• Quergestreift: Skelettmuskel, Herzmuskel
• Glatt: Hohlorgane z.B. Darm, Speiseröhre
• nur Skelettmuskulatur ist bewusst steuerbar
• Muskeln sind über die Sehnen mit den Knochen verbunden
• Muskelfasern werden über Nerven erregt und zur Kontraktion gebracht (siehe Vorlesung über Elektromyographie)
• Schwellenspannung und -frequenz müssen überschritten werden
Bildquelle: http://www.architektur.tu-darmstadt.de/powerhouse/db/248,id_37,s_Papers.fb15 http://www.sportunterricht.de/lksport/muskel5.html
12 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Sehnen
• Übertragung der Kraft der Muskulatur auf das Skelett
• Verbindungselemente zwischen Muskeln und Knochen
• Sehr hohe Zugfestigkeit
• Kollagene Bindegewebsfasern
• Dämpfung der Kraftübertragung auf den Knochen
• Ursprungssehne: Im Bereich der Ursprungssehne ziehen die Sehnenfasern gebündelt zwischen den Muskelfasern und befestigen sich einzeln an den Muskelfaserhüllen
• Ansatzsehne: Im Bereich der Ansatzsehne strahlen die Sehnenfasern gebündelt und sich teilweise überkreuzend in den Knochen ein. Dabei wird eine vorgelagerte Knorpelzone durchlaufen.
http://www.friedbert-kretschmer.de/Bilder/Sehnen%201%20web.gif
http://www.ask-gmbh.de/01/002/0021/_7/002173.htm
13 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bänder
• Dehnbare, faserartige Bindegewebsstränge
• Verbinden die beweglichen Teile des Knochenskeletts, d.h. Verbindungen zwischen Knochen und Knochen
• Einschränkung der Beweglichkeit ( Randbedingungen)
• Dehnbarkeit beschränkt Bänderriss
• Positionierung von Organen innerhalb des Körpers
• Gelenke erhalten Stabilität durch Überziehen mit Bändern
http://www.g-netz.de/Der_Mensch/skelett/baender.shtml
14 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Knorpel
Belastungszustand:
• Zu tragende Gewicht drückt auf den Knorpel
• Flüssigkeitssubstanz weicht zurück
• Dämpfung der Kraft
• Durch Druck erfolgt der Nährstoffausgleich durch Abtransport im Knorpel
• Elastisches, biegsames Gewebe
• Hohe Reiß- und Druckresistenz
• Bildet zusammen mit dem Knochen das Skelett
• Wesentlich für die Abnutzung von Gelenken
15 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Gelenke
• Komponenten Knochen, Muskeln, Knorpel, Sehnen und Bänder
• Durch Gelenke wird die menschliche Bewegung aufgrund einer Aktivierung umgesetzt
• Unterschiedliche Gelenktypen
Feiner strukturierte Klassifizierung notwendig
Definition Gelenk: Bewegliche Verbindung von mehreren Körpern
Anatomisches / Menschliches Gelenk: Bewegliche Verbindung von mehreren Knochen, gestützt und beschränkt durch Sehnen und Bänder. Anatomische Einheit als Zusammenspiel unterschiedlicher Gewebetypen
16 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Gelenke: Klassifizierung
• Scharniergelenk: Bewegung ist nur um eine Achse möglich
• Beispiel: Ellenbogen
• Zapfengelenk: Ringförmige Drehung um einen Zapfen, Sonderform des Scharniergelenks
• Beispiel: Kopf
• Flache Gelenke: Drehung um zwei aufeinander senkrechte Achsen im Raum, Einschränkungen der Bewegungen möglich
• Beispiel: Handgelenk
• Sonderform: Sattelgelenke, z.B. Daumen
• Kugelgelenk: größter Bewegungsspielraum um drei Achsen, Beschränkung durch Anschläge
• Beispiel: Schulter
17 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Regeneration von Gelenken
• Abnutzung von Gelenken aufgrund Zerstörung von Knorpelgewebe
• Problem: Knorpel ist nicht in der Lage, sich selbst vollständig zu erneuern oder zu regenerieren
Bildquelle: http://www.deutsches-arthrose-forum.de/contents/deutsches-arthrose-forum/data/arthrose.html
18 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Biomechanik: Definition
Was versteht man unter Biomechanik?
Die Biomechanik, als Teilgebiet der Biophysik, befasst sich mit der Analyse der Untersuchung der Bewegung biologischer Systeme. Sie kombiniert hierzu die Methoden, Erkenntnisse und Verfahren der Mechanik und der Biologie.
Arbeitsgebiet der Technischen Mechanik (Ähnlichkeiten!). Der Entwurf neuer Produkte orientiert sich immer häufiger am biologischen Vorbild
Äußere Biomechanik: Darstellung der mechanischen Eigenschaften
Innere Biomechanik: Motorische Regelungsprozesse im Körper
Sportbiomechanik: Teilgebiet der Sportwissenschaft Beschreibung und Erklärung der sportlichen Bewegung mit den Methoden der Mechanik
19 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung (mit Anwendungsbeispielen)
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
20 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Biomechanik: Relevante Parameter
• Biomechanik (untersucht die Bewegung biologischer Systeme)
• Biologie: Anatomie, Physiologie, Biochemie
• Mechanik: Physik, Mathematik
• Kinematik (Ortsveränderung des Körpers / Körperteilen)
• Weg, Geschwindigkeit, Beschleunigung
• Winkel, Winkelgeschwindigkeit, Winkelbeschleunigung
• Dynamik (Kräfte)
• Äußere Kräfte
Widerstand, Reibung, …
• Innere Kräfte
Muskulatur (aktiv)
Bänder, Sehnen, Knochen (passiv)
21 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsmerkmale
Welche Merkmale einer Bewegung werden erfasst?
Physikalische Größen:
• Geschwindigkeit
• Beschleunigung
• Druck
• Kraft
• Drehmoment
• Winkelgeschwindigkeit
• Energie
• Leistung
Biomechanische Merkmale: Kinematische Merkmale: • Weg • Geschwindigkeit • Beschleunigung
Zeitspezifische Merkmale: • Frequenz • Zeit
Dynamische Merkmale: • Impuls, Masse, Kraft
22 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Welche Merkmale werden erfasst
Unterschiedliche Messverfahren zur Erfassung von Bewegungsabläufen:
• Kinemetrie: Weg-Zeit-Messung der Lage und Geschwindigkeit von Körpern
• Dynamometrie: Kraftmessung der äußeren Kräfte, Ableitung der Größen Impuls, Arbeit und Leistung
• Elektromyographie: Elektrische Messung des Aktivierungszustandes eines Muskels über das elektrische Potenzial
• Anthropometrie: Abmessungen und Masseverteilungen, Schwerpunkte im Körper, Bestimmung des Körperbaus
23 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erfassen von Bewegungen
• Erfassung von Bewegungsabläufen wird in der Regel kategorisiert nach:
1. Welche Merkmale werden erfasst? Kinemetrie, Dynamometrie, Anthropometrie, Elektromyographie
2. Wie werden die Merkmale erfasst: Aufnahmetechnik Optische, Magnetische, … Bewegungserfassungssysteme
3. Wie werden die Merkmale erfasst: Messaufbau Konfiguration der Messeinrichtung, Platzierung der Sensoren, etc.
• Feststellung der geeigneten Merkmale und Verfahren zur Erfassung derselben ergibt sich aus den Notwendigkeiten
• Anwendung: Zu welchem Zweck soll die Bewegung erfasst werden?
• Welche Anforderungen bestehen an die Systeme? Genauigkeit, Kosten, Echtzeit, …
24 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Anforderungen an die Erfassung - Analyse
• Was soll erfasst bzw. nachgebildet werden (Modellbildung)?
• Wie lange dauert der zu betrachtende Anwendungsfall (Betrachtungszeit)
• Wie viele Personen/Objekte sind an der Tätigkeit beteiligt?
• Findet eine Interaktion/Fremdeinwirkung zwischen den Personen statt?
• Wirken äußere Kräfte zusätzlich auf die Person ein?
• Welche Parameter sollen erfasst/analysiert/simuliert werden?
• Ortsveränderungen über die Zeit
• Belastungsgrenzen
• Übergeordnete Ziele:
• Bewegungsanalyse
• Bewegungserkennung
• Bewegungsgenerierung
25 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Fragestellungen:
• Analyse des Anwendungsfalls
• Welche Daten sollen approximiert werden (Ziel der Aufgabe)?
• Zur Verfügung stehende Parameter/erfassbare Größen (Basis)
• Umweltanalyse / Störgrößen
• Geforderte Genauigkeit
Antworten abhängig von den Zielvorgaben und der Anwendung
Anforderungen - Anwendung
26 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Anforderungen - Störgrößen
Umweltanalyse / Störgrößen:
• Unter welchen Gegebenheiten findet die Anwendung real statt
• Welche äußeren Störgrößen sind eventuell vorhanden und müssen mit abgebildet werden.
• Wie stark variiert die Tätigkeit mit wechselnden Umwelteinflüssen
• Lichteinflüsse, künstliche Beleuchtung notwendig
• Anbringen künstlicher Hilfsgrößen aufgrund zu großer Störungen
• Marker notwendig?
• Anderweitige Sensorik?
27 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Basisgrößen:
• Welche Anforderungen müssen an die Hardware gestellt werden?
• Auswahl der Messverfahren
• Welche Parameter sind:
• eindeutig bekannt?
• müssen geschätzt werden?
• müssen gemessen werden?
• können errechnet werden ?
• Erforderliche Rate bei der Bilddatenaufnahme
• Ganzkörperliche Betrachtung?
Anforderungen - Messverfahren
28 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Anforderungen an die Bewegungserfassung
Anforderungen heute
Verschiedene Anforderungen hinsichtlich:
• Daten
• Protokollen und Laufzeitverhalten
• Präzision
• Verwendete Modelle….
• Aufnahmedauer
Entwicklung und Einsatz von Systemen unterschiedlicher Modalitäten, Aufnahmeeigenschaften und Ausgabeparametern
29 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Anforderungen Heute
Anforderungen an Trackingsysteme
• Hohe Genauigkeit
• Geringe Latenzzeit
• Hohe Wiederholrate (min. 10 fps)
• Kleine Baugröße, v.a. von mobilen Bestandteilen
• Meist 6 DOF, absolute Messung
• Simultane Unterstützung mehrerer Objekte / Benutzer
• Niedriger Preis
30 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewertungskriterien für Aufnahmesysteme (nach Bhatnagar):
• Genauigkeit (Accuracy) Fehler in Position und Orientierung
• Auflösung (Resolution) Kleinste wahrnehmbare Änderung der Position / Orientierung
• Aktualisierungsfrequenz (Update rate) Frequenz mit der Daten an den Rechner gesendet werden können
• Störanfälligkeit
Anforderungen - Bewertungskriterien
31 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewertungskriterien für Aufnahmesysteme (Fortsetzung):
• Verzögerung (Latency) Verzögerung zwischen der Positions-/ Orientierungsänderung und deren Report an System
• Aufnahmevolumen (Working Volume) Volumen, in dem der Tracker in der angegebenen Geschwindigkeit und Auflösung die Position und Orientierung mit der angegebenen Genauigkeit und Auflösung bestimmen kann.
• Kosten (Costs)
• Benutzbarkeit (Usability)
Anforderungen – Bewertungskriterien
32 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Kategorisierungen Bewegungserfassungssysteme
• Kategorisierung nach Messaufbau bzw. –anordnung Orientiert sich an der Konfiguration der Messeinrichtung [Mulder]
• Kategorisierung nach Aufnahmetechnik Orientiert sich an der der Bewegungserfassung zu Grunde liegenden Technik (mechanisch, optisch, magnetisch etc.) [Moeslund et al.]
• Kategorisierung nach aktiven/passiven Markern
• …
Hier befassen wir uns mit den ersten beiden Kategorien.
Bewegungserfassungssysteme
34 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Kategorisierung nach Messaufbau
Kategorisierung nach Messaufbau Orientiert sich an der Konfiguration der Messeinrichtung
Drei Haupttypen von Systemen:
• Inside-In Systeme Sensoren und Datenquelle/Emitter befinden sich am Objekt/Körper
• Inside-Out Systeme Sensoren am Objekt/Körper messen „Daten“ aus externen Quellen (künstlich oder natürlich)
• Outside-In Systeme Externe Sensoren erfassen „Daten“ aus Quellen am Objekt/Körper
35 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Kategorisierung nach Messaufbau: Inside-In Systeme Sensoren und Datenquelle/Emitter befinden sich am Objekt
• Beispiel: Mechanische Systeme mit integrierten Kraftmessern
Computer Interface
Auf dem Körper angebrachte Sensorik
Computer
Messaufbau: Inside-In Systeme
36 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Kategorisierung nach Messaufbau: Inside-Out Systeme Sensoren am Objekt/Körper messen „Daten“ aus externen Quellen (künstlich oder natürlich)
• Beispiel: Akustische und magnetische Aufnahmesysteme
Computer Interface
Computer
Sensor auf Objekt
(z.B. Spule, Mikro)
Externe künstliche Quelle (z.B. Ultraschallsender)
Messaufbau: Inside-Out Systeme
37 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Kategorisierung nach Messaufbau: Outside-In Systeme Externe Sensoren erfassen „Daten“ aus Quellen am Objekt/Körper
• Beispiel: Optische Aufnahmesysteme
Computer Interface
Computer
Externe Sensoren (z.B. Kameras)
Künstliche Marker, passive
Sensoren
Messaufbau: Outside-In Systeme
38 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Kategorisierung nach Aufnahmetechnik
System
Mechanische Systeme
Optische Systeme
Magnetische Systeme
Akustische Systeme
Trägheitsbasierte Systeme
Lichtwellenleiter- systeme
39 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Mechanische Systeme
Mechanische Systeme
Initiale Objekterfassung Bewegungserfassung
40 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Mechanische Systeme
• Digitalisierung von Objekten
• Abtastung der Oberflächenstruktur von Objekten
• Vorteil: Materialunabhängig (im Vergleich zu Scanner) Nachteile: zeitaufwendig, nur statisch
• Bsp. Messarm Faro
Mechanische Systeme
Initiale Objekterfassung
http://epc.faro.com/
41 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Mechanische Systeme
• Rigide oder flexible Winkelmesser vom Benutzer getragen • Skelettverbindungen zur Abbildung von Gelenkwinkeln
Mechanische Systeme
Bewegungserfassung
http://www.xsens.com/images/paper/Gonio_old.jpg http://www.sonalog.com/
42 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Mechanische Systeme: Vor- und Nachteile
Vorteile:
Robust gegen Störungen/Umwelteinflüsse
Hohe Genauigkeit bei geringer Latenz
Möglichkeit des Force Feedbacks
Nachteile:
Eingeschränkte Beweglichkeit
Eingeschränkter Messbereich durch beschränkte DOFs
Störung durch Fixierung an Weichgewebe
nur Winkeländerung messbar, keine absolute Position
Initiale Abtastungen hochgenau, sehr gut geeignet für Anatomieerfassung vor Bewegungsaufzeichnung
43 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Optische Systeme
• Fragestellung: Wie kann das gesuchte Objekt optisch am besten identifiziert werden?
Optische Verfahren
Künstliche Marker
Ohne Marker / Natürliche Landmarken
• Aktive Marker • Passive Marker
• Methodik der Bildverarbeitung • Teilbetrachtung
44 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Optische Systeme
• Markerbasierte, optische Systeme:
• Marker werden am Körper geklebt (bony landmarks)
• Verfolgung der Markerpositionen mit mehreren Kameras
• Stereometrische Bestimmung korrespondierender Punkte
• Positionsrekonstruktion mit der Kenntnis über die Position der Kamera und den Kameraparametern
Marker können aktiv (leuchtend) oder passiv (reflektierend) sein
45 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Optische Systeme
• Anforderungen an künstliche Marker:
• Marker muss von allen Seiten gut lokalisierbar sein
• Marker muss kontrastreich zu dessen Umwelt sein
• Geeignete Familie von Markern
• Eindeutige Identifikation der Marker
http://vrlab.epfl.ch/~damien/student_projects/skeletonrecon/skeletonrecon.html
• Erwartet wird deutliche Vereinfachung der Bildverarbeitung
• Suche nach „Markern“ auf dem beobachteten Objekt (Farbpunkte, Augen etc.)
46 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Optische Systeme
• Markerlose, optische Systeme :
• Arbeiten mit Bilddaten + Modellwissen
• Techniken z.B. Umrissverfolgung, Hand-Kopf-Tracking etc.
• 3D-Laser-Scanner Auswertung der Reflektion von moduliertem Licht
• Structured-Light-Projection Auswertung von auf das Objekt projizierten Licht Schatten-Verläufen
• Aktuelles Forschungsthema
47 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Optische Systeme
Nonparametric Density Estimation for Human Pose Tracking: Brox, Rosenhahn, Kersting, Cremers
Aufbau und Modellierung des RoSi Scanners zur 3D-Tiefenbildakquisition, Dillmann, Uni Karlsruhe http://www.imveurope.com/features/feature.php?feature_id=21
48 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Optische Systeme: Vor- und Nachteile
Vorteile:
Hohe Messgenauigkeit (Submillimeterbereich)
Hohe Abtastrate
Arbeitsvolumen
Aufnahme mehrerer Personen möglich
Interaktion von Personen
Mobilität
Nachteile:
Verdeckung von Markern
Fehlerhafte Zuordnung
Manuelle Nachbearbeitung
Hohe Kosten (Kameras, Arbeitszeit)
selten Echtzeitfähigkeit (Vicon Ausnahme)
Latenzzeit
Sichtverbindung nötig
49 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Glasfasersysteme
• Lichtwellenleiterbasierte Systeme :
• Glasfaserkabel mit Diode sind entlang der entsprechenden Gelenke positioniert
• Spezielle Form der optischen Sensoren
• Beugung des Fingers/Glasfaserkabels erzeugt messbare Lichtreflektion
VPL Data Glove
50 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Glasfasersysteme: Vor- und Nachteile
Vorteile:
Bewegungsfreiheit des Probanden größer als bei anderen mechanischen Systemen
kleine Baugröße der Messeinheit
Nachteile:
Verkabelung notwendig
51 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Magnetische Systeme
• Magnetische Aufnahmesysteme:
• Zyklische Erzeugung dreier senkrecht zueinander stehender / linear unabhängiger Magnetfelder z.B. über Spulen
• Auf dem Körper platzierte Sensoren messen pro Zyklus die Stärke der drei Felder
• Positionsbestimmung über die gemessene Stärke der drei Magnetfelder
• Veränderliche Felder induzieren Spannung in Spule, durch drei orthogonale Spulen kann also 3D-Position/Orientierung bestimmt werden
[Ascension Flock of Birds, DC]
52 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Magnetische Systeme: Vor- und Nachteile
Vorteile:
Keine Verdeckungs- oder Reflexionsprobleme
Einfache, flexible Aufbauten,
Einfache Benutzbarkeit, kleine Sensoren
Hohe Frameraten, hohe Präzision
Kostengünstig
Kaum Latenzzeit
Nachteile:
Verzerrungen durch metallische oder ferromagnetisch Materialien in der Umgebung
Kleines Aufnahmevolumen durch Begrenzung des Magnetfeldes
Kabelanbindung notwendig, unhandlich
Interferenzen bei mehreren Personen
53 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsanalyse: Akustische Systeme
Akustische Aufnahmesysteme
• Erzeugung von Ultraschall zur Positionsbestimmung
• Time of Flight (TOF)-Aufnahmesystem: Messung der Zeit, die eine Schallwelle vom Emitter zum Empfänger braucht.
• Phasenbasierte Aufnahmesystem: Empfänger ermitteln die Phasenverschiebungen der emittierten Schallwellen, um Position und Orientierung zu bestimmen.
54 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Akustische Systeme
[Sutherland 1968]
Intersense IS-900 [Intersense Inc. 2005]
55 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Akustische Systeme: Vor- und Nachteile
Vorteile:
Robust benötigen keine kontrollierte Umgebung
werden nicht durch magnetische Felder o.ä. beeinflusst
klein und leicht zu tragen
einfache Berechenbarkeit
Nachteile:
Empfindlich gegen Verdeckungen/Hindernisse („Line of Sight“)
Empfindlich gegen akustische Störungen sowie Veränderungen des Schalldrucks (Temperatur, Luftdruck, Luftfeuchtigkeit etc.)
Beschränkte Framerate, schlechte Genauigkeit
Nur Positionsbestimmung
56 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Trägheitssysteme
Trägheitsbasierte Aufnahmesysteme:
• Newtonsches Axiom: Jeder Körper verharrt in konstantem Zustand, solange er nicht durch äußere Kräfte gezwungen wird, seinen Zustand zu ändern
• Silicon-Accelerometer und Geschwindigkeitssensoren können Winkelgeschwindigkeiten und Beschleunigungen messen
• Bestimmung von Position und Geschwindigkeit über numerische Integration
57 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitssysteme: Vor- und Nachteile
Vorteile:
Robust werden nicht durch Umwelteinflüsse gestört
Großes Aufnahmevolumen
Günstig, klein und leicht zu tragen
Nachteile:
Keine präzise Geschwindigkeits-/ Positionsbestimmung
Rauschempfindlich (speziell billige Sensoren)
Beschränkte Framerate
58 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Bewegungsanalyse
• Forschung am Cognitive Systems Lab
59 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung: Historisches
Geschichtliches:
• Erster Versuch: Eadweard Muybridge
• 1872 von Leland Stanford engagiert, um die exakte Beinstellung eines trabenden Pferdes zu bestimmen.
• Technik: Aufbauten, bestehend aus 12, 24 und schließlich 36 sukzessive auslösenden Fotoapparaten
• Ergebnis: Movement, Philadelphia – Elf Bände mit über 100.000 Aufnahmen Serienaufnahmen des menschlichen / tierischen Bewegungsablaufs (Chronofotografie)
• (Animal Locomotion; An Electro-Photographic Investigation of Consecutive Phases of Animal Movement. Fotoserie auf 781 Platten aus den Jahren 1872 bis 1885)
60 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserfassung
Library of Congress Prints and Photographs Division; http://hdl.loc.gov/loc.pnp/cph.3a45870
http://commons.wikimedia.org/wiki/Image:Muybridge_Buffalo_galloping.gif
Bewegungserfassung: Historisches
61 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Etienne-Jules Marey
• Einzelbildphotographie zur Rekonstruktion von Bewegungsabläufen (auch dreidimen- sionale Rekonstruktionen).
• Zusätzlich pneumatische Sensoren und Drucksensoren
• Technik: Rotierende photographische Platten in einer gewehrähnlichen Kamera (1882)
• Ergebnis: Aufnahmen von Bewegung von Tieren (Insekten, Vogelflug, Pferde, Katzen u. a.) und menschliche Körperbewegungen
[Marey, Étienne Jules. 1868. Du mouvement dans les fonctions de la vie: Leçons faites au Collège de France. Paris: Baillière]
Bewegungserfassung: Historisches
62 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Fotos: http://www.acmi.net.au/AIC/MAREY_BIO.html
Bewegungserfassung: Historisches
Bewegungserfassung
63 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Medizin Prävention, Reha, OP, Ergonomie, Golfanalyse
• Sportinformatik Bewegungs- optimierung, Training, Auswertung, …
• Entertainment/Gaming Computer-Charakter-Animation
• Mensch-Maschine-Schnittstellen
• Maschinensteuerung
• Robotics
• Verhaltensanalyse etc…
Anwendungen der Bewegungserfassung: Heute
64 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Beispiel 1 - Golfanalyse
• Beispiel 1: Golf-Analyse (University of Pittsburgh):
• Prävention und Behandlung von Verletzungen im Sport
• Verbesserung individueller (Golf-) Techniken, Leistung
• Methoden
• Analyse sensorischer und motorischer Eigenschaften
• Biomechanische und neuromuskuläre Untersuchungen unter sportsimulierten Bedingungen zur Messung von:
Gewichtsverteilung, Muskelfunktion, Balance, Beweglichkeit, Muskelgedächtnis, Alter, Geschlecht, Alterung, und Ermüdung
Einfluss von Verletzungen, Operationen und Rehabilitation auf die Stabilität der Gelenke
University Pittsburgh http://www.pitt.edu/~neurolab/Golf.htm
65 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Beispiel 2 – Bewegungsabläufe im Sport
• Animierte Lehrbildreihen
• http://www.sportunterricht.de/lksport/bildani.html
• Erlernen von Bewegungen: Methodik und Didaktik
• Optimierung von Bewegungen: Training, Prävention
• Strukturierung und Klassifizierungen
• …
66 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Beispiel 3 – Ergonomie im OP
Workflowanalyse im OP • Ergonomische Defizite • Blickrichtungen
Universität Leipzig ICCAS: Innovation Center Computer Assisted Surgery
67 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
68 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Was ist Segmentierung?
Quelle: Durell Bouchard, Automated Time Series Segmentation for Human Motion Analysis
• Aufnahme von längeren Sequenzen ist natürlicher als kurze “Schnipsel” oder “Clips”
• Daten müssen in Teilsequenzen geschnitten werden
• Daten werden meist von Hand segmentiert, aber:
• Hoher Kosten- und Zeitaufwand
• Inkonsistenz
• Daher Automatisieren
• Gut und schnell!
• Bewegungsdaten sind Zeitreihen
• Segmentierung von Zeitreihen ist ein altes Problem
• Daher entlehnt man Segmentierungsmethoden von Disziplinen wie Spracherkennung …
69 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zeitreihen
• Die allgemeinste Definition von Zeitreihen: Diskrete Sequenz von m-dimensionalen Datenpunkten vi, gemessen zu beliebigen Zeitpunkten ti.
• Reguläre Zeitreihen: Zeitintervalle zwischen Messungen sind uniform, d.h. es gibt eine Konstante k mit ti +k = ti+1.
• Beispiele:
• Wirtschaft: Wertentwicklung einer Aktie über ein Jahr m = 1: Aktienkurs zu täglichem Börsenschluss; n=365
• Spracherkennung: Aufnahme eines dreißigminütigen Vortrags m = 13 (Cepstralkoeffizienten); n=18000 (30x60x100) (30min Vortrag, 60 sec; 100 Vektoren/sec bei 10ms frames)
d1
d2
d3
:
dm
d1
d2
d3
:
dm
t1 t2 t3 tn
vi
70 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung von Zeitreihen • Definition 1: Segmentierung (Partition)
• Definition 2: strikte Segmentierung
• Allgemeinste Definition der Segmentierung
d1
d2
d3
:
dm
t1 t2 t3 tn
d1
d2
d3
:
dm
t1 t2 t3 tn
d1
d2
d3
:
dm
t1 t2 t3 tn
71 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung von Zeitreihen
• Typischer Ablauf einer Segmentierung im Prozess der Verarbeitung von Zeitreihen
• Feature Extraktion:
• Digitalisierung
• Datenreduktion, Dimensionalitätsreduktion
• Vorverarbeitung: Filterung, Geräuschreduktion…
• Segmentierung: heutiges Thema
• Anwendung
• Evaluation der Resultate anhand von Referenzen
• Analyse der Fehler und ggf. Verbesserung der Segmentierung
72 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung von Zeitreihen
• ABER: Manchmal wird zur Lösung des Segmentierungsproblems bereits die Lösung des Gesamtproblems benötigt
• Beispiel aus dem letzten Jahr: kontinuierliche Spracherkennung
• Wo sind in der Beispielgrafik die Wortgrenzen?
• Erforderlich ist in solchen Fällen ein integrierter Ansatz, der das Segmentierungs- und das Erkennungsproblem in einem Schritt löst
74 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Forschung am Cognitive Systems Lab
75 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung: Warum?
• Wozu braucht man Segmentierung
• Aufnahmen können aus verschiedene Bewegungen bestehen, zum Beispiel laufen, rennen, sitzen, ….
• Bewegungen haben Funktionsphasen
• Eine Lösung: manuelle Segmentierung
• Wird häufig gemacht
Referenzen erzeugen für die Evaluierung
Trainingsmaterial für überwachtes Lernen
• Aber: sehr kosten- und zeitaufwendig
• Manuelle Segmentierung ist inkonsistent
Intercoder Agreement: Grenzen sind subjektiv
Bewegungsübergänge oft nicht eindeutig
Grenzen sind kontextabhängig
Bewegungseinheiten sind oft nicht abzählbar
76 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zuverlässigkeit manueller Segmentierungen
• Paper: Gesture Segmentation in complex motion sequences: Kanav Kahol*, Priyamvada Tripathi, Sethuraman Panchanathan, Arizona State University
• Subjektivität: Abbildung zeigt Segmentgrenzen derselben Bewegung, manuell segmentiert von zwei Personen
• Person 1 setzt 10 Grenzen
• Person 2 setzt 21 Grenzen
77 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zuverlässigkeit manueller Segmentierungen
Segmentgrenzen sind kontextabhängig
• Die Wahrnehmung von Grenzen hängt von der Reihenfolge der Bewegungen ab
• Ändert man die Reihenfolge, können sich sehr unterschiedliche Ergebnisse ergeben, bedingt durch den Kontext und kognitive Prozesse im Gehirn bei der Wahrnehmung einer Bewegung
Bewegungssequenzen sind nicht abzählbar
• Willkürliche Definition von Grenzen
• Definition der Teilbewegungen ist abhängig von der Anwendung
Allerdings: Menschen nehmen Bewegung als eine Folge diskreter Teilbewegungen wahr
• Top-down: Definition bedeutungsvoller Einheiten?
• Bottom-up: Automatisches Auffinden ähnlicher Einheiten?
78 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Manuelle Segmentierung – Beispiel
Ruheposition zum_Glas_heranholen greifen_Glas_heranholen Glas_heranholen loslassen_Glas_heranholen zur_Ruheposition_Place_Glas_heranholen Ruheposition zur_Flasche_heranholen greifen_Flasche_heranholen Flasche_heranholen Ruheposition_Flasche Einschenken Flasche_absetzen Ruheposition_Flasche Flasche_weglegen loslassen_Flasche_weglegen zur_Ruheposition_Place_Flasche_weglegen Ruheposition Glas_weglegen greifen_Glas_weglegen vom_Glas_weglegen loslassen_Glas_weglegen zur_Ruheposition_Place_Glas_weglegen Ruheposition
79 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
80 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
81 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung: Sliding Window
Welche Ansätze gibt es, Segmentierung zu automatisieren?
• Sliding Window:
• Berechne jede mögliche Segmentierung
• Wähle diejenige mit dem kleinsten Fehler
• Definiere „Sliding Window“ w und Breite b Durchlaufe das Signal mit w, b in Schritten s und schneide korrespondierende Segmente aus
• Für alle b und s: Berechne Fehler für Segment
• Vorteil: Falls Fehlerfunktion geeignet definiert, findet diese Methode garantiert das Optimum
• Nachteil: zu langsam für Echtzeitanwendungen
• Begrenzung der Fenstergröße und Schrittweite
82 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung: Top-down
• Top-Down - Ähnlichkeit:
• Für alle ti: Definiere die Segmente s1:= [t0, ti-1] und s2:=[ti, tn]
• Wähle diejenige als Segmentgrenze aus, an der die Differenz zwischen s1, s2 maximal wird
• Wiederhole den Prozess auf beiden Seiten der Grenze
• Stopkriterium: Schwellwert für Distanz, Anzahl Segmente
• Vorteil: Schneller als Sliding Window
• Nachteil:
• immer noch langsam, insbesondere für große n
• Finde geeignetes Distanzmaß
• Finde guten Schwellwert oder Anzahl Segmente
83 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung: Bottom-up
• Bottom-Up - Ähnlichkeit:
• Analog wie Top-Down, nur von unten nach oben …
• Für alle ti: Definiere die Segmente s1:= [ti-1] und s2:=[ti], d.h. Segment besteht aus einzelnem Frame
• Wähle unter allen angrenzenden Segmenten dasjenige Paar, das die kleinste Differenz aufweist
• Vereine diese beiden Segmente zu einem Segment, lösche die vereinten Teile aus der Liste aller Segmente
• Wiederhole den Prozess für die Liste aller Segmente
• Stopkriterium: Schwellwert für Distanz, Anzahl Segmente
• Vorteil:
• Schneller als Top-Down
• Nachteil:
• Finde geeignetes Distanzmaß (wie beschreibt man semantisch sinnvolle Segmente?)
• Finde guten Schwellwert oder Anzahl Segmente
84 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
PCA, PPCA, GMM Segmentierung
Segmenting Motion Capture Data into Distinct Behaviors: Jernej Barbic, Alla Safonova, Jia-Yu Pan Christos Faloutsos, Jessica K. Hodgins Nancy S. Pollard, Carnegie Mellon
• Automatische Segmentierung menschlicher Bewegungsabläufe basierend auf statistischen Eigenschaften
• Segmentierung in high-level-Verhalten wie Laufen, rennen, sitzen im Gegensatz zu low-level-Merkmalen (zero-crossing rate, Winkel, ..)
• Anforderungen: Effizienz und Robustheit
• Es existieren unüberwachte sowie überwachte Verfahren
• Unüberwacht: kein vorheriges Training von Modellen notwendig (keine Trainingsdaten!)
• Übertragbarkeit auf ungesehene Daten
85 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungssequenzen
• Annahme: Lange Bewegungssequenzen sollen in einzelne Bestandteile zerlegt werden, die „high-level-Charakteristika“ entsprechen
• High-level Charakteristika: Beschreibung durch Verben oder Objekte
• Beispiele: Laufen, Rennen, Springen, Sitzen, Waschen eines Objektes wie Boden oder Fenster
• Bewegungsabschnitte, die mit demselben Verb umschrieben werden können,
• … aber unterschiedliche Raumkoordinaten haben, sollen als dieselbe Sequenz eingeordnet werden: geradeaus laufen, in einer Kurve laufen
• … aber mit verschiedenen Objekten zusammenhängen, sollen als verschiedene Sequenz eingeordnet werden: Fenster putzen vs. Boden putzen
86 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungssequenzen
• Bewegungssequenz M, Bewegungsbestandteile M1, . . . ,MS
• M ist eine Zeitreihe von Frames (hier 120 frames / sec)
• Jeder Frame repräsentiert die Rotationen von Gelenkwinkeln (relativ zu dem Elternknoten in der Körperhierarchie) des betrachteten Körpers zur gegebenen Zeit
• Rotationen sind spezifiziert durch Quaternionen (Quaternionen sind Vierertupel von Zahlen, man kann sie verwenden, um Rotationen im dreidimensionalen Raum zu beschreiben)
• Absolute Körperposition und Orientierung wird nicht betrachtet, d.h. Ansatz ist unabhängig von der tatsächlichen Position und Orientierung des Körpers in Weltkoordinaten
• Jeder Frame xi (i = 1, 2, . . . , n) wird präsentiert durch einen 56-dimensionalen Raum
• 14 Winkel in der Körperhierarchie x 4 (Quaternion / Gelenk)
87 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung durch PCA
• PCA = Principal Component Analysis = Hauptkomponentenanalyse (siehe Vorlesung Digitale Signalverarbeitung)
• Idee des PCA-Ansatz: Einfache Bewegungen haben eine niedrigere Dimensionalität als komplexe Bewegungen
• Jeder Frame xi (i = 1, 2, . . . , n) ist repräsentiert als Punkt im 56-dimensionalen Raum (14 Gelenkwinkel x 4)
• Bewegung entspricht einer Trajektorie im 56-dimensionalen Raum
• Definiere Zentrum der Bewegung als Mittelwert
• Für einfache Bewegungen formieren die Frames eine Wolke / Cluster, die um das Zentrum streuen
• Die Frames liegen in einem niedrigerdimensionalen Unterraum, da die 56 Dimensionen hochkorreliert sind (Beispiel Laufen: rechtes Bein und rechte Hüfte vorne, linke Hüfte hinten)
• Bewegung kann durch r < 56 Dimensionen beschrieben werden
n
i
ixn
x1
1
88 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung durch PCA
• Annahme: Bewegung kann durch r < 56 Dimensionen beschrieben werden
• Es wird also eine Projektion x → x‘ in einen niedrigerdimensionalen Raum durchgeführt, so dass die Dimensionen mit niedrigster Varianz unterdrückt werden -> PCA-Ansatz
• Diese neue Beschreibung x’ erzeugt einen Fehler
• Um die optimale Dimensionalität des Projektionsraumes zu finden, setzt man einen Schwellwert fest, wie viel Varianz noch aufgeklärt werden soll, bzw. wie groß der Fehler werden darf.
• In besagtem Paper wurde 90% noch als ausreichend empfunden die Dimensionalität sank von 56 auf r=6 für einfache Bewegungen
• Wie verwendet man das für Segmentierung?
• Grundidee: solange dieselbe Bewegung ausgeführt wird, bleibt der Fehler konstant. Ändert sich die Bewegung, steigt Fehler an
• Beobachte den Fehlerverlauf (Ableitung) über die Frames
n
i
ii xxe1
2'
89 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Segmentierung durch PPCA
• PPCA = Probabilistische PCA, also Erweiterung der PCA
• PCA betrachtet nur den Unterraum mit Dimension r und ignoriert alle weiteren Informationen
• Erweiterung in PPCA: modelliere die Verteilung der Daten außerhalb des Unterraumes
• Die gesamten Daten werden durch Gaußsche Mischverteilungen modelliert. Mittelwert = Zentrum der Bewegung plus volle Kovarianzmatrix 56x56
• Mittels der Mahalanobisdistanz wird nun die Wahrscheinlichkeit berechnet, dass eine Framesequenz [K+1,K+T] auf die Gaußsche Verteilung passt
• Segmentierung: gleiches Prinzip wie bei PCA: beobachte den Verlauf der Distanz H
• Segmentgrenzen entsprechen den Maxima von H
90 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
GMM / Experimente
• GMM = Gaussian Mixture Model = Gauß‘sche Mixturverteilung
• Hier mit fest vorgegebener Anzahl von Clustern
• Experimente mit 10 einfachen Bewegungen: Laufen, Rennen, Sitzen, Stehen, Trainieren, Klettern, Martial arts, Putzen, Bodenwischen
• Evaluation durch Vergleich mit manueller Referenz
• Precision/Recall Bewegung: Training
91 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
92 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsanalyse Trainingsplan Technikbewertung
Diagnostik Prävention Rehabilitation Tracking
Bewegungserkennung Bewegungs-
nachbildung
Trickfilme Synchronisation Fantasyfiguren
Intuitions- erkennung
Personen-identifikation
Forschungsgebiete
Sport-informatik
Mensch- Maschine
Filmani-mation
Medizin/ Reha
Verhaltens-analyse
Überblick Forschungsgebiet
93 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserkennung
• Worzu braucht man Verfahren zur automatischen Bewegungserkennung und Modellierung?
• Mensch-Maschine Interaktion
• Menschliche Gesten als Eingabemodalität
• Humanoide Roboter / Maschinen
• Maschine soll Umfeld autonom erkennen
• Zahlreiche Anwendungsmöglichkeiten
• Mensch-Maschine Interaktion
• Sportwissenschaften
• Alarm und Überwachungssysteme
• Erstellen virtueller Welten
• Information, Suche, Indizierung von Videosequenzen
94 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Mensch-Maschine Interaktion / Sport
1) Mensch-Maschine Interaktion
• Übersetzung der Gebärdensprache (Hilfe für Hörgeschädigte)
• Roboter bekommt ein persönliches Gesicht (sozialere Interaktion zwischen Mensch und Maschine)
• Erkennung von Gesten (sehr vorteilhaft in geräuschbehafteten Umgebungen)
2) Sportwissenschaften
• Bewegungsoptimierung (Spitzensport, Gesundheit, Orthopädie)
• Suche und Extraktion von Informationen (Finde alle Volleys am Netz aus dem Tennisvideo)
95 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Information Retrieval / Komprimierung
3) Information Retrieval
• Inhaltsbasiertes Indizieren, Abspeichern, Suchen von Videodaten
• Videoconferencing
4) Modellbasierte Darstellung von Bewegungen
• Erlaubt die Komprimierung von Sequenzen (wichtig für Video-Phone, MPEG-4, coding)
96 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Weitere Anwendungen
5) Alarm und Überwachungssysteme
• Identifizierung von verdächtigen Bewegungen (Person nähert sich verschiedenen Fahrzeugen in einer Parkgarage)
• Sicherheitssysteme (sicherer Bahnsteig – keine gefährlichen Bewegungen am Gleis)
• Passkontrollen, Flughafenüberwachung ....
6) Erstellen virtueller Welten
• Animation von Charakteren in Chatrooms und Computerspielen
97 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
98 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Aspekte bei Interpretation von Bewegungsabläufen
Drei Aspekte, die zur Interpretation menschlicher Bewegungsabläufe betrachtet werden müssen:
• Bewegungsanalyse menschlicher Körperteile (nicht-starre Systeme – also wesentlich schwieriger)
• Extraktion von low-level-Merkmalen, wie
Segmentierung in Körperteile
Gelenkdetektion und Identifikation
• Rückgewinnung der 3D Struktur von der 2D Projektion in eine Bildsequenz
• Tracking von Menschen mit einer/mehrerer Kameras
• High-level-tracking, d.h. direkte Detektion des Menschen, ohne geometrische Strukturen zu betrachten
• Erkennen (Recognition) menschlicher Aktivität von Bildsequenzen
99 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Analyse, Verfolgung, Erkennung
100 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Analyse der Körperstruktur
101 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Wachsende Komplexität der Repräsentation des menschlichen Körpers Stick 2D 3D
• Wachsende Komplexität des Modells
• Stick: Menschliche Bewegung = Bewegung der Knochen / Skelett
• 2D: Projektion des Körpers in einem 2D Bild
• 3D: Details des Körpers durch Volumenmodelle, Zylinder und Kegel
Bewegungsanalyse
102 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Stick 2D 3D
Stick-Modell
2D-Konturmodell
3D-Volumenmodell
103 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Analyse von Bewegungen
• Zwei Verfahren
• Approximation mit Modell (modellbasiert)
• Approximation ohne Modell
• Beim modellbasierten Verfahren wird a priori Wissen über die Gestalt des Objektes verwendet
• Beide Verfahren gehen in denselben Schritten vor:
1. Merkmalsextraktion
2. Berechnung der Merkmalsübereinstimmung benachbarter Frames
3. High-Level Verarbeitung
• Unterschied zwischen beiden liegt in der Berechnung der Merkmalsübereinstimmung benachbarter Frames
104 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Übereinstimmung benachbarter Frames
• Approximation ohne Modell: Abgleich direkt aus dem vorgegebenen Realbild
• Abgleich erfolgt frame-basiert anhand von Schätzung von Position, Geschwindigkeit, Form, Farbe oder Maserung des Objektes
• Modellbasierte Approximation verwendet Modelle zur Schlussbildung vom Realbild
• Abgleich der 2D Bildsequenz mit Modell
• Automatisches Zusammenfügen benachbarter Bildsequenzen passend zum vorgegebenen Modell
• Kombination beider Ansätze auf versch. Ebenen
• Merkmalsübereinstimmung
• High-Level Analyse
105 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Allgemeine Vorgehensweise
• Extraktion von low-level Merkmalen: Einzelne Punkte oder Pixel
• Merkmalsübereinstimmung aufeinanderfolgender Bilder
• Bearbeitung auf komplexerer Ebene Blobs oder Zylinderformen
• Entscheidend für die Komplexität der Berechnung von Übereinstimmungen ist die Anzahl der Modellparameter und die Effizienz der Segmentierung des Körpers
• Wenige Parameter: Merkmalsprojektion auf das Modell ist einfacher aber Extraktion schwerer
• Viele Parameter: umgekehrt
• Beispiel: Stabmodell ist das einfachste Modell, sehr wenig Parameter, einfach die Linien an die entsprechenden Körpersegmente anzupassen
• ABER: schwierig, die Stäbe (sticks) aus dem Realbild zu extrahieren
106 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Approximation ohne Modelle
• Kein Modell, aber trotzdem diverse Heuristiken
• Ausgangspunkt: Beobachtung von Johannson, dass Menschen biologische Bewegungsmuster anhand weniger Punkte erkennen können
• Schwarzgekleidete Personen mit wenigen Lichtmarkierungen am Körper führen Bewegungen vor schwarzem Hintergrund aus (ist ein verwendeter und beliebter Showeffekt)
• Rashid:
• Erkennen menschlicher Strukturen aus Lichtpunkten
• Heuristik – Stabmodell des Menschen Prinzip: Punkte desselben Objektes haben höhere Wechselbeziehungen zueinander in Position und Geschwindigkeit
• Webb und Aggarwal:
• (Teile) eines bewegten Körpers sind in Bewegung eingeschränkt, so dass eine Bewegungsachse fixiert werden kann
• Schätzung von 3-D Tiefenstruktur von ihrer 2-D Projektion
107 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Approximation ohne Modelle
• Niyogi und Adelson: Ganganalyse des Menschen
• Schätzen die Bewegungen einzeln miteinander verknüpfter Segmente
• Gliedbahnen, d.h Trajektorie, die ein Gliedmaß räumlich über einen bestimmten Zeitraum durchläuft
• Segmente bedingen einander, weil Gesamtkörper
• Shio und Skalansky: Bewegungen mit Blobs untersucht
• Gruppiert Blobs anhand Ausmaß und Richtung der Pixelgeschwindigkeit
• Verfolgen der Pixel mit bestimmter Intensität
• Ähnelt der Optical-Flow Methode
• Kurakake und Nevatia
• Lokalisieren Gelenke durch Angleichung extrahierter Flächen
• Gelenke = Zentrum der Schnittmenge zweier sich überlappender Flächen
• Kakadiaris:
• Ausgangspunkt ist Subjekt als ein einziger Blob
• Neue Körperpose resultiert in neuen Blobs
• Gelenke werden durch relative Bewegung und Form der Blobs lokalisiert
108 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Modellbasierte Approximation
• Chen und Lee
• Stabmodell von 17 Linien und 14 Gelenken
• von 2D-Projektionen detektieren sie 3D-Strukturen
• Großer Rechenaufwand, weil der beste Kandidat aus alle möglichen 3D-Konfigurationen berechnet wird
• Vorder- vs. Hintergrundtrennung notwendig (Kalman-Filter)
• Kalman-Filter nutzen das Prinzip das Grauwertänderungen stärker sind, wenn sie von Bewegungen herrühren im Verhältnis zu Beleuchtungsänderungen
• alle Pixel oberhalb Schwelle = Vordergrund, der Rest Hintergrund
• Huber
• Verfeinertes Stick-Modell
• Gelenke und Liniensegmente werden durch virtuelle Federn erweitert
• ergibt ein kinematisches Modell, das sich wie ein Bewegungsdämpfer verhält.
109 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Modellbasierte Approximation
• Akita
• Stabmodell (Kopf, Torso, Arme, Beine) plus kanonische Annäherung
• Perales und Torres
• Stabmodelle plus Volumetrische Formen
• Bibliothek mit 2 Typen biomechanischer Modelle
Typ1: Stickfigurenbaum
Typ 2: Beschreibung von Segmenten und Oberflächen
• Hogg und Rohr
• Zylindermodell des Menschen (17 Zylinder)
• Hogg: WALKER: Computerprogram, das gehende Menschen erkennt
• Rohr: Eigenvektor-Linienschätzung
110 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Modellbasierte Approximation
• Leung und Yang
• Abschätzung der Bewegung in Abhängigkeit vom Umriss
1. Extrahieren menschlicher Umrisse
2. Interpretation der Bewegung
• Basiskörpermodell enthält Info über Formen und Beziehungen zwischen den Körperteilen
• Erweitertes Körpermodell zur Beschreibung dynamischer Eigenschaften
Verwenden Kantenerkennung (Jain/Nagel)
Kantenerkennung für kompletten Umriss des Objektes
Einordnung ob Kante zum Hintergrund oder Objekte gehört
Resultierende 2-D Flächen sind entweder Körper oder Hintergrund
Markieren der Körperflächen
Beschreibung der Körperteile, Bestimmung Gelenke
111 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Verfolgung menschlicher Bewegungen
112 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsverfolgung
• Bewegungsverfolgung:
1. Visuelle Merkmale zur direkten Detektion des Menschen in der Bildsequenz (Direkt = geometrische Formen des Körpers werden nicht in Betracht gezogen)
2. Informationen über die Bewegung, wie etwa Position und Geschwindigkeit werden benutzt, um Muster in benachbarten Frames wiederzuerkennen
3. Nachdem die Übereinstimmung gefunden wurde, muss man das Verhalten der Merkmale während der Sequenz verstehen Erkennung menschlicher Bewegungen
• Ansätze: a priori Wissen über Körper vorhanden? Nutzbar …
113 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zu verfolgende Merkmale variieren von low-level nach high-level: Points 2D blobs 3D volumes Extraktion: LEICHT SCHWER Verfolgung: SCHWER LEICHT
Bewegungsverfolgung
114 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsverfolgung
• Ziel der Bewegungsverfolgung ist es, eine Übereinstimmung der Bildstruktur in aufeinanderfolgenden Bildern einer Sequenz zu finden
• Verwendete Merkmale: Position, Geschwindigkeit, Form, Struktur, Farbe, etc.
• Vorteil: geringer Rechenaufwand
• Der Verfolgungsprozess besteht aus dem Abgleich von Bildern auf Basis von Punkten, Pixeln, Linien und Flecken anhand ihrer Bewegung, Form und anderer visueller Informationen
115 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsverfolgung
• Zwei Kategorien von Übereinstimmungsmodellen
• Abgleich:
• Modell 1: das ikonische Modell
• Modell 2: das strukturelle Modell
• Ikonisches Modell:
• Schablonen/Muster zum Abgleich
• eignet sich für alle Objekte vorausgesetzt, deren Bewegungen sind klein, so dass sich die Objektbilder nahezu entsprechen (hohe Korrelation!)
• Menschliche Bewegungen sind oft nicht-starr, daher eignen sich ikonische Modelle NICHT
• Strukturelles Modell:
• Verwendet Merkmale der Bilder (Punkte, Linien, Blobs ..)
116 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsverfolgung
• Ablauf des Merkmalsbezogenen Trackings
• Extraktion relevanter Merkmale
Low-Level: Punkte (einfache Extraktion)
High-Level: Linien, Blobs, Polygone (schwierige Extraktion)
• Kriterium für Auswahl von Merkmalen
Robustheit gegenüber Rauschen, Helligkeitsänderungen, Kontrast und Größe
• Merkmalsanpassung über eine Bildsequenz
Merkmalskomplexität reziprok zur Verfolgungseffizienz
Leichte Extraktion – schwierige Verfolgung und vice versa
117 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Problem der Bewegungsanalyse
• Erläuterung der Prinzipien anhand zweier Methoden/Szenarien:
• Single-Camera Tracking
• Multiple-Camera Tracking
• Single-camera: Bilder kommen von einer Kamera, aus einer bestimmten Perspektive
• Multiple-camera: viele Kameras, viele fixierte Perspektiven (Stellung der Kameras zueinander!), gleichzeitige Aufnahme
• Benötigt zusätzliche Projektion der verschiedenen Perspektiven in die gleiche räumliche Referenz
118 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Single Camera Tracking
• Bildsequenz wird mit einer Kamera aufgenommen
• Merkmale sind Punkte und Bewegungsblobs
• Polana und Nelson: überdecken einen laufenden Menschen mit einer Box, dessen Zentrum als Eigenschaft E verwendet wird
• E(t-1) geht in die Schätzung von E(t) ein, dadurch wird Verschwinden des Objekts bei einer Überdeckung vermieden
119 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Multiple Camera Tracking
• Nachteil Single-Tracking
• Begrenztes Sichtfeld, Überdeckungen
• Zweideutigkeiten
• Nachteil Multiple Camera Tracking
• Teurer, aufwendiger
• Merkmalsanpassung zwischen Bildern ist aufwendiger, da verschiedene Raumkoordinaten
120 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Analyse, Verfolgung, Erkennung
121 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erkennung von Aktivitäten
Zustandsraum-Modell Template Matching Points, lines, 2D blobs Objekt-Muster
122 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erkennung menschlicher Aktivitäten
• Zwei wesentliche Verfahren zur Erkennung menschlicher Aktivitäten
• Template Matching zum Vergleich einer Bildsequenz mit einem vorgespeicherten Muster
• State-Space Verfahren zur Interpretation von Bewegungssequenzen (z.B. HMM – flexible Kombination von Bewegungsprimitiven, Variationen modellierbar)
• Der Unterschied ist ähnlich wie in der Spracherkennung
123 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Template Matching
• Vorteil: Geringer Rechenaufwand
• Nachteil: Empfindlich gegenüber Veränderungen der Bewegungsdauer und Variationen
• Polana und Nelson
• Video-Aufzeichnung der Bildsequenz
• Berechnung des optischen Flussbildes, Rasterung
• Bewegungsgeschwindigkeit pro Zelle (Rasterpunkt)
• Hochdimensionaler Merkmalsvektor (ein Wert pro Rasterpunkt)
• Davis
• Nächster-Nachbar Algorithmus zur Aktivitätswiedererkennung
• menschliche Bewegung werden gedeutet durch Motion-Energy-Images (MEI) und Motion-History-Images (MHI)
• Bewegungsbilder aus einer Sequenz werden durch Differenz der einzelnen Bilder berechnet
• MEI und MHI sind Merkmale für Template
124 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
State-Space Verfahren
• State-Space Verfahren definieren die Körperhaltung/Stellung als Zustände
• Zustände sind durch Übergangswahrscheinlichkeiten verbunden (HMM)
• Jede Bewegungssequenz ist eine Abfolge dieser Zustände
• Unterschiedliche Dauer der Bewegungen ist kein Problem mehr
• Bobick und Campbell
• Bewegungskurven von Körpergelenken
• Koordinaten und Bereiche als Merkmale
• Typische Bewegungen werden als Zustandssequenz definiert
• Bobick
• K-means Algorithmus zur Klassifizierung ausgewähler Punkte der Bewegungskurve
125 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Verstehen menschlicher Bewegungen
• Schritt von der Erkennung simpler Bewegungsstrukturen hin zur Erkennung menschlicher Tätigkeiten und Interaktionen
• Interpretation menschlicher Tätigkeiten setzt mehrere Schritte voraus:
• Low-level Bildverarbeitung:
Segmentierung, Verfolgung, Rückgewinnung der Pose, Trajektorienschätzung
• High-level Verarbeitung:
Körpermodellierung
Erkennung von Aktionen
Klassifikation Menschliche Aktivitäten - Bewegungsprimitive
High-level Erkennung basierend auf Domänenwissen
• Letzteres ist eine relativ junge Disziplin
126 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Verstehen menschlicher Bewegungen
• Bewegungen kann man auf verschiedenen Ebenen betrachten
• Es entsteht ein Ebenenmodell
• Taxonomien:
• Change, Event, Verb, Episode, History (Nagel) Kategorien abhängig vom Grad des Domänenwissens, das zur Lösung der Aufgabe benötigt wird
• Movement, Activity, Action (Bobick)
Movement - Bewegungsprimitive: kein Kontext oder Sequenzwissen nötig
Activity - Sequenz von Movements oder Zuständen: Wissen über Statistiken der Sequenz
Actions - Vorkommen, die eine längere Zeit überspannen als Activity und üblicherweise die Interaktion mit der Umwelt beinhalten
127 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erkennung menschlicher Bewegungen
• Klassifizierungsansätze:
• Modellbasiert: verwendet a priori Wissen über Objektumrisse
• Erscheinungsbasiert: kein a priori Wissen
• Vorteile Erscheinungsbasierter Ansätze
• Da kein spezifisches Modellwissen zugrundegelegt wird sind sie in unterschiedlichsten Situationen anwendbar
• Nachteil: anfällig für Störungen, weil Mechanismus fehlt, noise vom Signal zu unterscheiden
• Vorteile modellbasierter Ansätze: Integrieren Umrisswissen und visuellen Input, daher besser für komplizierte Bewegungen
• Nachteil: benötigen Vorverarbeitung, d.h. Auswahl eines geeigneten Modells und dessen Parameter; neue Bewegung erfordert neues Modell
128 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erkennung menschlicher Bewegungen
• Erscheinungsbasiert:
• Bottom-up: Detektion von Features
• Modellbasiert:
• Bilddaten werden auf vordefinierte Modellparameter angepasst
• Benötigt Optimierung: least square oder Partikelfiltering
• Stick, 2D, 3D oder Box abhängig von Anwendung
Z.B. Grobe Lokalisierung: Box oder Blobs
Hängt auch von Bildauflösung der Kamera ab
Single versus Multiple Kameras
oder Aktive Kamera (pan/tilt/zoom)
130 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Erkennung von Aktionen
• Zwei Hauptansätze
• Direkte Erkennung:
Aktion wird direkt aus dem Bild extrahiert, ohne Körperteile oder Posen zu rekonstruieren
Verwendung wiederkehrender Bewegungszyklen, z.B. Laufen anhand von Vor- und Rückbewegungen der Arme und Beine
• Erkennung durch Rekonstruktion
Konstruiert die Posen der Objekte und setzt diese zu Gesamtobjekt zusammen zur Aktionserkennung
• Hybride zwischen beiden Ansätzen sind möglich
• Weitere Unterscheidung
• Statische Repräsentation der Bewegung durch einzelne Frames
• Dynamische Repräsentation durch Gesamtsequenz DTW, HMMs
131 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Höheres Wissen, Domäne
• Interpretation menschlicher Aktivitäten
• Was passiert in einer Szene?
• Verständnis und Wissen über die Welt
• Ansätze:
• Regel-basierte Systeme: manuelle Regelerstellung
• Physikalische Einschränkungen: Schwerkraft etc. beim Umgang mit Objekten
• Kausalanalyse: Dynamisch/kinematische Beschreibung von Gesten
• Syntaktische Analyse: Kontextmodell der Umwelt
• Finite Automaten: HMM + Automat für Kontext
132 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungsgenerierung
• Nachdem wir nun alle Aspekte der Bewegungsanalyse (kurz) betrachtet haben, wollen wir noch einen Schritt weitergehen.
• Bewegungsgenerierung beschreibt die Erzeugung natürlich wirkender Bewegungen, z.B.
• ...bei Prothesen
• ...bei Robotern
• ...in virtuellen Räumen (auch Filme etc.)
• Wir haben also Anwendungsfälle
• in der realen Welt
• in der Bildverarbeitung
133 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Quelle: SFB 588, ARMAR III
Anwendungsszenario Humanoide Roboter
• Der Mensch dient als Vorbild für die Bewegung des Roboters
• Roboter soll sowohl die Bewegung erkennen, als auch nachbilden können
• Vereinfachte umsetzbare rein biomechanische Ansätze liefern keine Echtzeitfähigkeit oder nicht genau genug
134 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
• Markerbasierte Analyse des menschlichen Bewegung
• Exaktheit und Echtzeitfähigkeit im Hintergrund
• Flüssigkeit und Menschen Ähnlichkeit der Bewegung wesentlich
• Animations- oder Simulationsfigur an keine biomechanischen Grundlagen gebunden
Bekannte Filme: • Polarexpress • Planet der Affen • Die Mumie • Herr der Ringe
Bildquelle: http://wardomatic.blogspot.com/2004/12/polar-express-virtual-train-wreck_18.html
Anwendungsszenario Filmanimation / Computerspiele
135 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bildquelle: Lippentracking: http://www.citr.auckland.ac.nz/~patrice/lip_algo1.html
Anwendungsszenario Lippensynchronisation
Problematik: Übersetzung von Filmen, Einsatz von Synchronsprechern
• Herkömmlich: Abänderung des Textes, so dass dieser mit der Lippenbewegung endet
• Inhalt wird verfälscht
• Lippenbewegung entspricht nicht dem Gesprochenen
• Anpassung der Bilddaten an die Übersetzung
• Generierung und Übertragung von Mundbewegungen
136 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Datenerfassung
Bewegungs-erkennung
Bewegungs- generierung
Datenverarbeitung / Bildverarbeitung
Statistische Modellierung
Analyse und Segmentierung
der Daten
Visualisierung
Übertragung
Simulation
Biomechanische Modellierung
Zusammenfassung
Anforderungs- analyse
Die folgenden Aspekte eines Bewegungsanalysesystems haben wir behandelt:
137 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Überblick
• Bewegung
• Wie kommt Bewegung zustande?
• Wie werden Bewegungsmerkmale erfasst?
• Beispiele
• Segmentierung
• Was ist Segmentierung
• Anwendungsgebiete
• Ansätze und Resultate
• Bewegungserkennung
• Anwendungsbeispiele
• Modelle und Verfahren
• Eigene Forschung
138 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Eigene Forschung: Lernende und kooperierende Roboter
DFG-Sonderforschungsbereich 588
139 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
SFB 588 - Ziele
Humanoider Roboter als „hilfreicher Assistent im Alltag“
humanoid
• menschenähnliche Gestalt und Bewegungen → mögl. hohe Akzeptanz beim Benutzer
multimodal
• Schnittstelle zur Umwelt: optisch, akustisch, taktil
• intuitive Kommunikation: Sprache, Gestik, Haptik
140 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
SFB 588 - Ziele
lernend
• neue Begriffe, Gegenstände und Bewegungen erlernbar
• durch Benutzer interaktiv korrigierbar
kooperierend
• Absichten erkennen und verstehen
• Angemessen handeln
141 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Ziel: Verstehen menschlicher Bewegungen
Intention
menschenähnliche Bewegungsausführung
Bewegungstracking
Erkennung der Benutzerbewegung
142 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Datenerfassung mit Vicon - Beispiel
143 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Merkmalsgenerierung
Erkennung von Benutzerbewegungen
Mapping auf
Menschmodell
Bewegungs-
datenbank
HMMs
Bewegungserkennung mit
Hidden Markov Modellen
3D-Marker- positionen
Benutzerbewegung wird erkannt z. B. „Rühren“
Livetracking mit VICON
Gelenk-winkel
linke Schulter
144 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Lagebestimmung der Körperteile
• Gesucht:
• Lage der einzelnen Körperteile im Raum
• Problem
• 3D-Markerpositionen ohne Informationen zu Körperteilen
• Lösung
• Menschmodell
• Mapping auf 3D-Markerpositionen
145 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Gelenkwinkelrekonstruktion • Gelenkwinkelberechnung
• Abstraktes Modell der menschlichen Kinematik
• Lage der Markerpunkte relativ zum Gelenk
• Rekonstruktion der Bewegungen mittels
3D-Markerpositionen (abs.)
Zuordnung zu Menschmodell (rel.)
• Mapping
• kinematisches Modell auf gemessene Markerpositionen
Rekonstruierte Bewegungen der Körperteile
Nacken - Kopf: 3 DOF Torso- Nacken: 2 DOF Clavicula – Oberarm: 3 DOF Oberarm – Unterarm: 2 DOF Lumbar - Torso: 3 DOF Pelvis - Lumbar: 2 DOF Unterarm - Hand: 2 DOF Ursprung - Pelvis: 6 DOF
30 Freiheitsgrade
146 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserkenner • Bewegungen können sehr vielgestaltig sein
• Große Unterschiede zwischen verschiedenen Personen
• Gesucht
• Viele Trainingsdaten
• Problem
• Nahezu beliebige Abfolge von (Teil-)bewegungen möglich
Nur wenige Trainingsdaten für eine beliebige Bewegungssequenz verfügbar
• Lösung
• Bewegungszerlegung in Teilbewegungen
• Modellierung von Teilbewegung (Bewegungsphasen)
• Erkennung von Bewegungssequenzen durch Kombination der Bewegungsphasen
147 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Bewegungserkenner
• Die Bewegungserkenner
• Entwickelt im Janus Recognition Toolkit (JRTk) bzw. im Biosignals Recognition Toolkit (BioKIT)
• Je 1 HMM für jede Bewegungsprimitive (z.B. Ruheposition, Flasche heranholen,…)
• Lineare HMM-Topologie
• Kontextmodell (Sprachmodell):
• N-Gramm
• Kontextfreie Grammatik
• Umweltmodell (Objekte)
• Dekodierung: Viterbi Beam Search
• Beispiel für Bewegungssequenz mit Teilbewegungen: Ruheposition Hobel_heranholen Apfel_heranholen Hobeln Hobeln Hobeln Hobeln Apfel_weglegen Hobel_weglegen Ruheposition
148 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Der SFB Bewegungserkenner (Stand 2010)
• Basiserkenner
• Entwickelt im Janus Recognition Toolkit
• HMMs für 24 Bewegungsphasen (Ruheposition, Flasche heranholen,…)
• Jedes HMM mit 4 Zuständen, links-nach-rechts-Topologie
• Bewegungsrepräsentation mit Zerogrammen
• Die Daten
• 1 Person
• 10-fache Kreuzvalidierung auf 100 Bewegungssequenzen (5 verschiedene) (je 90 Training, 10 Test)
• 20 Frames/Sekunde
• Merkmale je Frame: 30-dimensionales Histogram der Featurebewegungen
• Beispiel für Bewegungssequenz mit Teilbewegungen: Ruheposition Hobel_heranholen Apfel_heranholen Hobeln Hobeln Hobeln Hobeln Apfel_weglegen Hobel_weglegen Ruheposition
• Phasenfehlerrate für Bewegungsphasen: 11,0 %
149 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Video
Markerbasierte Bewegungserkennung
150 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zukünftige Arbeiten (1) • Adaption des Erkenners auf Daten des visuellen Systems von ARMAR
• bisher
Markerbasiertes Tracking
Tracking mit 10 Kameras
Vorteil:
detailierte und präzise Daten
kurze Entwicklungszyklen
• zukünftig (durch TP P4)
Markerloses Tracking
Tracking mit 2 Kameras
Vorteil:
praxistauglich
• Probleme
• weniger Details in den Daten
• unpräzisere Daten
151 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Zukünftige Arbeiten (2) • Gleichzeitige koordinierte und nebenläufige Bewegungen
• Suche von elementaren Bewegungseinheiten
• Zerlegung von Ganzkörperbewegungen in nebenläufige Bewegungen einzelner Körperteile
• Modellierung des zeitlichen Zusammenhangs von koordinierten Bewegungen
• Entwurf einer Beschreibungsstruktur (Grammatik) für den Aufbau von koordinierten und nebenläufigen Bewegungen
• Semi-automatische Segmentierung
• Personenunabhängige Erkennung
• Flexiblere Objektpositionen
152 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Datenerfassung mit Videokamera
• Ein hochaktuelles Gebiet
• Keine Marker oder spezielle Kleidung notwendig
• Positionierung der Kamera frontal zur Person
• Aufnahme der Bewegungen mit Video
153 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Video-basierte Vorverarbeitung
• Idee: Bewegungen lassen sich über die Bewegungen in den verschiedenen Bildrichtungen beschreiben
• Bewegungsvektoren:
• Feature-Punkte: - Tracking von markanten Punkten (Ecken, SIFT, KLT) - Verfolgung über mehrere Frames (t t+1, t+1… , t+(n-1)t+n)
• Optical Flow: - Bewegungsrichtung aller Pixel berechnen - Nur von einen Frame zum nächste (t t+1)
154 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Video-basierte Vorverarbeitung
• Optical Flow:
• Bewegungsrichtung aller Pixel berechnen
• Selbe Problemstellung - verschiedene Lösungen:
• Phasen-Korrelation
• Differential-Methoden
• Lucas–Kanade
• Horn–Schunck
• …
• Diskrete Optimierung
• Sonstige Methoden zur Abweichungsbestimmnung
166 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Eigene Forschung: Wearable Computing
167 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Wearable Computing
• Wearable Computing: Computersysteme werden wie Kleidung getragen.
• Möglichst unauffällige und unstörende Systeme sind gewünscht.
• Neuartige Ein- und Ausgabemethoden werden benötigt
• Traditionelle Eingabemethoden (Tastatur, Touchscreen, .. ) sind umständlich
• Der Mensch nutzt im wesentlichen Sprache und Gestik
• Sprache ist mächtig und intuitiv aber nicht immer geeignet, Gestik besitzt komplementäre Eigenschaften
• Privatheit
• Empfindlichkeit gegenüber Störgeräuschen
• Parallelität
Idee: Handschrifterkennung in der Luft
168 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Bewegungserkennung
• Inside-In System
• Sensor und Erfassung direkt am Körper
• „Wearable System“
• Datenverarbeitung direkt am Körper möglich
• Beschleunigungssensoren (eng.: Accelerometer)
• messen Beschleunigung von Translationsbewegungen
• Drehratensensoren (Gyroskop)
• messen Winkelgeschwindigkeit
Sensor Accel/Gyro 6 DOF
Microcontroller
Bluetooth Modul
Bsp: Amma 2009
169 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: MEMS Sensoren • Mechanische u. optische Systeme schon lange verfügbar
• zu groß, zu schwer
• MEMS Bauweise
• micro-machined electromechanical system
• Silizium als Basismaterial
• Produktion wie Integrierte Schaltkreise ( Lithographie, … )
• Funktionsprinzip Beschleunigungssensoren:
• Bestimmen der Translativbewegung durch Messen
des Grades der Auslenkung einer Prüfmasse
der Frequenzänderung einer schwingenden Masse
• Funktionsprinzip Drehratensensoren:
• Bestimmen der Winkelgeschwindigkeit durch
Messung der Corioliskraft, (schwingende Masse erfährt bei Rotation eine Kraft)
v
CF
)(2 vmFC
170 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: Gravitation • Einfluss der Erdbeschleunigung
• Erdbeschleunigung:
• Kann als konstant in Betrag und Richtung angenommen werden
• g = 9.81 m/s
• senkrecht zur Erdoberfläche
• wird immer mit gemessen und muss daher von Messwerten abgezogen werden..
• Aufteilung auf die Achsen ist von der Orientierung im Raum abhängig.
• Kann nur bei Kenntnis der Orientierung abgezogen werden
z
x y
y
z
x g g
171 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: Signale
• Signalbeispiel für Buchstaben A mit Sensor auf Handrücken in die Luft geschrieben
• Signale haben geringen Rauschanteil
• Sensororientierung unterscheidet sich von Referenzsystem
• Daher keine intuitive Vorstellung der ausgeführten Bewegung möglich
• Einfluß der Gravitation in x und z Richtung deutlich sichtbar
172 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: INS • Inertiales Navigationssystem (INS)
• Schätzung der 3D Trajektorie aus Sensordaten
• Winkelgeschwindigkeit einmal integrieren
• Beschleunigung zweimal integrieren
• Problem: Fehlerakkumulierung!
z
y
x
a
a
a
z
y
x
g
g
g
Integration der
Winkelgeschwindigkeit
Rotationsmatrix C
Transformation in
Referenzkoordinaten-
system
Doppelte Integration
der Beschleunigung
g
Initiale Schätzung
der Orientierung
Initiale Schätzung
der Position
z
y
x
173 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: Datenhandschuh
IMU Sensor
ADIS16364
Mikro-Controller TI MSP430
Bluetooth Modul
AMB2300 Batterie
174 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: IMU Sensor
• 3A/3G Sensor (orthogonal)
• Technische Daten:
-5g bis 5g, 1mg
±300°/s, 0.05°/s
819.2 Hz
temperaturkalibriert
IMU Sensor
ADIS16364
Mikro-Controller TI MSP430
Bluetooth Modul
AMB2300 Batterie
175 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: Controller Board
• Bluetooth Modul: • Amber Wireless AMB2300
• Class 2, bis 20m
• 704 kbps theoretische Bandbreite
• Mikrocontroller: • TI MSP430
• 16Mhz, 8KB Flash, 512Byte Ram
IMU Sensor
ADIS16364
Mikro-Controller TI MSP430
Bluetooth Modul
AMB2300 Batterie
176 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Trägheitsbasierte Erfassung: Software
• Sensor signalisiert neue Daten
• Mikrocontroller liest Daten und sendet diese über Bluetooth
• 91750 bit/s Nutzdatenrate
• 5h Laufzeit im Dauersendebetrieb
IMU Sensor
ADIS16364
Mikro-Controller TI MSP430
Bluetooth Modul
AMB2300 Batterie
SPI UART
Rechner
177 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Online-Handschrifterkennung
Traditionell
• Trajektorie
• Pen Up/Down
Luftschrift
• rohe Sensordaten
• Ein Strich, keine implizite Segmentierung
• Kein visuelles Feedback
178 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Modellierung und Datenbank
• Modellierung mit HMMs:
• Pro Buchstabe ein HMM (links-rechts Topologie)
• Ein HMM für die Repositionierungsbewegungen zwischen Buchstaben
• Vorverarbeitung:
• Normalisierung von Mittelwert und Varianz
• Datenbasis:
• 6500 Buchstaben: 10 Schreiber (9 Rechtshänder, 1 Linkshänder)
• 652 Worte: 1 Schreiber
179 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Ergebnisse: Buchstaben
• Volle Sensoranzahl (Acc+Gyro) • Leave-one-out cross validation
• Mittlere Erkennungsraten: • Schreiberabhängig: 94,4% • Schreiberunabhängig, alle: 77,6% (90
GMMs) • Schreiberunabhängig, rechts: 80,6% (72
GMMs)
180 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Ergebnisse: Vergleich Sensorkanäle
• 10 Probanden, leave-one-out cross-validation
• Mittlere Erkenungsraten:
• Acc + Gyro: 77,6% (90 GMMs)
• Nur Acc: 70,3% (60 GMMs)
181 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Ergebnisse: Analyse • Häufigste Verwechslung: N und W
• Häufige Verwechslungen
• P , D
• 0 , 6
• X , Y
• E , Z
• Confusion Matrix:
• Test auf 9 Rechtshändern akkummuliert
182 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Ergebnisse: Worterkennung
• Datensatz 652 engl. Wörter
• Repositionierungsmodell mit 3 Zuständen
• HMMs aus vorausgegangen Experimenten
• Buchstaben und Repositionierungsmodell vortrainiert aus vorausgegangenen Experimenten
• Ergebnisse:
• Ohne weiteres Training auf Wörtern: 73,0 %
• Mit Training auf der Hälfte der Wörter: 97,5 %
183 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Praktikum Biosignale
Im SS 2013 zum sechsten Mal!
Spannend und praxisorientiert!
Bald anmelden!
In diesem Praktikum wird mit EMG-Elektroden und Bewegungssensoren ein System zur Erkennung von Bewegungen aufgebaut.
Dabei lernen Sie alle Bestandteile eines praktischen Erkennungssystems kennen, von der Datenaufnahme bis zur Optimierung des Erkenners.
• Termin: Immer dienstags 15.45 Uhr
• Ort: Laborgebäude Informatik 50.21, R. 115
• Weitere Infos bei Christoph Amma ([email protected])
• Anmeldung erforderlich!
184 Bio
sign
ale
un
d B
en
utz
ersc
hn
itts
telle
n –
Bew
egu
ng
Demovideo
![Biosignale und Benutzerschnittstellen ache · Lippenform: Sind die Lippen gerundet, heißt ein Vokal rund, sonst unrund. Beispiel: [æ] in BAT ist unrund, und [o] in BOAT ist rund](https://img.pdfslide.net/doc/110x75/5d0c9a6688c99379688b752c/biosignale-und-benutzerschnittstellen-ache-lippenform-sind-die-lippen-gerundet.jpg)
