Upload
dodang
View
216
Download
0
Embed Size (px)
Citation preview
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Vorlesung 11
Morphing und Active-Appearance-Modelle
Martin Giese
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Übersicht
MorphingActive-Appearance-Modelle (AAM)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
I. Morphing
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Mophing = “Metamorphosis”
Kontinuierliche Transformation zwischen Bildern
Anwendungen:
– Synthese neuer Ansichten
– Interpolation zwischen Bildern
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenGenerierung neuer Ansichten
Seitz (1997)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenInterpolation zwischen Bildern
Seitz (1997)Originalbild 1 Originalbild 2
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenM. Jackson: “Black or White” (1992)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Warping
Farbe von Bildpixeln gegeben durch Grauwerte I(x,y) bzw.
durch vektorwertige Funktion I(x,y) (Farbe, RGB)
Warping: “Verzerren” des Bildes durch räumliche
Transformation W: (x, y) → (x’, y’):
),('),('
2
1
yxWyyxWx
==
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Warping
“gewarptes” Bild:
W-1 ist die Umkehrfunktion von W.
Typische einfache Warping-Transformationen:
– Affin:
– Projektiv (z.B. Perspektive):
– Bilinear:
))','(),','(()),(),,(()','( 12
1121 yxWyxWIyxWyxWIyxIw
−−==
2,1 ),( =++= icybxayxW iiii
iii
iiii fyexd
cybxayxW++++
=),(
dy),( i+++= iiii cxbxyayxW
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
MorphingMorphing: Warping + Interpolation der Farbinformation
(cross dissolving)
Warp spezifiziert durch Vorgabe von einander
entsprechender (korrespondierender) Merkmalspaaren in
den gemorphten Bildern
Merkmale: Linien, Knoten, Kanten, Punkte, …
Korrespondenz entweder von Hand oder automatisch
durch Korrespondenzalgorithmen hergestellt.
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Warpingfunktion W(x,y,s) mit Parameter 0 ≤ s ≤ 1 der
Übergang zwischen den beiden Bildern bestimmt
Seien (x1,y1) und (x2, y2) einander entsprechende
(korrespondierende) Koordinaten in den beiden Bildern,
dann gilt:
)1,,(),()0,,(),(
1122
1111
yxyxyxyx
WW
==
Bild 1 Bild 2
W(x,y,s)
s = 0s = 1
(x1,y1)(x2,y2)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Interpolation der Farbinformation (cross dissolving):
Farbinformationen der Bilder: I1(x,y) und I2(x,y)
⇒
Möglichkeit zur Spe-
zifikation nichtlinearer
Übergangsfunktionen
),(),()1(),( 21 yxsyxsyx III +−=
Bild 2Bild 1
s = 0 s = 1
Morph
I1(x,y) I2(x,y)I(x,y)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Netzwarping (mesh warping) Wolberg (1990)
Zwei topologisch äquivalente Netze über den Bildern
definiert
Algorithmus mit drei Schritten:
1. Lineare Interpolation zwischen den Knoten des Netzes:
2. Bilder 1 und 2 auf das neue Netz mit Koordinaten (x,y) warpen.
3. Farbinformationen der gewarpten Bilder linear interpolieren:
2122112
2122111
)1(),,,,()1(),,,,(
syyssyxyxWysxxssyxyxWx
+−==+−==
),(),()1(),( 21 yxsyxsyx III +−=
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispielEinfache lineare Überlagerung der Textur
Netzwarping
Wolberg (1998)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Feldmorphing (field morphing)Beier & Neely (1992)
Warp definiert durch Linien
Warptransformation für einzelnes Linienpaar, mit den Punktkoordinaten xi = (xi,yi) bzw. pi und qi:x
11
1112
11
1111
2222222
)()()(mit )(),,,(
pqnpx
pqpqpx
npqpqpW
−−
=−
−−=
+−+==TT
βα
βαβα
p1
q1
x1
n1α
β
q2
p2x2
n2
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Feldmorphing (field morphing)Für mehrere Linien ein Wert x2
(k) für jede Linie berechnet; Werte linear gewichtet (ci Konstanten):
Verwendet für M. Jacksons Video
31
||length
mit
1)(
22
)(2
2
c
k
c
k
kk
k
kk
c
−+
=
=∑∑
xx
xx
γ
γ
γ
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele
Ein Linienpaar Viele Linienpaare
Beier & Neely (1992)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleLinien Gewarpte Bilder
Morph
Beier & Neely (1992)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele
Morphsequenz
Beier & Neely (1992)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Neuere Entwicklungen
Nutzung von Regularisierungsnetzwerken zur
Approximation der Warpingfunktion
Hierarchische Netze (Auflösungspyramide)
Automatische Suche von korrespondierenden Merkmalen
Bereichsweise verschiedene Morphingtransformationen
(“prozedurales Morphen”)
Lee et al. (1996)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Neuere Entwicklungen
Normaler Morph
Nase schnellergemorpht als Kopf
Warp 1
Warp 2
Morph
Warp 1
Warp 2
Morph
Wolberg (1998)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
II. Active-Appearance-Modelle(AAM)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Problem
Flexibles Modells für Objektform + Textur
Anwendungen:
– Objekterkennung
– Tracking
– Bildsynthese
– Medizintechnik
lernbasiert
Basiert auf PCA-Methoden
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
(Taylor & Cootes, 1995)
Form: Menge von Punkten, die unter bestimmten
Transformationen (Rotation, Translation, Skalierung)
invariant ist
Punkte [xr, yr]T definiert durch “Landmarken”,
d.h. Punkte auf dem Objekt, die im Bild
leicht zu identifizieren sind
Kompakte Schreibweise:
x = [x1,…, xn, y1 ,…, yn]T (Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Mehrere Formen definiert durch xi , 1 ≤ i ≤ l
Normalisierung + Alignment: (Procrustes Methode)
1. Schwerpunkte ins Zentrum des Koordinatensystems
verschieben
2. Objekte so transformieren, dass
minimal ist; T ist die Transformationsmatrix, die geschätzt wird
3. Normalisieren, so dass
Iterativer Algorithmus
2)( ∑ −=i
iE xxTx
1|| =x
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Modellierung von Formvariationen durch PCA:
Mittelwert der Daten:
Kovarianzmatrix:
Approximation durch PCA: S ≈ Ss = Us Σ2 UsT
⇒
∑=
=l
iil 1
1 xx
∑=
−−−
=l
i
Tiil
S1
))((1
1 xxxx
bUxx s+≈Eigenvektoren zu
grössten σjParametervektor
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Parametervektor b erlaubt Variation der Form ⇒“deformierbares / flexibles Modell”Typischerweise kann Dimensionalität s des Parametervektors klein gewählt werden; z.B. so dass bestimmter Anteil der Varianz erklärt wirdSchätzung des Parametervektors:(Us orthogonal !)
Modellierung der Verteilung von erlaubt die Testung von Hypothesen (Klassifikation von Formen)
)(ˆ xxUb −= Ts
b̂
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Einfache Beispiele 72 Landmarken18 Beispielbilder
Trainingsdaten Modellierte Formen
b3
b2
b1
SD 3±(Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
133 Landmarken300 Beispielbilder36 Eigenkomponenten erklären 98 % der Varianz
Einfache Beispiele
Trainingsdaten Modellierte Formen
b3
b2
b1
SD 3±(Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Gemeinsame Schätzung von Form- und Transfor-mationsparametern: Approximation neuer Daten xdurch Minimierung von
Iterativer Algorithmus:1. Wahl von Anfangswert für b
2. Berechnung von
3. Schätzung von T aus
4. Schätzung von b aus
5. Wiederholung ab 2. bis Konvergenz.
2)(),( bUxTxTb sE +−=
bUxx s+=ˆxxT ≈ˆˆ
)ˆ(ˆ 1 xxTUb −= −Ts
Transformationsmatrix
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
Zur Synthese von Bildern Form- und Texturmodelle erforderlichBasierend auf Formmodellen können formnormalisierte Textur oder Farbmodelle erstellt werdenIdee: Warping der Bilder auf normalisierte Form
Modellierung der Texturen auf dieser normalisierten Form
)),(),,(()),((),(),(
21 yxWyxWgyxgyxgyxg
orig
origorig
=
=→ W
Warpingtransformation
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
),( yxg
),( yxgorig),( yxW
Warping transformation
(Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
Abtastung: g(x,y) → Vektor gModellierung der Textur: Normalisierung:
Wahl von g01 und g02 für optimale Anpassung der normalisierten Vektoren g an Mittelwert Textursynthesegleichung:
02
01~gg 1gg −
=Skalierungsparameter
ggbUgg +=
g
Eigenvektoren zu grössten σj
0102 )( gg gg ++= bUgg
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Kombinierte Modelle für Form und Textur(combined appearence models)
Formmodell:
Texturmodell:
Parameterschätzung:
Weitere PCA (erfasst Korrelationen von Form und
Textur):
ggbUgg +=
xxbUxx +≈
−−
=
=
)()(
ggUxxDU
bDb
b Tg
Tx
g
x
cUcUU
bDb
b cc
c
g
x =
≈
=
2
1
Diagonale Skalierungsmatrix
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Kombinierte Modelle für Form und Textur(combined appearence models)
Bildparameter sind lineare Funktionen von c:
Schätzung von c für neues Bild:
cUUggcUDUxx
2
11
cg
cx
+=+= −
bUc ˆˆ Tc=
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
122 Landmarken200 Beispielbilder~ 10.000 Pixel
Beispiele
Formvariation: bx
(Taylor & Cootes, 2000)
Grauwertvariation: bg
23 Parameter (erkl. 98 % der Var.)
112 Parameter (erkl. 98 % der Var.)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele“Appearance”-Variation: b (Taylor & Cootes, 2000)
80 Parameter (erkl. 98 % der Var.)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleApproximation eines neuen Bildes
Original Approximation
(Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleZiel: Automatische Anpassung eines Appearance Modells an neues BildVoher zur Bestimmung der Matrizen Ui und der Vektoren und ein Satz von Trainingsbildern in Form und Textur Problem: Bestimmung des Parametervektors c, der Skalierungsparameter g0i und der Matrix TMinimierung von
⇒ komplexes Optimierungsproblem
∫ −= ),(),(ˆ),( 2 yxdyxgyxgE
x g
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleDas rekonstruierte Bild hängt ab vom Parametervektor: p = [cT, g01, g02,tT] T
(t enthält die Parameter der Transformationsmatrix)
Einfacher durch Minimierung des Fehlers im Raum der
normalisierten Formen: mit
d.h.
Minimierung durch Newton-Verfahren:
),(ˆ yxg
ggpr ˆ)( −= cQgg g+=ˆ
)()()( prprp TE =
r∂
ppJprppJprpp
ppJprpp
prppr
δδδ
δδδ
)()(min)()()(
)()()()(
!2 −≈⇒=+=+⇒
+=∂
+≈+
E
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleKleinste-Quadrate-Lösung:
Berechnung von durch numerisches Differenzieren
prpJ
prpJpJpJp
∂∂
=
−= −
)(mit
)()())()(( 1 TTδ
prpJ
∂∂
=)(
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleAuflösungspyramide erlaubt Rekonstruktion für grösseren Bereich von Translationen
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleKonvergenz (Taylor & Cootes, 2000)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleOriginalbilder und Rekonstruktionen
Medizinische Anwendung
(Taylor & Cootes, 2000)
42 Landmarken30 Trainingsbilder
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Wichtige Punkte
WarpingMorphingActive Shape ModelActive Appearance Model
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
LiteraturBeier T. & and Neely, S (1992) Feature-based image metamorphosis.
Proceedings of SIGGRAPH'99 26, 35-42.
Cootes, T.F. & Taylor. C.J. (1995) Active shape models: Their trainingand application. CVIU, 61, 38-59.
Cootes, T.F., Edwards, G.J. & Taylor. C.J. (1998) Active appearance models. In Proc. European Conf on Computer Vision, Freiburg, Germany, June 1-5, 2, 484-498.
Cootes, T.F.& Taylor. C.J. (2000) Statistical models of appearance for computer vision. Technical Report, University of Manchester.
Forsyth, D.A. & Ponce, J. (2003). Computer Vision: A modern Approach. Prentice-Hall. Upper Saddle River, NJ.
Seitz, S.M. & Dyer, C.R. (1996) View Morphing. Proc. SIGGRAPH 96, 21-30.
Wolberg, G. (1990) Digital Image Warping. IEEE Computer Society Press.