Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Geometrie epipolaire

Vincent Nozick

Vincent Nozick Geometrie epipolaire 1 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Geometrie epipolaire

Introduction :La geometrie epipolaire permet d’etablir une relation geometriqueentre 2 images d’une meme scene.

Vincent Nozick Geometrie epipolaire 2 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Geometrie epipolaire

Vincent Nozick Geometrie epipolaire 3 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Geometrie epipolaire

Vincent Nozick Geometrie epipolaire 4 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

Matrice fondamentale :

F =

f11 f12 f13f21 f22 f23f31 f32 f33

Pour 2 points de correspondance x↔ x′, on a :

x′>Fx = 0

Vincent Nozick Geometrie epipolaire 5 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

F =

f11 f12 f13f21 f22 f23f31 f32 f33

x′>Fx = 0

Droites epipolaires :

x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′

x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l

↪→ l′> = x′>F ⇔ l′ = F>x′

↪→ l = Fx

Vincent Nozick Geometrie epipolaire 6 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

F =

f11 f12 f13f21 f22 f23f31 f32 f33

x′>Fx = 0

Droites epipolaires :

x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′

x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l

↪→ l′> = x′>F ⇔ l′ = F>x′

↪→ l = Fx

Vincent Nozick Geometrie epipolaire 6 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

F =

f11 f12 f13f21 f22 f23f31 f32 f33

x′>Fx = 0

Droites epipolaires :

x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′

x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l

↪→ l′> = x′>F ⇔ l′ = F>x′

↪→ l = Fx

Vincent Nozick Geometrie epipolaire 6 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

F =

f11 f12 f13f21 f22 f23f31 f32 f33

x′>Fx = 0

Droites epipolaires :

x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′

x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l

↪→ l′> = x′>F ⇔ l′ = F>x′

↪→ l = Fx

Vincent Nozick Geometrie epipolaire 6 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

F =

f11 f12 f13f21 f22 f23f31 f32 f33

x′>Fx = 0

Droites epipolaires :

x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′

x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l

↪→ l′> = x′>F ⇔ l′ = F>x′

↪→ l = Fx

Vincent Nozick Geometrie epipolaire 6 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Relation epipolaire

l′ = F>x′ l = Fx

Si on connait F :la selection d’un point sur une image nous donne la droite epipolairesur l’autre image.

Vincent Nozick Geometrie epipolaire 7 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Contrainte epipolaire :pour chaque point de correspondance x↔ x′ entre les 2 images, larelation epipolaire doit etre satisfaite :

x′>Fx = 0

Calcul :Si l’on dispose de quelques points de correspondance x ↔ x′, onpeut calculer F

Vincent Nozick Geometrie epipolaire 8 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Contrainte epipolaire :pour chaque point de correspondance x↔ x′ entre les 2 images, larelation epipolaire doit etre satisfaite :

x′>Fx = 0

Calcul :A partir de quelques points de correspondance x↔ x′ (au moins 8),on peut calculer F.

Vincent Nozick Geometrie epipolaire 9 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Points de correspondance

Vincent Nozick Geometrie epipolaire 10 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Pour chaque xi ↔ x′i, on a :

x′>i Fxi = 0

soit (x′i y′i w′

i

) f11 f12 f13f21 f22 f23f31 f32 f33

xiyiwi

= 0

on developpe :

xix′if11+xiy

′if12+xiw

′if13+ yix

′if21+ yiy

′if22+ . . .+wiw

′if33 = 0

Vincent Nozick Geometrie epipolaire 11 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Renommage :

f11 f12 f13f21 f22 f23f31 f32 f33

→

f11f12f13f21f22f23f31f32f33

Vincent Nozick Geometrie epipolaire 12 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Pour chaque xi ↔ x′i, on a :

xix′if11+xiy

′if12+xiw

′if13+ yix

′if21+ yiy

′if22+ . . .+wiw

′if33 = 0

soit

(xix

′i xiy

′i xiw

′i yix

′i yiy

′i . . . wiw

′i

)

f11f12f13f21f22f23f31f32f33

= 0

Vincent Nozick Geometrie epipolaire 13 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Reformulation matricielle :

x1x

′1 x1y

′1 x1w

′1 y1x

′1 y1y

′1 . . . w1w

′1

x2x′2 x2y

′2 x2w

′2 y2x

′2 y2y

′2 . . . w2w

′2

......

......

......

...xnx

′n xny

′n xnw

′n ynx

′n yny

′n . . . wnw

′n

f11f12f13f21f22f23f31f32f33

=

00...0

on resoud au sens des moindres carres (SVD et right nullspace)

Vincent Nozick Geometrie epipolaire 14 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

f11f12f13f21f22f23f31f32f33

→

f11 f12 f13f21 f22 f23f31 f32 f33

Vincent Nozick Geometrie epipolaire 15 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Calcul

Vincent Nozick Geometrie epipolaire 16 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Epipoles

Vincent Nozick Geometrie epipolaire 17 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Epipoles

Epipoles :toutes les droites epipolaires passent par les epipoles e et e′.

Vincent Nozick Geometrie epipolaire 18 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Epipoles

Propriete :toutes les droites epipolaires passent par les epipoles e et e′.

Vincent Nozick Geometrie epipolaire 19 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Epipoles

Propriete :toutes les droites epipolaires passent par leur epipoles e ou e′.

Pour tout x, on a :

e′ ∈ l ⇔ e′>l = 0

avec l = Fx, on a :e′>Fx = 0

la seule facon d’avoir e′>Fx = 0 ∀x est d’avoir e′>F = 0

Vincent Nozick Geometrie epipolaire 20 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Epipoles

Finalement, on a :

F>e′ = 0 et Fe = 0

Calcul :Pour calculer les epipoles, il suffit de calculer le noyaux de F et F>.(SVD et right nullspace)

Vincent Nozick Geometrie epipolaire 21 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Rang de F

Propriete :

• la matrice F est une matrice de rang 2.

• mais le calcul de F (moindres carres) ne nous assure pas cettepropriete.

• si F n’est pas de rang 2, les droites epipolaires ne passent pasexactement par les eipoles.

• on peut forcer le rang de F en faisant une SVD : F = UDV>

↪→ F2 = UD′V> ou D′ correspond a D ayant sa derniere valeursinguliere annulee.

Vincent Nozick Geometrie epipolaire 22 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Rectification d’image

Principe :Il s’agit de transformer les 2 images de telles sorte que:

• leur droites epipolaire soient horizontales

• les points de correspondances aient les meme coordonneesverticales

Idee generale :trouver une homographie qui place les epipoles a l’infini.

Vincent Nozick Geometrie epipolaire 23 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Homographie

Vincent Nozick Geometrie epipolaire 24 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Rectification d’image

Images de depart :

Vincent Nozick Geometrie epipolaire 25 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Rectification d’image

Images rectifiee :

Vincent Nozick Geometrie epipolaire 26 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Rectification d’image

Attention : la solution n’est pas unique.

Vincent Nozick Geometrie epipolaire 27 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Applications

Calcul de cartes de disparite :

Vincent Nozick Geometrie epipolaire 28 / 29

Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images

Applications

Images stereoscopiques sans parallaxe verticale :

Vincent Nozick Geometrie epipolaire 29 / 29