Mesures de dissimilarités locales et globales entre images, symétriques et asymétriques

Mesures dedissimilarites locales etglobales entre images,

symetriques etasymetriques

F. Morain-Nicolier

[email protected]

http://pixel-shaker.fr

Plan

Presentation de laCarte de DissimilariteLocales

Mesure locale⇒mesure globale

Formulations finale -Exemples

Bilan - discussion

Mesures de dissimilarites locales et globalesentre images, symetriques et asymetriques

Journee thematique du GRCE et du GDR - I3 theme 6Caracteristiques et similarites dans les images naturelles et les

images de documents

F. Morain-Nicolier

[email protected]://pixel-shaker.fr

CRESTIC - URCA/IUT Troyes

23 juin 2009

1



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Presentation de la Carte de Dissimilarite Locales

Mesure locale ⇒ mesure globale

Formulations finale - Exemples

Bilan - discussion

2



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion




Bilan - discussion

3



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Carte de Dissimilarites Locales (CDL)« historique »

I Mise au point pour comparer des images binaires [These E.Baudrier]

Image binaire = ensemble de pixels ⇒ Distance de Hausdorff (DH)

I La DH est un outil topologique qui mesure l’eloignement dedeux sous-ensemble d’un espace metrique sous-jacent 1 :

DH(A,B) = max(h(A,B), h(B,A)) (1)

avec h(A,B) = maxa∈A(minb∈B d(a, b)).

I Alg. par croissance de fenetre : la taille de la fenetre croıtjusqu’a etre suffisamment grande pour saisir convenablementles caracteristiques locales.

1. D.P. Huttenlocher, W.J. Rucklidge, ”Comparing images using the haus-dorff distance”, IEEE Transactions on Pattern Analysis and Machine Intelligence,vol. 15, n. 9, pp. 850–863, 1993

4



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Algorithmes

I Alg. par croissance de fenetre :

Pour chaque pixel p, faire

1. n := 1

2. tant que DHp,n(A, B) ≤ n et n ≤ DH(A, B), faire n := n + 1

3. CDLp(A, B) = DHp,n−1(A, B)

I Cet algorithme illustre bien le comportement de la CDL, maisn’est pas tres rapide (iterations).

I Plus rapide 2 :

CDL(p) = |A(p)− B(p)|max(tdA(p), tdB(p)), (2)

tdX etant la transformee en distance de l’image X .

2. E. Baudrier, F. Nicolier, G. Millon, S. Ruan, ”Binary-image comparisonwith local-dissimilarity quantification”, Pattern Recognition, vol. 41, n. 5, pp.1461–1478, jan. 2008

5



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Exemples et proprietes

Proprietes :

localisation, quantification, robustesse aux petites variations.

6



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Exemples et proprietes (2)

7



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

ApplicationsRecherche d’impressions similaires 3

3. E. Baudrier, F. Nicolier, G. Millon, S. Ruan, ”Binary-image comparisonwith local-dissimilarity quantification”, Pattern Recognition, vol. 41, n. 5, pp.1461–1478, jan. 2008

8



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

ApplicationsEvolution de tumeurs 4

4. F. Morain-Nicolier, S. Lebonvallet, E. Baudrier, S. Ruan, ”Hausdorff dis-tance based 3D quantification of brain tumor evolution from MRI images.,” inConf Proc IEEE Eng Med Biol Soc, 2007, pp. 5597-5600.

9



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Linearisation de la CDL

I Nouvelle formulation recente 5 :

CDLA,B = BdtA + AdtB . (3)

⇒ elimination des operateurs max et abs.

I Completement equivalente.

I Il ne reste que des operations lineaires ⇒ implementationrapide.

I Une extension aux images en niv. de gris est possible parl’extension de la transformee en distance ([Toivanen] et de[Levi et Montanari]).

5. GRETSI, sept. 200910



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion




Bilan - discussion

11



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Agregation des valeurs de la CDL

I Estimation globale de la ressemblance entre deux images :calcul d’un scalaire.

1. Somme des valeurs.2. Somme des valeurs quadratiques (cf Borgefors 6.)

DG(A,B) =∑p∈A

CDLA,B(p). (4)

I En developpant :

DG(A,B) =∑

p

B(p)tdA(p) +∑

p

A(p)tdB(p). (5)

6. G. Borgefors, ”Hierarchical chamfer matching : a parametric edge mat-ching Algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelli-gence, vol. 10, n. 6, pp. 849–865, 1988

12



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Interpretation : lien

Chamfer Matching :

consiste a cherche la minimisation d’une distance entre deuxensembles de points de contours [Borgefors].

I Translation d’un gabarit (binaire) sur une image (binaire).

I Moyenne des distances de chaques pixels du gabarit translateau pixel de l’image le plus proche. Pour une translation tdonnee :

CS(I ,Gt) =1

N

∑p

Gt(p)tdI (p). (6)

CS : Chamfer Score.

I Ainsi :

DG(A,B) =∑

p

B(p)tdA(p) +∑

p

A(p)tdB(p) (7)

∼ CS(A,B) + CS(B,A). (8)

13



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Interpretation

I CS mesure comment l’image est dissimilaire au gabarit.

I DG mesure comment A est similaire a B et comment B estsimilaire a A.

I L’introduction de ponderations α, β ∈ [0, 1] conduit a uneformulation flexible :

DG(A,B) = α∑

p

B(p)tdA(p) + β∑

p

A(p)tdB(p). (9)

I Une mesure symetrique est obtenue avec α = β.

I Des mesures asymetriques sont obtenues dans les autres cas.(Chamfer Score : α = 1 et β = 0).

I Possibilite de valeurs plus graduees.

14



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion




Bilan - discussion

15



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Equations finales

I Carte de dissimilarites (local) :

CDL(A,B) = αB(p)tdA + βA(p)tdB . (10)

I Dissimilarite (global) :

DG(A,B) = α∑

p

B(p)tdA(p) + β∑

p

A(p)tdB(p). (11)

I Possibilite de localiser un motif :

LI ,G = α(td2I ? G ) + β(I ? td2

G ). (12)

(? : intercorrelation, autorisant une implementation tres rapidedans Fourier).

16



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

ExemplesLocalisation d’un motif

17



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

ExemplesLocalisation d’un motif (2) : etude de la robustesse

18



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

ExemplesReconnaissance de symboles 7

1. I : symbole inconnu, Mi , i ∈ [1,N] modeles de reference.

2. Pour chaque modele Mi :calculer la dissimilarite (asymetrique) entre Mi et I .

3. Garder le modele avec la plus faible dissimilarite.

(reconnaissance robuste a la mise a l’echelle et la rotation avecpassage au domaine log-polaire).

Resultats

rot/hom m1 m2 m3 m4 m5 m6sans 100% 100% 100% 100% 100% 54%avec 96% 40% 94% 70% 42% 12%

⇒ Bonnes performances sans connaissance a-priori, sansextraction de primitive, avec une decision simple.

7. GREC, juil. 200919



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion




Bilan - discussion

20



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Ce que nous avons obtenu

I Une mesure flexible de la dissimilarite entre deux images :I locale/globale,I symetrique/asymetrique (avec graduation possible),I permettant une implementation tres rapide.

I L’eventuelle asymetrie est interessante puisqu’elle peutpermettre d’etre en accord avec le jugement humain de lasimilarite [Tversky] 8.

Tverskys(X ,Y ) = θc − αa− βb. (13)

(caracteristiques : c communes, a dans Xuniquement, b dans Y uniquement)

DG

DG(A,B) = α∑

BtdA + β∑

AtdB . (14)

8. A. Tversky, ”Features of similarity”, Psychological Review, vol. 84, n. 4,pp. 327-352, 1977

21



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Ce que nous avons obtenu

I La (dis)similarite proposee est une similarite structurelle quicompare les informations

I sans a-proriI sans necessiter de pre-traitement (segmentation) : robuste au

bruit (cf Hausdorff)I sans extraction de primitives, donc pas de choix a faire.

I il s’agit d’une mesure non-semantique

I qui reste riche en raison de la grande information portee parles images.

I Un lien explicite entre le Chamfer Matching, la distance deHausdorff et DG.

22



F. Morain-Nicolier

[email protected]


Plan




Bilan - discussion

Pour la suite

I Mesure de similarite bornee ∈ [0, 1].

I Localisation de motifs/symboles avec rotation/homothetie.

I Extension complete aux images en niv. de gris (travail sur lesTD).

23

Education

Mesures de dissimilarités locales et globales entre images, symétriques et asymétriques