Images et Fusion - LIRMM

Images et Fusion

Michèle ROMBAUTLaboratoire des Images et des Signaux - Grenoble

Mars 2006 Images et Fusion 2

Définition

La fusion d’informations consiste à combiner

des informations issues de plusieurs

sources afin d’améliorer la prise de

décision [I.Bloch].

Mars 2006 Images et Fusion 3

Cadre de la fusion

Modélisation de la connaissance sur un système qui existe réellement mais dont on ne connaît qu'une image partielle et/ou déformée.

Fusion dirigée par les buts : reconstruction la plus complète et précise décision la plus fiable

Mars 2006 Images et Fusion 4

Tâches de la fusion

Détection Reconnaissance ou Classification Identification

Exemple : détection de mines, détection de lésions, reconnaissance d'émotions, identification de sauts d'athlétisme

Mars 2006 Images et Fusion 5

Reconnaissance des formes

Segmentation

Reconstruction

Détection des changements

Mise à jour des connaissances

Mars 2006 Images et Fusion 6

Situation de fusion

Plusieurs images d'un même capteur Plusieurs images de capteurs différents Plusieurs informations extraites d'une

même image Images et autres sources d'information

Mars 2006 Images et Fusion 7

Caractéristiques de la fusion d'images

Volume d'informations à traiter Hétérogénéité des informations nature des informations représentation (fréquentes ou rares)

Imperfections : incertitude et imprécision transition entre deux zones appartenance d'un pixel à un objet

Aspects géométriques

Mars 2006 Images et Fusion 8

Aspects géométriques

Voisinage : Évaluation de paramètres (moyenne, écart-

type) Champs de Markov

Situation géométrique : Proche ou éloigné Au dessus, en dessous Devant, derrière (occultation)

Mars 2006 Images et Fusion 9

Type des données

Mesures de type numérique : distance niveau de gris durée d'un signal …

Décision de type symbolique : classification d'un pixel existence d'une lésion reconnaissance d'un objet

Mars 2006 Images et Fusion 10

Informations numériques

informations données sous forme de nombre

espace de définition Ω ordonné exemple : la largeur d'un objet est de

23 pixels

x ∈ ΩX

Mars 2006 Images et Fusion 11

Informations symboliques informations données sous forme de

symboles, de propositions, de règles

espace de définition Ω non ordonné

H1H2

H4H3

• H1 : l’objet est une voiture

• H2 : l’objet est un camion

• H3 : l’objet est une moto

• H4 : l’objet est un piéton

Mars 2006 Images et Fusion 12

Hypothèses et propositions

hypothèses Hi : éléments de l'ensemble de

définition Ω = Η1, Η2, …, Hn

propositions Ai : éléments de l'ensemble 2Ω

des parties de Ω.

2Ω = ∅, Η1, Η2, …, Η1, Η2, Ω

Mars 2006 Images et Fusion 13

Rapprochement à la théorie des ensembles

OU logique : union ∪

ET logique : intersection ∩

Proposition : union d'hypothèses ≡ OU

entre les hypothèses

Ηi , Ηj ≡ Ηi ∪ Ηj

noté Ηi , Ηj ou Ηij

Mars 2006 Images et Fusion 14

Fusion de données

estimation d'une donnée par la

combinaison de plusieurs données

estimation des erreurs associées

(précision, certitude)

Mars 2006 Images et Fusion 15

Sources d'information

sources redondantes : même espace de définition (espace de discernement)

sources complémentaires : espaces de définition différents

Mars 2006 Images et Fusion 16

Sources concordantes

les informations données par les deux sources sont compatiblesex : source 1 : la mesure d ∈ [12,15]

source 2 : la mesure d ∈ [10,13] la qualité des informations est améliorée

Mars 2006 Images et Fusion 17

Sources discordantes

les informations données par les deux sources sont incompatiblesex : source 1 : la mesure d ∈ [12,15]

source 2 : la mesure d ∈ [9,11] → CONFLIT

si les données sont fusionnées, la qualité du résultat est dégradée

Mars 2006 Images et Fusion 18

Conflit

Causes du conflit : capteurs physiques : fonctionnement dégradé capteurs logiques : mauvaise configuration choix des hypothèses (mise en

correspondance...)

Modélisation du conflit : utilisation d'une mesure

Mars 2006 Images et Fusion 19

Décision

Choix d'une hypothèse ou d'une valeur numérique

Prise de risque. Exemple en détection : faux positifs faux négatifs

Définition d'un critère de choix : compromis "précision - certitude" maximisation d'une mesure

Mars 2006 Images et Fusion 20

Architecture de fusion

Niveau de fusion : niveau signal / pixel niveau attribut niveau objet niveau décision

Mécanismes : conversion numérique/symbolique mise en correspondance combinaison décision

Mars 2006 Images et Fusion 21

Imperfections des données

Les capteurs et les algorithmes «parfaits» n’existent pas. imprécision incertitude retard manque de données

Nécessité d’une modélisation des erreurs

Mars 2006 Images et Fusion 22

Imprécision

Estimation de la différence entre la mesure d provenant du capteur et la valeur réelle inconnue X à mesurer.

Ω∈xX d

Mars 2006 Images et Fusion 23

Exemple

La longueur de l'objet est de 52 pixels plus ou moins 4 pixels

Cela signifie :La réelle valeur X de la longueur de l'objet

est dans l’intervalle [48p ; 56p]

Mars 2006 Images et Fusion 24

Incertitude

Doute sur la réalité des différentes

hypothèses Hi

Exemple : la probabilité que le pixel

appartienne à l'objet est de 90%

Mars 2006 Images et Fusion 25

Incertitude

Doute sur la réalité des différentes

hypothèses Hi

Exemple : la probabilité que le pixel

appartienne à l'objet est de 90%

Mars 2006 Images et Fusion 26

Modélisation de la méconnaissance

Représentation du fait que l'on ne sait pas modélisation implicite (probabilités) modélisation explicite

Exemple : jeu de pile ou face :

p(pile) = 50%, p(face) = 50% prévision sismologique :

méconnaissance ≠ 50% - 50%

Mars 2006 Images et Fusion 27

Mécanisme de fusion

Analyse de problèmes de fusion sans tenir compte de l'incertitude, l'imprécision et la fiabilité Fusion de données numériques Fusion de données symboliques

Mars 2006 Images et Fusion 28

Fusion de données numériques

L'objectif est d'obtenir une estimation de la valeur réelle X à partir de deux mesures.

X d1

Ω

Mesure d1

Mars 2006 Images et Fusion 29

Fusion de données numériques

X d2

Ω

Mesure d2

Mars 2006 Images et Fusion 30

Fusion de données numériques

Les intervalles d'imprécision sont fusionnés (intersection)

X d1

Ω d2

Mars 2006 Images et Fusion 31

Fusion de données numériques

Une nouvelle estimation peut être faite

X Ω d12

Estimation d12

Mars 2006 Images et Fusion 32

Fusion de données numériques

En cas de conflit : les intervalles d'imprécision sont fusionnés (union)

X d1

Ω d2

Mars 2006 Images et Fusion 33

Fusion de données numériques

En cas de conflit : les intervalles d'imprécision sont fusionnés (union)

X Ω

d12

Mars 2006 Images et Fusion 34

Fusion de données symboliques

Phases de développement du système de fusion Obtention des mesures Espace de discernement Conversion Numérique/Symbolique Processus de fusion Décision

Mars 2006 Images et Fusion 35

Processus d'observation

Utilisation des capteurs : symboliques : click de la souris généralement analogiques : mesures de paramètres

analogiques (niveau de gris, distance, hauteur, …) Comment choisir les paramètres de mesures ? question difficile doivent être pertinants au regard de l'application

visée laissé au choix de l'expert évaluation de la quantité d'information?

Mars 2006 Images et Fusion 36

Processus d'observation

Développement de capteurs matériels et

logiciels capteurs génériques ou spécifiques (caméra, images

US, images sonar,...)

logiciels particuliers ou spécifiques (traitements des

images)

Evaluation de la pertinence des paramètres ?

Mars 2006 Images et Fusion 37

Espace de discernement

Ensemble des symboles d'intérêt : comment les choisir ?

Doivent correspondre aux besoins de l'application. Reconnaissance d'émotion : quelles emotions?

neutre ? grimaces ?

joy surprisedisgust fear neutral

Mars 2006 Images et Fusion 38

Espace de discernement

Propriétés des symboles choisis :

Exclusivité : si un symbole est vrai, alors les

autres sont faux.

Exhaustivité : la vérité correspond à au moins

un des symboles possibles (monde fermé ou

ouvert).

Mars 2006 Images et Fusion 39

Espace de discernement

Possibilité de choisir des symboles intermédiaires.

Exemple pour la posture d'une silhouette: symboles : vertical, horizontal

Définition d'espaces de discernement pertinents.

Angle

lie down+

lie d

own

-Stand up-

Stand up+

Mars 2006 Images et Fusion 40

Conversion numérique/symbolique

Lier les mesures numériques aux symboles.

Utilisation de modèles de conversion

Deux classes de modèles : Modèles statistiques : apprentissage supervisé

Modèles définis par expertise

Mars 2006 Images et Fusion 41

Conversion numérique/symbolique

Exemple: Quelle est la posture de la silhouette?

Mesure : angle entre l'axe principal et l'horizontale

Espace de discernement Ω = Horizontal, Vertical

Mars 2006 Images et Fusion 42

Conversion numérique/symbolique

π/2

0

Horizontal

Vertical

Angle π/2 π/4 3π/4 0

Définition stricte des intervalles Nécessité de gérer l'imprécision (chap. suivants)

Mars 2006 Images et Fusion 43

Processus de fusion Combinaison logique entre les sources de

mesures Informations redondantes même espace de discernement accroîssement de la confiance sur les symboles

Informations complémentaires différents espaces de discernement accroîssement de la précision sur les symboles

Fusion ⇒ même espace de discernement

Mars 2006 Images et Fusion 44

Processus de fusion

Information redondante Exemple : mesure de l'angle de l'axe principal → vertical

ou horizontal mesure de l'angle de l'axe entre points

extrêmes → vertical ou horizontal

Gestion nécessaire du conflit entre les sources (chap. suivants)

Mars 2006 Images et Fusion 45

Processus de fusion

Informations complémentaires

Exemple: mesures de distances entre les traits

d'un visage → petit ou grand

Utilisation de règles de combinaison

Opération de raffinement (refinement) et de grossissement (coarsening)

Mars 2006 Images et Fusion 46

Processus de fusion : exemple

Capteur couleur : ΩC=blue, red

Capteur forme : ΩS=circle, square

Objet : ΩO=A,B,C,D

Objectif : ΩF=Cheap, Expensive

A B C D

?

Mars 2006 Images et Fusion 47

Processus de fusion : exemple

ΩO=A,B,C,D=ΩC×ΩS

Processus de raffinement blue=A∪B, red=C∪D circle=B∪D, square=A∪C

Processus de grossissement Connaissances expertes cheap=A∪D, expensive=B∪C

A B C D

?

Mars 2006 Images et Fusion 48

Processus de fusion : exemple

Règles de combinaison

A∪B C∪D

B∪D

A∪C

B

A

D

C

A B C D

?

Raffinement

Mars 2006 Images et Fusion 49

Processus de fusion : exemple

Règles de combinaison

blue red

circle

square

exp.

cheap

cheap

exp.

A∪B C∪D

B∪D

A∪C

B

A

D

C

A B C D

?

cheap=A∪D, expensive=B∪C

Raffinement

Grossissement

Mars 2006 Images et Fusion 50

Conclusions

Conception du process de fusion :1.Raisonnement dans le cadre strict 2.Prise en compte de l'incertitude, l'imprécision,

la fiabilité, le conflit entre source, le doute 3 formalismes : probabilités (fréquentiste et subjectif) possibilités (sous ensembles flous) évidence (croyance, Dempster-Shafer)