Images et Fusion - LIRMM

Images et Fusion

Michèle ROMBAUTLaboratoire des Images et des Signaux - Grenoble

Mars 2006 Images et Fusion 2

Définition

La fusion d’informations consiste à combiner

des informations issues de plusieurs

sources afin d’améliorer la prise de

décision [I.Bloch].


Cadre de la fusion

Modélisation de la connaissance sur un système qui existe réellement mais dont on ne connaît qu'une image partielle et/ou déformée.

Fusion dirigée par les buts : reconstruction la plus complète et précise décision la plus fiable


Tâches de la fusion

Détection Reconnaissance ou Classification Identification

Exemple : détection de mines, détection de lésions, reconnaissance d'émotions, identification de sauts d'athlétisme


Reconnaissance des formes

Segmentation

Reconstruction

Détection des changements

Mise à jour des connaissances


Situation de fusion

Plusieurs images d'un même capteur Plusieurs images de capteurs différents Plusieurs informations extraites d'une

même image Images et autres sources d'information


Caractéristiques de la fusion d'images

Volume d'informations à traiter Hétérogénéité des informations nature des informations représentation (fréquentes ou rares)

Imperfections : incertitude et imprécision transition entre deux zones appartenance d'un pixel à un objet

Aspects géométriques


Aspects géométriques

Voisinage : Évaluation de paramètres (moyenne, écart-

type) Champs de Markov

Situation géométrique : Proche ou éloigné Au dessus, en dessous Devant, derrière (occultation)


Type des données

Mesures de type numérique : distance niveau de gris durée d'un signal …

Décision de type symbolique : classification d'un pixel existence d'une lésion reconnaissance d'un objet


Informations numériques

informations données sous forme de nombre

espace de définition Ω ordonné exemple : la largeur d'un objet est de

23 pixels

x ∈ ΩX


Informations symboliques informations données sous forme de

symboles, de propositions, de règles

espace de définition Ω non ordonné

H1H2

H4H3

• H1 : l’objet est une voiture

• H2 : l’objet est un camion

• H3 : l’objet est une moto

• H4 : l’objet est un piéton


Hypothèses et propositions

hypothèses Hi : éléments de l'ensemble de

définition Ω = Η1, Η2, …, Hn

propositions Ai : éléments de l'ensemble 2Ω

des parties de Ω.

2Ω = ∅, Η1, Η2, …, Η1, Η2, Ω


Rapprochement à la théorie des ensembles

OU logique : union ∪

ET logique : intersection ∩

Proposition : union d'hypothèses ≡ OU

entre les hypothèses

Ηi , Ηj ≡ Ηi ∪ Ηj

noté Ηi , Ηj ou Ηij


Fusion de données

estimation d'une donnée par la

combinaison de plusieurs données

estimation des erreurs associées

(précision, certitude)


Sources d'information

sources redondantes : même espace de définition (espace de discernement)

sources complémentaires : espaces de définition différents


Sources concordantes

les informations données par les deux sources sont compatiblesex : source 1 : la mesure d ∈ [12,15]

source 2 : la mesure d ∈ [10,13] la qualité des informations est améliorée


Sources discordantes

les informations données par les deux sources sont incompatiblesex : source 1 : la mesure d ∈ [12,15]

source 2 : la mesure d ∈ [9,11] → CONFLIT

si les données sont fusionnées, la qualité du résultat est dégradée


Conflit

Causes du conflit : capteurs physiques : fonctionnement dégradé capteurs logiques : mauvaise configuration choix des hypothèses (mise en

correspondance...)

Modélisation du conflit : utilisation d'une mesure


Décision

Choix d'une hypothèse ou d'une valeur numérique

Prise de risque. Exemple en détection : faux positifs faux négatifs

Définition d'un critère de choix : compromis "précision - certitude" maximisation d'une mesure


Architecture de fusion

Niveau de fusion : niveau signal / pixel niveau attribut niveau objet niveau décision

Mécanismes : conversion numérique/symbolique mise en correspondance combinaison décision


Imperfections des données

Les capteurs et les algorithmes «parfaits» n’existent pas. imprécision incertitude retard manque de données

Nécessité d’une modélisation des erreurs


Imprécision

Estimation de la différence entre la mesure d provenant du capteur et la valeur réelle inconnue X à mesurer.

Ω∈xX d


Exemple

La longueur de l'objet est de 52 pixels plus ou moins 4 pixels

Cela signifie :La réelle valeur X de la longueur de l'objet

est dans l’intervalle [48p ; 56p]


Incertitude

Doute sur la réalité des différentes

hypothèses Hi

Exemple : la probabilité que le pixel

appartienne à l'objet est de 90%


Incertitude

Doute sur la réalité des différentes

hypothèses Hi

Exemple : la probabilité que le pixel

appartienne à l'objet est de 90%


Modélisation de la méconnaissance

Représentation du fait que l'on ne sait pas modélisation implicite (probabilités) modélisation explicite

Exemple : jeu de pile ou face :

p(pile) = 50%, p(face) = 50% prévision sismologique :

méconnaissance ≠ 50% - 50%


Mécanisme de fusion

Analyse de problèmes de fusion sans tenir compte de l'incertitude, l'imprécision et la fiabilité Fusion de données numériques Fusion de données symboliques


Fusion de données numériques

L'objectif est d'obtenir une estimation de la valeur réelle X à partir de deux mesures.

X d1

Ω

Mesure d1



X d2

Ω

Mesure d2



Les intervalles d'imprécision sont fusionnés (intersection)

X d1

Ω d2



Une nouvelle estimation peut être faite

X Ω d12

Estimation d12



En cas de conflit : les intervalles d'imprécision sont fusionnés (union)

X d1

Ω d2



En cas de conflit : les intervalles d'imprécision sont fusionnés (union)

X Ω

d12


Fusion de données symboliques

Phases de développement du système de fusion Obtention des mesures Espace de discernement Conversion Numérique/Symbolique Processus de fusion Décision


Processus d'observation

Utilisation des capteurs : symboliques : click de la souris généralement analogiques : mesures de paramètres

analogiques (niveau de gris, distance, hauteur, …) Comment choisir les paramètres de mesures ? question difficile doivent être pertinants au regard de l'application

visée laissé au choix de l'expert évaluation de la quantité d'information?


Processus d'observation

Développement de capteurs matériels et

logiciels capteurs génériques ou spécifiques (caméra, images

US, images sonar,...)

logiciels particuliers ou spécifiques (traitements des

images)

Evaluation de la pertinence des paramètres ?


Espace de discernement

Ensemble des symboles d'intérêt : comment les choisir ?

Doivent correspondre aux besoins de l'application. Reconnaissance d'émotion : quelles emotions?

neutre ? grimaces ?

joy surprisedisgust fear neutral



Propriétés des symboles choisis :

Exclusivité : si un symbole est vrai, alors les

autres sont faux.

Exhaustivité : la vérité correspond à au moins

un des symboles possibles (monde fermé ou

ouvert).



Possibilité de choisir des symboles intermédiaires.

Exemple pour la posture d'une silhouette: symboles : vertical, horizontal

Définition d'espaces de discernement pertinents.

Angle

lie down+

lie d

own

-Stand up-

Stand up+


Conversion numérique/symbolique

Lier les mesures numériques aux symboles.

Utilisation de modèles de conversion

Deux classes de modèles : Modèles statistiques : apprentissage supervisé

Modèles définis par expertise



Exemple: Quelle est la posture de la silhouette?

Mesure : angle entre l'axe principal et l'horizontale

Espace de discernement Ω = Horizontal, Vertical



π/2

0

Horizontal

Vertical

Angle π/2 π/4 3π/4 0

Définition stricte des intervalles Nécessité de gérer l'imprécision (chap. suivants)


Processus de fusion Combinaison logique entre les sources de

mesures Informations redondantes même espace de discernement accroîssement de la confiance sur les symboles

Informations complémentaires différents espaces de discernement accroîssement de la précision sur les symboles

Fusion ⇒ même espace de discernement


Processus de fusion

Information redondante Exemple : mesure de l'angle de l'axe principal → vertical

ou horizontal mesure de l'angle de l'axe entre points

extrêmes → vertical ou horizontal

Gestion nécessaire du conflit entre les sources (chap. suivants)


Processus de fusion

Informations complémentaires

Exemple: mesures de distances entre les traits

d'un visage → petit ou grand

Utilisation de règles de combinaison

Opération de raffinement (refinement) et de grossissement (coarsening)


Processus de fusion : exemple

Capteur couleur : ΩC=blue, red

Capteur forme : ΩS=circle, square

Objet : ΩO=A,B,C,D

Objectif : ΩF=Cheap, Expensive

A B C D

?



ΩO=A,B,C,D=ΩC×ΩS

Processus de raffinement blue=A∪B, red=C∪D circle=B∪D, square=A∪C

Processus de grossissement Connaissances expertes cheap=A∪D, expensive=B∪C

A B C D

?



Règles de combinaison

A∪B C∪D

B∪D

A∪C

B

A

D

C

A B C D

?

Raffinement



Règles de combinaison

blue red

circle

square

exp.

cheap

cheap

exp.

A∪B C∪D

B∪D

A∪C

B

A

D

C

A B C D

?

cheap=A∪D, expensive=B∪C

Raffinement

Grossissement


Conclusions

Conception du process de fusion :1.Raisonnement dans le cadre strict 2.Prise en compte de l'incertitude, l'imprécision,

la fiabilité, le conflit entre source, le doute 3 formalismes : probabilités (fréquentiste et subjectif) possibilités (sous ensembles flous) évidence (croyance, Dempster-Shafer)

Documents

Images et Fusion - LIRMM