Approche probabiliste 1 Fusion de données : Vision probabiliste de la fusion « Ce que les hommes veulent en fait, ce nest pas la connaissance, cest la

1

Approche probabiliste

Fusion de données :Vision probabiliste de la fusion

« Ce que les hommes veulent en fait, ce n’est pas la connaissance, c’est la certitude. »

Bertrand Russel

2

2


Théorie des probabilitésThéorie des probabilités • Approche fréquentiste une probabilité = la limite d'une fréquence d'occurrence d'événements•Approche subjective (ou confiance) une probabilité reflète simplement un état de connaissance et le lien avec une fréquence réelle d'occurrence n'existe que dans certains cas.

Théories non probabilistesThéories non probabilistes• théorie des possibilités (cadre de la logique floue) • théorie de l'évidence proposée par Shafer (1976).

Deux écoles de pensée : 1- les probabilistes: les résultats et mécanismes auxquels conduisent ces approches toujours atteints par une méthode strictement probabiliste (à condition qu'elle soit suffisamment adaptée) 2- les adeptes de la théorie de l'évidence ou des possibilités volonté de chercher une modélisation plus fidèle sémantiquement vis-à-vis de l'information disponible.

Rappels

3

3


Modèle probabiliste

le plus ancien et le plus utilisé

Deux approches différentes :– approche objectiviste (fréquentiste) : distribution de

probabilité d'une variable aléatoire– approche subjective : répartition de probabilités image de

l'état des connaissances

Introduction

4

4


étude statistique du phénomène

évaluation de la fréquence d'occurrence d'un événement

exemple : jet de dé

le ratio de fréquence d'apparition d'une face est de 1/6

Approche fréquentiste

5

5


codage de l'état des connaissances

confiance dans l'apparition d'un événement

exemple :

Paul apprend à rouler à vélo, il a beaucoup de "chances" de

tomber.

Approche subjective

6

6


Le cadre classique

Ensemble fini ={1,…,c}

A événement, proposition, hypothèse, … P : 2 [0,1] est une mesure de probabilité si :

– P( A,B , AB= P(AB)=P(A)+P(B)

[axiome d’additivité] Conséquences :

– P()=0 A,B , P(AB)=P(A)+P(B)-P(AB) p : [0,1] ,

A

pAPA

)()( ,

Théories des probabilités

7

7


Qu’est-ce que P(A) ?1. Interprétation fréquentiste : limite vers laquelle tend la fréquence

relative de l’événement A au cours d’une suite d’épreuves indépendantes (phénomènes aléatoires)

suppose la répétabilité des épreuves

2. Interprétation classique : issue de la théorie des jeux

3. Interprétation subjectiviste : P(A)=degré de croyance d’un agent rationnel en l’occurrence de l’événement A.

[Axiomes de Cox (1946)]


possiblescasNbre

favorablescasNbreAP )(

essaisdtotalNbre

observéscasNbreAP

')(

8

8


Représentation de l’ignorance

Principe de raison insuffisante (PRI) : en l’absence d’information, prendre la loi de probabilité uniforme p()=cste.

Exemple 1 : course entre 3 chevaux ={a, b, c}. – Pour le néophyte

p(a)=p(b)=p(c)=1/3– Pour le connaisseur sachant que les 3 chevaux sont de

même valeur :p(a)=p(b)=p(c)=1/3

Deux états de connaissance très différents sont représentés exactement de la même façon...


9

9


Modélisation de la précisionPrécision : distribution de probabilité sur l'espace de définition continu

d

p(x/d)

x

X

Probabilité que X [a,b], si la

mesure est d.

Distribution Gaussienne :

moyenne d, variance 2

b

adxdxpdbaP )/()/],([

Modélisation

10

10


Incertitude : distribution de probabilités sur : P(H1), P(H2), P(H3),

P(H4)

Propriétés : A 2 , 0 P(A) 1

– P() =1 A, B 2, P(A B) = P(A) + P(B) si A B= A, B 2, P(A) = P(A B) + P(A B)

Modélisation de la confiance

Modélisation

11

11


Modélisation de la méconnaissance (ignorance)

Modélisation implicite : répartition de la probabilité sur les différentes hypothèses possibles :

A = H1 H2 ; P(A) = 0.6

P(H1) = 0.3 et P(H2) = 0.3

Exemple : jet de pièce

P(pile) = P(face) = 0.5

Modélisation

)/( dxp

x

12

12


Modélisation de la méconnaissance (ignorance)

Principe d’indifférence ou de « raison insuffisante »– Ignorance = modélisée par une distribution de probabilité uniforme

Principe de maximum d’entropie

Modélisation

13

13


Méconnaissance pour probabilités subjectives

Confusion entre doute et méconnaissance

Exemple :

Les fantômes existent-ils ?

P(fantôme existe) = P(fantôme n'existe pas) = 0.5

Modélisation

14

14


modèle de conversion :– statistique : apprentissage supervisé– subjective : modélisation d'une connaissance experte

distribution de vraisemblance :

Hi , vd (Hi ) = p (d /Hi)

Hi

p(d/Hi)

x

Hi-1 Hi

p(d/Hi)

x

Conversion numérique-symbolique

d

15

15


Fusion bayesienne

Basée sur l'utilisation du théorème de Bayes

)(

)()/()/(

Ap

BpBApABp

Fusion

16

16


Le théorème du révérend Thomas Bayes

Théorème de Bayes: conséquence immédiate de la loi de composition des probabilités (qui est nécessairement un des axiomes fondamentaux de toute théorie des probabilités).

Si A et B deux événements, loi de composition des probabilités indique: probabilité P(AB) d'observer à la fois A et B est simplement donnée par: P(AB) = P(A) P(B|A) = P(B) P(A|B)

où P(A|B) se lit "probabilité d'observer A sachant que B s'est réalisé". Cela implique immédiatement:

P(B|A) = P(B) P(A|B)/P(A) Théorème de Bayes

Rq: Ce théorème se généralise au cas de plusieurs événements A, B, C, D, etc.

A priori

17

17



Propriétés

• Approche bayesienne compare des hypothèses aux données réelles;

• Approche classique compare les données réelles à des données hypothétiques.

• Inférence bayesienne dépend des données examinées et des données et des connaissances (ou croyances...) antérieures;

• Inférence classique ne dépend que des seules données examinées.

)(

)()()(

HP

EPEHPHEP

18

18



Propriétés

Soit (Bi),i=1...N, une partition de l’espace et A un événement. Supposons que l’on connaît les probabilités P(Bi) et les probabilités conditionnelles P(A|Bi) et que l’on s’intéresse à la probabilité conditionnelle d’un événement Bj sachant que A s’est réalisé, i.e. P(Bj|A). On trouve: P(Bj|A) = P(Bj A)/P(A) = P(A|Bj)·P(Bj)/P(A)

En exprimant P(A) à l’aide des probabilités conditionnelles P(A|Bi) en utilisant la loi de probabilité totale, on obtient la formule de Bayes:

P(Bj|A) = P(A|Bj)·P(Bj)/ P(A|Bi)·P(Bi)

19

19



ExempleDans un système de communication numérique, on transmet des « 0 » et des « 1 » via un canal de transmission bruité tel que: Si un « 0 » est émis , on reçoit un « 0 » avec une probabilité 0.75; Si un « 1 » est émis, un « 1 » est reçu avec une probabilité 0.9. Supposons qu’un « 0 » est émis avec une probabilité 0.4.

Quelle est la probabilité que, quand un « 0 » est reçu, un « 0 » a été émis? P(B0|A0) =?

Soit B0 l’événement « un 0 a été émis", B1 l’événement « un 1 a été émis", A0 l’événement « un 0 a été reçu" et A1 l’événement « un 1 a été reçu". Les probabilités suivantes sont connues:

• P(B0) = 0.4• P(B1) = 0.6• P(A0|B0) = 0.75

• P(A1|B0) = 0.25• P(A0|B1) = 0.1• P(A1|B1) = 0.9

20

20



Exemple (suite)

• P(A1|B0) = 0.25• P(A0|B1) = 0.1• P(A1|B1) = 0.9

• P(B0) = 0.4• P(B1) = 0.6• P(A0|B0) = 0.75

Quelle est la probabilité que, quand un « 0 » est reçu, un « 0 » a été émis? P(B0|A0) =?

En appliquant la formule de Bayes à A0 et la partition (B0,B1) on obtient:

P(B0|A0) = P(A0|B0)·P(B0)/ [P(A0|B0)·P(B0) + P(A0|B1)·P(B1)] = 0.75·0.4/[0.75·0.4 + 0.1·0.6] = 0.833=5/6.

21

21


Fusion : modèle - mesure

Information disponible :

– distribution de probabilité a priori P(Hi)

– distribution de vraisemblance P(d/Hi)=vd(Hi)

jHjjd

iidi HPHv

HPHvdHP

)()(

)()()/(

probabilité a posteriori

yd

d

ypyv

xpxvdxp

)()(

)()()/(

Fusion

Bayes

22

22


Fusion : mesure - mesure

Information disponible :– distribution de vraisemblance source 1 : p(d1/Hi)=vd1(Hi)

– distribution de vraisemblance source 2 : p(d2/Hi)=vd2(Hi)

jHjdjd

ididid HvHv

HvHvHv

)()(

)().()(

21

212,1

Vraisemblance

ydd

ddd yvyv

xvxvxv

)()(

)().()(

21

212,1

Fusion

23

23


Modélisation du conflit

Notion de conflit n'existe pas

Combinaison concordante normalisée

Conflit total : la mesure de vraisemblance n'est plus possible

0)()( 21 jH

jdjd HvHv0)()( 21 y

dd yvyv

Fusion

jHjdjd

ididid HvHv

HvHvHv

)()(

)().()(

21

212,1

Problème!

24

24


Doute et conflit

1 1

1 2 12 1

12 22 1

2 2

( ) 0,5

( ) 0,5 ( ) 0,5

( ) 0,5( ) 0,5

( ) 0,5

v H

v H v H

v Hv H

v H

Fusion

Doute donc répartitionéquiprobable

Et donc je n’en sais pas plus!

Désaccord(conflit)

Pas plus l’uneque l’autre!

?

(H1)=0,1

(H2)=0,9

(H1)=0,9

(H2)=0,1

(H1)=0,5

(H2)=0,5

25

25


Décision avec des probabilités

Maximum de probabilité a posteriori (MAP)

Maximum de vraisemblance (MV)

Décision

j

i

Hjjd

iidi

Hretenue HPHv

HPHvdHPArgH

)()(

)()()/(max

j

i

Hjdjd

ididid

Hretenue HvHv

HvHvHvArgH

)()(

)().()(max

21

212,1

26

26


Point de départ ensemble de définition ={F1, F2, F3, F4, F5, F6}

probabilités a priori P(F1)= P(F2)= P(F3)= P(F4)= P(F5)= P(F6) = 1/6

Capteur 1 : indique le nombre de point au milieu Capteur 2 : indique le nombre de points sur un coté

Exemple : Jet de dé

27

27


Capteurs

0 point : F2 , F4 , F6

1 point : F1 , F3 , F5

0 point : F1

1 point : F2, F3

2 points : F4, F5 , F6

3 points : F6


D’après M. Rombaut (LIS – UJF, Grenoble)

28

28


Fusion : modèle - mesure

Information disponible

– distribution de probabilité a priori P(Hi)

– distribution de vraisemblance P(d/Hi)=vd(Hi)

jHjjd

iidi HPHv

HPHvdHP

)()(

)()()/(

probabilité a posteriori


29

29


Probabilitésa priori

Probabilités conditionnelles

0 point 1 point

F1 p(0point/F1) = 0.1 p(1point/F1) = 0.9






p(point/face) = vpoint(face)

p(F1)= 1/6

p(F2)= 1/6

p(F3)= 1/6

p(F4)= 1/6

p(F5)= 1/6

p(F6)= 1/6

p(face)



30

30


Fusion modèle-mesure

1 point

F1 p(F1/1point ) = p(1point/F1). p(F1) . 6 / 3.4 = 0.26






6/4.3)()./1( iF

ii FpFpointpCapteur 1 : 1 point



31

31


Fusion : mesure - mesure Information disponible



jHjdjd

ididid HvHv

HvHvHv

)()(

)().()(

21

212,1

vraisemblance


32

32


Fusion mesure-mesure

p(1point,1point/F3)=v1point,1point(F3) = 0.81 / 1.38 = 0.59

1 point

F1 p(1point/F1) = 0.9

F2 p(1point/F2) = 0.2

F3 p(1point/F3) = 0.9

F4 p(1point/F4) = 0.3

F5 p(1point/F5) = 0.9

F6 p(1point/F6) = 0.2

Capteur 1 : 1 point1 point

F1 p(1point/F1) = 0.2

F2 p(1point/F2) = 0.8

F3 p(1point/F3) = 0.9

F4 p(1point/F4) = 0.1

F5 p(1point/F5) = 0.2

F6 p(1point/F6) = 0.1

Capteur 2 : 1 point



33

33


Paradoxe de Bertrand

Curiosité liée aux probabilités

Question :Probabilité que la bouteille contienne au plus 1.5 fois plus d’eauque de vin ?

Soit une bouteille contenant un mélange eau – vinLa bouteille contient :

• au moins autant d’eau que de vin;• au plus deux fois plus d’eau que de vin.

34

34




Soit le rapport eau/vin :

PRI : loi uniforme sur [1;2]

Probabilité que la bouteille contienne au plus 1.5 fois plus d’eauque de vin égale 0.5

0.5

35

35




Au même événement sont attribuées des probabilités différentes !

le rapport vin/eau :

PRI : loi uniforme sur [0.5;1]

Soit

Probabilité que la bouteille contienne au plus 1.5 fois plus d’eauque de vin égale 2/3 !!!

2/3

36

36




Corde caractérisée par la position de son milieu

P=1/4

Corde caractérisée par la distance de son milieu au centre du cercle

P=1/2

Corde caractérisée par ses extrémités

P=1/3

Au même événement sont attribuées des probabilités différentes !

Triangle équilatéral inscrit dans un cercle. Une corde de ce cercle choisie auhasard.Quelle est la probabilité que sa longueur soit supérieure au côté du triangle?

37

37


Conséquence La théorie des probabilités n’est pas suffisamment générale

pour modéliser toutes les formes d’incertitude.

Généralisations :– mesures de confiance – théorie des possibilités– théorie des fonctions de croyance

En particulier– Remise en cause de l’additivité

mesures floues [Sugeno, 74] capacités [Choquet, 53]


38

38


Mesures de confiance

Un cadre plus général que celui de la théorie des probabilités. fini (domaine d’une variable y), g:2[0,1] est une mesure de

confiance (mesure floue) si– g()=0, g()=1 A,B , A B g(A) g(B) [monotonie]

Interprétation : g(A)=degré de confiance dans l’événement A (c.a.d. dans le fait que y A)

Une mesure de probabilité est une mesure de confiance, mais une mesure de confiance n’est pas nécessairement additive.

Conclusion

39

39


Formalisme très largement utilisé Distribution continue (e.g. gaussienne) Confusion entre méconnaissance (ignorance) et équiprobabilité Fusion conjonctive normalisée Conflit non modélisé (ennuyeux quand sources sont en désaccord) Bon fonctionnement en cas de connaissances riches

Conclusion

40

40


This is the end of this part!This is the end of this part!

Documents

Approche probabiliste 1 Fusion de données : Vision probabiliste de la fusion « Ce que les hommes veulent en fait, ce nest pas la connaissance, cest la