Gabriele Kern-Isberner LS 1 { Information Engineering fileProbabilistische Folgerungsmodelle und -strategien Inferenz und Wissensrevision auf der Basis optimaler Entropie Kapitel 4

Commonsense Reasoning

Gabriele Kern-IsbernerLS 1 – Information Engineering

TU DortmundSommersemester 2016

G. Kern-Isberner (TU Dortmund) Commonsense Reasoning 1 / 232

Probabilistische Folgerungsmodelle und -strategien Inferenz und Wissensrevision auf der Basis optimaler Entropie

Kapitel 4

4. ProbabilistischeFolgerungsmodelle und -strategien

4.6 Probabilistische Inferenz auf der Basisoptimaler Entropie



ME-Verteilung – Beispiel

Nehmen wir an, unser Wissen besteht nur aus einer Regel:

R = (B|A)[0.8]

uber der Signatur Σ = A,B;

wir berechnen – mit Hilfe von SPIRIT – die Verteilung ME (R) = P :

ω P (ω) ω P (ω)

AB 0.361 AB 0.274

AB 0.091 AB 0.274

Fur A,B ergeben sich die Wahrscheinlichkeiten:

P (A) = 0.452, P (B) = 0.636



ME-Inferenz

Praktisches Arbeiten mit der ME -Methodik ist also einfach moglich, aberdas Verfahren wirkt intransparent.

Logische und formale Ansatze ermoglichen einen klareren Blick auf dieME -Methodik.

Logisch gestattet die ME -Methodik eine probabilistische Auswahl-Inferenz:

CME(R) = φ ∈ (L | L)prob | ME (R) |= φ

d.h. aus einer probabilistischen Regelbasis werden alle (bedingten)probabilistischen Formeln abgeleitet, die in der zugehorigen ME -Verteilungerfullt sind.



ME-Beispiel – Grippe (Forts.)

R = (k|g) [1], (s|g) [0.9], (k|s) [0.8]

K G S P ∗ = ME (R)

0 0 0 0.18910 0 1 0.11850 1 0 00 1 1 01 0 0 0.18911 0 1 0.21251 1 0 0.02911 1 1 0.2617

P ∗(k|g) ≈ 0.57, P ∗(k|gs) ≈ 0.64⇒

CME(R) 3 (k|g)[0.57], (k|gs)[0.64], (s|g) [0.9], (kgs)[0.2125], . . .



Eigenschaften der ME-Inferenz

Der ME -Inferenzoperator CME erfullt die folgenden Eigenschaften:

• Inklusion/Reflexivitat: R ⊆ CME(R).

• Kumulativitat, d.h. Schnitt und vorsichtige Monotonie:

R ⊆ S ⊆ CME(R) impliziert CME(R) = CME(S)

• Supraklassizitat, d.h. es gilt: Cnprob(R) ⊆ CME(R)

• Loop: Sind R1, . . . ,Rm ⊆ (L | L)prob mit Ri+1 ⊆ CME(Ri),i modulo m, dann gilt

CME(Ri) = CME(Rj) fur alle i, j = 1, . . . ,m























Notizen



Notizen



ME-Verteilung unter der Lupe

Fur R = (B1|A1) [x1], . . . , (Bn|An) [xn] erhalten wir

ME (R)(ω) = α0

∏

1≤i≤nω|=AiBi

α1−xii

∏

1≤i≤n

ω|=AiBi

α−xii

mit αi =xi

1− xi

∑ω|=AiBi

∏j 6=i

ω|=AjBj

α1−xj

j

∏j 6=i

ω|=AjBj

α−xj

j

∑ω|=AiBi

∏j 6=i

ω|=AjBj

α1−xj

j

∏j 6=i

ω|=AjBj

α−xj

j

,

und αi

> 0 : xi ∈ (0, 1)=∞ : xi = 1= 0 : xi = 0

, 1 ≤ i ≤ n.



Notizen



Notizen



ME-Ableitungsregeln

Wir wollen im Folgenden fur (wichtige) Spezialfalle ME -Inferenzen“berechnen” und Ableitungsregeln aufstellen;

dabei benutzen wir diefolgende Notation

R : (B1|A1) [x1], . . . , (Bn|An) [xn]

(B∗1 |A∗1) [x∗1], . . . , (B∗m|A∗m) [x∗m]

genau dann, wenn

R = (B1|A1) [x1], . . . , (Bn|An) [xn]und ME (R) |= (B∗1 |A∗1) [x∗1], . . . (B∗m|A∗m) [x∗m]



ME-Ableitungsregeln

Wir wollen im Folgenden fur (wichtige) Spezialfalle ME -Inferenzen“berechnen” und Ableitungsregeln aufstellen; dabei benutzen wir diefolgende Notation

R : (B1|A1) [x1], . . . , (Bn|An) [xn]

(B∗1 |A∗1) [x∗1], . . . , (B∗m|A∗m) [x∗m]

genau dann, wenn

R = (B1|A1) [x1], . . . , (Bn|An) [xn]und ME (R) |= (B∗1 |A∗1) [x∗1], . . . (B∗m|A∗m) [x∗m]



ME-Ableitungsregeln (Forts.)

Mit Hilfe der obigen Formel lassen sich z.B. folgende Ableitungsregelnbeweisen:

Transitive Verkettung

R : (B|A)[x1], (C|B)[x2]

(C|A)[1

2(2x1x2 + 1− x1)]

Beispiel: A jung sein, B Single sein, C Kinder haben

R = (B|A)[0.9], (C|B)[0.85].Mit der Transitiven Verkettung errechnet man als ME -Folgerung

(C|A)[0.815] ♣






R : (B|A)[x1], (C|B)[x2]

(C|A)[1

2(2x1x2 + 1− x1)]


R = (B|A)[0.9], (C|B)[0.85].

Mit der Transitiven Verkettung errechnet man als ME -Folgerung

(C|A)[0.815] ♣






R : (B|A)[x1], (C|B)[x2]

(C|A)[1

2(2x1x2 + 1− x1)]


R = (B|A)[0.9], (C|B)[0.85].Mit der Transitiven Verkettung errechnet man als ME -Folgerung

(C|A)[0.815] ♣



Transitive Verkettung – Beweis

R : (B|A)[x1], (C|B)[x2]

(C|A)[1

2(2x1x2 + 1− x1)]

Die ME-Verteilung P ∗ = ME (R),R = (B|A)[x1], (C|B)[x2], kann wiefolgt berechnet werden:

ω P ∗ ω P ∗

ABC α0α1−x11 α1−x2

2 ABC α0α1−x22

ABC α0α1−x11 α−x22 ABC α0α

−x22

ABC α0α−x11 ABC α0




Transitive Verkettung – Beweis

R : (B|A)[x1], (C|B)[x2]

(C|A)[1

2(2x1x2 + 1− x1)]

Die ME-Verteilung P ∗ = ME (R),R = (B|A)[x1], (C|B)[x2], kann wiefolgt berechnet werden:

ω P ∗ ω P ∗

ABC α0α1−x11 α1−x2

2 ABC α0α1−x22

ABC α0α1−x11 α−x22 ABC α0α

−x22





Transitive Verkettung – Beweis (Forts.)

mit

α1 =x1

1− x1

2

α1−x22 + α−x22

=x1

1− x1αx22

2

α2 + 1

α2 =x2

1− x2

Damit berechnet man

P ∗(C|A) =P ∗(AC)

P ∗(A)

=P ∗(ABC) + P ∗(ABC)

P ∗(ABC) + P ∗(ABC) + P ∗(ABC) + P ∗(ABC)

=α1α

1−x22 + 1

α1α−x22 (α2 + 1) + 2

=1

2(2x1x2 + 1− x1)




mit

α1 =x1

1− x1

2

α1−x22 + α−x22

=x1

1− x1αx22

2

α2 + 1

α2 =x2

1− x2

Damit berechnet man

P ∗(C|A) =P ∗(AC)

P ∗(A)



=α1α

1−x22 + 1

α1α−x22 (α2 + 1) + 2

=1

2(2x1x2 + 1− x1)




mit

α1 =x1

1− x1

2

α1−x22 + α−x22

=x1

1− x1αx22

2

α2 + 1

α2 =x2

1− x2

Damit berechnet man

P ∗(C|A) =P ∗(AC)

P ∗(A)



=α1α

1−x22 + 1

α1α−x22 (α2 + 1) + 2

=1

2(2x1x2 + 1− x1)




mit

α1 =x1

1− x1

2

α1−x22 + α−x22

=x1

1− x1αx22

2

α2 + 1

α2 =x2

1− x2

Damit berechnet man

P ∗(C|A) =P ∗(AC)

P ∗(A)



=α1α

1−x22 + 1

α1α−x22 (α2 + 1) + 2

=1

2(2x1x2 + 1− x1)




mit

α1 =x1

1− x1

2

α1−x22 + α−x22

=x1

1− x1αx22

2

α2 + 1

α2 =x2

1− x2

Damit berechnet man

P ∗(C|A) =P ∗(AC)

P ∗(A)



=α1α

1−x22 + 1

α1α−x22 (α2 + 1) + 2

=1

2(2x1x2 + 1− x1)



Notizen



Notizen




Vorsichtige Monotonie

R : (B|A)[x1], (C|A)[x2]

(C|AB)[x2]

Beispiel: A Student sein, B jung sein, C Single sein

R = (B|A)[0.9], (C|A)[0.8]

Mit der vorsichtigen Monotonie folgt dann

(C|AB)[0.8] ♣




Vorsichtige Monotonie

R : (B|A)[x1], (C|A)[x2]

(C|AB)[x2]


R = (B|A)[0.9], (C|A)[0.8]

Mit der vorsichtigen Monotonie folgt dann

(C|AB)[0.8] ♣



Notizen



Notizen




Schnitt

R : (C|AB)[x1], (B|A)[x2]

(C|A)[1

2(2x1x2 + 1− x2)]


R = (C|AB)[0.8], (B|A)[0.9]

Mit der Schnittregel folgt dann

(C|A)[0.77] ♣




Schnitt

R : (C|AB)[x1], (B|A)[x2]

(C|A)[1

2(2x1x2 + 1− x2)]


R = (C|AB)[0.8], (B|A)[0.9]

Mit der Schnittregel folgt dann

(C|A)[0.77] ♣



Notizen



Notizen



Notizen



Notizen



Notizen



Notizen



ME und Commonsense Reasoning

Was hat ME mit Commonsense Reasoning zu tun?

Jeff Paris:Common sense and maximum entropy.Synthese 117, 75-93, 1999, Kluwer Academic Publishers



ME und Commonsense Reasoning

Was hat ME mit Commonsense Reasoning zu tun?

Jeff Paris:Common sense and maximum entropy.Synthese 117, 75-93, 1999, Kluwer Academic Publishers



Symmetrie-Prinzip

Eines der grundlegendsten und einfachsten Prinzipien des CommonsenseReasoning ist das

Symmetrie-Prinzip

(Wesentlich) Ahnliche Probleme haben (im Wesentlichen) ahnlicheLosungen. (B. van Fraassen, 1989)

• Welche Ahnlichkeit ist hier gemeint?

• Was ist denn uberhaupt das Problem?



Symmetrie-Prinzip


Symmetrie-Prinzip






Symmetrie-Prinzip


Symmetrie-Prinzip






Intelligente Agenten in probabilistischer Umgebung

Nehmen wir an,

• der Agent kann sein (d.h. alles(!) relevante) Wissen in Form einerprobabilistischen Regelbasis ausdrucken,

und

• er ist in der Lage, sein Wissen korrekt und optimal zu verarbeiten,

dann kann er zu jeder Anfrage φ eine passende Wahrscheinlichkeitproduzieren.

Wir wollen also den Agenten als einen Inferenzprozess N modellieren, derzu jeder Menge R von probabilistischen Regeln eineWahrscheinlichkeitsverteilung produziert.




Nehmen wir an,

• der Agent kann sein (d.h. alles(!) relevante) Wissen in Form einerprobabilistischen Regelbasis ausdrucken, und







Nehmen wir an,








Nehmen wir an,







Probabilistischer Inferenzprozess 1/2

Σ = A1, . . . , An Alphabet,d.h. Menge von (binaren) Aussagenvariablen

Form(Σ) Menge der Formeln uber Σ

P(Σ) Menge aller Wahrscheinlichkeitsverteilungenuber Σ, d.h.

P(Σ) = (p1, . . . , p2n) | pi ≥ 0,2n∑

i=1

pi = 1

KB(Σ) Menge aller konsistenten probabilistischen Regelbasen uber Σ

Ist Σ1 ⊆ Σ2, so ist auch KB(Σ1) ⊆ KB(Σ2).





Form(Σ) Menge der Formeln uber ΣP(Σ) Menge aller Wahrscheinlichkeitsverteilungen

uber Σ, d.h.

P(Σ) = (p1, . . . , p2n) | pi ≥ 0,2n∑

i=1

pi = 1








uber Σ, d.h.

P(Σ) = (p1, . . . , p2n) | pi ≥ 0,2n∑

i=1

pi = 1








uber Σ, d.h.

P(Σ) = (p1, . . . , p2n) | pi ≥ 0,2n∑

i=1

pi = 1






Definition 3 (Probabilistischer Inferenzprozess)

Ein probabilistischer Inferenzprozess NΣ ist eine Abbildung

NΣ : KB(Σ) → P(Σ),

R 7→ P,

die jeder konsistenten Regelbasis uber Σ eine Verteilung P uber Σzuordnet mit P |= R.

NΣ spezifiziert also einen induktiven Inferenzprozess.Welche CR-Prinzipien zeichnen einen “guten” Inferenzprozess aus?






NΣ : KB(Σ) → P(Σ),

R 7→ P,


NΣ spezifiziert also einen induktiven Inferenzprozess.

Welche CR-Prinzipien zeichnen einen “guten” Inferenzprozess aus?






NΣ : KB(Σ) → P(Σ),

R 7→ P,


NΣ spezifiziert also einen induktiven Inferenzprozess.Welche CR-Prinzipien zeichnen einen “guten” Inferenzprozess aus?



CR-Prinzip 1: Irrelevante Information

Irrelevante-Information-Prinzip

Information uber ganz andere Themenbereiche soll das Ergebnis desInferenzprozesses nicht beeinflussen.

Seien Σ1,Σ2 zwei disjunkte Signaturen, Σ1 ∩ Σ2 = ∅, und seienR1 ∈ KB(Σ1),R2 ∈ KB(Σ2). Fur alle φ ∈ Form(Σ1) soll dann gelten:

NΣ1(R1)(φ) = NΣ1∪Σ2(R1 ∪R2)(φ).

Das Ergebnis der Inferenz soll also nur vom relevanten Teil der Signaturabhangen. Wir schreiben daher im Folgenden haufig N statt NΣ.







NΣ1(R1)(φ) = NΣ1∪Σ2(R1 ∪R2)(φ).








NΣ1(R1)(φ) = NΣ1∪Σ2(R1 ∪R2)(φ).




Notizen



CR-Prinzip 2: Semantische Aquivalenz

Aquivalenz-Prinzip

Haben zwei Wissensbasen exakt die gleiche (semantische) Bedeutung, sosoll auch exakt das Gleiche gefolgert werden.

Beschreiben R1,R2 ∈ KB(Σ) denselben Losungsraum in P(Σ), so sollgelten N(R1) = N(R2).



CR-Prinzip 2: Semantische Aquivalenz

Aquivalenz-Prinzip

Haben zwei Wissensbasen exakt die gleiche (semantische) Bedeutung, sosoll auch exakt das Gleiche gefolgert werden.

Beschreiben R1,R2 ∈ KB(Σ) denselben Losungsraum in P(Σ), so sollgelten N(R1) = N(R2).



CR-Prinzip 3: Umbenennung

Umbenennungs-Prinzip

Eine isomorphe Umbennung der Variablen in der Wissensbasis soll keinenEffekt auf das Ergebnis der Inferenz haben.

Formalisierung: . . .



CR-Prinzip 4: Kontext-Relativierung

Relativierungs-Prinzip

Information, die sich auf die Nichterfullung eines Kontextes bezieht, istirrelevant fur die kontextbezogene Inferenz.

Sei A ∈ Form(Σ), seien R1,R2 ∈ KB(Σ) die folgenden Wissensbasen:

R1 = A[x], (Bi ∧A)[xi], (Cj ∧ ¬A)[yj ]i,j ,R2 = A[x], (Bi ∧A)[xi]i.

Fur φ ∈ Form(Σ) soll dann gelten:

N(R1)(φ ∧A) = N(R2)(φ ∧A).



CR-Prinzip 4: Kontext-Relativierung

Relativierungs-Prinzip

Information, die sich auf die Nichterfullung eines Kontextes bezieht, istirrelevant fur die kontextbezogene Inferenz.

Sei A ∈ Form(Σ), seien R1,R2 ∈ KB(Σ) die folgenden Wissensbasen:

R1 = A[x], (Bi ∧A)[xi], (Cj ∧ ¬A)[yj ]i,j ,R2 = A[x], (Bi ∧A)[xi]i.

Fur φ ∈ Form(Σ) soll dann gelten:

N(R1)(φ ∧A) = N(R2)(φ ∧A).



Notizen



Notizen



CR-Prinzip 5: Hartnackigkeit

Hartnackigkeits-Prinzip

Information, die das bestatigt, was der Agent bereits glaubt, soll dasErgebnis der Inferenz nicht beeinflussen.

Sind R1,R2 ∈ KB(Σ), und erfullt N(R1) bereits R2, so soll gelten:

N(R1) = N(R1 ∪R2).



CR-Prinzip 5: Hartnackigkeit

Hartnackigkeits-Prinzip

Information, die das bestatigt, was der Agent bereits glaubt, soll dasErgebnis der Inferenz nicht beeinflussen.

Sind R1,R2 ∈ KB(Σ), und erfullt N(R1) bereits R2, so soll gelten:

N(R1) = N(R1 ∪R2).



Notizen



CR-Prinzip 6: Schwache Unabhangigkeit

Schwaches Unabhangigkeits-Prinzip

Information uber eine echte Alternative soll das Ergebnis der Inferenz nichtbeeinflussen.

Sei Σ = A,B,C, und seien R1,R2 ∈ KB(Σ) die folgendenWissensbasen:

R1 = A[x], B[y],R2 = A[x], B[y], C[z], AC[0].

Dann soll gelten N(R1)(A ∧B) = N(R2)(A ∧B).



CR-Prinzip 6: Schwache Unabhangigkeit

Schwaches Unabhangigkeits-Prinzip

Information uber eine echte Alternative soll das Ergebnis der Inferenz nichtbeeinflussen.

Sei Σ = A,B,C, und seien R1,R2 ∈ KB(Σ) die folgendenWissensbasen:

R1 = A[x], B[y],R2 = A[x], B[y], C[z], AC[0].

Dann soll gelten N(R1)(A ∧B) = N(R2)(A ∧B).



Notizen



CR-Prinzip 7: Stetigkeit

Stetigkeits-Prinzip

Mikroskopisch kleine Anderungen in der Weltbeschreibung sollen keinemakroskopisch großen Anderungen in den Wahrscheinlichkeitenverursachen.

Fur jedes φ ∈ Form(Σ) hangt N(R)(φ) stetig von denWahrscheinlichkeiten des Faktenwissens in R ab.



CR-Prinzip 7: Stetigkeit

Stetigkeits-Prinzip

Mikroskopisch kleine Anderungen in der Weltbeschreibung sollen keinemakroskopisch großen Anderungen in den Wahrscheinlichkeitenverursachen.

Fur jedes φ ∈ Form(Σ) hangt N(R)(φ) stetig von denWahrscheinlichkeiten des Faktenwissens in R ab.



Notizen



Haupttheorem

Theorem 4

Jeder Inferenzprozess N , der alle CR-Prinzipien 1-7 erfullt, stimmt mit derME-Inferenz uberein.

Die ME -Methodik erlaubt also optimales Commonsense Reasoning improbabilistischen Bereich und wird durch die CR-Prinzipien 1-7 eindeutigbestimmt.



Fazit ME-Methodik 1/2

ME -Rehabilitation

Das MaxEnt-Verfahren ist kein technisches Black-Box-Verfahrenohne Sinn und Logik!

• Die ME -Methodik ermoglicht induktive Inferenz in ihrer allgemeinstenForm: Komplexe Wissenszustande (Wahrscheinlichkeitsverteilungen)konnen aus Information in komplexer Form (Mengen probabilistischerKonditionale) erzeugt werden.

• ME -Inferenz erfullt zahlreiche der Eigenschaften, die man annichtmonotone Inferenzrelationen i.Allg. stellt, z.B. die Kumulativitatund Loop.




ME -Rehabilitation







ME -Rehabilitation







• Auch auf der Ebene der Wahrscheinlichkeiten lassen sich einige derInferenzregeln simulieren (z.B. Vorsichtige Monotonie, Schnitt).

• Die ME -Methodik lasst sich als optimale Umsetzung desCommonsense Reasoning in einer probabilistischen Umgebungauffassen.

• Fur die Wissensrevision gibt es einen ebenso hochwertigen “großenBruder”, das Prinzip der minimalen Relativ-Entropie.














Probabilistische Folgerungsmodelle und -strategien Schlussworte und Zusammenfassung

Ubersicht Kapitel 4 – Probabilistik

4.1 Einfuhrung und Ubersicht

4.2 Wahrscheinlichkeitstheorie und Commonsense Reasoning

4.3 Grundideen probabilistischen Schlussfolgerns

4.4 Schlussfolgern uber Unabhangigkeiten

4.5 Propagation in baumartigen Netzen

4.6 Probabilistische Inferenz auf der Basis optimaler Entropie

4.7 Schlussworte und Zusammenfassung



Kapitel 4

4. ProbabilistischeFolgerungsmodelle und -strategien

4.7 Schlussworte und Zusammenfassung



Zusammenfassung Kapitel 4

• Bedingte Wahrscheinlichkeiten (= Konditionale mitWahrscheinlichkeiten) sind die Reprasentanten generischen Wissensund wichtige Bausteine probabilistischer Netzwerke.

• Auch in gerichteten probabilistischen Netzwerken istWissenspropagation in beiden Richtungen moglich.

• In einfachen probabilistischen Netzwerken (Baumen) ist ein direkterInformationsfluss uber die Kanten moglich.

• In probabilistischen Netzwerken mit konfluenter Information (DAG)oder allgemeinen Abhangigkeiten (LEG-Netze) muss zunachst eineHyperbaum-Struktur aufgebaut werden; der Informationsfluss erfolgtzwischen benachbarten Hyperkanten uber deren Schnitte(Separatoren).
























Zusammenfassung Kapitel 4 (Forts.)

• Das Problem unvollstandiger probabilistischer Informationen wird inBayes-Netzen durch klare Spezifikationsvorgaben und die Annahmebedingter Unabhangigkeiten gelost.

• Mit Hilfe der ME-Methodik kann aus einer Menge probabilistischerRegeln (unvollstandige Information!) ohne weitere Annahmen einevollstandige Verteilung aufgebaut werden. Bedingte Unabhangigkeitenentstehen hier aus dem Kontext heraus, werden aber nichtvorausgesetzt.




• Das Problem unvollstandiger probabilistischer Informationen wird inBayes-Netzen durch klare Spezifikationsvorgaben und die Annahmebedingter Unabhangigkeiten gelost.

• Mit Hilfe der ME-Methodik kann aus einer Menge probabilistischerRegeln (unvollstandige Information!) ohne weitere Annahmen einevollstandige Verteilung aufgebaut werden. Bedingte Unabhangigkeitenentstehen hier aus dem Kontext heraus, werden aber nichtvorausgesetzt.




• Bayessche Netze modellieren bedingte Unabhangigkeiten, wahrend dieME -Methodik sich auf die konsequente Ausnutzung bedingterAbhangigkeiten konzentriert.

• Die ME -Inferenz ist ein machtige Methode fur die probabilistischeWissensreprasentation mit hervorragenden Eigenschaften.




• Bayessche Netze modellieren bedingte Unabhangigkeiten, wahrend dieME -Methodik sich auf die konsequente Ausnutzung bedingterAbhangigkeiten konzentriert.

• Die ME -Inferenz ist ein machtige Methode fur die probabilistischeWissensreprasentation mit hervorragenden Eigenschaften.


Commonsense Reasoning – Ubersicht

• Ubersicht, Organisatorisches und Einfuhrung

• Nichtklassisches Schlussfolgern

• Rangfunktionen – ein einfaches epistemisches Modell

• Probabilistische Folgerungsmodelle und -strategien

• Qualitative und quantitative Wissensreprasentation

• Argumentation

• (Commonsense Reasoning in Multi-Agentensystemen)

• Schlussteil und Prufungsvorbereitung


Kapitel 5

5. Qualitative und quantitativeWissensreprasentation


Ubersicht Kapitel 5 – Qualitativ und Quantitativ

5.1 Qualitative Wahrscheinlichkeiten

5.2 Nichtmonotonie in der Probabilistik

5.3 ε-Semantik – infinitesimale Wahrscheinlichkeiten

5.4 Konditionale Ereignisse


























Kapitel 5




Schnittstellen zwischen qualitativer und quantitativerWissensreprasentation Qualitative Wahrscheinlichkeiten

Punktgenaue Wahrscheinlichkeiten . . .

Sowohl Bayes-Netze als auch MaxEnt-Verfahren liefern punktgenaueWahrscheinlichkeiten.

Beispiel: Bei MaxEnt folgt mit der Schnittregel(C|AB)[0.8], (B|A)[0.9] |∼ME(C|A)[0.77].

♣

Warum nicht 0.78, 0.80 oder 0.75?

Welchen Nutzen haben solche exakten Wahrscheinlichkeiten?

Welche Fehlerquellen stellen Rundungen dar?

. . . oder darf’s auch ruhig ein bisschen mehr sein?





Beispiel: Bei MaxEnt folgt mit der Schnittregel(C|AB)[0.8], (B|A)[0.9] |∼ME(C|A)[0.77]. ♣


































Infinitesimale Wahrscheinlichkeiten

Ziel:Man interessiert sich nicht fur die (konkrete) Wahrscheinlichkeit, sondernnur fur die Großenordnung der Wahrscheinlichkeit.

Idee:

• Drucke P (ω) als Polynom in ε aus, wobei ε eine “kleine”, positiveZahl bzw. ein Infinitesimal ist (d.h. P wird durch ε parametrisiert);

• Infinitesimale sind stetige Funktionen ε : (0, 1)→ (0, 1) mitlimx→0 ε(x) = 0, z.B. ε(x) = x2.

• betrachte dann den Grenzwert ε→ 0, um eine qualitative Abstraktionvon P (ω) zu bekommen.

Beispiel: Man mochte nicht zwischen den Wahrscheinlichkeiten 0.856 und0.858 unterscheiden, sie sind (offensichtlich) von der gleichenGroßenordnung. ♣





Idee:









Idee:







Notizen



Notizen



Qualitative Wahrscheinlichkeiten 1/5

Die Großenordnung κP einer parametrisierten (infinitesimalen)Wahrscheinlichkeit

P (ω) = (1−)a0ε0 + a1ε

1 + a2ε2 + . . .

wird definiert als

κP (ω) =

minn ∈ N | lim

ε→0

P (ω)εn 6= 0, P (ω) > 0

∞, P (ω) = 0

D.h. fur P (ω) = a0ε0 + a1ε

1 + a2ε2 + . . .

ist κP (ω) = mini|ai 6= 0




Die Großenordnung κP einer parametrisierten (infinitesimalen)Wahrscheinlichkeit

P (ω) = (1−)a0ε0 + a1ε

1 + a2ε2 + . . .

wird definiert als

κP (ω) =

minn ∈ N | lim

ε→0

P (ω)εn 6= 0, P (ω) > 0

∞, P (ω) = 0

D.h. fur P (ω) = a0ε0 + a1ε

1 + a2ε2 + . . .

ist κP (ω) = mini|ai 6= 0



Notizen




Fur infinitesimale parametrisierte Wahrscheinlichkeiten P hatP (ω1) + P (ω2) die Großenordnung

minκP (ω1), κP (ω2);

die Großenordnung von Formeln A kann also definiert werden durch

κP (A) = minκP (ω) | ω |= A




Fur infinitesimale parametrisierte Wahrscheinlichkeiten P hatP (ω1) + P (ω2) die Großenordnung

minκP (ω1), κP (ω2);

die Großenordnung von Formeln A kann also definiert werden durch

κP (A) = minκP (ω) | ω |= A




Ist P eine parametrisierte Wahrscheinlichkeitsfunktion, so druckt κPWahrscheinlichkeiten qualitativ aus:

P (A) ≈ ε0 A und ¬A sind moglich κP (A) = 0

P (A) ≈ ε1 ¬A wird geglaubt κP (A) = 1

P (A) ≈ ε2 ¬A wird fest geglaubt κP (A) = 2

P (A) ≈ ε3 ¬A ist fast sicher κP (A) = 3...

......









......









......




Qualitative Wahrscheinlichkeiten κP (ω) werden auf einer logarithmischenSkala angegeben;

sie haben die folgenden Eigenschaften:

• sie sind Funktionen κ : Ω→ N ∪ ∞;• ( minκ(ω) : ω ∈ Ω = 0; )

• κ(A ∨B) = minκ(A), κ(B).

Qualitative Wahrscheinlichkeiten sind OCF!




Qualitative Wahrscheinlichkeiten κP (ω) werden auf einer logarithmischenSkala angegeben; sie haben die folgenden Eigenschaften:


• κ(A ∨B) = minκ(A), κ(B).






• sie sind Funktionen κ : Ω→ N ∪ ∞;

• ( minκ(ω) : ω ∈ Ω = 0; )

• κ(A ∨B) = minκ(A), κ(B).







• κ(A ∨B) = minκ(A), κ(B).







• κ(A ∨B) = minκ(A), κ(B).







• κ(A ∨B) = minκ(A), κ(B).





Zwischen Wahrscheinlichkeiten und OCF bestehen formal die folgendenZusammenhange:

κ(A) = 0 oder κ(¬A) = 0 P (A) + P (¬A) = 1

κ(A) = minω|=A κ(ω) P (A) =∑

ω|=A P (ω)

κ(B|A) = κ(A ∧B)− κ(A) P (B|A) = P (A∧B)P (A)

Qualitative Wahrscheinlichkeiten drucken – ebenso wie Range – den Gradder Uberraschung aus, eine entsprechende Welt zu finden.

Tatsachlich sind OCF’s als qualitative Abstraktionen vonWahrscheinlichkeiten entstanden, indem die Großenordnung voninfinitesimalen Wahrscheinlichkeiten logarithmisch durch Rangzahlenkodiert wird.





κ(A) = 0 oder κ(¬A) = 0 P (A) + P (¬A) = 1

κ(A) = minω|=A κ(ω) P (A) =∑

ω|=A P (ω)








κ(A) = 0 oder κ(¬A) = 0 P (A) + P (¬A) = 1

κ(A) = minω|=A κ(ω) P (A) =∑

ω|=A P (ω)








κ(A) = 0 oder κ(¬A) = 0 P (A) + P (¬A) = 1

κ(A) = minω|=A κ(ω) P (A) =∑

ω|=A P (ω)








κ(A) = 0 oder κ(¬A) = 0 P (A) + P (¬A) = 1

κ(A) = minω|=A κ(ω) P (A) =∑

ω|=A P (ω)






OCF’s und Wahrscheinlichkeiten – Beispiel

Folgende qualitative Umsetzung von Wahrscheinlichkeiten in Rangzahlensind beispielsweise denkbar:

W’keit Rangzahl Bedeutung

P (ω) ≈ 0.1 κ(ω) = 0 normalP (ω) ≈ 0.01 κ(ω) = 1 seltenP (ω) ≈ 0.001 κ(ω) = 2 unwahrscheinlichP (ω) ≈ 0.0001 κ(ω) = 3 fast unmoglich...

......


Schnittstellen zwischen qualitativer und quantitativerWissensreprasentation Nichtmonotonie in der Probabilistik








Kapitel 5





NMR in der Probabilistik 1/2

Interpretation von Regeln durch qualitative Wahrscheinlichkeits-Aussagen:

A |∼P B gdw. “Wenn A, dann meistens B”

gdw. P (B|A) > 0.5

NMR-Inferenzkriterien erfullt?

• vorsichtige Monotonie ist nicht erfullt. . . denn P (B|A) > 0.5, P (C|A) > 0.5, aber P (C|AB) < 0.5moglich!Beispiel: Studenten |∼P Fussball,

Studenten |∼P Schach,

aber Studenten ∧ Schach 6|∼P Fussball






gdw. P (B|A) > 0.5










gdw. P (B|A) > 0.5


• vorsichtige Monotonie ist nicht erfullt. . . denn P (B|A) > 0.5, P (C|A) > 0.5, aber P (C|AB) < 0.5moglich!

Beispiel: Studenten |∼P Fussball,Studenten |∼P Schach,







gdw. P (B|A) > 0.5










gdw. P (B|A) > 0.5








• Schnitt ist nicht erfullt. . . denn P (B|A) > 0.5, P (C|AB) > 0.5, aber P (C|A) < 0.5moglich!

Beispiel:st Bauchschmerzen |∼P Appendicitis,

st Bauchschmerzen ∧ Appendicitis |∼P bald wieder gesund,

aber st Bauchschmerzen 6|∼P bald wieder gesund




• Schnitt ist nicht erfullt. . . denn P (B|A) > 0.5, P (C|AB) > 0.5, aber P (C|A) < 0.5moglich!Beispiel:

st Bauchschmerzen |∼P Appendicitis,st Bauchschmerzen ∧ Appendicitis |∼P bald wieder gesund,





• Schnitt ist nicht erfullt. . . denn P (B|A) > 0.5, P (C|AB) > 0.5, aber P (C|A) < 0.5moglich!Beispiel:

st Bauchschmerzen |∼P Appendicitis,st Bauchschmerzen ∧ Appendicitis |∼P bald wieder gesund,



Documents

Gabriele Kern-Isberner LS 1 { Information Engineering fileProbabilistische Folgerungsmodelle und -strategien Inferenz und Wissensrevision auf der Basis optimaler Entropie Kapitel 4