32
1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Embed Size (px)

Citation preview

Page 1: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

1

Grundbegriffe der Wahrscheinlichkeitstheorie

Karin Haenelt

11.1.2013

Page 2: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt

Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

2

Page 3: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Wahrscheinlichkeitsraum

Modell zur Beschreibung von Zufallsexperimenten

Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω, 𝓐, P) Dabei ist

Ω eine Menge 𝓐 eine σ-Algebra in Ω, und P ein Maß 𝓐 auf mit der Normierungsbedingung P(Ω) = 1.

3

Bauer, 2001, 4

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 4: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

σ-Algebra

eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist

Mengensystem 𝓐 über Ω mit folgenden Eigenschaften ø ∊ 𝓐 A ∊ 𝓐 ⇒ ∊ 𝓐 A1, A2, … ∊ 𝓐 ⇒ ∊ 𝓐

Die Elemente A der σ-Algebra 𝓐 eines Wahrscheinlichkeitsraumes (Ω, 𝓐, P) heißen Ereignisse

Die Elemente ω von Ω heißen Elementarereignisse

4

A

i iA

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 5: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Wahrscheinlichkeitsmaß

P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A.

eine Abbildung P : A → [1,0] mit den Eigenschaften P(A) ≥ 0 für jedes A ∊ 𝓐 Gilt

A1, A2, … ∊ 𝓐 mit

so gilt P(Ω) = 1

5

11)()(

i ii i APAP ,für jiAA ji

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 6: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes

6

Bezeichnung Erläuterung

(Ω,𝓐,P) Wahrscheinlichkeitsraum

Ω Ergebnismenge Menge aller Elementarereignisse

ω Elementarereignis Element von Ω

σ-Algebra über Ω Ereignisraum Menge aller möglichen Ereignisse;-Nicht notwendigerweise jede Teilmenge von Ω, mindestens

- Ω als sicheres Ereignis- als unmögliches

Ereignis

A σ-Algebra über Ω

Ereignis

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 7: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1

7

Bezeichnung Beispiel

(Ω,𝓐,P) Wahrscheinlichkeitsraum

Ω Ergebnismenge {a,b,c}

ω Elementarereignis a

σ-Algebra über Ω Ereignisraum { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} }

A σ-Algebra über Ω

Ereignis {a,b,c}

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 8: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel)

8

Bezeichnung Beispiel

(Ω,F,P) Wahrscheinlichkeitsraum

Ω Ergebnismenge {rot,gelb,grün}

ω Elementarereignis gelb

σ-Algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} }

A σ-Algebra über Ω

Ereignis {rot,gelb}

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 9: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt

Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

9© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 10: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Bedingte Wahrscheinlichkeit

10

P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit)

- Wahrscheinlichkeit, dass Ereignis A eintritt

- betrachtet eine Teilmenge aus der Gesamtmenge- P(A) / P(Gesamtmenge) = P(A) / 1 = P(A)

P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit)

- Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist

- betrachtet eine Teilmenge aus einer Teilmenge- P(A|B) = P(AB) / P(B)

A BAB

Gesamtmenge

A BAB

Gesamtmenge

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 11: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Das Pferd „Harry“ und das Wetter

11

155

65 15

Einfache Wahrscheinlichkeit P(A)

betrachtet Teilmengen aus der Gesamtmenge, Beispiele2.)( winP )(/)( gesamtPwinP

15.)( rainwinP )(/)( gesamtPrainwinP

Bedingte Wahrscheinlichkeit P(A|B)

betrachtet Teilmengen aus einer Teilmenge, Beispiel5.)|( rainwinP )(/)( rainPrainwinP

Rennen Gesamt bei Regen gewonnen 20 15 verloren 80 15 gelaufen 100 30

Rennen Gesamt bei Regen gewonnen 20 15 verloren 80 15 gelaufen 100 30

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 12: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Bedingte Wahrscheinlichkeit

12

DefinitionP(B)

B)P(AB)|P(A

P(Rain)

Rain)P(WinRain)|P(Win

.5.30

.15Rain)|P(Win

P(B)

B),P(AB)|P(A

P(B) / B)&P(AB)|P(A

Schreib-varianten

155

65

A BA

15B P(Win)

Win)P(RainWin)|P(Rain

.75.20

.15Win)|P(Rain

P(A|B) P(B|A)

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 13: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Theorem von Bayes

13

P(B)

B)P(AB)|P(A

ermöglicht Berechnung von P(B|A) aus P(A|B)

P(A ∩ B) = P(B) · P(A ∩ B) / P(B) = P(B) · P(A|B)

0.3 · .15 / 0.3 = 0.3 · 0.5 = 0.15

= P(A) · P(A ∩ B) / P(A) = P(A) ·P(B|A)

0.2 · .15 / 0.2 = 0.2 · 0.75 = 0.15

P(A|B )= P(A ∩ B) / P(B) = P(B) · P(A|B) / P(B)

0.3 · 0.5 / 0.3 = 0.50

= P(A) ·P(B|A) / P(B)

0.2 · 0.75 / 0.3 = 0.50

Regel von Bayes

Theorem von Bayes

Herleitung durch Umformung

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 14: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

, 14

ermöglicht Berechnung von P(B|A) aus P(A|B

P(A ∩ B) = P(B) · P(A ∩ B) / P(B) = P(B) · P(A|B)

0.3 · .15 / 0.3 = 0.3 · 0.5 = 0.15

= P(A) · P(A ∩ B) / P(A) = P(A) ·P(B|A)

0.2 · .15 / 0.2 = 0.2 · 0.75 = 0.15

P(A|B )= P(A ∩ B) / P(B) = P(B) · P(A|B) / P(B)

0.3 · 0.5 / 0.3 = 0.50

= P(A) ·P(B|A) / P(B)

0.2 · 0.75 / 0.3 = 0.50

Regel von Bayes

Theorem von Bayes

155

65

BA

15

A:win

B:rain

Herleitung durch Umformung

Theorem von Bayes

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 15: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt

Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

15© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 16: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Unabhängige Ereignisse

Zwei Ereignisse sind voneinander unabhängig, wenn gilt:

Typisches Beispiel:

Es werden zwei Würfel geworfen.Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6

Wahrscheinlichkeit A und B: P(A∩B) = 1/6 · 1/6 = 1/36

16

P(A|B) = P(A)

P(A ∩ B) = P(A) · P(B)

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 17: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Test zweier Ereignisse auf Unabhängigkeit

1717

Rennen alle Rennen bei Regen(Beispiel 1)

bei Regen(Beispiel 2)

gewonnen 20 15 10

verloren 80 15 40

Gesamt 100 30 50

P(win|rain) P(win) Ergebnis:die Ereignisse „win“ und „rain“ sind

Beispiel 1 .50 .20 abhängig

Beispiel 2 .20 = .20 unabhängig

P(win ∩ rain) P(win) · P(rain)

Ergebnis:die Ereignisse „win“ und „rain“ sind

Beispiel 1 .15 .2 .3 = .06 abhängig

Beispiel 2 .10 = .2 .5 = .10 unabhängig

155

65 15

1010

40 40

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 18: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Abhängige und unabhängige Ereignisse

diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind

18

P(A ∩ B) = P(A) ·P(B | A) = P(B) · P(A | B)

P(A | B) = P(A ∩ B) / P(B) P(win ∩ rain) =

P(win|rain) · P(rain) = P(rain|win) · P(win)

Beispiel 1 .15 = .5 · .3 = .75 · .2

Beispiel 2 .10 = .2 · .5 = .5 · .2

P(win|rain) = P(win ∩rain) / P(rain)

Beispiel 1 .5 .15 / .3

Beispiel 2 .2 .10 / . 5

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 19: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt

Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

19© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 20: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Stochastischer Prozess

Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse

(Ergebnismenge eines Wahrscheinlichkeitsraumes).Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren ZufallsereignissenX1,X2,…Xi Ω

Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess

heißen Zustände des Prozesses.Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet

20

Brants, 1999: 30

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 21: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Stochastischer Prozess

Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man

1. die Anfangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet)

πi = P(X1=si)

2. die Übergangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt:

P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt = xt)

21

Brants, 1999: 30

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 22: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Stochastischer Prozess: Beispiel

Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir}

wir beobachten an jeder Position, welches Wort generiert wurde Sei

X1 das Wort zum ersten Beobachtungszeitpunkt

X2 das Wort zum zweiten Beobachtungszeitpunkt, usw.

Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter

Für diese Folge kann man eine Wahrscheinlichkeit angeben

22© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 23: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt

Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette

23© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 24: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette

Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xt

unabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist.

Es giltP(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it)

daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern

24

Brants,Crocker,Lieblang, 2000:22

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 25: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Endliche Markow-Kette

Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden

Prozess „ohne Gedächtnis“ mit endlich vielen Zuständen

entspricht den Eigenschaften eines endlichen Automaten

25

Brants, 1999: 31

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 26: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel

nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q?

nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s?

26

Kunze, 2001

Markow-Modell1. Ordnung

Markow-Modell2. Ordnung

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 27: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette: Matrix-Darstellung

kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A

Anfangswahrscheinlichkeiten Π

27

it sX jt sX 1 geschickt werden wir geschickt .3 .4 .3 werden .4 .2 .4 wir .3 .4 .3

X t

geschickt .2 werden .3 wir .5

)|( 1 itjtij sXsXPa

0ijaji ,

N

j

jia1

, 1i

)( 1 ii sXP

N

i

i

1

1

Manning/Schütze, 2000: 318

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 28: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow Model: Definition

28

Ein Markow-Modell wird spezifiziert durch ein Tripel (S,Π,A)

S = {S1, ..., SN} Menge der Zustände

Π = {πi} Wahrscheinlichkeiten der Startzustände

πi = P(X1 = Si)

N

i

i

1

1

A = {aij} Wahrscheinlichkeiten der Zustandsübergänge

aij = P(Xt+1 = Sj | Xt = Si) 1 ≤ i , j ≤ N

N

j

ija1

1

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 29: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette: Graph-Darstellung

kann beschrieben werden durch Zustandsübergangsgraphen

29

wir

werden

geschickt

.3

.3.3.4

.4

.4

.4

.3

.2

.2

.3

.5

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 30: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit

Wahrscheinlichkeit der Sequenz der Zustände X1 … XT

für eine Markow-Kette gilt:

30

),...,( 1 TXXP),...,|()...,|()|()( 11123121 TT XXXPXXXPXXPXP

)|()...|()|()( 123121 TT XXPXXPXXPXP

11

1

1

tt XX

T

t

aX

Manning/Schütze, 2000: 320

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 31: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Markow-Kette: Berechnungsbeispiel

Wahrscheinlichkeit der Sequenz der Zustände X1 … XT

31

),,( 321 geschicktXwerdenXwirXP

)|(

)|(

)(

23

12

1

werdenXgeschicktXP

wirXwerdenXP

wirXP

08.0)4.4.5(.

it sX jt sX 1 geschickt werden wir geschickt .3 .4 .3 werden .4 .2 .4 wir .3 .4 .3

X t

geschickt .2 werden .3 wir .5

© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Page 32: 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Literatur

• Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage.• Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript

15. Juni 1999• Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in

der Sprachverarbeitung. Seminarskript. http://www.coli.uni-saarland.de/~thorsten/stat00/skript.ps.gz

• Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www.sultry.arts.usyd.edu.au/fsnlp)

• Versionen 11.1.2013, 26.5.2009, 31.10.2005, 4.5.2002

32© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013