Methoden der Statistik Markov Chain Monte Carlo Methodendickhaus/downloads/Methoden-WS1213/mcmc.pdf · MarkoffkettenMetropolis-HastingsAnwendungGibbs–Sampler Methoden der Statistik

Markoffketten Metropolis-Hastings Anwendung Gibbs–Sampler

Methoden der StatistikMarkov Chain Monte Carlo–Methoden

Thorsten Dickhaus

Humboldt-Universität zu Berlin

08.02.2013

MCMC Thorsten Dickhaus


Problemstellung

Wie kann eine Zufallsstichprobe am Computer simuliertwerden, deren Verteilung aus einem kompliziertenBildungsgesetz (z. B. hierarchisch Bayes) herrührt?

DefinitionEine Markov Chain Monte Carlo (MCMC)–Methode zurSimulation einer Wahrscheinlichkeitsverteilung mit Dichte fproduziert eine ergodische Markoffkette, welche die Verteilungmit Dichte f als stationäre Verteilung aufweist.



Übersicht

1 Grundlegendes über Markoffketten

2 Der Metropolis–Hastings–Algorithmus

3 Anwendung auf das Logit–Modell

4 Der Gibbs–Sampler



Im Folgenden bezeichnet (Ω,F) einen messbaren Raum.

Definition

Ein Übergangskern ist eine Abbildung K : Ω× F → [0,1] mitK(x , · ) ist ein Wahrscheinlichkeitsmaß auf F ∀x ∈ Ω

K( · ,B) ist messbar ∀B ∈ F

DefinitionEin stochastischer Prozess in diskreter Zeit X0, . . . ,Xn, . . .heißt Markoff–Kette (MC) (Xn) auf Ω, falls ∀B ∈ F

P (Xk+1 ∈ B|x0, . . . , xk ) = P (Xk+1 ∈ B|xk )

= K(xk ,B) =

∫BK(xk ,dx)

für k ∈ N mit einem Übergangskern K gilt.



Definition (Sei Ω abzählbar.)

a) (Xn) heißt zeithomogen, falls ∀k ∈ N:

P(Xk+1 ∈ B|Xk = x) = P(X1 ∈ B|X0 = x), x ∈ Ω.

b) Ersteintrittszeit in x ∈ Ω: T x := min n > 0|Xn = x,

f (x , y) := P(T y <∞|X0 = x) (Kette startet in x).c) Ein Zustand x ∈ Ω heißt rekurrent, falls f (x , x) = 1.

Eine Markoffkette (Xn) heißt rekurrent, falls jeder ihrermöglichen Zustände rekurrent ist. Ansonsten heißt (Xn)transient.

d) Eine Markoffkette heißt irreduzibel, falls jeder Zustand yvon jedem Zustand x aus erreichbar ist.



Satz1 Falls MC (Xn) irreduzibel:

Ein Zustand rekurrent⇔ (Xn) rekurrent2 Ist eine Markoffkette irreduzibel und rekurrent, dann

existiert ein eindeutig bestimmtes invariantes Maßµ ≡ µK.Ist µ endlich, heißt die Markoffkette positiv–rekurrent.

KorollarMC irreduzibel und positiv–rekurrent, dann gilt für x ∈ Ω:

E[T x ] <∞ und µ(x) = (E[T x ])−1.



Ergodizität

DefinitionPeriode: dx := ggtn|Kn(x , x) > 0MC heißt aperiodisch, wenn dx = 1 ∀x ∈ Ω.

Satz (Konvergenz ins Gleichgewicht)

Ist (Xn) eine irreduzible, positiv–rekurrente, aperiodische(ergodische) Markoffkette mit stationärer Verteilung µ, so giltfür jede beliebige Startverteilung µ0 von X0:

µ0Kn → µ für n→∞ .



Markov Chain Monte Carlo–Algorithmen

Prinzip von MCMC–Algorithmen:

Für beliebige Startverteilungen wird eine ergodischeMarkoffkette generiert.Dabei wird der Übergangskern so gewählt, dass Konvergenzgegen eine festgelegte invariante Verteilung (die Zielverteilung)stattfindet.

Anwendungsbeispiel:

Näherungsweise Berechnung von∫

h(x)f (x)dx durchT−1∑n0+T

i=n0h(Xi), wobei f die stationäre Dichte ist und die

sogenante „burn–in–Phase“ 1, . . . ,n0 − 1 ausgenommenwird.



Übersicht







Aufgabe: Simulation einer Stichprobe, die der Zielverteilungmit Dichte f folgt.

Gegeben sei X (t) = x (t).

1 Generiere Yt ∼ q(y |x (t)) gemäß einerproposal-Verteilung q.

2 Acceptance–Rejection Schritt:

X (t+1) =

Yt mit Wahrscheinlichkeit ρ(x (t),Yt )

x (t) mit Wahrscheinlichkeit 1− ρ(x (t),Yt ),

wobei

ρ(x , y) = min(

1,f (y)

f (x)

q(x |y)

q(y |x)

).



Wahl der proposal-Verteilung q

Metropolis–Hastings erzeugt eine irreduzible MC, falls

q(y |x) > 0 ∀(x , y) ∈ supp(f )× supp(f ).

Aperiodizität gilt gerade, falls

P(

f (X (t))q(Yt |X (t)) ≤ f (Yt )q(X (t)|Yt ))< 1.

Zur Anwendung von MH sollte q leicht zu simulieren sein undvon f muss f (y)/q(y |x) bis auf eine Konstante bekannt sein.



Übergangskern des Metropolis-Hastings-Algorithmus’

Explizite Angabe von K:

K(x , y) = ρ(x , y)q(y |x) +

(1−

∫ρ(x , y)q(y |x)dy

)δx (y).

Damit erfüllt (Xn) die detailed balance–Bedingung

K(x , y)f (x) = K(y , x)f (x) ∀x , y .

SatzBesitzt eine Markoffkette die „detailed balance“ Eigenschaft,so ist sie irreduzibel und f Dichte der invarianten Verteilung.



Satz (Konvergenz von Metropolis–Hastings)

Ist die Metropolis–Hastings–Markoffkette (X (t)) f–irreduzibel,dann gilt

limT→∞

1T

T∑t=1

h(X (t)) =

∫h(x)f (x)dx ∀h ∈ L1(f ), f − f. ü.

Ist (X (t)) aperiodisch, so gilt außerdem

limn→∞

∥∥∥∥∫ Kn(x , · )µ(dx)− f∥∥∥∥

TV= 0

für jede Startverteilung µ.



Beispiel: Normalverteilung









Übersicht







Challenger–Beispiel

Am 28. Januar 1986 explodierte die Raumfähre Challenger mitsieben Astronauten an Bord nach dem Start aufgrund vonMaterialermüdungserscheinungen an den O-Ringen.

Zum Startzeitpunkt herrschte eine ungewöhnlich niedrigeAußentemperatur von 31 F (ca. 0 C).

Nachfolgend soll der Zusammenhang zwischen der Temperaturund der Überbeanspruchung der Dichtungsringe analysiertwerden.

Dazu im Folgenden:

X : Außentemperatur in F,Y = 1 bzw. Y = 0: Dichtungsringausfall ja bzw. nein



Challenger–Beispiel: Datensatz, n=23 Messpunkte

X Y X Y66 0 67 070 1 53 169 0 67 068 0 75 067 0 70 072 0 81 073 0 76 070 0 79 057 1 75 063 1 76 070 1 58 178 0 – –



Logistische Regression

Modell: Logistische Regression (Logit–Modell)

Sei Y binäre, Bernoulli-verteilte Zufallsvariable mit Parameterp(X ), wobei X eine reellwertige Zufallsvariable. Es gelte:

Pβ(Y = 1|X = x) =: p ≡ p(x) =exp (α + βx)

1 + exp (α + βx)

= 1− Pβ(Y = 0|X = x).

Die Logit–Funktion logit(p) = log (p/(1− p)) = α + βxhänge also linear von X = x ab.



Logistische Regression

Bayes–Ansatz zur Schätzung der Parameter α und β:

`((α, β),Daten) =23∏

i=1

P (Yi = yi |Xi = xi)

=∏

i

(exp (α + βxi)

1 + exp (α + βxi)

)yi(

11 + exp (α + βxi)

)1−yi

.

A priori–Verteilung:

f(α,β)(α, β) = fα|β=β(α)fβ(β)

(Hierarchisches Bayes-Verfahren)



Metropolis–Hastings im Logit–Modell

Um von der Zielverteilung (A posteriori-Verteilung) zu samplen,wird nun ein Metropolis–Hastings–Algorithmus implementiert.

Resultierende Histogramme für die Ausfallwahrscheinlichkeitbei verschiedenen Temperaturen:



Konvergenz Metropolis–Hastings



Übersicht







Aufgabenstellung Gibbs-Sampler

Es sei X = (X1, . . . ,Xp)T ein Rp–wertiger Zufallsvektor.

Annahmen:

1 Weder von der gemeinsamen Verteilung mit Dichte f nochvon den univariaten Randdichten f1, . . . , fp kann direktsimuliert werden.

2 Jedoch kann von den bedingten Verteilungen der

Xi |x1, . . . , xi−1, xi+1, . . . , xp ∼ fi(·|x1, . . . , xi−1, xi+1, . . . , xp)

gesamplet werden.



Algorithmus: Gibbs-Sampler

Gegeben sei x(t) = (x (t)1 , . . . , x (t)

p ). Generiere sukzessive

X (t+1)1 ∼ f1(·|x (t)

2 , . . . , x (t)p ),

X (t+1)2 ∼ f2(·|x (t+1)

1 , x (t)3 , . . . , x (t)

p ),

...X (t+1)

p ∼ fp(·|x (t+1)1 , . . . , x (t+1)

p−1 ).

⇒ Zusammensetzung von p Metropolis-Hastings-Algorithmenmit Akzeptanzwahrscheinlichkeiten 1 und

qi(x|x(t)) = δ(x1,...,xi−1,xi+1,...,xp)

× (x1, . . . , xi−1, xi+1, . . . , xp)fi(xi |x(t)1 , . . . , x (t)

i−1, x(t)i+1, . . . , x

(t)p ).



Satz (Konvergenz des Gibbs–Samplers)

Ist die vom Gibbs–Sampler erzeugte Markoffkette (X(t))ergodisch, so ist f die Dichte der stationären Verteilung und esgilt für jede Startverteilung µ:

limn→∞

∥∥∥∥∫ Kn(x , · )µ(dx)− f∥∥∥∥

TV= 0.

Bemerkung:

Ergodizität von (X(t)) kann charakterisiert werden.



Beispiel (bedingte Verteilungen herleitbar)

Bivariate Normalverteilung:

Es sei (X ,Y )T ∼ N2

((00

),

(σ2

1 ρσ1σ2ρσ1σ2 σ2

2

)).

Die bedingten univariaten Verteilungen sind gegeben durch

L (X |Y = y) = N(ρyσ1/σ2 , (1− ρ2)σ2

1

),

L (Y |X = x) = N(ρxσ2/σ1 , (1− ρ2)σ2

2

).



Illustration: Gibbs–Sampler bivariate Normalverteilung



Illustration: Gibbs–Sampler bivariate Normalverteilung


Documents

Methoden der Statistik Markov Chain Monte Carlo Methodendickhaus/downloads/Methoden-WS1213/mcmc.pdf · MarkoffkettenMetropolis-HastingsAnwendungGibbs–Sampler Methoden der Statistik