Upload
vunga
View
215
Download
0
Embed Size (px)
Citation preview
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Probabilites Approfondies
Chaınes de Markov
Julian Tugaut
Telecom Saint-Etienne
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Definition
D’abord, soit E l’espace d’etat. On le suppose fini ou denombrable.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Definition
D’abord, soit E l’espace d’etat. On le suppose fini ou denombrable.
Definition
On dit que P := P(x , y)x ,y∈E est une matrice stochastique si lesdeux conditions suivantes sont realisees :
1 Pour tous x , y ∈ E , on a P(x , y) ≥ 0.
2 Pour tout x ∈ E , on a∑
y∈E P(x , y) = 1.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Definition
D’abord, soit E l’espace d’etat. On le suppose fini ou denombrable.
Definition
On dit que P := P(x , y)x ,y∈E est une matrice stochastique si lesdeux conditions suivantes sont realisees :
1 Pour tous x , y ∈ E , on a P(x , y) ≥ 0.
2 Pour tout x ∈ E , on a∑
y∈E P(x , y) = 1.
Definition
On dit aussi que P est une matrice de transition d’une chaıne deMarkov.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Probabilite de transition
Pour tout A ⊂ E , on pose :
P(x ,A) :=∑
y∈A
P(x , y) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Probabilite de transition
Pour tout A ⊂ E , on pose :
P(x ,A) :=∑
y∈A
P(x , y) .
Proposition
Pour tout x ∈ E , l’application A 7→ P(x ,A) est une probabilite sur
l’espace mesure(
E , 2E)
.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Probabilite de transition
Pour tout A ⊂ E , on pose :
P(x ,A) :=∑
y∈A
P(x , y) .
Proposition
Pour tout x ∈ E , l’application A 7→ P(x ,A) est une probabilite sur
l’espace mesure(
E , 2E)
.
Exercice
Demontrer la propriete.
Julian Tugaut Probabilites Approfondies
Chaıne de Markov elementaire
Definition
Un processus X := (Xn)n est une chaıne de Markov elementaire surE de probabilite de transition P si pour tout n ∈ N, pour tousx0, · · · , xn+1, on a
P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)
= P (Xn+1 = xn+1 | Xn = xn)
= P (xn, xn+1) ,
si P (Xn = xn, · · · ,X0 = x0) > 0.
Chaıne de Markov elementaire
Definition
Un processus X := (Xn)n est une chaıne de Markov elementaire surE de probabilite de transition P si pour tout n ∈ N, pour tousx0, · · · , xn+1, on a
P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)
= P (Xn+1 = xn+1 | Xn = xn)
= P (xn, xn+1) ,
si P (Xn = xn, · · · ,X0 = x0) > 0.
L’idee est la suivante : la chaıne de Markov oublie son passe et nechoisit sa position au temps n + 1 qu’a partir de sa position autemps n. Et, le choix de sa position se fait suivant la loi deprobabilite P(xn, .).
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Comment creer une chaıne de Markov ?
Proposition
Soit (ξn)n une suite de variables aleatoires independantes etidentiquement distribuees. Soit H une fonction mesurable deE × R dans E . On pose X0(ω) := x0 pour tout ω puis
Xn+1 = H (Xn(ω), ξn+1(ω)) .
Alors X := (Xn)n est une chaıne de Markov de probabilite detransition P ou l’on a
P(x , y) := P (H(x , ξ1) = y) .
Julian Tugaut Probabilites Approfondies
Preuve - 1
Preuve
Soit n ∈ N et soient x0, · · · , xn+1 ∈ E . Alors :
P (Xn+1 = xn+1,Xn = xn, · · · ,X0 = x0)
= P (H(xn, ξn+1),Xn = xn, · · · ,X0 = x0) .
Or, l’evenement Xn = xn, · · · ,X0 = x0 est mesurable par rapporta la tribu σ (X0, · · · ,Xn), qui est une sous-tribu de σ (ξ1, · · · , ξn).Et, H(xn, ξn+1) est mesurable par rapport a σ(ξn+1) donc lavariable aleatoire H(xn, ξn+1) est independante de la tribuσ (ξ1, · · · , ξn) car les variables aleatoires (ξn)n sont independantes.Il vient :
P (Xn+1 = xn+1,Xn = xn, · · · ,X0 = x0)
= P (H(xn, ξn+1) = xn+1) × P (Xn = xn, · · · ,X0 = x0) .
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Preuve - 2
De meme :
P (Xn+1 = xn+1,Xn = xn) = P (H(xn, ξn+1) = xn+1)×P (Xn = xn) .
Consequemment, on a
P (Xn+1 = xn+1 | Xn = xn, · · · ,X0 = x0)
= P (Xn+1 = xn+1 | Xn = xn)
= P (H(xn, ξn+1) = xn+1)
= P (H(xn, ξ1) = xn+1) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Jeu du pile ou face - 1
Exemple : Pile ou face
On s’interesse a
Nn := # piles consecutifs au temps n .
Montrer que (Nn)n est une chaıne de Markov et donner P.
Soit (ξi )i la suite de piles ou faces. C’est une suite de variablesaleatoires independantes et identiquement distribuees telles queP(ξ1 = 1) = p = 1 − P(ξ1 = 0).
On a N0 = 0. On remarque :
Si ξn+1 = 0, alors Nn+1 = 0.
Si ξn+1 = 1, alors Nn+1 = Nn + 1.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Jeu du pile ou face - 2
Donc, on peut ecrire
Nn+1 = (Nn + 1)ξn+1 .
On en deduit que (Nn)n est une chaıne de Markov avecH(x , ξ) := (x + 1)ξ. On peut ensuite calculer la matrice detransition facilement
P (H(n, ξ1) = m) = 0
si m /∈ 0; n + 1 tandis que
P (H(n, ξ1) = n + 1) = p et P (H(n, ξ1) = 0) = 1 − p .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Resultat
Proposition
Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout x0, · · · , xn ∈ E ,on a
P (Xn = xn, · · · ,X0 = x0) = µ0(x0)P(x0, x1) · · ·P(xn−1, xn) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Resultat
Proposition
Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout x0, · · · , xn ∈ E ,on a
P (Xn = xn, · · · ,X0 = x0) = µ0(x0)P(x0, x1) · · ·P(xn−1, xn) .
Exercice
Demontrer la propriete.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Notations
Notation
Soit P une matrice stochastique et f une fonction de E dans R.On pose
(Pf )(x) :=∑
y∈E
P(x , y)f (y) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Notations
Notation
Soit P une matrice stochastique et f une fonction de E dans R.On pose
(Pf )(x) :=∑
y∈E
P(x , y)f (y) .
Notation
Soit P une matrice stochastique et µ une mesure sur E . On pose
(µP)(y) :=∑
y∈E
µ(x)P(x , y) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Resultat
Proposition
Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout xn ∈ E , on a
P (Xn = xn) = (µPn) (x) .
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Resultat
Proposition
Soit X := (Xn)n une chaıne de Markov de probabilite de transitionP. On pose µ0(x) := P(X0 = x). Alors, pour tout xn ∈ E , on a
P (Xn = xn) = (µPn) (x) .
Exercice
Montrer la propriete.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
P-chaıne de Markov
Definition
Soit (Ω, F , (Fn)n ,P) un espace filtre. Soit E un espace d’etat finiou denombrable. Soit P une matrice stochastique sur E .On dit que le processus X = (Xn)n est une P-chaıne de Markov parrapport a la filtration (Fn)n si X est adapte a la filtration (Fn)n etsi pour toute fonction mesurable bornee de E dans R, on a
E f (Xn+1) | Fn (ω) = (Pf )(Xn)(ω)
pour tout n ∈ N, P-presque surement.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Remarque
Remarque
Si X est une P-chaıne de Markov par rapport a la filtration (Fn)n,c’est une chaıne de Markov par rapport a sa filtration naturelle,(σ(X0, · · · ,Xn))n.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Remarque
Remarque
Si X est une P-chaıne de Markov par rapport a la filtration (Fn)n,c’est une chaıne de Markov par rapport a sa filtration naturelle,(σ(X0, · · · ,Xn))n.
Preuve
On utilise pour cela la propriete de tour.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Lien entre les deux definitions
Theoreme
(a) Si X est une P-chaıne de Markov par rapport a la filtration(Fn)n alors X est une chaıne de Markov elementaire de noyau detransition P.
(b) Si X est une chaıne elementaire de noyau de transition P, alorsX est une P-chaıne de Markov par rapport a la filtration (F0
n )navec F0
n := σ(X0, · · · ,Xn).
Julian Tugaut Probabilites Approfondies
Preuve - 1
Preuve
(a) Soit X une P-chaıne de Markov par rapport a la filtration(Fn)n. Soit n ∈ N. Soient x0, · · · , xn+1 ∈ E . Alors :
P (Xn+1 = xn+1, · · · ,X0 = x0)
= E
(
1xn+1(Xn+1)1Xn=xn,··· ,X0=x0
)
= E
[
E
(
1xn+1(Xn+1) | Fn
)
1Xn=xn,··· ,X0=x0
]
= E
[
P(Xn, xn+1)1Xn=xn,··· ,X0=x0
]
= P(xn, xn+1)E[
1Xn=xn,··· ,X0=x0
]
= P(xn, xn+1)P (Xn = xn, · · · ,X0 = x0) ,
ce qui acheve la preuve du (a).
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Preuve - 2
(b) Soit X une chaıne de Markov elementaire de probabilite detransition P. Alors, X est adapte a sa filtration naturelle, parconstruction de celle-ci. Soit maintenant une fonction mesurablebornee f . On a
E [f (Xn+1) | Xn, · · · ,X0] =∑
y∈E
f (y)P (Xn+1 = y | Xn, · · · ,X0)
=∑
y∈E
f (y)P(Xn, y)
= (Pf )(Xn) ,
ce qui acheve la preuve du (b).
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Introduction
Dans le cas ou l’espace d’etat, E , est fini ou denombrable, lesmesures de probabilites sont des vecteurs.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Introduction
Dans le cas ou l’espace d’etat, E , est fini ou denombrable, lesmesures de probabilites sont des vecteurs.
On va definir dans cette section une notion primordiale dansl’etude des processus aleatoires (de Markov ou non) : celle desmesures invariantes. En effet, une question naturelle est lecomportement en temps long des processus. C’est meme le nerf dela guerre dans de nombreuses etudes. Or, les mesures invariantesjouent un role fondamental dans ces questions.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Existence
Definition
Une mesure de probabilite sur l’espace mesure(
E , 2E)
est une
mesure invariante pour la P-chaıne de Markov si l’on a µP = µ.
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Existence
Definition
Une mesure de probabilite sur l’espace mesure(
E , 2E)
est une
mesure invariante pour la P-chaıne de Markov si l’on a µP = µ.
Deux questions se posent immediatement : la chaıne de Markovadmet-elle une probabilite invariante ? Le cas echeant, a-t-onl’unicite de cette probabilite invariante ?
Julian Tugaut Probabilites Approfondies
Matrice stochastiqueChaıne de Markov
Mesures invariantes
Existence
Definition
Une mesure de probabilite sur l’espace mesure(
E , 2E)
est une
mesure invariante pour la P-chaıne de Markov si l’on a µP = µ.
Deux questions se posent immediatement : la chaıne de Markovadmet-elle une probabilite invariante ? Le cas echeant, a-t-onl’unicite de cette probabilite invariante ?
Proposition
Si E est fini, il y a au moins une probabilite invariante.
Julian Tugaut Probabilites Approfondies
Non-unicite
On observe en effet que le produit de la matrice stochastique P
avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .
Non-unicite
On observe en effet que le produit de la matrice stochastique P
avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .On ne dispose pas de l’unicite.
Non-unicite
On observe en effet que le produit de la matrice stochastique P
avec le vecteur-colonne 1 constitue uniquement de 1 est egal a 1.Des resultats d’algebre lineaire nous donnent immediatementl’existence d’un vecteur ligne v dont tous les coefficients sontpositifs tel que vP = v .On ne dispose pas de l’unicite.
Contre-exemple
On prend la matrice P :=
(
1 00 1
)
. On peut verifier que c’est
bien une matrice stochastique. Or, µ(1) := (1, 0) et µ(2) := (0, 1)sont des probabilites invariantes.
Non-existence
Exemple
On prend maintenant un espace d’etat infini : E = Z. On considerela marche aleatoire la plus simple c’est-a-dire :
P(n, n + 1) = P(n, n − 1) =1
2.
On resout l’equation µP(x) = µ(x) pour tout x ∈ Z :
µP(x) =µ(x + 1) + µ(x − 1)
2= µ(x) .
On obtient µ(x + 1) − µ(x) = µ(x) − µ(x − 1) = C d’ouµ(x) = xC + µ(0). Si C = 0, µ est une constante et n’est pas uneprobabilite. Si C 6= 0, (µ(x))x est non borne. Il n’y a donc pas deprobabilite invariante.