POLYTECH’L ILLE

GIS 4

PROCESSUSSTOCHASTIQUES

Table des matieres

Introduction 3Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 7

1 Chaınes de Markov 81.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 81.2 Classification des etats . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 13

1.2.1 Classes irreductibles . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 131.2.2 Recurrence et transience . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 141.2.3 Periodicite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 18

1.3 Theoremes limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 201.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 201.3.2 Lorsque l’espace d’etatsE est fini . . . . . . . . . . . . . . . . . . . . . . . . . . 211.3.3 Lorsque l’espace d’etatsE est infini . . . . . . . . . . . . . . . . . . . . . . . . . 23

1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 24

2 Processus stochastiques markoviens en temps continu 262.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 26

2.1.1 Trois proprietes de la loi exponentielle . . . . . . . . .. . . . . . . . . . . . . . . 262.1.2 Presentation du processus de Poisson . . . . . . . . . . . . .. . . . . . . . . . . 282.1.3 Simulation et modelisation . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 31

2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 332.2.1 Definition et exemples . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 332.2.2 Probabilites de transition et generateur de Markov . . . . . . . . . . . . . . . . . 352.2.3 Theoreme limite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 39

2.3 Application aux modeles de files d’attente . . . . . . . . . . .. . . . . . . . . . . . . . . 412.3.1 Presentation generale . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 412.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 46

Annexe : quelques formules 49

2

Introduction

On peut definir unprocessus stochastiquecomme etant une familleXtt∈T de variables aleatoiresindexees par le tempst. Les motsprocessusetstochastiquesignifient respectivementfonctionetaleatoire.Alors qu’une variable aleatoireX associe a chaqueω ∈ Ω une realisationX(ω), un processus stochastiqueXtt∈T associe a chaqueω une fonction (ou trajectoire)Xt(ω)t∈T :

T → Et 7→ Xt(ω)

,

ouE est l’espace d’arrivee des variables aleatoiresXt. Passer des variables aleatoires aux processus sto-chastiques revient a passer en analyse des points aux fonctions. A titre d’exemple, la trajectoire d’unemouche en fonction du temps peut etre modelisee par un processus stochastique a valeurs dansE = R

3.Lorsque l’ensemble des tempsT est au plus denombrable (par exempleT = N), on parle de processusstochastiquesa temps discret. Lorsqu’il est continu (i.e.T = [0; t0] ou T = R+), on parle de processusstochastiquesa temps continu.

Dans tout ce cours, on abrege les expressions “variable al´eatoire” en v.a. et “independantes et identique-ment distribuees” en i.i.d.

Les situations reelles pouvant etre modelisees par desprocessus stochastiques sont nombreuses. En voiciquelques exemples :

EXEMPLES :• Probleme de la ruine du joueur.Considerons une suite de v.a.(Yn)n≥1 i.i.d. dont la loi commune

est definie parIP(Y1 = 1) = p et IP(Y1 = −1) = 1− p

et une quantite initiale (deterministe ou aleatoire)Y0 ∈ Z independante des v.a.Yn. On definit lamarchealeatoire simplepar

Xn+1 = Xn + Yn+1

= Y0 + Y1 + . . .+ Yn + Yn+1 ,

pour toutn ∈ N. La suite(Xn)n≥1 est un processus stochastique a temps discretT = N (ce sont lesinstantsn = 0, 1, 2 . . .) et a valeurs dansE = Z. La suite(Xn)n≥1 represente l’evolution de la fortuned’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici1 euro) avec probabilitep etperdant le meme montant avec probabilite1− p. Les parties, dont les resultats sont lesYn, sont supposeesindependantes. La fortune du joueur a l’issue de lane partie estXn. La quantiteY0 represente la fortuneinitiale du joueur.Le joueur est ruine (et donc arrete de jouer) des que la suite (Xn)n≥1 touche l’axe des abscisses. On peut

3

egalement ajouter comme condition que le joueur s’arretede jouer si sa fortune atteint un certain seuila > Y0. Dans ce jeu, on aimerait connaıtre l’esperance de gain enfonction des parametresY0, a et p, ouencore la duree moyenne du jeu.

Y0

n

FIGURE 1 – Le joueur est ruine a l’issue de la12e partie.

• Probleme de l’extinction d’une population. Considerons une suite doublement indexee de v.a.Yn,m, n ∈ N,m ∈ N

∗ i.i.d. et a valeurs entieres. La variableYn,m represente le nombre de fils dume

individu dans lane generation (s’il existe). PosonsX0 = 1 ; il y a initialement un seul individu (generation0). Puis, pour toutn,

Xn+1 =

Xn∑

m=1

Yn,m

represente le nombre d’individu dans la(n+1)e generation. La suite(Xn)n≥1 est un processus stochastiquea temps discretT = N (ce sont les generations) et a valeurs dansE = N. Il est connu sous le nom deprocessus de branchementou arbre de Galton-Watson.

FIGURE 2 – Sont representees les quatre premieres generations d’un arbre de Galton-Watson. Le premierindividu aY0,1 = 3 fils. Ceux-ci auront respectivementY1,1 = 1, Y1,2 = 4 etY1,3 = 0 fils. La2e generationcomprend donc5 individus :X2 = 5.

Historiquement, Galton et Watson ont introduit ce modele pour etudier la perpetuation des lignees desLords en Angletrre au19e siecle : les individus sont des Lords qui transmettent leurtitre uniquement aleurs fils. Il s’agit alors d’etudier l’evolution de la population au cours du temps, i.e. la quantiteXn quandn devient grand. Y aura-t’il extinction de la lignee de Lords? Voici une premiere reponse pleine de bon

4

sens : si le nombre moyen IE[Y0,1] de fils de chaque individu est eleve, la population devraitrapidementcroıtre.A l’inverse, si IE[Y0,1] est proche de0, la population devrait s’eteindre.

• Series temporelles ou chronologiques.Les series temporelles peuvent etre modelisees par desprocessus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dansun pays donne durant un intervalle de temps, le nombre de passagers dans les transports aeriens ou encoreles valeurs de clotures journalieres du CAC40.

Time

EuSto

ckMark

ets[, 3

]

1992 1993 1994 1995 1996 1997 1998

1500

2000

2500

3000

3500

4000

FIGURE 3 – Valeurs de clotures journalieres du CAC40 de 1991 a 1998.

Un des objectifs principaux de l’etude d’une serie temporelle est la prevision des realisations futures, tressouvent pour des raisons economiques (prevoir l’evolution de la demande d’un produit pour ajuster aumieux les moyens de production, prevoir l’evolution d’unmarche financier...).Les series temporelles feront l’objet de tout un cours en GIS5.

• Files d’attente. La salle de reservation d’une grande gare SNCF donne une bonne representationd’une file d’attente (queueen anglais). Elle comprend un certain nombre de guichets et des clients qui sontsoit en train d’etre servis, soit en attente qu’un guichet se libere. Le nombre total de ces clients presentsdans la salle de reservation au tempst est noteNt. Le hasard intervient dans les arrivees des clients ainsique dans la duree des services. La suite(Nt)t≥0 est un processus stochastique a temps continu et a valeursdansE = N. L’objectif est d’etudier l’evolution deNt au cours du temps afin d’optimiser le nombre deguichets necessaires pour satisfaire en un temps raisonnable les clients.On peut egalement modeliser par une file d’attente un syst`eme informatique dans lequel les nouvellestaches se mettent en attente avant d’etre traitees, ou encore un poste de travail dans une usine.Les files d’attentes seront etudiees en details dans ce cours.

En GIS3 ou en GIS4, vous avez deja vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d.en est un exemple ! L’independance entre les variables facilite les calculs et permet d’obtenir sans tropd’efforts des theoremes limites interessants (Loi des Grands Nombres, Theoreme Central Limite...). Mal-heureusement, l’independance n’est pas un phenomene courant dans la nature. Integrer de la dependanceentre les variables permet de modeliser plus fidelement larealite. Il y a neanmoins un cout a payer ; lescalculs sont plus durs et les theoremes plus chers.Les processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine depen-dance entre les variables ; une dependance de typemarkovienne(ou deMarkov). Cela signifie que l’evolu-tion future du processus ne depend de son passe que par l’intermediaire du present. Par exemple pourdecider au mieux du21e coup a jouer dans une partie d’echecs, il suffit de connaıtre la configuration du jeua l’issue du20e coup, le detail des19 premiers coups n’ayant alors aucune importance.

5

Les exemples decrits pecedemment sont markoviens. La fortune du joueur a l’issue de la(n+1)e partie nedepend que de sa fortune a l’issue de lane et du resultat de la(n+1)e partie, mais pas de l’evolution totalede sa fortune depuis le debut du jeu. Pour un processus de Galton-Watson, le nombre d’individus dans lageneration a venir ne depend que du nombre d’individus dans la generation actuelle et du nombre de filsqu’ils auront. Les files d’attente que nous etudierons seront aussi des processus stochastiques markoviens.Pour les series temporelles, vous verrez l’annee prochaine...

6

Exercices

Exercice1 : Denombrement de trajectoires d’une marche aleatoire

Partie 1. Considerons la marche aleatoire simple(Xn)n∈N a valeurs dansZ, definie par

X0 = y0 ∈ Z

Xn = y0 + Y1 + . . .+ Yn, ∀n ≥ 1

ou (Yn)n≥1 est une suite de v.a. i.i.d., chacune valant1 avec probabilitep et−1 avec probabilite1 − p, ety0 ∈ Z.

1. Quelles sont les valeurs que peut prendreX100 ? NotonsE100 cet ensemble.

2. Soity ∈ E100. Combien y-a-t’il de trajectoires verifiantX100 = y ? Preciser ce nombre lorsquey = y0 + 100, y = y0 − 100 et y = y0.

3. Soity ∈ E100. Montrer que toutes les trajectoires verifiantX100 = y ont la meme probabilite.Quelle est cette probabilite ?

4. Principe de reflexion.Soientx, x′, y, y′ des entiers tels que0 ≤ x ≤ x′ et yy′ ≥ 0. Justifierheuristiquement qu’il y a autant de trajectoires de la marche aleatoire allant de(x, y) a (x′, y′) en touchantl’axe des abscisses, que de trajectoires allant de de(x,−y) a (x′, y′).

Partie 2. Application au distributeur automatique de boissons.Considerons un distributeur automatique de boissons, chacunes valant1 euro. Supposons que60% desclients desirant acheter une boisson la paie avec une piece de1 euro, et le reste, avec une piece de2 euros.Dans ce dernier cas, le distributeur rend au consommateur samonnaie, i.e. une piece de1 euro.A conditionqu’il en ait... Il s’agit donc pour l’appariteur de prevoirdans le distributeur, en debut de journee, un stocksuffisant de pieces de1 euro. Mais pas trop pour ne pas bloquer inutilement de la tresorerie !

5. Modeliser par une marche aleatoire l’evolution au cours du temps du stock du distributeur.

6. Supposons que dans une journee donnee,100 clients se presentent et que exactement60 d’entreeux paient avec une piece de1 euro. Quel stock initial permet d’assurer (disons a95%) que chaque clientrecupere sa monnaie ?

7

Chapitre 1

Chaınes de Markov

Un modele d’evolution dynamique en temps discret dans lequel on fait dependre l’evolution future del’etat present et du hasard est une chaıne de Markov. C’est un processus stochastique a temps discret. Onen rencontre dans de nombreux domaines d’applications...

1.1 Definitions

Definition 1.1.1 Soit (Xn)n∈N une suite de v.a. a valeurs dans un espaceE fini ou denombrable, appeleespace d’etats. On dit que(Xn)n∈N est unechaıne de Markovsi

IP(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0) = IP(Xn+1 = j | Xn = i) ,

pour tout entiern ∈ N, pour tout etatj et pour toute suite d’etatsi0, i1, . . . , in−1, i pour lesquels laprobabilite conditionnelle a un sens, i.e.

IP(Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0) > 0 .

Si de plus la quantite IP(Xn+1 = j | Xn = i) ne depend pas den, i.e.

IP(Xn+1 = j | Xn = i) = IP(X1 = j | X0 = i)

alors la chaıne de Markov(Xn)n∈N est ditehomogene.

Il faut comprendre une chaıne de Markov(Xn)n∈N comme une promenade dans l’espace d’etatsE, lavariableXn indiquant l’etat dans lequel on est a l’instantn. La v.a.X0 represente l’etat initial duqueldemarre la chaıne. Selon le contexte,X0 pourra etre aleatoire ou deterministe.La propriete de Markov signifie que, connaissant le dernier etat visite (disons a l’instantn), la loi duprochain etat visite (i.e. la loi deXn+1) ne depend pas des etats visites depuis l’instant0 jusqu’a l’instantn− 1. Plus prosaıquement, on dit que

conditionnellement au present, le futur ne depend pas du passe.

Mais il depend du present :Xn etXn+1 n’ont aucune raison d’etre independantes !La propriete d’homogeneite d’une chaıne de Markov exprime quant a elle que la probabilite d’aller dei enj reste la meme au cours du temps. Elle permet de regrouper en une seule matrice (independante den) lesprobabilites de transition entre deux etats quelconques.

8

Definition 1.1.2 Soit (Xn)n∈N une chaıne de Markov homogene a espace d’etatsE. Soienti, j ∈ E deuxetats. La probabilite

pi,j := IP(X1 = j | X0 = i)

est appeleeprobabilite de transition dei a j. La matriceP := (pi,j)i,j∈E est appeleematrice de transitionde la chaıne.

Lorsque l’espace d’etatsE est fini, la matriceP est carree de tailleCard(E). Lorsqu’il est infini, elleadmet un nombre infini de lignes et de colonnes. Les coefficients de la matriceP sont positifs ou nuls.Leur somme sur une meme ligne vaut1 : pour touti ∈ E,

∑

j∈E

pi,j =∑

j∈E

IP(X1 = j | X0 = i) = IP

⋃

j∈E

X1 = j

∣

∣

∣

∣

∣

∣

X0 = i

= 1 .

Comme nous le verrons dans les exemples suivants, il arrive frequemment dans les applications que pourun etati donne, le nombre d’etatsj directement accessibles depuisi (i.e. tel quepi,j > 0) soit faible. Lamatrice de transition est alors tres creuse ; elle contientbeaucoup de0. Il est souvent plus economique (etplus pertinent) de resumer les probabilites de transition dans lediagramme de transition. C’est un grapheoriente et pondere dont l’ensemble des sommets estE. Une arete de poidspi,j va dei a j si pi,j > 0.

EXEMPLES :• Transmission d’un bit informatique. Un bit informatique valant0 ou 1 est transmis d’un poste A

vers un poste B en passant parN intermediaires. Chacun de ces intermediaires transmet correctement le bitavec probabilitep et l’inverse avec probabilite1− p, independamment les uns des autres. Le bit (aleatoire)d’entree, disonsX0, est suppose independent des intermediaires. Pourn = 1, . . . , N , notonsXn le bitsortant dune intermediaire.

A B

1 n N

Xn−1 Xn

La suite de v.a.(Xn)0≤n≤N est a valeurs dans l’espace d’etatsE = 0, 1. Verifions que c’est une chaınede Markov. Considerons pour ce faire, une suitei0, . . . , in, in+1 d’elements de0, 1.

IP(Xn+1 = in+1 | Xn = in, . . . ,X0 = i0) =IP(Xn+1 = in+1 etXn = in, . . . ,X0 = i0)

IP(Xn = in, . . . ,X0 = i0)

=IP(Xn+1 −Xn = in+1 − in etXn = in, . . . ,X0 = i0)

IP(Xn = in, . . . ,X0 = i0)

= IP(Xn+1 −Xn = in+1 − in) ,

du fait de l’independance entre la v.a.Xn+1 − Xn (qui represente l’action du(n + 1)e intermediaire) etl’etat du bit a la sortie desn premiers intermediaires. Pour la meme raison ;

IP(Xn+1 = in+1 | Xn = in, . . . ,X0 = i0) =IP(Xn+1 −Xn = in+1 − in) IP(Xn = in)

IP(Xn = in)

= IP(Xn+1 = in+1 | Xn = in) .

9

Enfin, le caractere homogene de la chaıne(Xn)0≤n≤N resulte du calcul :

IP(Xn+1 = j | Xn = i) = IP(Xn+1 −Xn = j − i) =

p si i = j1− p sinon.

.

Voici la matrice et le graphe de transition de cette chaıne :

P =

(

p 1− p1− p p

)

0 1

1− p

1− p

p p

• La marche aleatoire simple.Soient(Yn)n≥1 une suite de v.a. i.i.d., chacune valant1 avec proba-bilite p et−1 avec probabilite1 − p. SoitY0 ∈ Z une v.a. independante desYn, representant le point dedepart sur l’axeZ de la chaıne. On definit lamarche aleatoire simplepar

Xn+1 = Xn + Yn+1

= Y0 + Y1 + . . .+ Yn + Yn+1 ,

pour toutn ∈ N. Le processus stochastique(Xn)n≥1 est une chaıne de Markov homogene. Son espaced’etatsE = Z est cette fois infini. Comme dans l’exemple du bit informatique, le caractere markovienprovient de l’independance desYn :

IP(Xn+1 = in+1 | Xn = in, . . . ,X0 = i0) =IP(Xn+1 = in+1 etXn = in, . . . ,X0 = i0)

IP(Xn = in, . . . ,X0 = i0)

=IP(Yn+1 = in+1 − in etXn = in, . . . ,X0 = i0)

IP(Xn = in, . . . ,X0 = i0)

= IP(Yn+1 = in+1 − in)

=IP(Yn+1 = in+1 − in) IP(Xn = in)

IP(Xn = in)

=IP(Xn+1 −Xn = in+1 − in etXn = in)

IP(Xn = in)

= IP(Xn+1 = in+1 | Xn = in) ,

ou lesi0, . . . , in, in+1 sont des etats. Idem pour le caractere homogene :

IP(Xn+1 = j | Xn = i) = IP(Yn+1 = j − i) =

p si j = i+ 11− p si j = i− 10 sinon.

.

La matrice de transition de la chaıne(Xn)n≥1 est de taille infinie. Saie ligne est de la forme :

· · · 0 0 1−p 0 p 0 0 · · ·

ou le “0” intercale entre les coefficients1− p etp est sur laie colonne. Son graphe de transition est donnepar la Figure 1.1.

10

pp

i−1 i i+1

1−p1−p

FIGURE 1.1 – Le graphe de transition de la marche aleatoire simple.

• Le processus de Galton-Watsondecrit en introduction est egalement une chaıne de Markov ho-mogene.

Dans la pratique, nous prouverons qu’une suite de v.a. est une chaıne de Markov en utilisant le resultatintuitif suivant :

Proposition 1.1.3 Une suite de v.a.(Xn)n≥1 definie recursivement parXn+1 = f(Xn, Yn+1) ou- (Yn)n≥1 est une suite de v.a. i.i.d. a valeurs dans un espaceE′,- X0 ∈ E est une v.a. donnee et independante des(Yn)n≥1,- f : E × E′ → E est une application deterministe,

est une chaıne de Markov homogene a espace d’etatsE.

Ce critere permet d’affirmer tres rapidement que la marchealeatoire simple definie precedemment estune chaıne de Markov homogene. En effet, les incrementsY0, Y1, Y2 . . . sont des v.a. i.i.d. a valeurs dansl’espaceE′ = −1; 1 (E′ = Z convenait egalement),X0 = Y0 etXn+1 = f(Xn, Yn+1) avec commeapplication deterministef : f(x, y) = x+ y.

Proposition 1.1.4 La loi d’une chaıne de Markov homogene(Xn)n∈N est entierement determinee par ladonnee de sa matrice de transitionP et de la loi deX0, appeleeloi initiale et noteeµ0 :

pour touti ∈ E, µ0(i) := IP(X0 = i).

Plus precisement, pour tout entiern et toute suite d’etatsi0, i1, . . . , in−1, in deE :

IP(Xn = in,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0) = µ0(i0)pi0,i1 . . . pin−1,in . (1.1)

La formule (1.1) permet d’ecrire la probabilite d’une intersection, i.e.

IP(Xn = in,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0) ,

comme un produit de probabilites conditionnelles, les coefficientspi,j.En divisant parµ0(i0) dans (1.1), il s’ensuit que :

IP(Xn = in,Xn−1 = in−1, . . . ,X1 = i1 | X0 = i0) = pi0,i1 . . . pin−1,in .

Demonstration Le resultat repose sur la formule

IP

(

n⋂

k=0

Ak

)

= IP(A0) IP(A1 | A0) IP(A2 | A1 ∩A0) . . . IP(An | An−1 ∩ . . . ∩A0)

11

a demontrer par recurrence surn ∈ N et appliquee aux evenementsAk = Xk = ik. Il ne reste plus qu’aidentifier les termes : IP(A0) = IP(X0 = i0) vautµ(i0), IP(A1 | A0) = IP(X1 = i1 | X0 = i0) vaut pardefinitionpi0,i1 et

IP(A2 | A1 ∩A0) = IP(X2 = i2 | X1 = i1,X0 = i0)

= IP(X2 = i2 | X1 = i1)

= pi1,i2 ,

par la propriete de Markov. C’est pareil pour les autres termes.

Dans toute la suite, considerons une chaıne de Markov homogene(Xn)n∈N a valeurs dansE, de matricede transitionP et de loi initialeµ0.

Proposition 1.1.5 La loi de la chaıne de Markov homogene(Xn)n∈N est invariante par translation dans letemps. Autrement dit, pour tous entiersn,m, toute suite d’etatsi0, i1, . . . , in, in+1, . . . , in+m pour lesquels

IP(Xn = in,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0) > 0 ,

il vient :

IP(Xn+m = in+m, . . . ,Xn+1 = in+1 | Xn = in, . . . ,X0 = i0) =

IP(Xm = in+m, . . . ,X1 = in+1 | X0 = in) .

La probabilite conditionnelle d’une trajectoire donnee(i.e. les etatsin+1, . . . , in+m) reste la meme au coursdu temps, qu’elle ait lieu entre les instantsn + 1 et n + m ou entre les instants1 et m. Seul compte ledernier etat visite, en l’occurrencein.

Une generalisation de ce resultat est connue sous le nom de relation de Chapman-Kolmogorov:

IP(Xn+m = j | X0 = i) =∑

k∈E

IP(Xm = j | X0 = k) IP(Xn = k | X0 = i) .

Il faut la lire comme suit : aller dei a j enn+m pas, c’est aller dei a un certain etatk enn pas puis deka j enm pas.

Notons parµn la loi deXn. C’est une mesure de probabilite surE que l’on peut ecrire sous la formed’un vecteur ligne(µn(j))j∈E (i.e. un element deRCard(E)). L’objectif de la fin de cette section consiste aetablir une relation matricielle liantµn a la loi initialeµ0 et a la matricePPour ce faire, notons par(p(n)i,j )i,j∈E les coefficients de la matricePn, puissancene deP . L’expression

brute dep(n)i,j est

p(n)i,j =

∑

i1,...,in−1∈E

pi,i1pi1,i2 . . . pin−1,j .

Cette formule etant purement algebrique, voici une nouvelle expression du coefficientp(n)i,j lui donnantdavantage de sens :

Proposition 1.1.6 Soientn un entier eti, j des etats.(1) IP(Xn = j | X0 = i) = p

(n)i,j .

12

(2) µn+1 = µnP .(3) µn = µ0P

n, ce qui signifie que IP(Xn = j) est leje element du vecteur ligneµ0Pn.

En utilisant des vecteurs colonnes pour decrire les lois deXn etXn+1, le point(2) devient

tµn+1 =tP tµn .

On peut donc voir l’evolution en loi de la suite(Xn)n∈N comme un systeme iteratif lineaire donttP est lamatrice d’evolution : on obtient la loi deXn+1 en multipliant (matriciellement et par la gauche) la loi deXn par tP .

Demonstration Seul le casn = 2 sera traite pour donner l’intuition concernant le point(1). Le coefficient

p(2)i,j de laie ligne et de laje colonne de la matriceP 2 vaut

p(2)i,j =

∑

k∈E

pi,kpk,j .

La formule des probabilites totales et la Proposition 1.1.4 permettent d’ecrire les egalites :

IP(X2 = j,X0 = i) =∑

k∈E

IP(X2 = j,X1 = k,X0 = i)

= µ0(i)∑

k∈E

pi,kpk,j ,

desquelles on en deduit le resultat ; IP(X2 = j|X0 = i) = p(2)i,j . Par ailleurs,

µn+1(j) = IP(Xn+1 = j) =∑

i∈E

IP(Xn+1 = j,Xn = i)

=∑

i∈E

IP(Xn+1 = j | Xn = i) IP(Xn = i)

=∑

i∈E

pi,j IP(Xn = i) .

Cette egalite implique la relation matricielleµn+1 = µnP (i.e. le point(2)). Enfin, le point(3) s’obtientpar une recurrence immediate.

1.2 Classification desetats

1.2.1 Classes irreductibles

Definition 1.2.1 Soienti et j deux etats deE. On dit que l’etatj estaccessibledepuis l’etati si

∃n ∈ N, p(n)i,j = IP(Xn = j | X0 = i) > 0 .

On dit que les etatsi et j communiquentsi chacun est accessible depuis l’autre. On note alorsi ↔ j.

Proposition 1.2.2 La relation↔ est une relation d’equivalence surE.

13

Demonstration La reflexivite (i.e.i ↔ i) est immediate : pourn = 0, IP(X0 = i | X0 = i) = 1. Il en vade meme pour la symetrie (i ↔ j impliquej ↔ i). Enfin, la transitivite repose sur la relation de Chapman-Kolmogorov. Supposons quei ↔ j etj ↔ k. En particulier, les etatsj etk sont respectivement accessiblesdepuisi etj. Il existe donc des entiersm etn tels que IP(Xm = k|X0 = j) > 0 et IP(Xn = j|X0 = i) > 0.Par consequent,

IP(Xn+m = k | X0 = i) =∑

l∈E

IP(Xm = k | X0 = l) IP(Xn = l | X0 = i)

≥ IP(Xm = k | X0 = j) IP(Xn = j | X0 = i) > 0 ,

d’ou k est accessible depuis l’etati. C’est la meme chose dans l’autre sens.

L’espaceE peut donc etre partitionne en classes d’equivalence pour la relation↔, appeleesclassesirr eductibles. Nous insisterons dans les paragraphes suivants sur le faitque les etats d’une meme classeirreductible ont des proprietes equivalentes vis a vis de la chaıne (recurrence, transience et periodicite).

Lorsque l’espaceE est reduit a une seule classe (i.e. tous les etats communiquent), on dit que la chaıne estirr eductible. En general,E se partitionne en etats isoles dans lesquels on ne revientjamais une fois qu’onles a quittes, et en classes irreductibles disjointes.Pour determiner les classes irreductibles d’une chaınede Markov, il est commode de travailler sur le graphede transition plutot que sur la matrice de transitionP .

EXEMPLE : Considerons une chaıne de Markov a valeurs dansE = a, b, c, d, e et dont la matrice et legraphe de transition sont donnees par :

P =

1/2 1/2 0 0 01/4 1/2 1/4 0 00 0 0 1 00 0 1/2 0 1/20 0 0 1 0

a b c d e1/2

1/2

1/2

1/4 1 1/2

11/21/4

La chaıne comporte deux classes irreductibles :a, b etc, d, e.

1.2.2 Recurrence et transience

Definition 1.2.3 Soit i ∈ E. La v.a.Ti definie par

Ti = infn ≥ 1, Xn = i

est appeleetemps d’atteinte dei ou encoretemps de retoura i lorsque la chaıne(Xn)n∈N part dei. Parconvention, lorsque pour toutn ≥ 1, Xn 6= i, on poseTi = +∞.

Definition 1.2.4 Un etati ∈ E est ditrecurrentsi, partant dei, on y revient presque surement en tempsfini :

IP(Ti < +∞ | X0 = i) = 1 .

L’etat i est dittransientdans le cas contraire, i.e. lorsque IP(Ti = +∞ | X0 = i) > 0.

14

Autrement dit, un etat est transient si avec probabilite strictement positive, on peut le quitter pour ne jamaisy revenir. Comme cas particulier d’etat transient, on retrouve les etats pour lesquelsp(n)i,i = 0, pour toutn ≥ 1. Ce sont ceux que l’on quitte au premier pas pour ne jamais y revenir ;

IP(Ti < +∞ | X0 = i) = IP(∃n ≥ 1,Xn = i | X0 = i)

= IP

⋃

n≥1

Xn = i

∣

∣

∣

∣

∣

∣

X0 = i

≤∑

n≥1

IP(Xn = i | X0 = i)

≤∑

n≥1

p(n)i,i = 0 .

EXEMPLES :• Reprenons le cas de la chaıne de Markov a valeurs dansE = a, b, c, d, e definie dans le paragraphe

precedent. L’etatb est transient. En effet, l’etatc est accessible depuisb mais pas l’inverse. Autrement dit,en allant enc depuisb, on est sur de ne jamais y revenir :

IP(Tb = +∞ | X0 = b) = IP

⋂

n≥1

Xn 6= b

∣

∣

∣

∣

∣

∣

X0 = b

≥ IP(X1 = c | X0 = b) = 1/4 .

Ce qui donne IP(Tb < +∞ | X0 = b) < 1. Il en va de meme pour l’etata :

IP(Ta = +∞ | X0 = a) ≥ IP(X2 = c,X1 = b | X0 = a) =1

4× 1

2,

d’apres la Proposition 1.1.4. Les etatsc, d et e seront quant a eux recurrents.Etudions le cas dec. Enpartant dec, l’unique solution pour ne jamais y revenir consiste a aller end puis a transiter indefinimententred et e, ce qui est de probabilite nulle. En effet, pour toutn,

IP(Tc = +∞ | X0 = c) ≤ IP(X2n+1 = d,X2n = e, . . . ,X3 = d,X2 = e,X1 = d | X0 = c)

≤ pc,d(pd,epe,d)n ,

toujours d’apres la Proposition 1.1.4. Avecpd,epe,d = 1/2, on obtient la majoration :

IP(Tc = +∞ | X0 = c) ≤ 1

2n.

Il ne reste plus qu’a faire tendren tend vers l’infini.

• En exercice, il sera montre que la marche aleatoire surZ est recurrente dans le cas symetrique, i.e.pourp = q = 1/2, et transiente sinon.

La v.a.Ni est le nombre de passages de la chaıne(Xn)n∈N par l’etati apres l’instant0 :

Ni =∑

n≥1

11Xn=i

Partant dej, on accede eni en temps fini, puis on revient eni au moinsn fois (i.e.Ni ≥ n). Cela fait doncau moinsn+ 1 passages eni (partant dej).

15

Lemme 1.2.5 Pour tout entiern et tous etatsi et j,

IP(Ni ≥ n+ 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) .

Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, onrevient une infinite de fois dans un etat recurrent.

Proposition 1.2.6 Les conditions suivantes sont equivalentes :(1) l’etat i est recurrent : IP(Ti < +∞|X0 = i) = 1 ;(2) conditionnellement aX0 = i, la chaıne de markov(Xn)n∈N revient presque surement une infinite

de fois eni :IP(Ni = +∞ | X0 = i) = 1 ;

(3) la serie∑

p(n)i,i diverge.

Proposition 1.2.7 Les conditions suivantes sont equivalentes :(4) l’etat i est transient : IP(Ti < +∞|X0 = i) < 1 ;(5) conditionnellement aX0 = i, la v.a.Ni est presque surement finie et suit la loi geometrique de

parametreαi = IP(Ti < +∞|X0 = i) :

∀n ∈ N, IP(Ni = n | X0 = i) = αni (1− αi) ;

(6) conditionnellement aX0 = i, la v.a.Ni est integrable : IE[Ni|X0 = i] =∑

p(n)i,i < +∞.

Remarquons que l’identite entre l’esperance conditionnelle IE[Ni|X0 = i] et la serie∑

p(n)i,i est valable

quelle que soit la nature de cette derniere, en la considerant comme un element de[0;+∞]. Elle repose surle theoreme de Fubini.

IE[Ni | X0 = i] = IE

∑

n≥1

11Xn=i

∣

∣

∣

∣

∣

∣

X0 = i

=∑

n≥1

IE[11Xn=i | X0 = i]

=∑

n≥1

IP(Xn = i | X0 = i)

=∑

n≥1

p(n)i,i .

Les deux propositions ci-dessus se demontrent simultanement.

Demonstration Prouvons(1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, ilvient :

IP(Ni ≥ n+ 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i),

16

en iterant. Par ailleurs,Ni ≥ 1 = Ti < +∞. On en deduit que pour toutn, IP(Ni ≥ n|X0 = i) = 1.Il ne reste plus qu’a faire tendren vers l’infini pour obtenir(2) :

IP(Ni = +∞ | X0 = i) = IP

⋂

n≥1

Ni ≥ n

∣

∣

∣

∣

∣

∣

X0 = i

= limn→+∞

IP(Ni ≥ n | X0 = i)

= 1 .

L’implication (2) ⇒ (3) repose sur :∑

n≥1

p(n)i,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ .

Supposons(4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne :

IP(Ni ≥ n+ 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αni IP(Ni ≥ 1 | X0 = i) .

Ainsi,IP(Ni ≥ n+ 1 | X0 = i) = αn

i IP(Ti < +∞ | X0 = i) = αn+1i .

On en deduit d’une part queNi est presque surement finie

IP(Ni = +∞ | X0 = i) = limn→+∞

IP(Ni ≥ n | X0 = i) = 0

(carαi < 1) et d’autre part que sa loi est geometrique de parametreαi. Ce qui prouve(5).

IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i)− IP(Ni ≥ n+ 1 | X0 = i) = αni (1− αi) .

L’implication (5) ⇒ (6) est immediate :

IE[Ni | X0 = i] =∑

n≥1

IP(Ni ≥ n | X0 = i) =αi

1− αi< +∞ .

Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contraposees de(4) ⇒ (6) et (1) ⇒ (3). Lesboucles sont bouclees !

La recurrence et la transience sont des proprietes de classe irreductible :

Proposition 1.2.8 Si les etatsi et j communiquent alors ils sont tous deux recurrents ou tous deux tran-sients.

Ainsi, tous les etats appartenant a la meme classe irreductible qu’un etat transient (resp. recurrent), le serontegalement. La classe sera alors qualifiee de transiente (resp. recurrente).

Demonstration Si les etatsi et j communiquent, il existe deux instantsk et l tels quep(k)i,j > 0 etp(l)j,i > 0.Soitm ≥ k+ l. Partant dei, une facon d’y revenir enm pas consiste a d’abord aller enj enl pas, puis d’yrevenir enm− k − l pas pour enfin aller eni enk pas :

p(m)i,i ≥ p

(l)i,jp

(m−k−l)j,j p

(k)j,i .

17

De la meme maniere,p(m)j,j ≥ p

(k)j,i p

(m−k−l)i,i p

(l)i,j .

Les deux series∑

m p(m)i,i et

∑

m p(m)j,j sont donc de meme nature. Les Propositions 1.2.6 et 1.2.7 permettent

alors de conclure.

Proposition 1.2.9 La probabilite de sortir d’une classe irreductible recurrente est nulle. Plus precisement,si i est un etat recurrent etC(i) sa classe alors

∀j /∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = p(n)i,j = 0 .

Demonstration Soit j /∈ C(i) et supposons par l’absurde qu’il existe un entiern tel quep(n)i,j > 0. Il

existe alors un entierm tel quep(m)j,i > 0. Dans le cas contraire, i.e.∀m p

(m)j,i = 0, l’etat i ne pourrait etre

recurrent puisqu’il existerait une probabilite non nulle de quitteri et de ne jamais y revenir. Des lors, lesetatsi et j communiquent, ce qui contreditj /∈ C(i).

Proposition 1.2.10 Toute chaıne de Markov homogene sur un espace d’etats finia au moins un etatrecurrent. En particulier, toute chaıne irreductible sur un espace d’etats fini est recurrente.

Demonstration Montrons que, etant donne un etati transient, le nombre moyen de passage par l’etati enpartant d’un etatj, i.e. IE[Ni|X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition1.2.7, le fait que IE[Z] =

∑

n≥1 IP(Z ≥ n) pour une v.a. positiveZ et le calcul suivant :

IE[Ni | X0 = j] =∑

n∈N

IP(Ni ≥ n+ 1 | X0 = j)

=∑

n∈N

IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i)

= IP(Ti < +∞ | X0 = j)∑

n∈N

IP(Ni ≥ n | X0 = i)

= IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i])

< +∞ .

Donc, presque surement, chaque etat deE est visite un nombre fini de fois. C’est impossible :E etant fini,notre chaıne frequente au moins l’un des etats deE une infinite de fois.

1.2.3 Periodicit e

Definition 1.2.11 La perioded’un etati est l’entierd(i) defini par

d(i) = PGCDn ≥ 1, p(n)i,i > 0 .

Lorsqued(i) = 1, l’etat i est qualifie deaperiodique.

18

Un etat en lequel on peut rester avec probabilite non nulle, i.e.pi,i > 0, est automatiquement aperiodique.

Voici deux exemples.A gauche, l’etata est de periode2 (idem pourb). En effet, chaque chemin deprobabilite non nulle partant dea et y revenant comprend un nombre pair de pas.A droite, tous les etatssont aperiodiques.Etudions en particulier le cas de l’etat1. Depuis cet etat, il est possible d’y revenir en3pas (en faisant1 → 2 → 3 → 1) :

p(3)1,1 =

∑

i,j∈E

p1,i pi,j pj,1 ≥ p1,2p2,3p3,1 > 0 .

Il est egalement possible d’y revenir en5 pas :p(5)1,1 > 0 (en faisant1 → 2 → 3 → 4 → 3 → 1). Puisque3et5 sont premiers entre eux, l’etat1 est aperiodique.

a b

1

1

3 4

1

2

1/21/2

1/3

1/3

2/3

2/3

1

Simuler une chaıne de Markov est tres facile. Voici le codeR de la fonctioniteration qui prend en entreeun etatx ∈ E et renvoie l’etat visite juste apres conformement a ladynamique decrite par le graphe detransition ci-dessus a droite.

iteration <– function(X) U <– runif(1,min=0,max=1)if (X==a) if (U < 1/3) Y=b else Y=cif (X==b) if (U < 2/3) Y=b else Y=cif (X==c) if (U < 1/2) Y=a else Y=dif (X==d) Y=cY

La periodicite est une propriete de classe irreductible :

Proposition 1.2.12 Si les etatsi et j communiquent alors ils ont la meme periode.

Tous les etats d’une meme classe irreductible ont donc lameme periode. Si celle-ci vaut1, la classe estalors qualifiee de aperiodique.

Demonstration Soienti et j deux etats qui communiquent. Il suffit de montrer qued(j) divise d(i). Eneffet, par symetrie, on aura egalementd(i) divised(j), et doncd(j) = d(i). Commei et j communiquent,

il existe deux entiersl et m tels quep(l)i,j > 0 et p(m)j,i > 0. Considerons maintenant un entiern tel que

p(n)i,i > 0. Les inegalites

p(m+n+l)j,j ≥ p

(m)j,i p

(n)i,i p

(l)i,j > 0

19

etp(m+l)j,j ≥ p

(m)j,i p

(l)i,j > 0

impliquent respectivement qued(j) divise les entiersm+ n+ l etm+ l : il divise donc la difference, i.e.

n. Autrement dit,d(j) divise tous les entiersn tels quep(n)i,i > 0. Il divise donc leur PGCDd(i).

1.3 Theoremes limites

Etant donne une chaıne de Markov homogene(Xn)n∈N, l’objectif de cette derniere partie est d’approximerla loi de la v.a.Xn lorsquen tend vers l’infini.

1.3.1 Les mesures stationnaires

Definition 1.3.1 Unemesure stationnaire(ou invariante) d’une chaıne de Markov de matrice de transitionP est une loi de probabilite surE, disonsπ = (π(j))j∈E , verifiantπ = πP .

Soitπ une mesure stationnaire pour la chaıne de Markov(Xn)n∈N de matrice de transitionP . Rappelonsque le vecteur ligne(µn(j))j∈E designe la loi de la v.a.Xn. La formuleµn+1 = µnP (Proposition 1.1.6)implique que si la loi deXn estπ (i.e.µn = π) alors il en est de meme pour la loi deXn+1 (i.e.µn+1 = π).Par consequent, si la loi initialeµ0 (celle deX0) estπ alors toutes les v.a.Xn seront distribuees selonπ.C’est ce qui justifie le qualificatif de stationnaire. Cela signifie que la probabilite de se trouver dans un etatdonne reste constante au cours du temps, bien que la chaınesaute constamment d’etat en etat. Une mesurestationnaire doit donc etre comprise comme un equilibre dynamique en loi.

EXEMPLE :Considerons une chaıne de Markov(Xn)n∈N a espace d’etatsE = a, b, c dont la matrice et le graphe detransition sont donnes par :

P =

0 1 00 1/2 1/21/2 0 1/2

a

b

c

1

1/2

1/21/2

1/2

Resolvons le systeme lineaireπ = πP ou les coordonnees du vecteurπ sont notees(πa, πb, πc). On obtientune droite vectorielle de solutions, engendree par le vecteur(1/2, 1, 1). Par ailleurs, la mesure stationnaireπ est une mesure de probabilite. Elle doit donc satisfaire laconditionπa + πb + πc = 1. Ceci determineπde maniere unique ;π = (1/5, 2/5, 2/5).

Attention, contrairement a l’exemple ci-dessus, une chaˆıne de Markov peut ne pas admettre de mesurestationnaire, ou meme en admettre plusieurs...

20

Considerons enfin une chaıne de Markov(Xn)n∈N a espace d’etatsE fini et de matrice de transitionP .Supposons de plus que la suite(Xn)n∈N converge en loi vers une mesure de probabilite surE, noteeν :

pour tout j ∈ E, limn→+∞

µn(j) = ν(j) .

PuisqueE est fini, l’application lineairetP est continue donctP tµn converge (coordonnee par coor-donnee) verstP tν, lorsquen tend vers l’infini. D’autre part,tP tµn = tµn+1 converge egalement (coor-donnee par coordonnee) vers la loitν. Celle-ci verifie donctP tν = tν, ou encoreν = νP . En conclusion,si la suite(Xn)n∈N converge en loi vers une mesure de probabilite alors cette loi limite est necessairementune mesure stationnaire pour la chaıne de Markov correspondante.

1.3.2 Lorsque l’espace d’etatsE est fini

Considerons une chaıne de Markov homogene(Xn)n∈N a espace d’etats finiE et de matrice de transitionP . Comme la somme des coefficients sur chaque ligne deP vaut1, tout vecteur a coordonnees constantesest vecteur propre deP associe a la valeur propre1. Une matrice carree et sa transposee ayant les memesvaleurs propres,1 est donc egalement valeur propre detP . NotonsE1 l’espace propre associe a la valeurpropre1 pour tP :

E1 = v ∈ RCard(E), tPv = v .

On vient de montrer quedimE1 ≥ 1. Des lors, tout vecteur (colonne)tπ appartenant aE1 et dont lasomme des coordonnees vaut1, produit un vecteur ligneπ, loi de probabilite surE et verifiantπ = πP .C’est donc une mesure stationnaire pour la chaıne de Markovde matrice de transitionP . En conclusion,l’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’etatsE est fini.Lorsque la chaıne est irreductible (dans ce cas, tous les ´etats sont recurrents), l’espace propreE1 est dedimension1, ce qui implique l’unicite de la mesure stationnaire.

Proposition 1.3.2 Considerons une chaıne de Markov homogene a espace d’etats finiE et de matrice detransitionP . Elle admet au moins une mesure stationnaire. Si la chaıne est irreductible alors il y a unicitede la mesure stationnaire (notons-laπ). Dans ce cas, elle charge tous les etats

π(i) > 0, pour touti ∈ E

et le temps moyen de retour eni est egal a l’inverse deπ(i) :

IE[T (i) | X0 = i] =1

π(i), pour touti ∈ E.

Cependant, l’existence et l’unicite de la mesure stationnaireπ n’assure pas la convergence en loi de la suite(Xn)n∈N versπ. Cette convergence repose en fait sur l’aperiodicite de la chaıne.Le resultat suivant est non trivial. Il ne sera pas demontre.

Theoreme 1.3.3Considerons une chaıne de Markov homogene(Xn)n∈N a espace d’etats finiE et dematrice de transitionP . Supposons de plus que la chaıne est irreductible et aperiodique. Notonsπ samesure stationnaire.

(1) La matricePn converge quandn tend vers l’infini vers une matrice dont toutes les lignes sontegales aπ.

21

(2) Quelle que soit la loi deX0, la suite(Xn)n∈N convergence en loi quandn tend vers l’infini versπ : pour tout etati, IP(Xn = i) → π(i).

Les points(1) et (2) s’interpretent par de l’independance asymptotique : en deux instants eloignes l’un del’autre, la chaıne se comporte de maniere presque independante. En effet, les quantites IP(Xn = j|X0 = i)et IP(Xn = j) tendent toutes les deux vers la meme limiteπ(j). Elles sont donc proches asymptotiquement,ce qui donne

IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) .

En utilisant l’invariance par translation dans le temps, larelation ci-dessus se generalise en

IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) .

Considerons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donnee par

P =

(

p 1− p1− p p

)

.

La chaıne de Markov correspondante est irreductible si etseulement sip < 1. Dans ce cas, l’uniquemesure stationnaire est le vecteur ligneπ = (1/2, 1/2). Si de plusp > 0, alors la chaıne est aperiodique.Le theoreme limite s’applique :

∀i ∈ 0, 1, limn→+∞

IP(Xn = i) =1

2.

Autrement dit, quelque soit le bit initialX0 et quelle que soit la valeur de0 < p < 1, au bout d’un certaintemps, le bit sortant suit une loi uniforme sur0, 1.Lorquep = 0, la matrice de transition devient

P =

(

0 11 0

)

.

La chaıne est alors2−periodique. PuisqueP 2 est egale a la matrice identite, il en va de meme pour toutesles puissances paires deP , tandis que les puissances impaires sont egales aP . Par consequent, le coefficientp(n)0,0 prend alternativement les valeurs0 et1 : la suite(p(n)0,0 )n∈N ne peut converger.

Terminons par une comparaison. La Theoreme 1.3.3 stipuleque, sous les bonnes hypotheses,p(n)i,j tend

vers une limite strictement positive (Proposition 1.3.2).Ceci concerne le cas ouj est recurrent. Lorsquej est transient,p(n)i,j tend vers0. En effet, l’esperance conditionnelle IE[Nj |X0 = i] est finie (voir lademonstration de la Proposition 1.2.10). Par consequent, la serie

∑

n≥1

p(n)i,j =

∑

n≥1

IP(Xn = j | X0 = i)

=∑

n≥1

IE[11Xn=j | X0 = i]

= IE[Nj | X0 = i]

est convergente. Son terme general, i.e.p(n)i,j , tend donc vers0 quandn tend vers l’infini.

22

1.3.3 Lorsque l’espace d’etatsE est infini

L’etude theorique de la convergence en loi d’une chaıne de Markov devient plus delicate lorsque l’espaced’etatsE est infini.A plus forte raison que dans la partie precedente, les resultats qui suivent ne seront pasdemontres.

Considerons une chaıne de Markov homogene(Xn)n∈N irreductible et recurrente, a espace d’etats infiniEet de matrice de transitionP . On peut alors montrer qu’il existe un vecteur colonnev ∈ R

E, a coordonneesstrictement positives, verifianttPv = v. Si la somme des coordonnees dev est finie

M :=∑

j∈E

v(j) < +∞ , (1.2)

alors il suffit de renormaliser le vecteurv par sa masse totaleM pour obtenir une mesure stationnaire (quisera unique). Cependant la condition (1.2) n’est pas toujours verifiee. Une hypothese supplementaire surla chaıne doit etre faite pour assurer l’existence (et l’unicite) d’une mesure stationnaire.

Definition 1.3.4 Considerons une chaıne de Markov homogene irreductible et recurrente a espace d’etatsinfini E. Soit i ∈ E. Le temps de retourT (i) a i est fini presque surement (cari est recurrent). Si, de plus,

IE[T (i)|X0 = i] < +∞ ,

l’etat i est qualifie derecurrent positif. Dans le cas contraire,i est qualifie derecurrent nul.

Etre recurrent nul signifie que l’on revient presque surement en temps fini en cet etat mais que le temps deretour est plutot long. Si long que son esperance est infinie.La marche aleatoire simple et symetrique (i.e. avecp = 1/2) surZ est un exemple de chaıne de Markovpour laquelle tous les etats sont recurrents nuls.

Le theoreme suivant etablit que la recurrence positiveest une propriete de classe (meme chose pour larecurrence nulle) : c’est une condition necessaire et suffisante pour l’existence d’une mesure stationnaire.Si c’est le cas, il y a unicite de la mesure stationnaire.

Theoreme 1.3.5Soit (Xn)n∈N une chaıne de Markov homogene irreductible, a espace d’etats infiniE.Sont equivalentes :

(i) tous les etats sont recurrents positifs ;(ii) il existe au moins un etat recurrent positif ;(iii) la chaıne(Xn)n∈N admet (au moins) une mesure stationnaire.

Lorsque ces conditions sont verifiees, il y a unicite de lamesure statonnaire. Notons-laπ. Elle est definiepar :

∀i ∈ E,1

π(i)= IE[T (i) | X0 = i] .

Si de plus, la chaıne(Xn)n∈N est aperiodique alors :(1) la matricePn converge quandn tend vers l’infini vers une matrice dont toutes les lignes sont egales

aπ ;(2) quelle que soit la loi deX0, la suite(Xn)n∈N convergence en loi quandn tend vers l’infini versπ :

pour tout etati, IP(Xn = i) → π(i).

23

1.4 Exercices

Exercice1 : Transmission d’un bit informatique

Un bit informatique valant0 ou1 est transmis d’un poste A vers un poste B en passant parN intermediaires.Chacun de ces intermediaires transmet correctement le bitavec probabilitep et l’inverse avec probabilite1− p, independamment les uns des autres. Le bit (aleatoire) d’entree, disonsX0, est suppose independentdes intermediaires. Pourn = 1, . . . , N , notonsXn le bit sortant dune intermediaire.

1. Il a ete verifie en cours que la suite de v.a.(Xn)0≤n≤N est une chaıne de Markov homogene.Rappeler sa matrice et son graphe de transition.

2. Calculer la probabilite que le bit arrive correct en B. Que vaut cette probabilite lorsqueN tend versl’infini ?

Commentaires : le theoreme limite 1.3.3 permet de retrouver rapidement ces resultats.

Exercice2 : Jeu de l’oie

Soit le petit jeu de l’oie suivant. Les cases sont0, 1, 2, 3 et forment un cycle. Sur la case3, il est ecrit “auprochain tour, reculez de deux cases”. On part de la case0 et on gagne des que l’on y retourne.A chaqueetape, on lance une piece symetrique : on avance d’une case si c’est face et de deux si c’est pile. On noteXn la suite des etats (le joueur continue de jouer apres avoirgagne).

1. Montrer que la suite(Xn)n∈N est une chaıne de Markov homogene issue de0 et donner sa matricede transition.

2. Etudier la convergence en loi de la chaıne.

3. En deduire le nombre moyen de coups joues pour gagner.

Exercice3 : Gestion de stock

Dans un magasin, on souhaite suivre l’evolution au cours dutemps du stock d’un article donne, i.e. lenombre d’exemplaires de cet article en reserve dans le magasin. NotonsXn ce nombre au matin dune jour.Ce jour-la,Dn+1 exemplaires de cet article sont demandes. Le stock evoluecomme suit. SiXn−Dn+1 ≥ salors on ne reapprovisionne pas. Dans le cas contraire, on reapprovisionne a hauteur deS. Les entierss etS sont les niveaux minimal et maximal du stock. La suite de v.a.(Dn)n≥1 est i.i.d. et le niveau initial dustockX0 peut etre suppose independant des(Dn)n≥1.

1. Montrer que la suite(Xn)n∈N est une chaıne de Markov homogene et donner son graphe de tran-sition (du moins, les aretes issues d’un etats ≤ x ≤ S).

2. Supposons desormais ques = 1, S = 2 et que la loi commune des(Dn)n≥1 est uniforme sur0, 1, 2. Donner la matrice et le graphe de transition. Quelle est la probabilite d’etre en rupture de stock along terme ?

Exercice4 (Examen 2009):

Considerons la chaıne de Markov(Xn)n∈N a valeurs dansE = a, b, c, d et dont la matrice de transitionest donnee par :

P =

1/2 1/4 1/4 01/2 1/2 0 00 0 0 10 1/2 1/2 0

.

24

1. Representer le graphe de transition de la chaıne(Xn)n∈N et montrer qu’elle est irreductible.

2. Calculer le coefficientp(n)d,d pourn = 1, 2, 3, 4.

3. La serie∑

p(n)d,d est-elle convergente ou divergente ?

4. Etudier la convergence en loi de la chaıne. En deduire le temps moyen de retour en l’etatd.

Exercice5 : Existence de plusieurs mesures stationnaires

Considerons la chaıne de Markov(Xn)0≤n≤N a valeurs dansE = a, b, c, d et dont la matrice de transi-tion est donnee par :

P =

1/2 1/2 0 01/2 1/2 0 01/4 1/4 1/4 1/40 0 0 1

.

1. Determiner les classes irreductibles. Lesquelles sont transientes, recurrentes ?

2. Montrer que la matricePn converge (coefficient par coefficient) vers une matriceP∞ que l’ondeterminera.

3. En deduire l’existence de plusieurs mesures stationnaires (associees aP ).

Exercice6 : La marche aleatoire simple

Soient(Yn)n≥1 une suite de v.a. i.i.d., chacune valant1 avec probabilitep et−1 avec probabilite1−p. SoitY0 ∈ Z une v.a. independante desYn, representant le point de depart sur l’axeZ de la chaıne. On definit lamarche aleatoire simplepar

Xn+1 = Xn + Yn+1

= Y0 + Y1 + . . .+ Yn + Yn+1 ,

pour toutn ∈ N. Il a ete verifie que le processus stochastique(Xn)n≥1 est une chaıne de Markov homogenesurE = Z.

1. Montrer que, pour toutn, p(2n+1)0,0 = 0 etp(2n)0,0 = Cn

2npnqn. Puis, donner un equivalent dep(2n)0,0 en

utilisant la formule de Stirling :

∃A > 0, n! ∼ A√n(n

e

)n

.

2. Conclure quant a la recurrence ou la transience de la chaıne en fonction du parametrep. Interpreter.

25

Chapitre 2

Processus stochastiques markoviens entemps continu

Un modele d’evolution dynamiqueen temps continudans lequel on fait dependre l’evolution futurede l’etat present et du hasard est un processus de Markov. On en rencontre dans de nombreux domainesd’applications, comme par exemple l’etude des files d’attente.

2.1 Processus de Poisson

2.1.1 Trois proprietes de la loi exponentielle

La loi exponentielle est l’ingredient de base pour modeliser des temps d’attente d’evenements “impre-visibles”. Cette partie contient quelques-unes de ses proprietes elementaires.

SoitX une v.a. suivant la loi exponentielle de parametreλ, noteeE(λ). Sa densite est :

fX(x) = λe−λx11x≥0 .

Elle est sans atome, i.e.∀x, IP(X = x) = 0. Sa fonction de repartition vaut

FX(x) = IP(X ≤ x) = (1 − e−λx)11x≥0 , (2.1)

son esperance et sa variance valent respectivement1/λ et1/λ2. De l’expression (2.1), on deduit qu’a partird’une v.a.X de loi exponentielle de parametreλ, on obtient une v.a.Y de loi exponentielle de parametre1 en posant simplementY = λX.

En pratique, une v.a. de loi exponentielle represente une duree, typiquement le temps d’attente d’unevenement ou une duree de vie. La propriete importantedes lois exponentielles est d’etre “sans memoire”.Dans le cas particulier d’un composant electronique dont la duree de vie serait modelisee par une loi expo-nentielle, cela signifie que la probabilite pour que le composant vive un tempst est la meme, qu’il soit neufou qu’il ait deja vecu un tempss. Cette absence de memoire est caracteristique des lois exponentielles.

Proposition 2.1.1 Une v.a.X a valeurs dansR+ et de fonction de repartition continue suit une loi expo-nentielle si et seulement si pour tous reelss, t ≥ 0,

IP(X > s+ t | X > s) = IP(X > t) . (2.2)

26

Demonstration Si X suit la loiE(λ) alors, d’apres (2.1),

IP(X > s+ t | X > s) =IP(X > s+ t)

IP(X > s)

=e−λ(s+t)

e−λs

= e−λt = IP(X > t) .

Reciproquement, en notantg(t) = 1− FX(t), l’equation (2.2) s’ecritg(s+ t) = g(s)g(t), pour tous reelss, t ≥ 0. Un petit travail permet de montrer que les solutions continues de cette equation sont de la formeg(t) = eat, i.e.FX(t) = 1 − eat. Enfin, le fait queFX(t) tende vers1 quandt tend vers l’infini force lereela a etre strictement negatif. La v.a.X suit donc la loi exponentielle de parametre−a.

Proposition 2.1.2 Consideronsn v.a. independantesX1, . . . ,Xn de lois respectivesE(λ1), . . . , E(λn).PosonsY = minX1, . . . ,Xn. Alors Y suit la loi exponentielle de parametreλ1 + . . .+ λn et pour toutindicei = 1, . . . , n,

IP(Y = Xi) =λi

λ1 + . . .+ λn.

Demonstration Pour identifier la loi deY , le plus simple est de calculer sa fonction de repartition :

∀t ≥ 0, IP(Y > t) = IP(∀i = 1, . . . , n, Xi > t)

=n∏

i=1

IP(Xi > t)

= e−(λ1+...+λn)t .

On conclut en utilisant le fait qu’une fonction de repartition caracterise la loi.L’evenementY = Xi equivaut aXi ≤ Xj,∀j. De plus, l’independance entre les v.a.X1, . . . ,Xn nouspermet d’ecrire :

IP(Y = Xi) =

∫

(x1,...,xn),xi≤xj∀j

∏

1≤j≤n

λje−λjxj11xj≥0

dx1 . . . dxn

=

∫ ∞

0

∏

j 6=i

(∫ ∞

xi

λje−λjxjdxj

)

λie−λixidxi

=

∫ ∞

0λie

−(λ1+...+λn)xidxi

=λi

λ1 + . . . + λn.

27

Proposition 2.1.3 La somme den v.a. independantes de loi exponentielle de parametreλ suit une loi,appalee loi Gamma de parametresn etλ et noteeΓ(n, λ), dont la densite est donnee par :

f(x) =λnxn−1

(n− 1)!e−λx11x≥0 .

2.1.2 Presentation du processus de Poisson

Definition 2.1.4 Soit (Xn)n≥1 une suite de v.a. independantes et de meme loi, exponentielle de parametreλ. PosonsS0 = 0 et pour tout entiern ≥ 1, Sn = X1 + . . . +Xn. Pour tout reelt ≥ 0, definissons la v.a.Nt, a valeurs entieres, par :

Nt = n ⇔ Sn ≤ t < Sn+1 .

Le processus stochastiqueNtt≥0 est appeleprocessus de Poisson d’intensiteλ.

Le processus de Poisson est un modele de comptage d’evenements aleatoires isoles dans le temps, commedes “tops” d’horloge separes par des durees aleatoires. Dans ce modele :

• Xn est la duree separant le(n− 1)e top dune ;• Sn est la date a laquelle survient lene top. D’apres la Proposition 2.1.3, la v.a.Sn suit la loi Gamma

de parametresn etλ ;• Nt est le nombre de tops comptes entre l’instant0 et l’instantt :

Nt =∑

n≥1

11Sn≤t .

0

1

2

3

4

5

Nt

t

X1 X2 X4 X5 X6

S1 S2S3 S4 S5

FIGURE 2.1 – Ci-dessus est representee la trajectoire simulee d’un processus de Poisson d’intensiteλ = 1/2 sur l’intervalle [0; 10]. On constate que d’assez longues periodes sans aucun top alternentavec des rafales de tops rapproches : il n’y a pas d’autre explication a la fameuse “loi des series” chereaux journalistes. Si des evenements (comme par exemple des accidents d’avion) arrivent rarement, demaniere imprevisible et independante, on ne peut pas imaginer qu’ils surviennent a des intervalles detemps reguliers. Il faut plutot s’attendre a les voir survenir parfois de maniere rapprochee, par “series”.

Soit0 ≤ s ≤ t des reels. La differenceNt −Ns est appeleeaccroissement. Elle est egale au nombre detops entre les instantss et t.

28

Theoreme 2.1.5Considerons un processus de PoissonNtt≥0 d’intensiteλ. Il verifie les proprietes sui-vantes :

(P1) Ntt≥0 est unprocessus de comptage; il est a valeurs entieres, verifieN0 = 0 p.s. et pour tousreels0 ≤ s ≤ t, Ns ≤ Nt.

(P2) Ntt≥0 est unprocessusa accroissements independants; pour tout entierk et pour toute suited’instants0 < t1 < t2 < . . . < tk, les accroissementsNt2 − Nt1 , . . . , Ntk − Ntk−1

sont des v.a.independantes.

(P3) Les accroissements du processusNtt≥0 sont poissonniens ; pour tous reels0 ≤ s < t, la v.a.Nt −Ns suit la loi de Poisson de parametreλ(t− s) ;

(P4) Ntt≥0 est un processushomogeneou a accroissements stationnaires; pour tous instants0 ≤t1 < t2 et s ≥ 0, la v.a.Nt2+s −Nt1+s suit la meme loi queNt2 −Nt1 . ;

(P5) Ntt≥0 est unprocessus d’evenements rares; IP(Nt+h −Nt ≥ 2) = o(h).

Nous ne demontrerons pas ces resultats et nous nous contenterons de quelques commentaires.Par definition, un processus de Poisson est une fonction du hasard et du temps, a valeurs entieres, qui estcroissante dans le temps. De plus,

IP(N0 = 0) = 1− IP(N0 6= 0) ≥ 1− IP(X1 = 0) = 1 .

C’est donc un processus de comptage.La demonstration de la propriete (P2) est liee a l’absence de memoire de la loi exponentielle (Proposi-tion 2.1.1). Elle signifie que les nombres de tops comptes dans des intervalles de temps disjoints sontindependants. En particulier, les nombres de tops dans lesintervalles[0; t] et ]t; t+ s] sont independants.C’est la propriete (P3) qui est a l’origine du nom du processus de Poisson. La probabilite pour qu’il y aitn tops entre les instantss et t (avecs < t) est donnee par :

IP(Nt −Ns = n) =(λ(t− s))n

n!e−λ(t−s) .

En particulier,IE[Nt −Ns] = λ(t− s) .

Le nombre moyen de tops comptes dans un intervalle de temps est donc proportionnel a la longueur de cetintervalle et le coefficient de proportionnalite n’est autre queλ. Par consequent, le nombre moyen de topspar unite de temps est egal aλ, fort justement appeleintensite du processus. La duree moyenne entre deuxtops etant de1/λ (ce sont des exponentielles de parametreλ), il est normal de compterλ tops par unite detemps en moyenne.Avec la conditionN0 = 0 p.s., le nombre de tops jusqu’a l’instantt est distribue selon la loi de Poisson deparametreλt :

Nt ∼ P(λt) .

La propriete (P4) est une consequence immediate de (P3) : les v.a.Nt2+s − Nt1+s etNt2 − Nt1 suiventtoutes les deux la loi de Poisson de parametreλ((t2 + s)− (t1 + s)) = λ(t2 − t1).La propriete (P5) signifie que la probabilite de compter plus d’un top dans unpetit intervalle de temps estnegligeable. Elle decoule egalement de la propriete (P3). Rappelons tout d’abord quef(h) = o(h) signifieque le rapportf(h)/h tend vers0 quandh tend vers0. La notationo(h) a un caractere infinitesimal (et enaucun cas global). Puisque

IP(Nt+h −Nt = 0) = e−λh = 1− λh+ o(h)

29

etIP(Nt+h −Nt = 1) = (λh)e−λh = λh+ o(h) ,

on en deduit que

IP(Nt+h −Nt ≥ 2) = 1− IP(Nt+h −Nt = 0)− IP(Nt+h −Nt = 1) = o(h) .

Reciproquement, un processus stochastique verifiant lesproprietes (P1), (P2), (P4) et (P5) est un processusde Poisson. Il verifie donc egalement la propriete (P3).

Les instants de saut d’un processus de Poisson verifient la propriete interessante suivante : lorsqu’on saitqu’exactementn sauts ont eu lieu dans l’intervalle[0; t], la distribution de ces sauts dans[0; t] est celle den points tires uniformement au hasard dans cet intervalle.

Proposition 2.1.6 Conditionnellement enNt = n, la loi du vecteur(S1, . . . , Sn) desn premiers instantsde saut d’un processus de Poisson est la meme que celle du reordonnement par ordre croissant d’une suiteden v.a. independantes et de meme loi uniforme sur[0; t]. Autrement dit, si on tire des v.a.U1, . . . , Un

independantes de loi uniforme sur[0; t] et si on les reordonne en posant

U(1) = min1≤i≤n

Ui < U(2) < . . . < U(n) = max1≤i≤n

Ui ,

alors la loi conditionnelle de(S1, . . . , Sn) sachantNt = n est la meme que celle de(U(1), . . . , U(n)).

Demonstration Nous demontrons uniquement le casn = 1. Etant donnes des reels0 ≤ u ≤ t, on peutecrire :

IP(S1 ≤ u,Nt = 1) = IP(Nu = 1, Nt = 1)

= IP(Nu = 1, Nt −Nu = 0)

= IP(Nu = 1) IP(Nt −Nu = 0) ,

du fait de l’independance des accroissements (P2). Par la propriete (P3), les v.a.Nu etNt − Nu suiventdes lois de Poisson de parametres respectifsλu etλ(t− u) (ouλ est l’intensite du processus). Ainsi,

IP(S1 ≤ u,Nt = 1) = IP(Nu = 1) IP(Nt −Nu = 0)

= λue−λu × e−λ(t−u)

= λue−λt .

Finalement,IP(S1 ≤ u | Nt = 1) =

u

t.

Autrement dit, la fonction de repartition de la v.a.S1 conditionnellement aNt = 1 est celle d’une loiuniforme sur l’intervalle[0; t].

Terminons en donnant deux resultats sur la superposition de processus de Poisson independants et surl’operation inverse de decomposition.

Proposition 2.1.7

30

1. SoientN1t t≥0 et N2

t t≥0 deux processus de Poisson independants (i.e. tout evenement lie al’un est independant de tout evenement lie a l’autre),d’intensites respectivesλ1 et λ2. On appellesuperpositionde ces deux processus le processus somme :

∀t ≥ 0, Nt = N1t +N2

t .

Alors Ntt≥0 est encore un processus de Poisson d’intensiteλ1 + λ2.2. Inversement, siNtt≥0 est un processus de Poisson d’intensiteλ, on associe aux instants de saut

(Sn)n∈N de ce processus une suite de v.a.(Yn)n∈N independantes, independantes du processusNtt≥0, et de meme loi de Bernoulli :

∀n ∈ N, IP(Yn = 1) = p et IP(Yn = 0) = 1− p .

SoitN ′tt≥0 le processus dont les instants de saut sont les(Sn)n∈N tels queYn = 1. Alors,N ′

tt≥0

est encore un processus de Poisson d’intensiteλ′ = pλ.

Voici deux exemples d’application :– Sur une voie a double sens, si les flux de vehicules venant de droite et de gauche sont deux processus

de Poisson d’intensite respectivesλ1 et λ2, pouvant etre consideres comme independants, alors leflux global de vehicules est encore un processus de Poisson d’intensiteλ1 + λ2.

– Si le flux global de vehicules est un processus de Poisson d’intensiteλ et que5% des vehicules sontrouges alors le flux des vehicules rouges est encore un processus de Poisson d’intensiteλ′ = 0, 05λ.

2.1.3 Simulation et modelisation

De nombreuses situations sont modelisees par les processus de Poisson : arrivees de clients dans une filed’attente, appels a un central telephonique, desintegration de particules radioactives, pannes de composantselectroniques, passages de voitures sur une route a grande circulation non embouteillee. . . Pour se faire uneidee concrete de ce qu’est un processus de Poisson, rien nevaut la simulation. On peut bien sur programmeren suivant la definition, ce qui implique des tirages successifs de variables exponentielles. On peut aussiappliquer la propriete (P3) et la Proposition 2.1.6 : pour simuler des evenements poissoniens sur l’intervallede temps[0; t], on commence par choisir la valeurn prise parNt suivant la loiP(λt), puis on simule lesdates d’arrivees de cesn evenements en les tirant au hasard suivant la loi uniformesur [0; t]. En R, celadonne :

n = rpois(1,λt)v = runif(n,0,t)w = sort(v)

Le vecteur w contient les instants de sautsS1, . . . , Sn du processus de Poisson d’intensiteλt sur l’intervalle[0; t].Il est important de comprendre quelles hypotheses de modelisation l’utilisation d’un processus de Poissonsous-entend. Dire que des evenements surviennent selon un processus de Poisson, c’est supposer qu’achaque instant, l’arrivee du prochain evenement est parfaitement imprevisible, i.e. independante de ce quia precede. On suppose de plus que l’intensite (nombre moyen d’evenements par unite de temps) resteconstante. Supposons que l’on souhaite modeliser des arrivees de clients dans un magasin. Les questionssont les suivantes.

– Les clients arrivent-ils un par un (evenements rares) ?

31

– Le temps qui s’est ecoule depuis l’arrivee du dernier client est-il sans incidence sur les chances d’envoir arriver un bientot (accroissements independants) ?

– Dans une seconde fixee, les chances de voir arriver un client sont-elles constantes (homogeneite entemps) ?

Meme si les reponses a ces questions sont generalementplutot negatives, il est raisonnable de commencerpar modeliser cette situation par un processus de Poisson.Lorsque cette premiere modelisation conduita des resultats aberrants, on a recours a des modeles plus sophistiques qui sont des generalisations duprocessus de Poisson. Par exemple, lesprocessus de renouvellementsont des processus de comptaged’evenements rares separes par des durees independantes, mais de loi autre qu’exponentielle. Lesprocessusde Poisson non homogenessont des processus de comptage, a accroissements independants, d’evenementsrares, mais la loi deNt+h − Nt depend det. L’interet desprocessus de Poisson composesreside dans lapossibilite d’ajouter, a chaque top, une v.a. entiere plutot que d’augmenter systematiquement de1. Cecipermet en particulier de tenir compte des arrivees groupees dans les modeles d’attente.Signalons enfin que le processus de Poisson peut etre etendu a des dimensions superieures a1. Les topssont alors interpretes comme des points de l’espace, pouvant par exemple modelises les individus d’uneespece protegee dans un parc naturel. Dans la fenetre[0; 20]2, le nombre de points d’un processus de Pois-son (bi-dimensionnel) d’intensiteλ suit la loi de Poisson de parametreλ × 202. Puis, en ces points, nouscentrons des disques dont les rayons sont des v.a. i.i.d. L’union de ces disques forme un sous-ensemblealeatoireΓ, appeleModele Booleen; voir la Figure 2.2. Le Modele Booleen permet de modeliser de nom-breux phenomenes physiques ou biologiques : la porosited’un milieu ou d’un materiau, la propagationd’une maladie sur un territoire, etc.

FIGURE 2.2 – Trois simulations du Modele Booleen. Dans les trois cas, les rayons sont distribues selon laloi exponentielle de parametre1. L’intensite du processus de Poisson sous-jacent vaut, degauche a droite,λ = 1, 4, 7. Il n’est donc pas etonnant que l’ensembleΓ (en noir) remplisse de plus en plus la fenetre[0; 20]2. Dans la derniere simulation, est-il possible de traverser la fenetre[0; 20]2, disons de gauche adroite, tout en restant dansΓ ?

Voici le code enR produisant ces simulations :

n = rpois(1,λL2)X = runif(n,0,L)Y = runif(n,0,L)R = rexp(n,1)plot(0 :L, 0 :L, type=”n”, xlab=””, ylab=””)

32

for (i in 1 :n) points(X[i],Y[i],cex=R[i],pch=16)

2.2 Processus markoviens de sauts

Les Processus markoviens de sauts sont la generalisationdes chaınes de Markov au temps continu.Le passage du temps discret au temps continu se fait en remplacant le pas de temps fixe d’une chaıne deMarkov par des intervalles de temps aleatoires independants de loi exponentielle. Le processus de Poissonsera notre premier exemple de processus markoviens de sauts. Un second sera lie aux files d’attente et seraaborde dans la derniere partie de ce cours.

2.2.1 Definition et exemples

Considerons un ensembleE fini ou denombrable et une suite croissante de v.a.(Sn)n∈N a valeurs dansR+. Un processus de sautsXtt≥0 a espace d’etatsE et d’instants de sauts(Sn)n∈N est un processusstochastique dont la valeur ne peut changer qu’en ses instants de sauts :

∀n ∈ N, ∃!x ∈ E tel que ∀t ∈ [Sn;Sn+1[, Xt = x .

Nous nous interessons exclusivement a une classe particuliere de processus de sauts, appelesprocessusmarkoviens de sauts. Ces processus evoluent de la maniere suivante. Supposons que le processus se trouvea l’etatx a l’issu du saut intervenant a l’instantSn.

1. Le temps de sejour dans l’etatx, a savoir la v.a.Sn+1 − Sn, suit la loi exponentielle de parametreλ(x). Le parametre de cette loi peut donc dependre de l’etatx ou le processus se trouve. Mais a partcette dependance en l’etatx, la v.a.Sn+1 − Sn est independante du passe du processus.

2. A l’instant Sn+1, le processus saute de l’etatx vers l’etaty (avecy 6= x) avec une probabiliteqx,y,quantite independante deSn+1 − Sn et du passe.

L’evolution du processus est donc determinee par la suite (λ(x))x∈E et par la matriceQ := (qx,y)x,y∈E .Voici une definition plus formelle :

Definition 2.2.1 Un processus de sautsXtt≥0 a espace d’etatsE et d’instants de sauts(Sn)n∈N estmarkoviens’il existe :

• une suite bornee(λ(x))x∈E de reels strictement positifs,• une matriceQ = (qx,y)x,y∈E de reels positifs verifiant

∀x ∈ E, qx,x = 0 et∑

y∈E

qx,y = 1 ,

telles que, pour tout entiern, pour tous etatsx0, x1, . . . , xn, xn+1 et pour tous reels positifst1, . . . , tn,tn+1 :

IP

(

XSn+1= xn+1,

Sn+1 − Sn > tn+1

∣

∣

∣

∣

XSn = xn, Sn − Sn−1 > tn, . . . ,XS1

= x1, S1 − S0 > t1,XS0= x0

)

= IP

(

XSn+1= xn+1,

Sn+1 − Sn > tn+1

∣

∣

∣

∣

XSn = xn

)

(2.3)

= e−λ(xn)tn+1qxn,xn+1. (2.4)

33

Le passe du processusXtt≥0, a savoir les etats visites et les temps de sejours dans chacun de ces etats,est decrit par l’evenement

XSn = xn, Sn − Sn−1 > tn, . . . ,XS1= x1, S1 − S0 > t1,XS0

= x0 .

L’egalite (2.3) traduit le caractere markovien du processus : conditionnellement a l’etat present, l’evolutionfuture ne depend pas du passe. Dans l’egalite (2.4), le termee−λ(xn)tn+1 represente la probabilite pour untemps de sejour de loi exponentielle de parametreλ(xn) d’etre superieur atn+1 et le termeqxn,xn+1

laprobabilite de sauter dexn versxn+1. Le produit des termese−λ(xn)tn+1 etqxn,xn+1

traduit l’independanceentre le temps de sejour et le futur etat visite.Le coefficientλ(x) doit etre compris comme letaux de sauta partir de l’etatx. Son inverse1/λ(x) est letemps moyen avant le prochain saut lorsque le processus est dans l’etatx. Le fait que la suite(λ(x))x∈Esoit bornee est une hypothese technique ; elle assure que la suite(Sn)n∈N des instants de sauts du processustend presque surement vers l’infini, et donc que la v.a.Xt est bien definie pour toutt ≥ 0. Remarquonsque cette condition est automatiquement remplie quand l’espace d’etatsE est fini.Enfin, l’egaliteqx,x = 0, pour toutx, interdit au processus de sauter depuis un etat dans lui-mˆeme.

Voici deux exemples de processus markoviens de sauts. Un troisieme exemple concernant le modele de filed’attente a un serveur sera aborde dans la derniere partie de ce cours.

EXEMPLES :• Processus de Poisson.Le processus de PoissonNtt≥0 (d’intensiteλ) est un processus de sauts a

espace d’etatsE = N : il vaut n sur tout l’intervalle de temps[Sn;Sn+1[. De plus, tous les temps de sejoursuivent la loi exponentielle de parametreλ et, depuis l’etatn (qu’il atteint a l’issu dune saut), il saute enn+ 1.

∀n ∈ N, λ(n) = λ et qn,m =

1 si m = n+ 10 sinon

.

Le processus de Poisson remplit aisement la definition d’un processus markovien de sauts. L’equation (2.3)repose sur l’independance des temps de sejourS1, S2−S1, . . . , Sn+1−Sn et du fait queNSn soit toujoursegal an. Ce n’est pas plus difficile pour (2.4) :

IP(NSn+1= n+ 1, Sn+1 − Sn > tn+1 | NSn = n) = IP(Sn+1 − Sn > tn+1)

= e−λtn+1

= e−λtn+1qn,n+1 .

• Automate binaire. Considerons une machine qui peut etre soit en etat de marche, soit en panne.NotonsXt la v.a. egale a0 si la machine est en panne a l’instantt et egale a1 si elle est en etat de marche al’instant t. Nous faisons l’hypothese que les temps de fonctionnementde cette machine sont des v.a. de loiexponentielle de parametreλ et que les temps de reparation sont des v.a. de loi exponentielle de parametreµ. Nous supposons egalement toutes ces v.a. independantes.Alors, le processusXtt≥0 est un processus markovien de sauts a valeurs dansE = 0, 1. Les pa-rametres qui interviennent sontλ(0) = µ, λ(1) = λ et q0,1 = q1,0 = 1.

Cette partie se termine par un programmeR permettant de simuler un processus markovien de sauts. Cetteroutine, nommeemarkov, renvoie l’etat dans lequel se trouve le processus markovien de sautsXtt≥0

au tempsT > 0. Elle prend en entree l’etat initialx0 du processus, le reelT , ainsi que le vecteurλ =(λ(x))x∈E et la matriceQ = (qx,y)x,y∈E determinant la dynamique du processus. Les elements deE sontnumerotes et notes comme suit :x1, x2, . . .

34

markov = function(x0,T,λ,Q) X = x0

T = T - rexp(1,λ[x0])while (T > 0)

U = runif(1,0,1)R = qX,x1

i = 1while (R < U)

i = i + 1R = R + qX,xi

X = xiT = T - rexp(1,λ[xi])

X

Le cœur de cette routine consiste a choisir le prochain etat visite par le processus selon le vecteur deprobabilite(qX,xi

)i≥1, l’etat occupe etantX. Cette simulation peut se simplifier considerablement suivantle contexte (processus de Poisson, automate binaire).

2.2.2 Probabilites de transition et generateur de Markov

Le resultat suivant est l’analogue de la propriete de Markov et de l’homogeneite en temps qui definissenthabituellement les chaınes de Markov. Comme dans le cas discret, cela conduit a une caracterisation simplede la loi du processus.

Proposition 2.2.2 Un processus markovien de sautsXtt≥0 a espace d’etatsE satisfait les deux egalitessuivantes : pour tout entiern, pour tous etatsx0, x1, . . . , xn, xn+1 et pour toute suite croissante de reelspositifs0 < t1 < . . . < tn < tn+1,

IP(Xtn+1= xn+1 | Xtn = xn, . . . ,Xt1 = x1,X0 = x0) = IP(Xtn+1

= xn+1 | Xtn = xn)

= IP(Xtn+1−tn = xn+1 | X0 = xn) .

Des lors, la probabilite conditionnelle IP(Xt = y|Xs = x) ne depend que des etatsx, y et de l’accroisse-mentt− s, ce qui justifie la notation suivante. Pour tout reel positif t et pour tous etatsx, y, la probabilitede transition dex versy sur un intervalle (de temps) de longueurt est definie par :

p(t)x,y := IP(Xt = y | X0 = x) .

Attention, la notationp(t)x,y ne precise pas le nombre de sauts pour aller de l’etatx a l’instant0 a l’etaty al’instant t.La matriceP (t) := (p

(t)x,y)x,y∈E est appeleematrice de transition sur un intervalle (de temps) de longueur

t. Comme dans le cas discret, la taille de la matriceP (t) depend du cardinal deE (eventuellement infini),ses coefficients sont des reels positifs et la somme de ces coefficients sur toute une ligne vaut1.Comme dans le cas discret, la loiµt de la v.a.Xt est obtenue par produit matriciel entre la loi initialeµ0

(i.e. celle deX0) et la matrice de transitionP (t) :

µt = µ0P(t) .

35

Les Propositions 2.2.3 et 2.2.4 fournissent deux autres points communs entre processus markoviens atemps discret et a temps continu. La donnee de la famille dematricesP (t)t≥0 et de la loi deX0 suffit acaracteriser la loi d’un processus markovien de sauts :

Proposition 2.2.3 Soit Xtt≥0 un processus markovien de sauts de matrices de transitionP (t)t≥0.Pour tout entiern, pour tous etatsx0, x1, . . . , xn et pour toute suite croissante de reels positifs0 < t1 <. . . < tn, on a :

IP(Xtn = xn, . . . ,Xt1 = x1,X0 = x0) = IP(X0 = x0) p(t1)x0,x1

p(t2−t1)x1,x2

. . . p(tn−tn−1)xn−1,xn

.

La demonstration de cette derniere egalite est la memeque dans le cas discret. Elle utilise exclusivementla propriete de Markov verifiee par le processusXtt≥0 (Proposition 2.2.2).

Le resultat suivant s’interprete comme suit : “aller dex versy en un tempst + s, c’est aller dex vers unetatz en un tempst puis dez versy en un tempss.

Proposition 2.2.4 (Relation de Chapman-Kolmogorov)SoitXtt≥0 un processus markovien de sauts dematrices de transitionP (t)t≥0. Soients, t ≥ 0. Alors

P (t+s) = P (t)P (s) .

Ou encore, les coefficients de ces matrices satisfont les relations : pour tous etatsx, y,

p(t+s)x,y =

∑

z∈E

p(t)x,z p(s)z,y .

Demonstration Ecrivons pour commencer

p(t+s)x,y = IP(Xt+s = y | X0 = x)

=∑

z∈E

IP(Xt+s = y,Xt = z | X0 = x)

=∑

z∈E

IP(Xt+s = y | Xt = z,X0 = x) IP(Xt = z | X0 = x)

en multipliant au numerateur et au denominateur par la facteur IP(Xt = z,X0 = x). La demonstrations’acheve en utilisant la propriete de Markov et l’homog´eneite :

IP(Xt+s = y | Xt = z,X0 = x) = IP(Xt+s = y | Xt = z)

= IP(Xs = y | X0 = z)

= p(s)z,y .

Les similitudes entre les cas discret et continu s’arretent ici. En effet, les probabilites de transitionp(t)x,y

sont en general difficile a calculer, voire impossible. D’ailleurs, leurs expressions n’ont que peu d’utilite enpratique... Nous prefererons travailler avec legenerateurdu processus qui sera introduit dans le prochainresultat.

36

Avant cela, rappelons que le processus markovien de sautsXtt≥0 demeure dans le meme etat entre lene

saut (compris) et le(n+ 1)e (exclu), precisement pour toutt ∈ [Sn;Sn+1[. Du coup, l’applicationt 7→ Xt

(i.e. la trajectoire du processus) est continue a droite. Il en va de meme pour la probabilite de transitionp(t)x,y en tant que fonction det. La limite

p(0)x,y := limt→0+

p(t)x,y =

0 si x 6= y1 si x = y

est donc bien definie.

Theoreme 2.2.5SoitXtt≥0 un processus markovien de sauts associe a la suite(λ(x))x∈E et a la matrice

Q = (qx,y)x,y∈E. Soientx, y ∈ E. L’application t 7→ p(t)x,y est derivable a droite ent = 0 et cette derivee

vaut :

ax,y := limt→0+

p(t)x,y − p

(0)x,y

t=

λ(x)qx,y si x 6= y−λ(x) si x = y

. (2.5)

Lorsque les etatsx et y sont distincts, cette derivee est appeleetaux de transition dex versy. La matriceA = (ax,y)x,y∈E est appeleegenerateur de Markovdu processusXtt≥0.

Soientx et y des etats distincts. La probabiliteqx,y d’aller en y lorsqu’on quittex doit etre pondereepar l’intensiteλ(x) avec laquelle on quittex, pour obtenir le taux de transitionax,y ; ax,y = λ(x)qx,y.Par exemple, si le temps passe enx est en moyenne plutot long (disonsλ(x)−1 = 100) alors le tauxde transition dex versy sera faible, i.e.ax,y ≤ 0, 01, et ce meme si lorsqu’on quittex c’est pour allersystematiquement eny (qx,y = 1).

Demonstration Seul le cas oux = y est traite : cela suffit a comprendre la trame du Theoreme2.2.5.Etant enx au temps0, supposons que le processus y soit de nouveau au tempst. Il y a deux possibilites.Soit le processus n’a pas quitte l’etatx, ce qui signifie que le premier instant de sautS1 survient aprest.Soit le processus a quitte l’etatx et y est revenu, ce qui implique au moins deux sauts avant l’instantt.

IP(Xt = x | X0 = x) = IP(S1 > t | X0 = x) + IP(S1 ≤ t, S2 ≤ t,Xt = x | X0 = x) . (2.6)

SachantX0 = x, l’instant du premier sautS1 suit la loi exponentielle de parametreλ(x). Le premier termedu membre de droite de (2.6) devient :

IP(S1 > t | X0 = x) = e−λ(x)t = 1− λ(x)t+ o(t) ,

lorsquet tend vers0. Si le second terme du membre de droite de (2.6) est uno(t) alors IP(Xt = x|X0 = x)vaut egalement1− λ(x)t+ o(t). D’ou la limite recherchee :

IP(Xt = x | X0 = x)− 1

t= −λ(x) + o(1) .

Nous savons ce qu’il reste a faire. Le fait que les deux premiers sauts du processusXtt≥0 surviennenta des instants tres proches de0 est improbable. C’est la raison pour laquelle IP(S1 ≤ t, S2 ≤ t,Xt =x|X0 = x) est uno(t). Formellement,

IP(S1 ≤ t, S2 ≤ t,Xt = x | X0 = x) ≤ IP(S1 ≤ t, S2 ≤ t | X0 = x)

≤ IP(S1 ≤ t, S2 − S1 ≤ t | X0 = x)

≤∑

z∈E

IP(S1 ≤ t,XS1= z, S2 − S1 ≤ t | X0 = x) .

37

Soitz ∈ E. Par definition du processus markovien de sauts, il vient :

IP(S1 ≤ t,XS1= z, S2 − S1 ≤ t | X0 = x) = IP(XS1

= z, S2 − S1 ≤ t | S1 ≤ t,X0 = x)

× IP(S1 ≤ t | X0 = x)

= IP(XS1= z, S2 − S1 ≤ t | S1 ≤ t)(1− e−λ(x)t)

= (1− e−λ(z)t)qx,z(1− e−λ(x)t) .

En utilisant l’inegalitee−u ≥ 1− u et le fait que la suite(λ(z))z∈E soit bornee, disons par une constanteM > 0, il vient :

IP(S1 ≤ t, S2 ≤ t,Xt = x | X0 = x) ≤∑

z∈E

IP(S1 ≤ t,XS1= z, S2 − S1 ≤ t | X0 = x)

≤∑

z∈E

(1− e−λ(z)t)qx,z(1− e−λ(x)t)

≤∑

z∈E

λ(z)qx,zλ(x)t2

≤ Mλ(x)t2∑

z∈E

qx,z

≤ Mλ(x)t2 = o(t) .

Le generateur de MarkovA = (ax,y)x,y∈E est entierement determine par la suite(λ(x))x∈E et la matriceQ = (qx,y)x,y∈E definissant le processus markovien de sauts. C’est une matrice carree a coefficients reelspositifs excepte sur la diagonale. Le terme d’ordrex de la diagonale verifie

ax,x = −λ(x) = −λ(x)∑

y,y 6=x

qx,y = −∑

y,y 6=x

ax,y .

La somme des coefficients d’une meme ligne de la matriceA vaut donc0.Dans les applications, un modele markovien continu est defini par ses taux de transitionax,y qui ont engeneral une signification concrete (nombres moyens d’arrivees, de services, de pannes ou de reparationspar unite de temps). De plus, l’interet du generateur par rapport aux matrices de transitionP (t)t≥0

est que celui-ci ne depend plus du temps : c’est une derivee (a droite) ent = 0. Ainsi, on resume souventl’information qu’il contient par ungraphe de transition. C’est un graphe oriente et pondere dont l’ensembledes sommets estE. Une arete de poidsax,y va dex versy 6= x si ax,y > 0.

EXEMPLES :• Processus de Poisson.Pour tout entierx, λ(x) est egal aλ et qx,x+1 egal a1. Des lors, le taux de

transition dex versx+ 1 vautax,x+1 = λ(x) qx,x+1 = λ .

Il est nul vers tout autre entiery : pour touty ∈ N \ x, x + 1, ax,y = 0. Enfin, le coefficientax,x vaut−λ.

• Automate binaire. La v.a.Xt est egale a0 ou 1 selon que la machine soit en etat de panne oude marche a l’instantt. Rappelons que les temps de fonctionnement de cette machinesont des v.a. de loiexponentielle de parametreλ et que les temps de reparation sont des v.a. de loi exponentielle de parametre

38

A =

−λ λ 0 0 · · ·0 −λ λ 0

. . .

0 0 −λ λ. . .

0 0 0 −λ. . .

.... . . . .. . . . . . .

λ λ

x−1 x x+1

µ, toutes ces v.a. etant independantes. D’apres la Proposition 2.2.5, le taux de transition de l’etat de pannevers l’etat de fonctionnement est

a0,1 = λ(0) q0,1 = µ

tandis le taux de transition de l’etat de fonctionnement vers l’etat de panne est

a1,0 = λ(1) q1,0 = λ .

Enfin, les coefficientsa0,0 eta1,1 valent respectivement−µ et−λ.

A =

(

−µ µλ −λ

)

0 1

µ

λ

2.2.3 Theoreme limite

Comme dans le cas discret, l’etude du comportement asymptotique d’un processus markovien de sautspasse par l’identification d’une mesure stationnaire sur l’espace d’etatsE.

Definition 2.2.6 Unemesure stationnaire(ou invariante) d’un processus markovien de sauts de matricesde transitionP (t)t≥0 est une loi de probabilite surE, disonsπ = (π(x))x∈E , verifiant pour toutt larelationπ = πP (t).

Rappelons que la loiµt de la v.a.Xt verifie µt = µ0P(t). Des lors, la relationπ = πP (t) s’interprete

comme suit : si la v.a. initialeX0 a pour loi la mesure stationnaireπ alors, pour tout tempst, la loi deXt

est encoreπ.La relation matricielleπ = πP (t) est equivalente au systeme lineaire

∀y ∈ E,∑

x∈E

π(x)p(t)x,y = π(y)

(de taille egale au cardinal deE).

Les matrices de transitionP (t)t≥0 etant en general difficiles a determiner, nous privil´egierons la ca-racterisation des mesures stationnaires en termes de generateur.

39

Proposition 2.2.7 Une loi de probabiliteπ surE est une mesure stationnaire d’un processus markoviende sauts de generateurA si et seulement siπA = 0, ce qui s’ecrit :

∀y ∈ E,∑

x∈E

π(x)ax,y = 0 . (2.7)

EXEMPLES :• Processus de Poisson.Pour tout entierx, le taux de transitionax,y vautλ si et seulementy = x+1.

Il est nul vers tout autre entiery. Les equations de stationnarite (2.7) donnent, pour toutx ∈ N,

π(x)ax,x + π(x+ 1)ax,x+1 = 0 ,

ou encoreπ(x) = π(x + 1) (car ax,x+1 = −ax,x = λ). Ces equations ne peuvent aboutir a une loi deprobabilite surN. Le processus de Poisson en tant que processus markovien de sauts n’admet donc pas demesure stationnaire. C’est relativement intuitif ; il ne peut pas exister d’equilibre en loi pour un processusqui tend p.s. vers l’infini.

• Automate binaire. Avec le generateur

A =

(

−µ µλ −λ

)

,

les equations de stationnarite donnentµπ(0) = λπ(1). Puisqueπ(0)+π(1) = 1, on trouve comme uniquemesure stationnaire

π =

(

λ

λ+ µ,

µ

λ+ µ

)

.

Definition 2.2.8 Unemesure reversibled’un processus markovien de sauts de generateurA est une loi deprobabilite surE, disonsπ = (π(x))x∈E , verifiant

∀x, y ∈ E, π(x)ax,y = π(y)ay,x . (2.8)

Proposition 2.2.9 Toute mesure reversible pour un processus est stationnaire pour ce processus.

Demonstration Soienty ∈ E et π = (π(x))x∈E une mesure reversible pour un processus markovien desauts de generateurA. Des lors,

∑

x∈E

π(x)ax,y =∑

x∈E

π(y)ay,x

= π(y)∑

x∈E

ay,x

= 0

car la somme des coefficients d’une meme ligne du generateur A est nulle. On conclut quant a la station-narite deπ par la Proposition 2.2.7.

En pratique (et notamment pour les projets), pour obtenir une mesure stationnaire, il est recommande decommencer par chercher une mesure reversible, plus facilea identifier quand elle existe. D’ailleurs, lamesure stationnaire

π =

(

λ

λ+ µ,

µ

λ+ µ

)

40

de l’automate binaire est egalement reversible. En effet, elle satisfait l’equation

π(0)a0,1 = π(1)a1,0 .

Definition 2.2.10 Un processus markovien de sauts de generateurA est ditirr eductible surE si pour tousetatsx, y ∈ E distincts il existe des etatsx1, . . . , xn ∈ E tous differents tels que :

ax,x1ax1,x2

. . . axn−1,xnaxn,y > 0 .

Comme dans le cas discret, etre irreductible signifie que l’on peut passer (en plusieurs etapes si necessaire)de n’importe quel etatx a n’importe quel etaty avec une probabilite strictement positive. Le processusmarkovien de sauts correspondant a l’automate binaire estirreductible. Ce n’est pas le cas du processus dePoisson.

Nous admettons le theoreme limite suivant.

Theoreme 2.2.11Considerons un processus markovien de sautsXtt≥0 de matrices de transitionP (t)t≥0,irreductible surE et admettant une mesure stationnaireπ. Alors :

(1) π est l’unique mesure stationnaire du processusXtt≥0 ;(2) la matriceP (t) converge quandt tend vers l’infini vers une matrice dont toutes les lignes sont egales

aπ :∀x, y ∈ E, lim

t→+∞p(t)x,y = π(y) ;

(3) quelle que soit la loi deX0, la loi deXt converge quandt tend vers l’infini versπ :

∀x ∈ E, limt→+∞

IP(Xt = x) = π(x) ;

Le comportement asymptotique d’un processus markovien de sauts irreductible est donc decrit par l’uniquemesure stationnaire quand elle existe. Dans ce cas, le Theoreme 2.2.11 exprime qu’au bout d’un certaintemps, le systeme se stabilise dans un regime d’equilibre appeleregime stationnaire. Une fois ce regimeatteint, la probabilite d’etre dans l’etatx est donnee parπ(x).Remarquons enfin que la notion de periodicite n’a pas de sens en temps continu, ce qui simplifie d’autant ladiscussion. Par contre, celles de recurrence et de transience sont conservees : ce sont toujours des proprietesde classes irreductibles.

2.3 Application aux modeles de files d’attente

2.3.1 Presentation generale

La salle de reservation dans une grande gare SNCF donne une bonne representation d’une file d’attente.Elle comprend un certain nombre de guichets et des clients qui sont, soit en train d’etre servis, soit enattente. La salle de reservation forme le systeme. Elle peut etre de capacite totale finie ou infinie. Lesclients arrivent de maniere aleatoire selon un flot regulier. Les temps de services sont egalement aleatoires.L’objectif est de savoir si la longueur de la file d’attente admet un comportement stationnaire et dans cecas de calculer sa loi. Cela permet d’optimiser le nombre de guichets necessaires pour satisfaire les clients.

Une file d’attente est decrite par plusieurs elements :

41

1. Lesinstants d’arrivee des clientssont en general aleatoires. Certaines hypotheses sontfaites sur leurslois. Tout d’abord, il n’arrive qu’un client a la fois. La deuxieme hypothese est l’homogeneite dansle temps. Cela se traduit par le fait que les temps d’interarrivee des clients sont des v.a. de meme loi.Ils sont egalement supposes independants. Cette hypothese simplifie notablement l’etude mais elleest moins claire a justifier en pratique. Enfin, la loi des temps d’interarrivee est supposee connue.Le cas le plus courant est celui ou cette loi est exponentielle. Dans ce cas, le modele des tempsd’arrivee des clients est un processus de Poisson.Evidemment d’autres cas peuvent se presenter :temps d’interarrives constants, de loi uniforme, lognormale ou encore gamma.

2. Lesdurees de servicesont supposees etre des v.a. independantes, de meme loiet independante duprocessus des arrivees.

3. Lenombre de guichets ou serveursest evidemment un parametre important du modele.

4. La longueur maximum de la file d’attenteest egalement un parametre du modele. Il est raisonnablede supposer dans certains cas que la file d’attente puisse etre aussi longue que l’on veut. Cependantdans d’autres cas, la longueur est limitee et lorsque cettelimite est atteinte, un client arrivant ne peutentrer dans la file d’attente. Il repart.

5. Le plus souvent les clients sont servis dans leur ordre d’arrivee. Cettediscipline de serviceest appeleeFIFO (First In First Out). Mais d’autres disciplines pourraientetre utilisees comme par exemple,servir en priorite certains types de clients, ceux demandant un service de courte duree.

Pour resumer les caracteristiques d’une file d’attente onutilise classiquement la notation de Kendall :

loi d’interarrivee/ loi de service/ nombre de serveurs/ longueur maximum de la file

Les lois d’interarrivees et les lois de services sont notees symboliquement M pour une loi exponentielle(M pour Markov, on verra pourquoi plus tard), D pour une loi d´eterministe (v.a. constante), U pour une loiuniforme, G pour une loi quelconque (G pour generale). Parexemple, une file M/M/s/∞ signifie que leflot d’arrivee des clients est poissonnien, la loi des services est exponentielle, il y as serveurs et la capacitede la salle d’attente est illimitee. Lorsqu’on ne specifiepas le dernier parametre celui-ci est infini. Sauf aviscontraire la discipline de service est FIFO.Dans la suite, nous n’etudierons que le modele de file d’attente M/M/1.

2.3.2 Etude du cas M/M/1

Considerons un guichet ou un serveur. Les arrivees des clients a ce guichet suivent un processus dePoisson d’intensiteλ. Le temps de service pour chaque client est une v.a. de loi exponentielle de parametreµ. Toutes les v.a. qui interviennent sont supposees independantes. Les clients se mettent en file d’attente etsont servis selon leur ordre d’arrivee (discipline FIFO).La capacite de la file d’attente est illimitee.Considerons le processusXtt≥0 representant le nombre de clients en attente (y compris le client en traind’etre servi) au tempst. C’est un processus de sauts a valeurs dansN. Quand un client arrive, le processussaute de+1 et quand un client s’en va a la fin de son service, le processussaute de−1.Decrivons plus precisement cette dynamique. Lorsque leprocessus saute enx > 0, il y reste un tempsaleatoire qui vautmin(Y1, Y2) ouY1 est le temps avant l’arrivee du prochain client etY2 est le temps avantla fin du service en cours. Ces deux v.a. sont independantes de loi exponentielle de parametres respectifsλ et µ (d’apres la propriete de perte de memoire de la loi exponentielle : Proposition 2.1.1). D’apresla Proposition 2.1.2, le temps de sejour dans l’etatx, i.e. la v.a.min(Y1, Y2), suit la loi exponentielle deparametreλ+µ. Le saut suivant est de+1 simin(Y1, Y2) = Y1 ce qui se produit avec probabiliteλ/(λ+µ).Il est de−1 si min(Y1, Y2) = Y2 ce qui se produit avec probabiliteµ/(λ + µ). Le fait queY1 etY2 soient

42

p.s. differents signifie que deux clients ne peuvent entreret sortir au meme instant.Le casx = 0 (il n’y a plus personne dans la file d’attente) est un peu diff´erent. Une fois en0, le processusy reste un temps aleatoireY1 qui est le temps avant l’arrivee du prochain client. C’est une v.a. de loiexponentielle de parametreλ. Le saut a l’issu de ce temps est necessairement de+1.En resume, la description de la dynamique du processusXtt≥0 est celle d’un processus markovien desauts :

– le temps de sejour en l’etatx suit la loi exponentielle de parametreλ(x) = λ + µ si x ≥ 1 etλ(0) = λ ;

– les coefficients de la matriceQ = (qx,y)x,y∈E verifient

qx,y =

λλ+µ

si y = x+ 1µ

λ+µsi y = x− 1

0 sinon

lorsquex ≥ 1, etq0,1 = 1 lorsquex = 0.Enfin, le generateur de Markov du processus se calcule au moyen de la Proposition 2.2.5.

Proposition 2.3.1 Le processus stochastiqueXtt≥0 representant le nombre de clients dans la file d’at-tente M/M/1 est un processus markovien de sauts a espace d’etatsN et de generateur de Markov

A =

−λ λ 0 0 0 · · ·µ −(λ+ µ) λ 0 0

. . .

0 µ −(λ+ µ) λ 0. . .

0 0 µ −(λ+ µ) λ. . .

.... . . . . . .. . . . . . . .

.

Voici le graphe de transition de la file d’attente M/M/1 :

λ λ λ

x−1 x x+1

µ µ µ

0

Le processus markovien de sautsXtt≥0 representant le nombre de clients dans la file d’attente M/M/1est irreductible. D’apres le Theoreme 2.2.11, s’il admet une mesure stationnaire alors celle-ci est unique.Le plus simple est de chercher une mesure reversible. Les equations de reversibilite (2.8) donnent, pourtout entierx ∈ N

π(x)λ = π(x+ 1)µ ,

ce qui, apres un petit raisonnement par recurrence, aboutit a

∀x ∈ N, π(x) = π(0)

(

λ

µ

)x

.

43

Il existe donc une mesure reversible si et seulement si la s´erie de terme generalπ(x) est convergente, i.e.si λ < µ. Cette mesure reversible s’ecrit alors :

∀x ∈ N, π(x) =

(

1− λ

µ

)(

λ

µ

)x

(π(0) est choisi afin de satisfaire la condition∑

π(x) = 1).

Proposition 2.3.2 Le processus stochastiqueXtt≥0 representant le nombre de clients dans la file d’at-tente M/M/1 admet une mesure stationnaire si et seulement si le parametre λ du processus de Poissondes arrivees est strictement inferieur au parametreµ de la loi exponentielle des services. Dans ce cas, elleest unique, c’est la loi geometrique surN de parametreλ/µ, et apparait comme limite lorsquet tend versl’infini de la loi du nombre de clients dans la file au tempst :

∀x ∈ N, limt→+∞

IP(Xt = x) =

(

1− λ

µ

)(

λ

µ

)x

.

Ce resultat est tout a fait intuitif. En effet, les parametresλ et µ representent respectivement le nombremoyen d’arrivee de clients par unite de temps etµ le nombre moyen de clients servis par unite de temps.Ainsi, la file d’attente se stabilise s’il n’arrive pas trop de clients pour saturer l’offre de service, i.e. siλ estplus petit queµ. En regime stationnaire (lorsqueλ < µ), la longueur de la file d’attente a pour moyenne etvariance :

λµ

1− λµ

etλµ

(

1− λµ

)2 .

Pour completer ces resultats, signalons que lorsqueλ > µ, la longueur de la file d’attente tend p.s. versl’infini.

Interessons-nous enfin au temps totalR passe dans le systeme par un client donne. Supposons qu’`a sonarrivee dans la file d’attente, il y an clients. Le temps total qu’il passera dans le systeme correspond donc :

– a la fin du service du client au guichet lors de son arrivee :c’est une exponentielle de parametreµd’apres la propriete de perte de memoire ;

– aun − 1 services des clients presents devant lui dans la file et non encore servis : ce sont des expo-nentielles de parametreµ ;

– a son propre temps de service : encore une exponentielle deparametreµ.Toutes ces v.a. etant independantes, ce temps total suit donc une loi Gamma de parametresn + 1 et µ.Autrement dit,

IP(R ≤ t | N = n) =

∫ t

0µn+1x

n

n!e−µx dx , (2.9)

ouN designe le nombre de clients dans la file d’attente a l’arrivee du client. En regime stationnaire,N suitla loi geometrique de parametreλ/µ (Proposition 2.3.2). La loi du temps totalR passe dans le systeme nedepend plus du client choisi. Il est appeletemps de reponsedu systeme.

Proposition 2.3.3 Considerons la file d’attente M/M/1 dans le casλ < µ. En regime stationnaire, letemps de reponseR est distribue selon la loi exponentielle de parametreµ− λ.

44

Demonstration Soit t ≥ 0. D’apres (2.9),

IP(R ≤ t) =∞∑

n=0

IP(N = n) IP(R ≤ t | N = n)

=

∞∑

n=0

(

1− λ

µ

)(

λ

µ

)n ∫ t

0µn+1x

n

n!e−µx dx

=

∫ t

0(µ− λ)e−µx

(

∞∑

n=0

λnxn

n!

)

dx

=

∫ t

0(µ− λ)e−(µ−λ)x dx

= 1− e−(µ−λ)t .

On reconnait la fonction de repartition de la loi exponentielle de parametreµ−λ. Puisque les fonctions derepartition caracterisent les lois, le resultat est demontre.

45

2.4 Exercices

Exercice1 : Bit informatique poissonnien

Considerons un processus de PoissonNtt≥0 d’intensiteλ et une v.a.X0, independante du processusNtt≥0, valant−1 ou1 avec probabilite1/2. SoitXtt≥0 le processus a valeurs dans−1, 1, changeantde signe a chaque saut du processusNtt≥0 et issu deX0.

1. Apres avoir donne une expression deXt en fonction deNt et deX0, determiner son esperance etsa variance.

2. Calculer la probabilite pour que la valeur du bit au tempst0 soit la meme qu’initialement. Puis lalimite de cette probabilite quandt0 → +∞. Comparer avec le bit informatique a temps discret. On pourrautiliser la formule

∞∑

k=0

z2k

(2k)!=

1

2

(

ez + e−z)

.

Exercice2 : Temps d’attente de voyageurs

Supposons que des voyageurs en partance pour Londres arrivent a la gare Lille Europe selon un processusde Poisson d’intensiteλ. Le depart de leur train est prevu au tempst0 (nous conviendrons que la gare ouvreses portes au tempst = 0).

1. Calculer le nombre moyen de voyageurs prenant ce train.

2. Calculer la moyenne de la somme des temps d’attente de ces voyageurs.

Exercice3 : Loi binomiale et processus de Poisson

Comme il fait beau ce matin, je prends mon petit-dejeuner dans le jardin. Des merles et des moineauxviennent chiper des miettes de pain que j’eparpille volontairement sur la table. Les passages des merles etdes moineaux peuvent etre modelises par deux processus de Poisson independants d’intensites respectivesλ etλ′.

1. Calculer la probabilite pour que le premier oiseau venant sur la table soit un merle.

2. Calculer la probabilite pour que les deux premiers oiseaux venant sur la table soient des merles.

3. Quelle est la loi du nombre d’oiseaux venant sur la table jusqu’au tempst ? Sachant que ce nombrevautn, quelle est la loi du nombre de merles venant sur la table jusqu’au tempst ?

Exercice4 : Radioactivite

Une source radioactive emet des particules selon un processus de Poisson d’intensiteλ. Chaque particuleest emise suivant une direction aleatoire, de loi uniforme sur[0; 2π], et independante des autres particules.Un compteur Geiger, place pres de la source, enregistre les particules emises de direction comprise entre−π/4 etπ/4. Quelle est la loi du nombre de particules enregistrees jusqu’au tempst ?

Exercice5 (Examen 2009):

Une fois la nuit tombee, Pierre et Paul se retrouvent a l’observatoire afin de contempler des etoiles filantes.Le passage des etoiles filantes dans le ciel est modelise par un processus de Poisson d’intensite0.1 (l’unitede temps etant la minute), noteNtt≥0. SoitXn le temps aleatoire separant le passage de la(n−1)e etoilefilante du passage de lane.

46

1. Quelle est la probabilite pour Pierre et Paul de ne voir aucune etoile filante durant la premiere heured’observation ? Quel est le nombre moyen d’etoiles filantesqu’ils devraient voir durant cette premiereheure d’observation ? Et pendant la seconde heure d’observation ?

2. Paul est de nature impatiente (seulement pour cette question) : s’il ne voit aucune etoile filantedurant20 minutes (consecutives) alors il s’en va ! Quelle est la probabilite qu’il en voit exactement3 ?Plus generalement, quelle est la loi du nombre d’etoilesfilantes que Paul verra ? En deduire le nombremoyen d’etoiles filantes que l’impatient Paul verra.

3. On suppose enfin que Paul est arrive en retard au rendez-vous (disons au tempst0 > 0 alors quePierre est arrive au tempst = 0).

(a) Sachant qu’aucune etoile filante n’est passee avant l’arrivee de Paul, quelle est la loi du tempsqu’il devra patienter pour en observer une ?

(b) Supposons dans cette question quet0 = 20. Sachant qu’une seule etoile filante est passee avantl’arrivee de Paul, quelle aurait ete la probabilite pour Paul de la voir s’il etait arrive5 minutes plus tot ?

Exercice6 : Loi geometrique et processus de Poisson

Je souhaite traverser une route a grande circulation dont le flux de vehicules peut etre modelise par unprocessus de Poisson d’intensiteλ = 1 (l’unite etant la minute). Depuis l’ablation de mes deux jambes, ilme faut tout de meme3 minutes pour traverser une telle route. Avant de me lancer, je prefere reflechir unpeu. . .

1. Quelle est la loi du nombre de vehicules que je dois laisser passer avant de pouvoir traverser ?

2. Quel est le temps moyen d’attente avant de traverser ?

Exercice7 (Examen 2010): Problemes de simulations

Precisons que les generateurs mentionnnes ci-dessousgenerent des v.a. independantes entre elles, maisaussi de tout le reste !

1. Comment simuler une loi exponentielle de parametre2 lorsqu’on dispose uniquement d’un generateurde loi exponentielle de parametre1 ?

2. Comment simuler un processus de Poisson d’intensite1 sur l’intervalle [0; 100] sans utiliser de loisexponentielles (quel que soit le parametre) ?

3. A partir de la simulation precedente et d’un generateurde loi de Bernoulli de parmetre12 , commentsimuler un processus de Poisson d’intensite1

2 sur l’intervalle[0; 100] ?

Exercice8 : Deux automates binaires dependants

Considerons un systeme a deux composants identiques telque, en cas de panne de l’un des deux compo-sants, l’autre puisse aussi tomber en panne. Les hypotheses de modelisation sont les suivantes.

• Le temps de fonctionnement de chaque composant suit la loiE(λ).• Le temps de reparation d’un composant seul (pendant le fonctionnement de l’autre) suit la loiE(µ).• Le temps de reparation des deux composants simultanementsuit la loiE(ν).• En cas de panne d’un des composants, l’autre continue a fonctionner avec probabilitec.• Toutes les v.a. du modele sont independantes.

SoitZt l’etat du systeme au tempst : Zt ∈ E = 00, 10, 01, 11 ou, par exemple, l’etat01 signifie que lepremier composant est en panne tandis que le second est en fonctionnement.

1. Nous admettons queZtt≥0 est un processus markovien de sauts surE. Preciser cependant la

47

suite(λ(x))x∈E et la matrice(qx,y)x,y∈E le definissant. Determiner son generateur de Markov et dessinerson graphe de transition.

2. Ou dans ce modele apparait la dependance entre les deuxcomposants ?

3. Nous supposons desormais que le temps moyen de fonctionnement d’un composant est1 jour, letemps moyen de reparation d’un composant seul est6 heures et celui des deux composants simultanementest8 heures.

(a) Comment traduire ces hypotheses sur les parametresλ, µ et ν (avec le jour comme unite) ?

(b) Determiner la mesure stationnaire du processusZtt≥0. Est-elle reversible ?

(c) Supposons que le systeme global fonctionne des qu’au moins un des deux composants fonc-tionne. Quelle condition sur le parametrec assure le fonctionnement du systeme dans90% du temps ?

Exercice9 : Etude de la file M/M/2

Soit Xtt≥0 le processus stochastique representant le nombre de clients dans la file d’attente M/M/2pour laquelleλ est l’intensite du processus de Poisson regissant l’arrivee des clients etµ est le parametrede la loi exponentielle modelisant les durees de service.Rappelons que toutes les v.a. intervenant dans cemodele sont independantes, y compris les durees de service des2 guichets.

1. Etude du comportement asymptotique.

(a) Determiner les taux de transition du processus markovien de sautsXtt≥0. Representer songraphe de transition.

(b) Determiner le comportement asymptotique du processusXtt≥0.

2. Longueur moyenne de la file d’attente en regime stationnaire.

(a) Calculer en regime stationnaire le nombre moyen de clients dans la file d’attente. Rappelons acet effet que :

∑

n≥1

nrn−1 =1

(1− r)2des que0 < r < 1 .

(b) Comparer cette esperance au nombre moyen de clients dans la file M/M/1 pour laquelle l’intensitedu processus de Poisson des arrivees est encoreλ et le parametre de la loi exponentielle des durees deservice est cette fois2µ. Comment expliquez-vous cette difference ?

48

Annexe : quelques formules

Voici quelques formules ultra classique du calcul des probabilites dont vous ne pourrez pas vous passerdurant ce cours.On se donne un triple(Ω,F , IP) ou :

– Ω est un ensemble ;– F est une tribu surΩ, i.e. une tres grande famille de sous-ensembles deΩ ;– IP est une mesure de probabilite surΩ : les seuls sous-ensembles deΩ pouvant etre mesures par IP

sont ceux de la tribuF .Dans la suite,A, B et (An)n∈N sont dans la tribuF .

[A1] On a toujours

IP

(

⋃

n∈N

An

)

≤∑

n∈N

IP(An)

avec egalite si et seulement si les evenementsAn, n ∈ N, sont deux a deux disjoints.

[A2] Supposons que la famille(An)n∈N forme une partition deΩ, i.e. lesAn, n ∈ N, sont deux a deuxdisjoints et leur union remplit toutΩ. Alors ;

IP(B) =∑

n∈N

IP(B ∩An) =∑

n∈N

IP(B | An) IP(An) .

[A3] Les evenementsA etB sont independants si et seulement si IP(A ∩B) = IP(A) IP(B), ce qui s’ecritencore

IP(A | B) = IP(A) des que IP(B) > 0.

[A4] Si la suite(An)n∈N est croissante, i.e.An ⊂ An+1, alors

IP

(

⋃

n∈N

An

)

= limn→∞

IP(An) .

[A5] Si la suite(An)n∈N est decroissante, i.e.An ⊃ An+1, alors

IP

(

⋂

n∈N

An

)

= limn→∞

IP(An) .

[A6] La probabilite d’un evenement est egale a l’esperance de son indicatrice :

IP(A) = IE [11A] .

49