Cours stochastic processes

Embed Size (px)

DESCRIPTION

 

Text of Cours stochastic processes

  • 1. P OLYTECH L ILLE GIS 4P ROCESSUS S TOCHASTIQUES
  • 2. Table des mati` res eIntroduction 3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Chanes de Markov 8 1.1 D nitions . . . . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Classication des etats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Classes irr ductibles . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.2 R currence et transience . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.3 P riodicit . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Th or` mes limites . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.2 Lorsque lespace d tats E est ni . e . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3.3 Lorsque lespace d tats E est inni e . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 Processus stochastiques markoviens en temps continu 26 2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Trois propri t s de la loi exponentielle . . . . . . . ee . . . . . . . . . . . . . . . . . 26 2.1.2 Pr sentation du processus de Poisson . . . . . . . e . . . . . . . . . . . . . . . . . 28 2.1.3 Simulation et mod lisation . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 31 2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 D nition et exemples . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 33 2.2.2 Probabilit s de transition et g n rateur de Markov e e e . . . . . . . . . . . . . . . . . 35 2.2.3 Th or` me limite . . . . . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . 39 2.3 Application aux mod` les de les dattente . . . . . . . . . e . . . . . . . . . . . . . . . . . 41 2.3.1 Pr sentation g n rale . . . . . . . . . . . . . . . . e e e . . . . . . . . . . . . . . . . . 41 2.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Annexe : quelques formules 49 2
  • 3. Introduction On peut d nir un processus stochastique comme etant une famille {Xt }tT de variables al atoires e eind x es par le temps t. Les mots processus et stochastique signient respectivement fonction et al atoire. e e eAlors quune variable al atoire X associe a chaque une r alisation X(), un processus stochastique e ` e{Xt }tT associe a chaque une fonction (ou trajectoire) {Xt ()}tT : ` T E , t Xt ()o` E est lespace darriv e des variables al atoires Xt . Passer des variables al atoires aux processus sto- u e e echastiques revient a passer en analyse des points aux fonctions. A ` ` titre dexemple, la trajectoire dunemouche en fonction du temps peut etre mod lis e par un processus stochastique a valeurs dans E = R3 . e e `Lorsque lensemble des temps T est au plus d nombrable (par exemple T = N), on parle de processus estochastiques a temps discret. Lorsquil est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus `stochastiques a temps continu. `Dans tout ce cours, on abr` ge les expressions variable al atoire en v.a. et ind pendantes et identique- e e ement distribu es en i.i.d. eLes situations r elles pouvant etre mod lis es par des processus stochastiques sont nombreuses. En voici e e equelques exemples :E XEMPLES : Probl` me de la ruine du joueur. Consid rons une suite de v.a. (Yn )n1 i.i.d. dont la loi commune e eest d nie par e IP(Y1 = 1) = p et IP(Y1 = 1) = 1 pet une quantit initiale (d terministe ou al atoire) Y0 Z ind pendante des v.a. Yn . On d nit la marche e e e e eal atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n N. La suite (Xn )n1 est un processus stochastique a temps discret T = N (ce sont les `instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n1 repr sente l volution de la fortune ` e edun joueur (jouant a pile ou face, a la roulette...) gagnant un montant xe (ici 1 euro) avec probabilit p et ` ` eperdant le m me montant avec probabilit 1 p. Les parties, dont les r sultats sont les Yn , sont suppos es e e e eind pendantes. La fortune du joueur a lissue de la n e ` e partie est X . La quantit Y repr sente la fortune n e 0 einitiale du joueur.Le joueur est ruin (et donc arr te de jouer) d` s que la suite (Xn )n1 touche laxe des abscisses. On peut e e e 3
  • 4. egalement ajouter comme condition que le joueur sarr te de jouer si sa fortune