Cours stochastic processes

  • Published on
    01-Dec-2014

  • View
    488

  • Download
    0

Embed Size (px)

DESCRIPTION

 

Transcript

<ul><li> 1. P OLYTECH L ILLE GIS 4P ROCESSUS S TOCHASTIQUES </li> <li> 2. Table des mati` res eIntroduction 3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Chanes de Markov 8 1.1 D nitions . . . . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Classication des etats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Classes irr ductibles . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.2 R currence et transience . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.3 P riodicit . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Th or` mes limites . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.2 Lorsque lespace d tats E est ni . e . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3.3 Lorsque lespace d tats E est inni e . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 Processus stochastiques markoviens en temps continu 26 2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Trois propri t s de la loi exponentielle . . . . . . . ee . . . . . . . . . . . . . . . . . 26 2.1.2 Pr sentation du processus de Poisson . . . . . . . e . . . . . . . . . . . . . . . . . 28 2.1.3 Simulation et mod lisation . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 31 2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 D nition et exemples . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 33 2.2.2 Probabilit s de transition et g n rateur de Markov e e e . . . . . . . . . . . . . . . . . 35 2.2.3 Th or` me limite . . . . . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . 39 2.3 Application aux mod` les de les dattente . . . . . . . . . e . . . . . . . . . . . . . . . . . 41 2.3.1 Pr sentation g n rale . . . . . . . . . . . . . . . . e e e . . . . . . . . . . . . . . . . . 41 2.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Annexe : quelques formules 49 2 </li> <li> 3. Introduction On peut d nir un processus stochastique comme etant une famille {Xt }tT de variables al atoires e eind x es par le temps t. Les mots processus et stochastique signient respectivement fonction et al atoire. e e eAlors quune variable al atoire X associe a chaque une r alisation X(), un processus stochastique e ` e{Xt }tT associe a chaque une fonction (ou trajectoire) {Xt ()}tT : ` T E , t Xt ()o` E est lespace darriv e des variables al atoires Xt . Passer des variables al atoires aux processus sto- u e e echastiques revient a passer en analyse des points aux fonctions. A ` ` titre dexemple, la trajectoire dunemouche en fonction du temps peut etre mod lis e par un processus stochastique a valeurs dans E = R3 . e e `Lorsque lensemble des temps T est au plus d nombrable (par exemple T = N), on parle de processus estochastiques a temps discret. Lorsquil est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus `stochastiques a temps continu. `Dans tout ce cours, on abr` ge les expressions variable al atoire en v.a. et ind pendantes et identique- e e ement distribu es en i.i.d. eLes situations r elles pouvant etre mod lis es par des processus stochastiques sont nombreuses. En voici e e equelques exemples :E XEMPLES : Probl` me de la ruine du joueur. Consid rons une suite de v.a. (Yn )n1 i.i.d. dont la loi commune e eest d nie par e IP(Y1 = 1) = p et IP(Y1 = 1) = 1 pet une quantit initiale (d terministe ou al atoire) Y0 Z ind pendante des v.a. Yn . On d nit la marche e e e e eal atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n N. La suite (Xn )n1 est un processus stochastique a temps discret T = N (ce sont les `instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n1 repr sente l volution de la fortune ` e edun joueur (jouant a pile ou face, a la roulette...) gagnant un montant xe (ici 1 euro) avec probabilit p et ` ` eperdant le m me montant avec probabilit 1 p. Les parties, dont les r sultats sont les Yn , sont suppos es e e e eind pendantes. La fortune du joueur a lissue de la n e ` e partie est X . La quantit Y repr sente la fortune n e 0 einitiale du joueur.Le joueur est ruin (et donc arr te de jouer) d` s que la suite (Xn )n1 touche laxe des abscisses. On peut e e e 3 </li> <li> 4. egalement ajouter comme condition que le joueur sarr te de jouer si sa fortune atteint un certain seuil ea &gt; Y0 . Dans ce jeu, on aimerait connatre lesp rance de gain en fonction des param` tres Y0 , a et p, ou e eencore la dur e moyenne du jeu. e Y0 n F IGURE 1 Le joueur est ruin a lissue de la 12e partie. e` Probl` me de lextinction dune population. Consid rons une suite doublement ind x e de v.a. e e e e{Yn,m , n N, m N } i.i.d. et a valeurs enti` res. La variable Yn,m repr sente le nombre de ls du me ` e eindividu dans la ne g n ration (sil existe). Posons X0 = 1 ; il y a initialement un seul individu (g n ration e e e e0). Puis, pour tout n, Xn Xn+1 = Yn,m m=1repr sente le nombre dindividu dans la (n+1)e g n ration. La suite (Xn )n1 est un processus stochastique e e ea temps discret T = N (ce sont les g n rations) et a valeurs dans E = N. Il est connu sous le nom de` e e `processus de branchement ou arbre de Galton-Watson.F IGURE 2 Sont repr sent es les quatre premi` res g n rations dun arbre de Galton-Watson. Le premier e e e e eindividu a Y0,1 = 3 ls. Ceux-ci auront respectivement Y1,1 = 1, Y1,2 = 4 et Y1,3 = 0 ls. La 2e g n ration e ecomprend donc 5 individus : X2 = 5.Historiquement, Galton et Watson ont introduit ce mod` le pour etudier la perp tuation des lign es des e e eLords en Angletrre au 19e si` cle : les individus sont des Lords qui transmettent leur titre uniquement a e `leurs ls. Il sagit alors d tudier l volution de la population au cours du temps, i.e. la quantit Xn quand e e en devient grand. Y aura-til extinction de la lign e de Lords ? Voici une premi` re r ponse pleine de bon e e e 4 </li> <li> 5. sens : si le nombre moyen IE[Y0,1 ] de ls de chaque individu est elev , la population devrait rapidement e ` linverse, si IE[Y0,1 ] est proche de 0, la population devrait s teindre.crotre. A e S ries temporelles ou chronologiques. Les s ries temporelles peuvent etre mod lis es par des e e e eprocessus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans `un pays donn durant un intervalle de temps, le nombre de passagers dans les transports a riens ou encore e eles valeurs de cl tures journali` res du CAC40. o e 4000 3500 EuStockMarkets[, 3] 3000 2500 2000 1500 1992 1993 1994 1995 1996 1997 1998 Time F IGURE 3 Valeurs de cl tures journali` res du CAC40 de 1991 a 1998. o e `Un des objectifs principaux de l tude dune s rie temporelle est la pr vision des r alisations futures, tr` s e...</li></ul>