Cap. 7: PROBABILIDAD DISCRETA Y CADENAS DE MARKOV · CADENAS DE MARKOV. PROBABIL. DISCRETA Y...

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Curso de posgrado MATEMATICA DISCRETA

T. N. Hibbard - J. F. Yazlle

Facultad de Ciencias Exactas

Universidad Nacional de Salta

Cap. 7: PROBABILIDAD DISCRETA YCADENAS DE MARKOV

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.

Dado A ⊂ Ω, P(A) =∑

e∈A P(e) (frecuencia con que ocurreA).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Espacio de probabilidad discreta

Par (Ω,P), donde:

Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).

P : Ω→ [0, 1] con∑

e∈Ω P(e) = 1 (la cuantıa).

Evento

Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =

∑e∈A P(e) (frecuencia con que ocurre

A).

Ejemplos

1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).

2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Probabilidad condicional

Dados eventos A y B,

P(A|B) =P(A ∩ B)

P(B)

Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).

Variable aleatoria

Cualquier funcion f de Ω en los reales.

Esperanza

E(f ) =∑e∈Ω

P(e)f (e)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Probabilidad condicional

Dados eventos A y B,

P(A|B) =P(A ∩ B)

P(B)

Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).

Variable aleatoria

Cualquier funcion f de Ω en los reales.

Esperanza

E(f ) =∑e∈Ω

P(e)f (e)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Probabilidad condicional

Dados eventos A y B,

P(A|B) =P(A ∩ B)

P(B)

Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).

Variable aleatoria

Cualquier funcion f de Ω en los reales.

Esperanza

E(f ) =∑e∈Ω

P(e)f (e)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Introduccion

Probabilidad condicional

Dados eventos A y B,

P(A|B) =P(A ∩ B)

P(B)

Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).

Variable aleatoria

Cualquier funcion f de Ω en los reales.

Esperanza

E(f ) =∑e∈Ω

P(e)f (e)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.

4 En cualquier otro caso, el jugador vuelve a arrojarsucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.

la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?

¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

El pase ingles

REGLAS DE JUEGO

1 El jugador arroja dos dados honestos y observa su suma s.

2 Si s ∈ 7, 11, el jugador gana.

3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar

sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:

la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.

¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets,

y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos.

Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,

debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set.

En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos

yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p.

(Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Tenis

Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.

Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.

El que saca, gana un punto con probabilidad p. (Usualmente,p > 1

2 .)

¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO

, A CELIA O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO, A CELIA

O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Mas caras que cruces

Celia entrega 10 pesos a Diego.

Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.

Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.

¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).

n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e,

¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ?

¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Proceso estocastico a valores en E

Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .

Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial

Preguntas naturales

¿Distribucion de Xn?

¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?

Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :

P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) =

P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

La condicion markoviana

Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)

Cadena de Markov

Proceso estocastico que satisface la condicion markoviana.

Cadenas homogeneas

Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij

Matriz de transicion de la cadena:

P = (pij)i ,j∈E

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0,

y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C

P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Cadenas de Markov

Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.

Forma conveniente de representacion de cadenas homogeneas

Mediante un grafo dirigido:

Conjunto de vertices E .

Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .

Ejemplo

E = X ,C P =

12

12

12

12

(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)

Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0:

Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P

Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1,

pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:

Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1,

pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ecuaciones de Chapman-Kolmogorov

Transiciones en n pasos

pij (n) = P (Xn = j |X0 = i)

(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E

Ecuaciones de Chapman-Kolmogorov

Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn

Observacion

∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribucion de Xn

Definicion

µ(n) = (P (Xn = i))i∈E

(µ(0) es la distribucion inicial de la cadena.)

Lema

Para todo n ≥ 1:µ(n) = µ(0)Pn

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribucion de Xn

Definicion

µ(n) = (P (Xn = i))i∈E

(µ(0) es la distribucion inicial de la cadena.)

Lema

Para todo n ≥ 1:µ(n) = µ(0)Pn

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribucion de Xn

Definicion

µ(n) = (P (Xn = i))i∈E

(µ(0) es la distribucion inicial de la cadena.)

Lema

Para todo n ≥ 1:µ(n) = µ(0)Pn

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente)

si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:

fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)(Convencion: fij (0) = 0.)

fij =∑∞

n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)

fij =∑∞

n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Estados persistentes y transitorios

Sea e ∈ E .

e es persistente (o recurrente) si

P (Xn = e para algun n ≥ 1 |X0 = e) = 1

(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)

e es transitorio si no es persistente.

Primera visita

Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)

(Convencion: fij (0) = 0.)fij =

∑∞n=1 fij (n)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn

Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Lema

j es persistente si, y solo si, fjj = 1

Funciones generatrices

Para i , j ∈ E ,

Pij (x) =∞∑n=0

pij (n) xn Fij (x) =∞∑n=0

fij (n) xn

Lema

Para i , j ∈ E cualesquiera,

Pij (x) = δij + Fij (x)Pjj (x)

(δii = 1, y si i 6= j , δij = 0.)

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.

Consecuentemente, un estado j es transitorio si, y solo si,∑∞n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞

n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞

n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞

n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞

n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Teorema

Un estado j es persistente si, y solo si,∑∞

n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞

n=1 pjj (n) <∞.

Corolario

Sean i , j ∈ E .

1 Si j es persistente y fij > 0, entonces∑∞

n=0 pij (n) =∞.

2 Si j es transitorio, entonces∑∞

n=0 pij (n) <∞.

Corolario

Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Tiempo medio de retorno

Re =

∑∞n=0 nfee (n) si e es persistente

∞ si e es transitorio

Persistencia nula y positiva

Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Tiempo medio de retorno

Re =

∑∞n=0 nfee (n) si e es persistente

∞ si e es transitorio

Persistencia nula y positiva

Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Tiempo medio de retorno

Re =

∑∞n=0 nfee (n) si e es persistente

∞ si e es transitorio

Persistencia nula y positiva

Un estado persistente e se dice nulo si Re =∞

, y positivo (ono nulo) si Re <∞.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Clasificacion de estados

Tiempo medio de retorno

Re =

∑∞n=0 nfee (n) si e es persistente

∞ si e es transitorio

Persistencia nula y positiva

Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Comunicacion de estados

Sean i , j ∈ E .

Comunicacion

i → j si ∃n ≥ 0 : pij (n) > 0.

Intercomunicacion

i ↔ j cuando i → j y j → i .

Lema

↔ es de equivalencia en E .

Proposicion

↔ preserva el tipo de estado (transitorio o persistente).

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Comunicacion de estados

Sean i , j ∈ E .

Comunicacion

i → j si ∃n ≥ 0 : pij (n) > 0.

Intercomunicacion

i ↔ j cuando i → j y j → i .

Lema

↔ es de equivalencia en E .

Proposicion

↔ preserva el tipo de estado (transitorio o persistente).

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Comunicacion de estados

Sean i , j ∈ E .

Comunicacion

i → j si ∃n ≥ 0 : pij (n) > 0.

Intercomunicacion

i ↔ j cuando i → j y j → i .

Lema

↔ es de equivalencia en E .

Proposicion

↔ preserva el tipo de estado (transitorio o persistente).

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Comunicacion de estados

Sean i , j ∈ E .

Comunicacion

i → j si ∃n ≥ 0 : pij (n) > 0.

Intercomunicacion

i ↔ j cuando i → j y j → i .

Lema

↔ es de equivalencia en E .

Proposicion

↔ preserva el tipo de estado (transitorio o persistente).

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Comunicacion de estados

Sean i , j ∈ E .

Comunicacion

i → j si ∃n ≥ 0 : pij (n) > 0.

Intercomunicacion

i ↔ j cuando i → j y j → i .

Lema

↔ es de equivalencia en E .

Proposicion

↔ preserva el tipo de estado (transitorio o persistente).

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.

Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Periodicidad

Perıodo de un estado

Para e ∈ E ,

d (e) = mcd n ≥ 1 : pee (n) > 0

(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)

Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.

Proposicion

↔ preserva el perıodo.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Irreducibilidad y cerradura

Sea C ⊂ E .

C es irreducible si ∀i , j ∈ C , i ↔ j .

C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.

Clasificacion de cadenas

Cadena irreducible: ↔ tiene una sola clase deequivalencia.

Cadena aperiodica: todos los estados son aperiodicos.

Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Teorema de la Descomposicion

El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como

E = T ∪ C1 ∪ C2 ∪ · · ·

donde:

T : el conjunto de estados transitorios de la cadena.

C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Teorema de la Descomposicion

El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como

E = T ∪ C1 ∪ C2 ∪ · · ·

donde:

T : el conjunto de estados transitorios de la cadena.

C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Teorema de la Descomposicion

El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como

E = T ∪ C1 ∪ C2 ∪ · · ·

donde:

T : el conjunto de estados transitorios de la cadena.

C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Descomposicion

Teorema de la Descomposicion

El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como

E = T ∪ C1 ∪ C2 ∪ · · ·

donde:

T : el conjunto de estados transitorios de la cadena.

C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov:

unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v

invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena:

vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.

Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .

Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena,

y para todos i , j ∈ E , lımn→∞

pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Distribuciones estacionarias

Distribuciones estacionarias

Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.

Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.

Teorema

Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım

n→∞pij(n) = vj .

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet,

y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′,

sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .

Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 0

1− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.

Para cada i ∈ E , sea Pii = 0.

Para cada i ∈ E ′, sea P0i = 1/N.

Para cada i ∈ E , sea Pi0 =

1 si Si = 01− p si Si > 0

Para cada i , j ∈ 1, . . . ,N con i 6= j ,

Pij =

pSi

si hay arista de i a j en G

0 en caso contrario

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

P resulta ergodica.

Para n suficientemente grande, Pn0j es cercano a 1/Rj (por

el teorema).

Luego, Pn0j es una medida de la relevancia de la pagina en

la red, y se utiliza esta informacion para rankeo de paginas.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

P resulta ergodica.

Para n suficientemente grande, Pn0j es cercano a 1/Rj (por

el teorema).

Luego, Pn0j es una medida de la relevancia de la pagina en

la red, y se utiliza esta informacion para rankeo de paginas.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

P resulta ergodica.

Para n suficientemente grande, Pn0j es cercano a 1/Rj (por

el teorema).

Luego, Pn0j es una medida de la relevancia de la pagina en

la red, y se utiliza esta informacion para rankeo de paginas.

PROBABIL.DISCRETA Y

CADENASDE MARKOV

Probabilidaddiscreta

Introduccion

Ejemplos

Pase Ingles

Tenis

Mas C que X

Cadenas deMarkov

Generalidades

Ecuaciones deChapman-Kolmogorov

Clasificacion deestados

Comunicacion deestados

Periodicidad

Descomposicion

Distribucionesestacionarias

Aplicacion

Ejemplo de aplicacion de Cadenas de Markov

P resulta ergodica.

Para n suficientemente grande, Pn0j es cercano a 1/Rj (por

el teorema).

Luego, Pn0j es una medida de la relevancia de la pagina en

la red, y se utiliza esta informacion para rankeo de paginas.