14.7. Estados Absorbentes

El estado k se llama estado absorbente si pkk= 1, de manera que cada vez que la cadena llegue al estado k permanece ahí para siempre. Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción al estado k dado que el sistema comenzó en i

Si el estado k es absorbente, entonces el conjunto e probabilidades de absorción fik satisface el sistema de ecuaciones

=

𝑀

𝑗=0

Para i= 0,1,…M fik Pijfjk,

Sujeta a las condiciones fkk=1, fik=0, si el estado i es recurrente e i≠ k

Una caminata aleatoria es una cadena de Markov con la probabilidad de que, si el sistema se encuentra en el estado i, entonces es un sola transición, o bien permanecerá en i o se moverá a uno de los estados inmediatamente adyacente a i

Ejemplo: Considere un ejemplo sobre juegos, considere que dos jugadores con $2 cada uno, aceptan seguir jugando y apostando $1 cada vez hasta que unos de ellos quiebre. El numero de dólares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una cadena de Markov con matriz de transición

1 0 0 0 0

1-p 0 P 0 0

0 1.p 0 P 0

0 0 1-p 0 P

0 0 0 0 1

P=

P= probabilidad de que A gane una jugada. La probabilidad de absorción al estado 0 (A pierde todo su dinero) se puede obtener a partir del sistema de ecuaciones anterior.

1 − 𝑓𝑖0 = 𝑝𝑚𝑖−1𝑚=𝑜

𝑝𝑚𝑀−0𝑚=0

Se puede demostrar que estas ecuaciones dan como resultado otras expresiones (para M general en lugar de M=4 como en esta ejemplo.

=1 − 𝑝𝑖

1 − 𝑝𝑚

Para i= 0,1,…M

Para p ≠1 2

=1 − 𝑝𝑖

1 − 𝑝𝑚

Para p =1 2 Donde 1-p = (1-p)/p

Para M =4, 1=2 y p= 2/3, la probabilidad de que A quiebre esta dada por

𝑓20 = 1 −1 − 𝑝2

1 − 𝑝4=1

5,

Y la probabilidad de que A gane $4 (B quiebre) esta dada por

𝑓2 = 1 − 𝑓20 =4

5

Considere una tienda departamental que clasifica el saldo de la cuenta de un cliente como Pagada (estado 0 ), 1 a 30 días de retraso (estado 1), 31 a 60 días de retraso (estado 2) o mala deuda (estado 3). Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general los créditos no se extienden y se espera que los clientes paguen sus cuentas dentro de 30 días.

En ocasiones, los clientes pagan solo una parte de sus cuenta. Si esto curre cuando el saldo queda dentro de los 30 días de retraso (estado 1), la tienda ve a ese cliente como uno que permanece en el estado 1. si esto ocurre cuando el saldo esta entre 31 y 60 días de retraso, la tienda considera que le cliente se mueve al estado 1 (1 a 30 días de retraso). Los clientes que tienen mas de 60 días de retraso se clasifican en la categoría de una mala deuda (estado 3); luego, las cuentas se mandan a una agencia de cobro.

Estado Estado

0: cuenta pagada

1: 1-30 dias de retraso

2:31-60 dias de retraso

3: mala deuda

0: cuenta pagada

1 0 0 0

1: 1-30 dias de retraso

0.7 0.2 0.1 0

2:31-60 dias de retraso

0.5 0.1 0.2 0.2

3: mala deuda 0 0 0 1

Después de examinar los datos de años pasados, la tienda ha desarrollado la siguiente matriz de transición:

𝑓13 = 𝑝10𝑓03 + 𝑝11𝑓13 + 𝑝12𝑓23 + 𝑝13𝑓33

𝑓23 = 𝑝20𝑓03 + 𝑝21𝑓13 + 𝑝22𝑓23 + 𝑝23𝑓33

Con 𝑓03 =0 y 𝑓33 =1, ahora se tienen dos ecuaciones con dos incógnitas, a saber, (1 − 𝑝11 )𝑓13 = 𝑝13 + 𝑝12𝑓23,

(1 − 𝑝22 )𝑓23 = 𝑝23 + 𝑝21𝑓13,

Al sustituir los valores de matriz de transición se llega a

0.8𝑓13 = 0.1𝑓23,

0.8𝑓23 = 0.2 + 0.1𝑓13,

Y la solución es 𝑓13 = 0.032

𝑓13 = 0.254

Conclusión: Entonces aproximadamente 3% de los clientes cuyas cuentas tienen 1 a 30 días de retraso acaban por ser una mala deuda mientras que el 25% de los clientes cuyas deudas tiene de 31 a 60 días de retraso llegan a la misma categoría.

14.8. Cadenas de Markov de tiempo continuo

Existen ciertos casos ( como en algunos modelos de líneas de espera) en los que se requiere un parámetro (llamado t´) de tiempo continuo, debido a que la evolución de un proceso se esta observando de manera continua a través del tiempo. Un proceso estocástico de tiempo continuo {X(t´);t´≥ 0} es una cadena de Markov de tiempo continuo si tiene la propiedad markoviana se estudiaran las cadenas de Markov de tiempo continuo con las siguientes propiedades. 1. Un numero finito de estados 2. Probabilidades de transición estacionarias

Algunas variables aleatorias importantes Cada vez que el proceso entra e el estado i , la cantidad de tiempo que pasa en ese estado antes de moverse a un estado diferente, es una variable aleatoria T donde i= 0, 1, …M La distribución exponencial posee la propiedad de que la distribución de probabilidad de tiempo que falta para que el proceso haga una transición fuera de un estado dado siempre es la misma, independientemente de cuanto tiempo haya pasado el proceso en ese estado. Tiene solo un parámetro, llámese q, donde la media es 1/q y la función de distribución acumulada es P{ 𝑇𝑖 ≤ 𝑡} = −𝑒

−𝑞𝑡 para t≥ 0

Este resultado lleva a una forma equivalente de definir un cadena de Markov de tiempo continuo. 1. La variable aleatoria 𝑇𝑖 tiene una distribución

exponencial con media 1/q. 2. Cuando sale de un estado i, el proceso se mueve a

otro estado j, como probabilidades 𝑝𝑖𝑗 , en donde

satisface las condiciones 𝑝𝑖𝑗=0 para toda i,

Y 𝑝𝑖𝑗 = 1𝑀𝑗=0 para toda i,

3. El siguiente estado que se visita después del estado i es independiente del tiempo que paso en estado i.

las intensidades de transición son.

𝑞𝑖 =𝑑

𝑑𝑡 𝑝𝑖𝑗(0) = lim

𝑡→0

1 − 𝑝𝑖𝑗(𝑡)

𝑡

𝑞𝑖𝑗 =𝑑

𝑑𝑡 𝑝𝑖𝑗(0) = lim

𝑡→0

𝑝𝑖𝑗(𝑡)

𝑡= 𝑞𝑖𝑝𝑖𝑗

para i= 0, 1, …M

para j≠ 𝑖

donde 𝑝𝑖𝑗 𝑡 es la función de probabilidad de transición de

tiempo continuo

Probabilidades de estado estable. Para cualesquiera estados i y j y números no negativos t y s (0 ≤ s ≤ 0),

𝑝𝑖𝑗(𝑡) = 𝑝𝑖𝑘𝑀𝑘=1 (s)𝑝𝑘𝑗(t-s).

se dice que un par de estados i y j se comunican si existe tiempos 𝑡1 𝑦 𝑡2 tales que 𝑝𝑖𝑗(𝑡1)>0 y 𝑝𝑖𝑗(𝑡2)>0. se dice que

todos los estados que se comunican forman una clase. Si todos los estados cadena forman una sola clase, es decir, si la cadena de Markov es irreducible, entonces 𝑝𝑖𝑗(t)>0 para toda t>0 y todos los estados i y j

Mas aun,

lim𝑡→∞𝑝𝑖𝑗 𝑡 = 𝜋𝑗

Siempre existe y es independiente del estado inicial de la cadena de Markov, para j= 0, 1, …M. estas propiedades limitantes se conocen como las probabilidades de estado estable de la cadena de Markov. Las 𝜋𝑗 satisfacen las ecuaciones

𝜋𝑗 = 𝜋𝑖𝑝𝑖𝑗 𝑡 ,𝑀𝑖=0 para toda j=0, 1, …M y

para toda t ≥0. Las siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones útiles para obtener la probabilidad del estado estable. 𝜋𝑗 𝑞𝑗= 𝜋𝑗𝑖≠𝑗 𝑞𝑖𝑗 para j=0, 1, …, M

Ejemplo. Un taller tiene dos maquinas idénticas que operan continuamente excepto cuando se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas alta prioridad para las personas de mantenimiento que trabajan tiempo completo, es repararla cuando lo necesiten. El tiempo requerido para reparara una maquina tiene distribución exponencial como media de medio día. Una vez que se termina la reparación, el tiempo que transcurre hasta la siguiente descompostura tiene distribución exponencial con media de 1 día. Estas distribuciones son independientes Defina la variable aleatoria X(t´) como X(t´)= numero de maquinas descompuestas en el tiempo t´.

Tasas de transición total hacia afuera de cada estado. 𝑞0 = 𝑞01=2

𝑞1 = 𝑞10 + 𝑞12 = 3 𝑞2 = 𝑞21=2

Sustituyendo todas las tasas en la ecuaciones de estado estable dadas se obtiene.

Ecuación de balance para el estado 0: 2𝜋0 = 2𝜋1 Ecuación de balance para el estado 1: 3𝜋0 = 2𝜋0+2𝜋2 Ecuación de balance para el estado 2: 2𝜋2 = 𝜋1 Las probabilidades suman 1: 𝜋0+𝜋1+𝜋2 = 1

Cualquiera de las ecuaciones de balance se puede eliminar como redundante, y la solucion simultanea de las ecuaciones restantes da la distribucion del estado estable

como

(𝜋0, 𝜋1, 𝜋2)=(2

5,2

5,1

5)

Entonces, ambas maquinas estarán descompuestas simultáneamente 20% del tiempo y estará descompuesta una maquina otro 40%