Upload
phungthu
View
239
Download
0
Embed Size (px)
Citation preview
VI SEMANA DE MATEMATICA DA UESC
Introducao a Cadeias de Markov: Processos Markovianos deparametro discreto
Autores: Msc. Claudia Ribeiro SantanaPhd. Enio G. JelihovschiMsc. Pedro Carlos Elias Ribeiro Junior
Ilheus - BA
Outubro de 2007
Resumo
Uma grande quantidade de processos estudados na atualidade, sao resultados que sao medi-
dos ao longo do tempo. Dentro destes um grande numero tem resultados aleatorios, ou seja, sao
resultados imprevisıveis. Estes processos sao chamados de processos estocasticos e sao estuda-
dos usando a teoria das probabilidades. Como exemplos temos: 1) a variacao de trafego em um
certo cruzamento que envolvem a formacao e a dissipacao de congestionamentos de veıculos. 2)
Quantidade de pessoas que chegam ao longo do dia para fazer transacoes bancarias nos caixas
eletronicos dentro de um banco e um problema seria de como encontrar o numero de caixas
eletronicos para que os clientes passem menos tempo nas filas e nao haja muitos caixas ociosos
durante o dia. 3) Ruına do jogador; um jogador joga uma sequencia de jogos independentes
contra um oponente, qual sera a probabilidade de um dos jogadores se arruinar se iniciar com
um capital N? 4) Mutacoes geneticas; qual e a probabilidade de uma mutacao desaparecer,
continuar numa pequena proporcao da populacao, ou tomar conta de toda a populacao depois
de um certo perıodo de tempo?
Um dos modelos que melhor explica uma quantidade importante destes processos, e chamado
de Cadeias de Markov, que sao processos aleatorios cujo resultado no estagio n depende somente
do que aconteceu no estagio n− 1 e nao dos resultados anteriores a n− 1, ou seja, um Processo
Markoviano de parametro discreto sera uma sequencia aleatoria que satisfaz a identidade:
Pr(jk | j0, j2,..., jk−1) = Pr[Xk = jk | Xk−1 = jk−1] = p( jk | jk−1)
para cada k e para cada sequencia j0, j2,..., jk de estados, onde Xk sao variaveis aleatorias que
definem o resultado do processo no estagio k.
Sabe-se que uma cadeia aperiodica, irredutıvel, finita de Markov se estaciona, ou seja, entra
em um estado permanente e o vetor limite e o unico vetor de probabilidade estacionaria do
processo. Na verdade este vetor e um autovetor associado a matriz (regular) de probabilidades
de transicao do processo, daı, o problema iniciado recai na algebra linear onde teremos que
utilizar as ferramentas desta area da matematica para encontrar tal autovetor.
Capıtulo 1
Definicoes
Este capıtulo se dedica a definir alguns conceitos que sao necessarios para o restante do estudo
desejado.
Muitas das situacoes investigadas no nosso estudo diz respeito a uma experiencia aleatotia
que nao conduz a uma unica variavel aletaoria, mas a toda uma seqencia de variaveis aleatorias.
Sequencia de variaveis aleatorias tem uma ampla aplicacao em diversos casos, a saber:
pedidos comerciais, avarias de maquinas, tempo de vida util de um componente eletronico,
sistemas de comunicacao, cintagem de partıculas subatomicas, epidimias, sistemas geneticos, e
outros.
Qualquer sistema que varie de forma aleatoria com o tempo e seja observado em determi-
nadas sequencias de tempos segue este padrao.
Definicao 1.1. Uma sequencia de variaveis aleatorias definidas no mesmo espaco amostral e
denominada uma Sequencia Aleatoria ou um Processo Aleatorio de Parametro Discreto.
Observacao 1.1. O termo Parametro Discreto se refere ao ındice i na sequencia Xi com
i = 1, 2, . . . , n, . . .
Os contradomınios das variaveis alatorias podem ser conjuntos contınuos ou discretos. Nosso
caso e aquele em que o contradomınio e um conjunto discreto, que tem grande vairedade de
aplicacoes.
Definicao 1.2. Dizemos que as variaveis aleatorias na sequencia {X1, X2, . . . , Xn, . . .} sejam
Discretas se seus contradomınios consistem de conjuntos de elementos Inteiros. Nesta caso
pode-se afirmar que a j-esima variavel aleatoria tem valor m, ou seja Xj = m, ou entao, diz-se
que o sistema esta no estado m no j-esimo estagio, e tambem, o sistema esta no estado m no
tempo j.
1
O problema consiste em responder alguns questionamentos sobre a funcao densidade da
probabilidade conjunta ou da funcao distribuicao de X1, X2, . . . , Xn, ou seja, quanto a
p(i1, i2, . . . , in) = Pr[X1 = i1; X2 = i2; . . . ; Xn = in]
ou
F (x1, x2, . . . , xn) = Pr[X1 ≤ x1; X2 ≤ x2; . . . ; Xn ≤ xn]
quando n e um numero suficientemente grande, ou investigar sobre tais questoes no caso do
limite emq ue n tende ao infinito.
Uma forma de de se conhecer tais probabilidades e atraves do emprego repetido da formula
para a probabilidade da interseccao p(A ∩B) = p(A) · p(B|A), obtendo que
p(i1, i2, . . . , in) = pX1, X2, ..., Xn−1(i1, i2, . . . , in−1)p(in|i1, i2, . . . , in−1)= . . ....
p(i1, i2, . . . , in) = p(1)i1
p(i2|i1)p(i3|i1, i2) . . . p(in|i1, i2, . . . , in−1),
onde p(1)i1
e a funcao densidade de X1, ou seja, p(1)i1
= Pr[X1 = i1], e o significado de cada uma
das outras probabilidades condicionais e natural. Desta forma a equacao anterior se torna
Pr[X1 = i1; X2 = i2; . . . ; Xn = in] = Pr[X1 = i1]Pr[X2 = i2|X1 = i1] . . .
P r[Xn = in|X1 = i1; X2 = i2; . . . ; Xn−1 = in−1]
EXEMPLOS
1. Existem tres marcas de automoveis disponıveis no mercado: o Jacare, o Piranha e o
Urubu. O termo aij da matriz A abaixo e a propabilidade de que um dono de carro da
linha i mude para o carro da coluna j, quando comprar um carro novo.
DeJPU
J0, 70, 30, 4
ParaP0, 20, 50, 4
U0, 10, 20, 2
Os termos da diagonal de A =
710
210
110
310
510
210
410
410
210
dao a probabilidade aii de se comprar um
carro novo da marca.
A2 =
59100
725
13100
1125
39100
17100
1225
925
425
. Os termos de A2, aij, significam mudar da marca i para a marca
j depois de duas compras:
De fato: a11 = probabilidade de tendo inicialmente um carro da marca J mudar para um
outro carro desta mesma marca, ou seja, J , depois de duas compras.
J710
→ J710
→ J J210
→ P310
→ J J110
→ U410
→ J
Daı, a11 = 710· 7
10+ 2
10· 3
10+ 1
10· 4
10= 59
100.
a12 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro
carro da marca P depois de duas compras.
J710
→ J210
→ P J210
→ P510
→ P J110
→ U410
→ P
Daı, a12 = 710· 2
10+ 2
10· 5
10+ 1
10· 4
10= 28
100.
a13 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro
carro da marca U depois de duas compras.
J710
→ J110
→ U J210
→ P210
→ U J110
→ U210
→ U
Daı, a13 = 710· 1
10+ 2
10· 2
10+ 1
10· 4
10= 13
100.
a21 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro da marca J depois de duas compras.
P310
→ J710
→ J P510
→ P310
→ J P210
→ U410
→ J
Daı, a21 = 310· 7
10+ 5
10· 3
10+ 2
10· 4
10= 44
100.
a22 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro desta mesma marca, ou seja, P , depois de duas compras.
P310
→ J210
→ P P510
→ P510
→ P P210
→ U410
→ P
Daı, a22 = 310· 2
10+ 5
10· 5
10+ 2
10· 4
10= 39
100.
a23 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro da marca U depois de duas compras.
P310
→ J110
→ U P510
→ P210
→ U P210
→ U210
→ U
Daı, a23 = 710· 2
10+ 2
10· 5
10+ 1
10· 4
10= 16
100.
a31 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca J depois de duas compras.
U410
→ J710
→ J U410
→ P310
→ J U210
→ U410
→ J
Daı, a31 = 410· 7
10+ 4
10· 3
10+ 2
10· 4
10= 48
100.
a32 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca P depois de duas compras.
U410
→ J210
→ P U410
→ P510
→ P U210
→ U410
→ P
Daı, a32 = 410· 2
10+ 4
10· 5
10+ 2
10· 4
10= 36
100.
a33 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca U depois de duas compras.
U410
→ J110
→ U U410
→ P210
→ U U210
→ U210
→ U
Daı, a33 = 410· 1
10+ 4
10· 2
10+ 2
10· 2
10= 16
100.
2. Seja {XN} uma cadeia de Markov com espaco dos estados {0, 1, 2}, vetor de probabilidade
inicial p(0) = (14, 1
2, 1
4) e matriz de transicao de 1 passo P :
P =
14
34
013
13
13
0 14
34
(a) Calcule p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1].
(b) Mostre que P [X1 = 1 e X2 = 1|X0 = 0] = p01p11.
(c) Calcule p(2)01 , p
(3)ij para i, j = 0, 1, 2.
RESPOSTAS:
(a) p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1] =
= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1, X0 = 0] =
= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1] = 14· 3
4· 1
3= 1
16.
(b)
014
→ 134
→ 1
Ou seja, P [X1 = 1 e X2 = 1|X0 = 0] = p01p11.
(c) Calcule p(2)01 = a probabilidade de passar do estado 0 ao estado 1 depois de 2 passos.
014
→ 034
→ 1 034
→ 113
→ 1 00→ 2
14
→ 1
Daı, p(2)01 = 1
4· 3
4+ 3
4· 1
3+ 0 · 1
4= 7
16.
O mesmo resultado pode ser obtido calculando o elemento a12 da 2a potencia da
matriz de transicao: 14
34
013
13
13
0 14
34
· 1
434
013
13
13
0 14
34
=
516
716
14
736
49
1336
112
1348
3148
P (3) =
43192
85192
13
85432
83216
181432
19
181576
331576
Os termos p
(3)ij sao as entradas da 3a potencia da matriz de transicao P .
3. Um sistema de comunicacao tem uma probabilidade tal que, se um sımbolo e transmitido
corretamente, a probabilidade de que o sımbolo seguinte seja correto e de 0,9. Se, no en-
tanto, um sımbolo for transmitido incorretamente, a probabilidade de o proximo tambem
o seja e de 0,5. A trasmissao pode ser modelada pela sequencia markoviana dependente,
{X1, X2, · · · } onde Xi = 1 se o i-esimo sımbolo for transmitido corretamente, Xi = 0 se
o i-esimo sımbolo for incorreto. Suponha que a probabilidade de que o primeiro sımbolo
seja transmitido corretamente seja de 0,7.
(a) Calcule as probabilidades de transmissao p(in, in−1).
(b) Calcule p(i1, i2, · · · , in).
(c) Calcule Pr[X3 = 1].
(d) Se o k-esimo sımbolo for correto, Xk = 1, qual a probabilidade de que (k + 2)-esimo
sımbolo seja correto, isto e, Xk+2 = 1
RESPOSTAS
(a) as probabilidades de transmissao p(in, in−1) sao as entradas da seguinte matriz (de
transicao) :
A =
[910
110
510
510
]
A2 =
[4350
750
710
310
]
(b) p(i1, i2, · · · , in) = p(i1) · p(i2, i1) · · · p(in, in−1).
(c) Pr[X3 = 1] = 710· p11 · p11 + 7
10· p12 · p21 + 3
10· p21 · p11 + 3
10· p22 · p21.
(d) Se o k-esimo sımbolo for correto, Xk = 1, a probabilidade de que (k + 2)-esimo
sımbolo seja correto, isto e, Xk+2 = 1 e p(2)11 = 43
50.
Definicao 1.3. Uma sequencia X1, X2, . . . , Xn e dita uma Sequencia de Variaveis Aleatorias
Independentes se
p(in|i1, i2, . . . , in−1) = p(n)in
e
p(i1, i2, . . . , in) = p(1)i1
p(2)i2
. . . p(n)in
Se, alem disto, todas as variaveis aleatorias tem a mesma funcao distribuicao, ou seja,
p(j)i = pi, para cada j, a sequencia e dita Sequencia de Variaveis Aleatorias Independentes
com Mesma Distribuicao.
EXEMPLO
4. Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se
uma coroa aparecer.
Definicao 1.4. A sequencia aleatoria {X1, X2, . . . , Xn} e dita Serquencia Dependente
de Markov, ou um Processo de Markov caso a probabilidade condicional
p(in|i1, i2, . . . , in−1) = Pr[Xn = in|X1 = i1, X2 = i2, . . . , Xn−1 = in−1].
Isto significa que
p(in|i1, i2, . . . , in−1) = p(in|in−1)
ou
Pr(Xn = in|X1 = i1, X2 = i2, . . . , Xin−1 = in−1) = Pr[Xn = in|Xn−1 = in−1].
Exemplo 1.1. Considere uma seuqencia independente {X1, X2, . . . , Xm, . . .}, onde cada
Xi = +1 ou Xi = −1, com probabilidade p e q, respectivamente. Agora defina a sequencia
Yn = X1 + X2 + . . . + Xn,
para n = 1, 2, . . . , e considere a sequencia
{Y1, Y2, . . . , Ym, . . .},
Se a sequencia X representa uma sequencia independentede passos da unidade de +1
ou −1no eixo real, entao Yn representa a posicao depois de n passos. Por esta razao a
sequencia {Y1, Y2, . . . , Ym, . . .} e chamado de caminho aleatorio. sta sequencia aleatoria
especıfica e extremamente importante, tnato teoricamente, como em estudos de ordem
pratica. O estudo de suas propriedades, e determinadas generalizacoes ocupa grande parte
da teoria de probabilidade. Aqui so se destaca o fato de que a sequencia {Y1, Y2, . . . , Ym, . . .}nao e uma sequencia independente, a despeito do fato de ser proveniente de uma sequencia
independente {X1, X2, . . . , Xm, . . .}. Note que
Yn − Yn−1 = Xn =⇒ Yn = Yn−1 + Xn
Assim, se Yn−1 for dado, Yn dependera somente de Xn, que e independente de qualquer
X ‘e e Y ‘s anteriores. Desta forma
p(in|in−1) = Pr[Yn = in|Yn−1 = in−1]= Pr[Yn−1 + Xn = in|Yn−1 = in−1]= Pr[in−1 + Xn|Yn−1 = in−1]= Pr[Xn = in − in−1]
Uma vez que Xn e independente de X1, X2, . . . , Xn−1e, consequentemente de Yn−1, seque
que
p(in|in−1) =
p, se in = in−1 + 1q, se in = in−1 − 10, para qualquer outro valor
Assim, observa-se que a sequencia tem probabilidade de transicao estacionaria
pij =
p, se j = in−1 + 1q, se j = in−1 − 10, para qualquer outro valor
para i, j = 0, ±1, ±2, . . .
EXERCICIOS PROPOSTOS
(a) Seja {X1, X2, · · · } uma sequencia aleatoria independente onde cada Xi, assume
somente os valores 1 e 0 com probabilidades p e q, p + q = 1. Mostre que
X1, X2, · · · , Xn tem densidade conjunta p(i1, i2, · · · , ik) = ptqn−t onde t =∑n
k=1 ik.
Considere Sk =∑k
i=1 Xi para k = 1, 2, · · ·
i. Mostre que a sequencia {S1, S2, · · · } e uma sequencia dependente de Markov.
ii. Mostre que as probabilidades de transicao sao dadas a seguir onde α = in−in−1:
p(in, in−1) =
{pαq1−α para α = 0 ou 1
0
(b) Seja {X1, X2, · · · } uma sequencia de variaveis aleatorias discretas independentes.
Seja
Sk =k∑
i=1
Xi para k = 1, 2, · · ·
Mostre que {S1, S2, · · · } e uma sequencia markoviana dependente.
RUINA DO JOGADOR
EXERCICIOS PROPOSTOS
(a) Um jogador joga um ”jogo limpo”na qual as chances sao 2 contra 1. Em outras
palavras em cada jogo ele tem 13
de probabilidade de ganhar e 23
de perder. Se gan-
har, ganhara R$2,00. Se perder, perdera R$1,00. Suponha que os recursos totais
em dolar do jogador e do seu oponente sejam N dolares. Se o capital de qualquer
um dos jogadores cair abaixo do ponto em que eles pudessem pagar caso perdessem
o jogo seguinte, o jogo termina. Que Xn representa o caapital do primeiro jogador
apos n jogadas.
i. Determine a matriz de transicao de 1 passo da cadeia de Markov {Xn}.
ii. Suponha que os dois jogadores concordem em que se o capital de qualquer um
dos dois cair para R$1,00, eles farao o proximo jogo com chances iguais - gan-
harao ou perderao com igual probabilidade. Determine a matriz de transicao
de 1 passo para esse caso.
Obs: Considere o seguinte experimento:
Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Seja {X1, X2, · · · } uma sequencia de variaveis aleatorias
discretas independentes. Seja
Sk =k∑
i=1
Xi para k = 1, 2, · · ·
{S1, S2, · · · }
e uma sequencia markoviana dependente que pode modelar um problema de ruına
de Jogador Classico onde se ganha R$1,00 e perde R$1,00.
(b) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Defina uma nova sequencia {Yn}, onde a sequencia {Xn},da seguinte maneira:
Y1 = X1,
Y2 =X1 + X2
2,
...
Yn =X1 + X2 + · · ·+ Xn
n.
(c) Identifique a sequencia {Yn}. Trata-se de uma sequencia independente? Uma
sequencia de Markov? Um problema da Ruına de Jogador?
EXEMPLOS DE MODELOS NAO-MARKOVIANOS
(a) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Defina uma nova sequencia {Zn}, da seguinte maneira:
Z1 = X1,
Z2 =X1 + X2
2,
...
Zn+1 =Xn + Xn+1
2.
Com n=1, · · · , 49.
(b) Explique porque {Zn} dada acima nao e um modelo Markoviano?
(c) Numa ilha maravilhosa verificou-se que a cor azul ocorre em borboletas de genotipo
aa, e nao ocorre em Aa e AA. Suponha que a proporcao de borboletas azuis seja14. Depois de algumas geracoes, qual sera a porcentagem das borboletas nao azuis,
mas capazes de ter filhotes azuis?
RESPOSTA:
Denotando por d, dominante, r, recessivo e h, hıbrido, e os repectivos cruzamentos
por d× d, d× r, d× h, colocando as probabilidaddes em colunas, podemos montar
a seguinte matriz de transicao:
d× d r × r d× r d× h r × h h× hd 1 0 0 0,5 0 0,25h 0 0 1 0,5 0,5 0,5r 0 1 0 0 0,5 0,25
p(2)d
p(2)h
p(2)r
=
1 0 0 0, 5 0 0, 250 0 1 0, 5 0, 5 0, 50 1 0 0 0, 5 0, 25
·
p(1)d · p(1)
d
p(1)r · p(1)
r
2 · p(1)d · p(1)
r
2 · p(1)d · p(1)
h
2 · p(1)r · p(1)
h
p(1)h · p(1)
h
=
=
1 0 0 0, 5 0 0, 250 0 1 0, 5 0, 5 0, 50 1 0 0 0, 5 0, 25
·
0, 25 · 0, 250, 25 · 0, 25
2 · 0, 25 · 0, 252 · 0, 25 · 0, 52 · 0, 25 · 0, 5
0, 5 · 0, 5
=
0, 250, 50, 25
p(1)d : porcentagem de indivıduos dominantes.
p(1)h : porcentagem de indivıduos hibridos.
p(1)r : porcentagem de indivıduos recessivos.
Obs: p(3)d = p
(2)d , p
(3)h = p
(2)h , p
(3)r = p
(2)r . Isto nao e casualidade. Existe uma ”lei
em genetica”muito conhecida, que estabelece sob condicoes ideais que depois da
segunda geracao, a distribuicao entre os genotipos permanece a mesma.
APLICACOES DA ALGEBRA LINEAR EM CADEIAS DE MARKOV
Frequentemente se deseja estudar a cadeia de Markov que tenha estado em funcionamento
ha alguma tempo, ou seja, investigar sobre o comportamento das probabilidades de estado
n, com n bem grande, isto e,
vj = limn→∞
p(n)j
Neste caso vj recebe o nome de Probabilidade de Estado Permanente. Em termos razoaveis
pode-se esperar que, ao longo de um grande perıodo de tempo, a influencia do estado
inicial no qual o processo comecou pode esmorecer e, assim, as probabilidades limites vj
podem nao depender do estado inicial. Se for este o caso, entao vj tambem pode ser
interpretado como limite das probabilidades de transicao de n passos pij, vj = limn→∞
p(n)ij ,
ja que p(n)ij e a probabilidade do porcesso estar no estado j apos n passos, dado que
inicialmente estava no estado i. Se realmente cada vj nao depende do estado inicial, a
matriz P(n) = (p(n)ij ), convergira para uma matriz V conforme n → ∞, e cada linha sera
identica ao vetor v, com componetes vj,
P(n) → V =
vv...v
,
quando n →∞, onde v = (v0, v1, . . . , vj, . . .)
Deve-se estar atento as algumas perguntas, tais como: os limites que definen vj existem?
Se existitrem, formam uma distribuicao de probabilidade? Isto e, somam 1,∑
vj = 1?
Como se pode calcular os vj?
se os limites vj = limn→∞
p(n)ij existem e nao dependem do estado inicial, entao, fazendo
n →∞ na identidade
p(n)j =
∑k
p(n−1)k pkj
obtem-se
vj =∑
k
vkpkj, com j = 0, 1, 2, . . .,
ou, equivalentemente,
v = v · P
Qualquer vetor x = (x0, x1, x2, . . .), com xi ≥ 0 tal que∑
xi = 1, que satisfaca
xj =∑
k
xkpkj, com j = 0, 1, 2, . . . ou x = x · P
e chamado de Vetor de Probabilidade Estacionaria.
Teorema 1.1. Em qualquer cadeia aperiodica de Markov todos os limites vj = limn→∞
p(n)j
existem.
Teorema 1.2. Em qualquer cadeia aperiodica de Markov todos os limites vj = limn→∞
p(n)j = lim
n→∞p
(n)ij
nao dependem da distribuicao inicial.
Teorema 1.3. Em qualquer cadeia aperiodica irredutıvel e finita de Markov, o vetor
limite v = (v0, v1, v2, . . .) e o unico vetor da probabilidade estacionaria do processo.
Este ultimo teorema implica que, para ca cadeia aperiodica, irredutıvel e finita de Markov,
a matriz P(n) = (p(n)ij ) tende a uma matriz que tem todas sua linhas iguais, sendo cada
uma delas id entica ao vetor estacionario, ou seja,
limn→∞
P(n) =
vv...v
=
v0 v1 v2 . . .v0 v1 v2 . . ....
......
...v0 v1 v2 . . .
Exemplo 1.2. Suponha que um equipamento tanto possa estar ocupado como inoperante,
e que, se estiver inoperante, possa estar parado para reparos, como aguardando mais
trabalho. Indiqueos estados ocupado, em reparo, e aguardando mais trabalho por 0, 1 e 2.
Observe o estado do sistema em uma sequencia de dias sucessivos, e suponha que haja
suficiente falta de memoriano sistema, de forma que possa ser aproximado por uma cadeia
de Markov com matriz de transicao de 1 passo
P =
p00 p01 p02
p10 p11 p12
p20 p21 p22
=
0, 8 0, 1 0, 10, 1 0, 6 0, 20, 6 0 0, 4
Assim, por exemplo, p01 = 0, 1significa que a probabilidade de que uma maquina ocu-
pada quebre e de 0, 1, p11 = 0, 6 significa que a probabilidade de que uma maquina em
reparo hoje ainda esteja em reparo amanha e de 0, 6, p21 = 0 significa que uma maquina
inoperente nao se quebra.
Se estiver interessado nas proporcoes de tmepo a longo prazo que o equipamento gasta
em tres estados, a distribuicao limite devera ser calculada. O sistema e, claramente,
irredutıvel (cada estado por ser alcacado partindo de cada outro estado, embora nao
necessariamente em um unico passo, pois leva-se, ao menos, 2 passos para ir do estado
2 para o estado 1). E tambem finito e aperiodico. De acordo com o teorema 1.3 so se
precisa encontrar o unico vetor de probabilidade estacionaria, resolvendo-se x = xP, com∑xi = 1. Assim,
x0 = (0, 8)x0 + (0, 2)x1 + (0, 6)x2
x1 = (0, 1)x0 + (0, 6)x1
x2 = (0, 1)x0 + (0, 2)x1 + (0, 4)x2
ou (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0
−(0, 1)x0 + (0, 4)x1 = 0−(0, 1)x0 − (0, 2)x1 + (0, 6)x2 = 0
Ja que a terceira equacao pode ser obtida somando as duas primeiras e multiplicando
por −1, a terceira nao oferece nenhuma informacao adicional, podendo ser eliminada. As
duas primeiras equacoes aliadas ao fato de que∑
xi = 1, determinarao a unica solucao,
que sera do sistema(0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0
−(0, 1)x0 + (0, 4)x1 = 0x0 + x1 + x2 = 1
Das duas primeiras equacoes do sistemas, verifica-se que x1 =1
4x0, x2 =
1
4x0, e substi-
tuindo na ultima equacao, obtem-se
x0 =2
3x1 =
1
6x2 =
1
6
Assim, o vetor da probabilidade limite e v =
(2
3,
1
6,
1
6
), e isso oferece as proporcoes de
tempo, a longo prazo, que o sistema gasta nestes estados.
EXERCICIOS RESOLVIDOS
(a) E observado que as probabilidades de um time de futebol ganhar, perder e empatar
uma partida depois de conseguir uma vitoria sao 12, 1
5e 3
10respectivamente; e depois
de ser derrotado sao 310
, 310
e 25, respectivamente; e depois de empatar sao 1
5, 2
5e 2
5,
respectivamente. Se o time nao melhorar nem piorar, conseguira mais vitorias que
derrotas a longo prazo?
RESPOSTA:
G P EG 0,5 0,3 0,2P 0,2 0,3 0,4E 0,3 0,4 0,4
Como a matriz das probabilidades e regular, podemos aplicar o teorema (1.5.4)[1]:
0, 5 0, 3 0, 20, 2 0, 3 0, 40, 3 0, 4 0, 4
pG
pP
pE
=
pG
pP
pE
⇔−0, 5pG + 0, 3pP + 0, 2pE = 00, 2pG − 0, 7pP + 0, 4pE = 00, 3pG + 0, 4pP − 0, 6pE = 0
.
Alem disso, sabemos que pG + pP + pE = 1. Daı, pG = 2679
, pP = 2479
e pE = 2979
.
(b) Numa cidade industrial, os dados sobre a qualidade do ar sao classificados como
satisfatorio (S) e insatisfatorio (I). Assuma que, se um dia e registrado S, a prob-
abilidade de se ter S no dia seguinte e 25
e que, uma vez registrado I, tem-se 15
de
probabilidade de ocorrer S no dia seguinte.
i. Qual e a probabilidade do quarto dia ser S, se o primeiro dia e I?
ii. O que se pode dizer a longo prazo sobre a probabilidade de termos S ou I?
RESPOSTA:S I
S 0,4 0,2I 0,6 0,8
Para o item b)Como a matriz das probabilidades e regular, podemos aplicar o teo-
rema (1.5.4)[1]:[0, 4 0, 20, 6 0, 8
] [pS
pI
]=
[pS
pI
]⇔
{−0, 6pS + 0, 2pI = 00, 6pS − 0, 2pI = 0
.
Alem disso, pS + pI = 1. Daı, pS = 14
e pI = 34.
Para o item a)
I45
→ I45
→ I15
→ S
I45
→ I15
→ S25
→ S
I15
→ S35
→ I15
→ S
I15
→ S25
→ S25
→ S
Portanto, a probabilidade de ocorrer S no quarto dia tendo ocorrido I no primeiro
dia e igual a 16125
+ 8125
+ 3125
+ 4125
= 31125
.
O mesmo resultado pode ser obtido calculando o elemento a12 da 3a potencia da
matriz de transicao:[0, 4 0, 20, 6 0, 8
]·[
0, 4 0, 20, 6 0, 8
]·[
0, 4 0, 20, 6 0, 8
]=
[32125
31125
93125
94125
]
(c) Considere duas companhias de comidas prontas, M e N. Cada ano, a companhia
M conserva 13
de seus fregueses, enquanto que 23
se transferem para N. Cada ano,
N conserva 12
de seus fregueses, enquanto 12
transferem-se para M. Suponha que a
distribuicao inicial do mercado e dada por
X0 =
[1323
]
i. Ache a distribuicao do mercado apos 1 ano.
Um ano mais tarde, a distribuicao do mercado e
M N
A =
[13
12
23
12
]MN
X1 = AX0 =
[13
12
23
12
] [1323
]De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este
numero nao varia com o tempo. Ao fim do primeiro ano, M mantem 13
de seus
fregueses e ganha 12
de N, ou seja, M tem 13· (1
3k) + 1
2· (2
3k) = 4
9k fregueses e S
tem 23· (1
3k) + 1
2· (2
3k) = 5
9k fregueses.
ii. Ache a distribuicao estavel do mercado.
Como a matriz A e regular, segue pelo teorema da Cadeia de Markov que as
probabilidades pM e pN a longo prazo satisfazem o seguinte sistema linear:[13
12
23
12
] [pM
pN
]=
[pM
pN
]⇔
{−4pM + 3pN = 04pM − 3pN = 0
Alem disso, temos que pM + pN = 1. Daı, podemos concluir que pM = 37
e
pN = 47.
(d) Suponha que somente duas companhias rivais, R e S, manufaturam um certo pro-
duto. Cada ano, a companhia R retem 13
dos seus fregueses, enquanto que 23
passam
a ser fregueses de S. Cada ano, S mantem 35
se seus fregueses, enquanto que 25
se
transfere para R. Estas informacoes podem ser mostradas sob a forma matricial
como
R S
A =
[13
25
23
35
]RS
Ao se iniciar a manufatura, R tem 23
do mercado (o mercado e composto pelo
numero total de fregueses), enquanto que S tem 13
do mercado. Representamos a
distribuicao inicial do mercado por
X0 =
[2313
]
Um ano mais tarde, a distribuicao do mercado e
X1 = AX0 =
[13
25
23
35
] [2313
]
De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este numero
nao varia com o tempo. Ao fim do primeiro ano, R mantem 13
de seus fregue-
ses e ganha 25
de S, ou seja, R tem 13· (2
3k) + 2
5· (1
3k) = 16
45k fregueses e S tem
23· (2
3k) + 3
5· (1
3k) = 29
45k fregueses.
Como a matriz A e regular, segue pelo teorema da Cadeia de Markov que as prob-
abilidades pR e pS a longo prazo satisfazem o seguinte sistema linear:[13
25
23
35
] [pR
pS
]=
[pR
pS
]⇔
{−5pR + 3pS = 05pR − 3pS = 0
.
Alem disso, temos que pR + pS = 1. Daı, podemos concluir que pR = 38
e pS = 58.
BIBLIOGRAFIA
(a) BOLDRINE, Jose Luiz. COSTA, Suelli I. Rodrigues. FIGUEREDO, Vera
Lucia. WETZLER, Henry G. Algebra Linear. 3a edicao. Editora: HARBRA
ltda.
(b) CLARKE, A. Bruce. Disney, Ralph L. Traduzido por: Gildasio Amado Filho.
Probabilidade e Processos Estocasticos. -Rio de Janeiro: Livros Tecnicos e Cientıficos,
1979.
(c) FERNANDEZ, Pedro Jesus. Introducao a Teoria das Probabilidades. Rio de
Janeiro, Livros Tecnicos e Cientıficos; Brasılia, Ed. Universidade de Brasılia, 1973.
(d) KOLMAN, Bernard. Traduzido por: Joao Pitombeira de Carvalho. Algebra
Linear. 3a edicao. Editora: Guanabara.