Upload
lamngoc
View
217
Download
0
Embed Size (px)
Citation preview
Cadeias de Markov
Parte I
Métodos Matemáticos 1A - Cadeias de Markov
Definições e Notações
Definição 1:Um Processo de Markov {Xt} é um processo estocástico
que, dado o valor Xt, os valores de Xs para s>t não são influenciadospelos valores de Xu, u<t.
Uma Cadeia de Markov Discreta no Tempo é um Processo deMarkov cujo espaço de estados é um conjunto finito ou contável, ecujo índice temporal do conjunto é T = 0,1,2,...
Em termos formais, a Propriedade de Markov é:
Pr{Xn+1=j / X0=i0, X1=i1,..., Xn-1=in-1, Xn=i} = Pr{Xn+1=j / Xn=i}, (1)
para todos os pontos no tempo n e todos os estados i0,..., in-1, i, j.
Métodos Matemáticos 1A - Cadeias de Markov
Notação:•O espaço de estados da Cadeia de Markov é indexado por inteirosnão negativos: {0,1,2,...};
•Xn está no estado i se Xn=i.
Definição 2:A probabilidade de Xn+1 estar no estado j dado que Xn está
no estado i é chamada probabilidade de transição de um passo eé denotada por Pij
n,n+1. Isto é:
Pijn,n+1 = Pr{Xn+1=j / Xn=i}. (2)
Esta notação enfatiza que, em geral, as probabilidades detransição são funções não somente dos estados inicial e final, mastambém do tempo de transição.
Métodos Matemáticos 1A - Cadeias de Markov
Quando as probabilidades de transição em um passo sãoindependentes da variável do tempo n, dizemos que a Cadeia deMarkov tem probabilidades de transição estacionárias.
Então Pijn,n+1 = Pij é independente de n e Pij é a probabilidade
condicional que o valor do estado transite de i a j em uma tentativa.
Pode-se visualizar as quantidades Pij de forma matricial, numarranjo quadrático infinito:
L
MMMM
L
L
L
i3i2i1i0
23222120
13121110
03020100
PPPP
PPPP
PPPP
PPPP
Métodos Matemáticos 1A - Cadeias de Markov
E chamamos
P =
Matriz de Markov ou Matriz de Probabilidades de Transição. Asprobabilidades Pij satisfazem as condições:
Pij ≥ 0, para i, j = 0,1,2,... (3)
= 1, para i = 0,1,2,... (4)
Proposição 1: Um Processo de Markov está completamentedefinido quando sua matriz de probabilidades de transição e seuestado inicial X0 (ou, mais genericamente, a distribuição deprobabilidade de X0) estão especificados.
∑∞
=0jijP
ijP
Métodos Matemáticos 1A - Cadeias de Markov
Prova:
Seja Pr{X0=i} = pi0. É suficiente mostrar como calcular asquantidades
Pr{X0=i0, X1=i1, X2=i2,..., Xn=in}, (5)
uma vez que qualquer probabilidade envolvendo Xj1,..., Xjk, para
j1<...< jk, pode ser obtida, de acordo com a lei da probabilidadetotal, somando os termos da forma (5).
Pela definição de probabilidade condicional, temos:Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} =
Pr{X0=i0, X1=i1, X2=i2,..., Xn-1=in-1} . Pr{Xn=in / X0=io, X1=i1, X2=i2,..., Xn-1=in-1}. (6)
Métodos Matemáticos 1A - Cadeias de Markov
Agora, pela definição de Processo de Markov:Pr{Xn=in / X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}= Pr{Xn=in / Xn-1=in-1} = Pin-1,in. (7)
Substituindo (7) em (6), temos:Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = Pr{X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}. Pin-1,in.
Então, por indução, (5) torna-se:
Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = pi0Pi0,i1... Pin-1,in-2Pin-1,in. (8)
Observa-se, então, que todas as probabilidades de dimensão finita podemser obtidas a partir das probabilidades de transição e da distribuiçãoinicial. O processo é, portanto, definido por essas quantidades. €
Métodos Matemáticos 1A - Cadeias de Markov
A propriedade de Markov expressa em (1) é equivalente a:
Pr{Xn+1=j1,..., Xn+m=jm / X0=i0,..., Xn=in} =
Pr{Xn+1=j1,..., Xn+m=jm / Xn=in}, (9)
para todos os pontos no tempo n, m e todos os estadosi0,..., in, j1,..., jm. Em outras palavras, uma vez (9)estabelecido para o valor m=1, também é válido para todosos m>1.
Métodos Matemáticos 1A - Cadeias de Markov
Matrizes de Probabilidade de Transição deuma Cadeia de Markov
A análise de uma Cadeia de Markov caracteriza-seprincipalmente pelo cálculo das probabilidades de transições em npassos. Fundamentais, portanto, são as matrizes de probabilidadesde transição em n passos,
P(n) = ,
onde Pij(n) denota a probabilidade que o processo vá do estado i
para o estado j em n transições.
Formalmente,
Pij(n) = Pr{Xm+n=j / Xm=i}. (10)
n)(
ijP
Métodos Matemáticos 1A - Cadeias de Markov
Consideramos este processo homogêneo, ou seja, dependenteapenas da diferença [m - (m+n)], e possuindo probabilidades detransição estacionárias.
Teorema 1: As probabilidades de transição em n passos de umaCadeia de Markov satisfazem:
Pij(n) = Pik Pkj
(n-1) (11)
onde definimos Pij(0) = .
Pela iteração desta fórmula, obtemos:
P(n) = P X P X ... X P = Pn . (12)
∑∞
= 0k
≠
=
ji se ,0
ji se ,1
444 3444 21 vezesn
Métodos Matemáticos 1A - Cadeias de Markov
Prova: O evento de ir do estado i para o estado j em n transiçõespode ser realizado por caminhos mutuamente exclusivos, indo paraum estado intermediário k (k= 0,1,...), na primeira transição, eentão ir do estado k ao estado j nas (n-1) transições restantes. Porconta da propriedade de Markov, a probabilidade da segundatransição é Pkj
(n-1) (da primeira transição é obviamente Pik). Usandoa Lei da Probabilidade Total:
Pij(n) = Pr{Xn=j / X0=i} = Pr{Xn=j, Xn=k / X0=i}
= Pr{X1=k / X0=i} . Pr{Xn=j / X0=i, X1=k}
= Pik Pkj(n-1)
∑∞
=0k
∑∞
=0k
∑∞
=0k
Métodos Matemáticos 1A - Cadeias de Markov
Se a probabilidade do processo estar inicialmente no estado j é pj,isto é, a lei de distribuição de X0 é Pr{X0=j)=pj, então aprobabilidade do processo estar no estado k no tempo n é:
pk = pj Pjk(n) = Pr{Xn=k} (13)
Alguns Modelos de Cadeias de Markov
Modelo de Inventário
Uma mercadoria é armazenada a fim de satisfazer umademanda continuada. A reposição do estoque se dá ao final deperíodos n=0,1,2,... e a demanda durante um período n é umavariável aleatória ξn cuja função distribuição é independente doperíodo de tempo:
∑∞
= 0j
Métodos Matemáticos 1A - Cadeias de Markov
Pr{ξn=k} = ak , para k = 0,1,2,... (14)
onde ak ≥ 0 e ak = 1..
O nível do estoque é examinado ao final de cada período. Apolítica de reposição é determinada especificando dois númeroscríticos não negativos, s e S>s, cuja interpretação é:
I) Se a quantidade do estoque no final do período não é maior ques, então uma quantidade de mercadoria suficiente para aumentar oestoque até o nível S é providenciada;
II) Se, entretanto, o estoque disponível está em excesso de s, entãonenhuma reposição de estoque é realizada.
∑∞
=0k
Métodos Matemáticos 1A - Cadeias de Markov
Seja Xn a quantidade disponível ao final do período n antes darearmazenagem. Os estados do processo {Xn} consistem dospossíveis valores da quantidade em estoque:
S, S-1,..., 1, 0, -1, -2,...
onde um valor negativo é interpretado como uma demanda nãoatendida que será satisfeita imediatamente após o re-estoque.
O nível do estoque em dois períodos consecutivos estãorelacionados por:
Xn+1 = (15)
onde ξn é a quantidade demandada no n-ésimo período,determinada para seguir a lei das probabilidades (14).
≤
≤<
+
+
sX se ,-S
SXs se ,-X
n1n
n1nn
ξ
ξ
Métodos Matemáticos 1A - Cadeias de Markov
Se considerarmos que as sucessivas demandas ξ1, ξ2,... são
variáveis aleatórias independentes, então os valores do estoque X0,
X1, X2,... constituem-se numa Cadeia de Markov cuja matriz de
probabilidades de transição pode ser calculada de acordo com a
relação (15):
Pij = Pr{Xn+1=j / Xn=i}
= .
≤=
≤<=
+
+
si se ,j}-SPr{
Sis se ,j}-iPr{
1n
1n
ξ
ξ
Métodos Matemáticos 1A - Cadeias de Markov
Para um exemplo numérico, vamos supor:
Pr{ξn=0} = 0,5; Pr{ξn=1} = 0,4; Pr{ξn=2} = 0,1.
s= 0; S=2; Xn = 2, 1, 0, -1.
Para encontrarmos os elementos da matriz de probabilidades detransição fazemos, por exemplo:
P10= Pr{Xn+1=0 / Xn=1} = Pr{ξn+1=1} = 0,4;
P10= Pr{Xn+1=0 / Xn=0} = Pr{ξn+1=2} = 0,1.
Continuando, obtemos a matriz de probabilidades de transição:
P =
5,04,01,00
05,04,01,0
5,04,01,00
5,04,01,00
Métodos Matemáticos 1A - Cadeias de Markov
Cadeia de Markov de Enfileiramento Discreto
Clientes chegam para atendimento e tomam seu lugar emuma fila. Durante cada período de tempo, um único cliente éatendido, considerando que pelo menos um cliente está presente. Senenhum cliente aguarda atendimento, então durante este períodonenhum atendimento é realizado. Num período de atendimentonovos clientes podem chegar. Supomos que o número de clientesque chegam durante o n-ésimo período é uma variável aleatória ξn,cuja distribuição é independente do período e é dada por:
Pr{k clientes chegam em um período de atendimento} =
Pr {ξn=k} = ak, para k = 0,1,...
onde ak ≥ 0 e ak = 1.∑∞
=0k
Métodos Matemáticos 1A - Cadeias de Markov
Também consideramos que ξ1, ξ2,... são variáveis aleatóriasindependentes. O estado do sistema no início de cada período édefinido pelo número de clientes esperando na fila poratendimento. Se o estado atual é i, então, depois de um lapso de umperíodo, o estado é:
j = (18)
onde ξ é o número de novos clientes que chegaram no período,enquanto um único cliente foi atendido.
Em termos de variáveis aleatórias do processo, (18) pode serformalmente expressa como:
Xn+1=(Xn-1)+ + ξn,
onde Y+=max(Y,0).
=
≥+
0i se ,
1i se ,1-i
ξ
ξ
Métodos Matemáticos 1A - Cadeias de Markov
A partir de (18), obtemos a matriz de probabilidades de transição:
P =
MMMMM
L
L
L
L
L
10
210
3210
43210
43210
aa000
aaa00
aaaa0
aaaaa
aaaaa
Métodos Matemáticos 1A - Cadeias de Markov
Algumas Cadeias de Markov Especiais
Cadeia de Markov de Dois Estados
Seja P = ; 0<a, b<1 (19)
a matriz de transição de uma Cadeia de Markov de dois estados.
Quando a=1-b, tal que as linhas de P são iguais, os estados X1,X2,... são variáveis aleatórias independentes identicamentedistribuídas, com Pr{Xn=0}=b e Pr{Xn=1}=a.
Quando a≠1-b, a distribuição de probabilidade de Xn variadependendo da saída Xn-1 no estágio anterior.
b-1b
aa-1
Métodos Matemáticos 1A - Cadeias de Markov
Neste caso, é verificado por indução que a matriz de transição em npassos é dada por:
Pn = (20)
Observemos que quando 0<a, b<1, e daí
quando n→ ∝ e:
=
bb-
a-a
b)a(b)-a-1(
ab
ab
ba1 n
++
+
1b-a-1 < 0b-a-1n
→
baa
bab
baa
bab
++
++∞→n
nlim P
Métodos Matemáticos 1A - Cadeias de Markov
Para um exemplo numérico, suponha que os itens produzidos porum trabalhador estejam sendo separados em defeituosos ou não, eque, devido à qualidade da matéria prima, um item está com defeitoou não depende em parte de se ou não o item anterior estavadefeituoso. Seja Xn a qualidade do n-ésimo item, com Xn=0significando bom e Xn=1 significando defeituoso. Suponha que Xncaracteriza uma Cadeia de Markov cuja matriz de transição é:
P = .
Observe que itens defeituosos tendem a aparecer em grupos nasaída deste sistema.
Após execução longa, a probabilidade que um item produzido poreste sistema esteja defeituoso é dado por = 0,077.
88,012,0
01,099,0
baa+
Métodos Matemáticos 1A - Cadeias de Markov
Passeio Aleatório Unidimensional
Um deslocamento aleatório unidimensional é uma Cadeiade Markov cujo espaço de estados é um subconjunto finito ouinfinito a, a+1,...,b de inteiros, no qual a partícula, se está no estadoi, pode em uma única transição permanecer em i ou mover-se paraum dos estados vizinhos i-1, i+1. Se o espaço de estados é tomadocomo os inteiros não negativos, a matriz de transição de umdeslocamento aleatório tem a seguinte forma:
P =
MMMMMMM
LL
LMMMMMMM
LL
LL
LL
0prq000
0000rq0
0000prq
00000pr
iii
22
111
00
Métodos Matemáticos 1A - Cadeias de Markov
Onde pi>0, qi>0, ri≥0 e pi+qi+ri=1, i= 1,2,... (i≥1), p0 ≥ 0, r0 ≥ 0,
p0+r0=1. Especificamente, se Xn=i, então, para i≥1,
Pr{Xn+1=i+1 / Xn=i} = pi,
Pr{Xn+1=i-1 / Xn=i} = qi e
Pr{Xn+1=i / Xn=i} = ri,
com a modificações óbvias valendo para i=0.
O Conceito de Convergência emCadeias de Markov
Métodos Matemáticos 1A - Cadeias de Markov
Apresentação
• Matrizes de Transição de Probabilidades
Regulares;
• Distribuição Limite;
• Classificação dos Estados;
• Teorema Básico do Limite em cadeia de Markov
• Distribuição Estacionária.
Métodos Matemáticos 1A - Cadeias de Markov
Matrizes de Transição deProbabilidade Regulares
• Suponha que uma matriz de transição deprobabilidade P=||Pij|| em um número finitode estados chamados de 0, 1, ..., N, tem apropriedade que quando elevada a potênciak, a matriz Pk tem todos os seus elementosestritamente positivos. Esta matriz ou acorrespondente Cadeia de Markov échamada de regular.
Métodos Matemáticos 1A - Cadeias de Markov
• O fato mais importante relacionado a Cadeiasde Markov regulares é que existe umadistribuição de probabilidades limitesπ=(π 0,π 1,...,π N) onde π j>0 para todo j=0,1,...,Ne Σ jπ j=1 e que esta distribuição independe doestado inicial. Formalmente, temos aconvergência:
NjiXjX
NjP
jnn
jn
ijn
,...,1,0 para 0}|Pr{lim
},{X Markov de cadeia de termosemou
,...,1,0 para 0lim
0
n
)(
=>===
=>=
∞
∞
π
π
Métodos Matemáticos 1A - Cadeias de Markov
• Uma condição suficiente para determinar se
uma matriz transição de probabilidade é
regular é a seguinte:
• 1. Para cada par de estados i, j existe umcaminho k1,...,kr para o qual Pik1
Pk1k2...Pkrj
>0
• 2. Existe pelo menos um estado i para oqual Pii>0.
Métodos Matemáticos 1A - Cadeias de Markov
• Teorema 1: Seja P uma matriz transição deprobabilidade regular nos estados 0,1,...,N.
Então, a distribuição limite de probabilidadeπ=(π 0,π 1,...,π N) é a única solução nãonegativa das equações:
∑
∑
=
=
=
==
N
kk
N
kkjkj NjP
0
0
.1
,...,1,0 ,
π
ππ
Métodos Matemáticos 1A - Cadeias de Markov
• Prova:
• Visto que a cadeia de Markov é regularentão temos uma distribuição limite πj>0para todo j=0,1,...,N e Σjπj=1. Escreva Pn
como o produto de matrizes Pn-1P na forma:
• Agora façamos n→∞. Então, temos
• Pij(n) → πj enquanto Pjk
(n-1) → πk e a equaçãose torna: πj =Σ πkPkj como queríamos.
∑=
− ==N
kkj
nik
nij NjPPP
0
)1()( ,...,1,0 ,
Métodos Matemáticos 1A - Cadeias de Markov
• Resta-nos provar que a solução é única.
• Suponha que x0,x1,...,xN resolve, então:
• Temos que mostrar que xj= πj .
Multipliquemos a primeira equação por Pjl esomemos para todos os j’s então:
∑
∑
=
=
=
==
N
kk
N
kkjkj
x
NjPxx
0
0
.1
,...,1,0 ,
Métodos Matemáticos 1A - Cadeias de Markov
∑∑ ∑∑= = ==
==N
j
N
k
N
kklkjlkjk
N
jjlj PxPPxPx
0 0 0
)2(
0
Mas, sabemos que:
N,...,,lpara,Pxx
Pxx
N
k
)(klkl
N
jjljl
10
:a leva nosanterior equação a então
0
2
0
==
=
∑
∑
=
=
Métodos Matemáticos 1A - Cadeias de Markov
• Repetindo esse argumento n vezes temos:
e passando ao limite em n e usando Pkl(n) →πl,
temos que:
Mas sabemos que Σkxk=1, então xl= πl comoqueríamos.
NlparaPxxN
k
nklkl ,...,1,0 ,
0
)( == ∑=
NlxxN
klkl ,...,1,0 para ,
0
== ∑=
π
Métodos Matemáticos 1A - Cadeias de Markov
0
2
1
0,5
0,4
0,05
0,250,05
0,1
0,5
0,7
0,45
Métodos Matemáticos 1A - Cadeias de Markov
Exemplo 1• Seja a matriz transição de probabilidade
dada por:
1
45025010
507050
05005040
:são limites adesprobabilid das tesdeterminan
equações as
45050050
25070050
105040
210
2102
2101
2100
=++
++=
++=
++=
=
πππππππ
ππππ
ππππ
...
...
...
...
...
...
P
Métodos Matemáticos 1A - Cadeias de Markov
• Observe que temos uma equação redundante,eliminando uma delas chegaremos ao resultado:
•
104
318
565
5
2
1
0
=
=
=
π
π
π
Métodos Matemáticos 1A - Cadeias de Markov
Matrizes Duplamente Estocásticas
• Uma matriz transição de probabilidade éduplamente estocástica se as colunassomam 1 assim como as linhas.
• Se uma matriz duplamente estocástica éregular então a única distribuição limite é adistribuição uniforme π=(1/N,...,1/N), ondeN é o número de estados da cadeia.
Métodos Matemáticos 1A - Cadeias de Markov
• Prova:
• Como sabemos que uma matriz regular sótem uma única solução, então só temos queprovar que a distribuição uniforme satisfaza:
∑
∑−
=
−
=
=
−==
1
0
1
0
.1
1,...,1,0 ,
N
kk
N
kkjkj NjP
π
ππ
Métodos Matemáticos 1A - Cadeias de Markov
1. somam
colunas as pois ,111
e ,1N
1
Mas
1
0
1-N
0k
∑
∑−
=
=
==
=
N
jjk N
PNN
Métodos Matemáticos 1A - Cadeias de Markov
Interpretação da DistribuiçãoLimite
Existem duas interpretações para essadistribuição:
• 1) Após o processo está sendo executado porum longo período a probabilidade deencontrarmos a cadeia em um dado estado j éπj.
• 2) πj significa a fração média do tempo em quea cadeia se encontra no estado j.
Métodos Matemáticos 1A - Cadeias de Markov
Aplicações
• Geralmente um fenômeno que não énaturalmente um processo de Markov podeser modelado como um incluindo parte dahistória passada em cada estado.
• Suponha, por exemplo, que o clima emqualquer dia depende do clima nos dois diasanteriores. Especificamente, suponha que sehoje e ontem o clima foi ensolarado entãoamanhã o clima será ensolarado comprobabilidade 0,8.
Métodos Matemáticos 1A - Cadeias de Markov
• Se foi ensolarado hoje e chuvoso ontem, entãoamanhã será ensolarado com probabilidade 0,6. Sefoi chuvoso hoje mas ensolarado ontem, entãoamanhã será ensolarado com probabilidade 0,4. Ese os dois últimos dias foram chuvosos, entãoamanhã será ensolarado com probabilidade 0,1.Então, definiremos os estados assim:
• 0-Ensolarado nos últimos dois dias.
• 1-Ensolarado ontem, mas chuvoso hoje.
• 2-Chuvoso ontem, mas ensolarado hoje.
• 3-Chuvoso nos dois últimos dias.
Métodos Matemáticos 1A - Cadeias de Markov
• Logo, a matriz transição de probabilidadeserá:
• Resolvendo o sistema de equações para adistribuição limite obteremos:
=
9.01.000
004.06.0
6.04.000
002.08.0
P
Métodos Matemáticos 1A - Cadeias de Markov
11
6 e
11
1,
11
1,
11
33210 ==== ππππ
Então a probabilidade de estarmos em um diaensolarado é de: π0+π2, ou seja, é de 4/11.
Métodos Matemáticos 1A - Cadeias de Markov
Classificação dos Estados
• Nem todas as cadeias de Markov sãoregulares. Vamos considerar algunsexemplos:
• Como a cadeia de Markov permanece noestado inicial, existe uma distribuição limiteque depende obviamente do estado inicial.
=
10
01P
Métodos Matemáticos 1A - Cadeias de Markov
• A cadeia de Markov cuja matriz de transiçãoé dada por:
oscila deterministicamente entre os doisestados. Então ela é periódica e portanto nãoexiste distribuição limite pois não háconvergência de P(n) quando n→∞.
=
01
10P
Métodos Matemáticos 1A - Cadeias de Markov
• A cadeia de Markov cuja matriz de transição é dadapor:
=
∞→
−
=
=
∞→ 10
10lim
:é quando limite o e
102
11
2
1
:por dada é então ,10
2/12/1
n
n
nn
n
n
P
nP
PP
Aqui o estado 0 é transitório, após o processo iniciar noestado 0 existe uma probabilidade de nunca maisretornar a ele.
Métodos Matemáticos 1A - Cadeias de Markov
Cadeias de Markov Irredutíveis
• Um estado j é dito ser acessível a um estadoi se Pij
(n)>0 para algum n≥0.
• Dois estados i e j são ditos comunicáveis secada um deles for acessível ao outro eescrevemos: i↔j. Então, se dois estados i ej não são comunicáveis: Pij
(n)=0 ou Pji(n)=0
para todos n ≥0.
Métodos Matemáticos 1A - Cadeias de Markov
• O conceito de comunicação é uma relaçãode equivalência, ou seja satisfaz asseguintes propriedades:
• 1) i↔i (reflexividade);
• 2) Se i↔j, então j↔i (simetria) e
• 3) Se i↔j e j↔k então i↔k (transitividade).
• Podemos agora particionar nossa totalidadede estados em classes de equivalência.
• Os estados em uma mesma classe de equivalênciasão aqueles que se comunicam entre si.
Métodos Matemáticos 1A - Cadeias de Markov
• É possível, começarmos em uma classe deequivalência e entrar em uma outra, contudonão é possível retornar a classe original,caso contrário as duas classes serão uma só.
• Definimos como cadeia de Markovirredutível aquela que tem somente umaclasse de equivalência. Em outras palavras,uma cadeia de Markov é irredutível se todosos seus estados se comunicam entre si. Porexemplo considere a seguinte matriz detransição de probabilidade:
Métodos Matemáticos 1A - Cadeias de Markov
=
=2
1
0
0
01000
2/102/100
01000
0004/34/1
0002/12/1
P
PP
Métodos Matemáticos 1A - Cadeias de Markov
Periodicidade de uma Cadeia deMarkov
• Definimos o período de um estado i (d(i))como sendo o máximo divisor comum detodos os inteiros n≥1 para o qual Pij
(n)>0.(Se Pij
(n)=0 para todo n≥1 defina d(i)=0).
• Se um estado i tem Pii>0, então este estadotem período igual a 1. Uma cadeia deMarkov com período 1 é chamada de nãoperiódica.
Métodos Matemáticos 1A - Cadeias de Markov
• Vamos agora enunciar três propriedades doperíodo de um estado:
• 1) Se i↔j, então d(i)=d(j);
• 2) Se um estado i tem período d(i), entãoexiste um inteiro N dependendo de i quepara todos os inteiros n≥N:
• Isto assegura que um retorno para o estado iocorre para todo múltiplo do período d(i)suficientemente grande.
0))(( >indiiP
Métodos Matemáticos 1A - Cadeias de Markov
grande. mentesuficiente positivo) inteiro (um
todopara 0 então ,0 Se 3) ))(()(
n
PP indmji
mji >> +
Métodos Matemáticos 1A - Cadeias de Markov
Estados Recorrentes e Transitórios• Definimos:
Ou seja, fii(n) é a probabilidade que
começando em um estado i a primeira vezque a cadeia retorne para o estado i ocorrana enésima transição
}|1,...,2,1,,Pr{ 0)( iXnviXiXf vn
nii =−=≠==
Métodos Matemáticos 1A - Cadeias de Markov
• Seja a probabilidade da cadeia iniciando emum estado i retornar ao estado i em algumtempo fii:
• Definimos um estado como recorrente sefii=1. Por outro lado, se um estado não forrecorrente ele é dito ser transitório.
∑∑=
∞→=
==N
n
nii
N
N
n
niiii fff
0
)(
0
)( lim
Métodos Matemáticos 1A - Cadeias de Markov
• Considere então um estado transitório,então a probabilidade do processo retornar aeste estado pelo menos k vezes, pelapropriedade do processo de Markov, é (fii)
k.
• Seja M uma variável aleatória que conta onúmero de vezes que o processo retornapara o estado i. Então M tem umadistribuição geométrica na qual:
.1
]
e 1,2,...k para ,)(}|Pr{
0
0
ii
ii
kii
f
fiE[M|X
fiXkM
−==
===≥
Métodos Matemáticos 1A - Cadeias de Markov
• Teorema 2: Um estado i é dito serrecorrente se e somente se:
• Prova: Suponha que o estado i é transitórioentão por definição fii<1 e seja M a VA queconta o número total de retornos ao estado i.Então podemos escrever M em termos deVA’s indicadoras como:
∑∞
=
∞=1
)(
n
niiP
Métodos Matemáticos 1A - Cadeias de Markov
queríamos. como
]|{1[]|[
:Logo
io. transitóré i quando ]|[ vimoscomo Mas
. se 1
se 0}{1
onde },{1
1
)(
100
0
1
∑∑
∑
∞
=
∞
=
∞
=
=====>∞
∞<=
=≠
==
==
n
nii
nn
n
nn
nn
PiXiXEiXME
iXME
iX
iXiX
iXM
Métodos Matemáticos 1A - Cadeias de Markov
• Corolário 1: Se i↔j e se i é recorrente,então j é recorrente.
• Prova:
Como i↔j então existe m,n≥1 de modo que:
Seja v>0. Então temos que:
0 e 0 )()( >> mji
nij PP
Métodos Matemáticos 1A - Cadeias de Markov
∑∑
∑∑ ∑
∑∑
∞
=
∞
=
∞
=
∞
=
∞
=
++
∞
=
∞
=
++
=≥
≥=
0
)(
0
)(
0
)()()(
0 0
)()()()(
0 0
)()()()()()()(
diverge. também que temosdiverge, Como
:Somando
v
vjj
v
vii
v
vii
nij
mji
v v
nij
vii
mji
vmnjj
l l
nij
vii
mji
nil
vil
mjl
vnmjj
PP
PPPPPPP
PPPPPPP
Métodos Matemáticos 1A - Cadeias de Markov
O Teorema Básico do Limite dasCadeias de Markov
• Seja i um estado recorrente e definimosentão a VA Ri=min{n≥1;Xn=i}. A duraçãomédia entre visitas ao estado i é:
∑∞
=
===1
)(0 ]|[
n
niiii nfiXREm
Métodos Matemáticos 1A - Cadeias de Markov
• Enunciando de forma mais formal oteorema, temos:
• (a) Considere uma cadeia de Markovrecorrente irredutível não periódica.
Seja Pii(n) a probabilidade de retornarmos
ao estado i na n-ésima transição dado que oestado inicial é i. Seja fii
(n) a probabilidadedo primeiro retorno ao estado i na n-ésimatransição, onde fii
(0)=0. Então:
i
n
nii
nii
n mnf
P11
lim
0
)(
)( ==
∑∞
=
∞→
Métodos Matemáticos 1A - Cadeias de Markov
• (b) Sobre as mesmas condições de (a):
• Obs.: Se estivermos trabalhando em umaclasse recorrente C. Então uma vez em Cnão é possível sair de C. Este teorematambém é válido para a sub-matriz ||Pij||,i,j∈C de qualquer classe recorrente nãoperiódica.
. estados os todospara limlim )()( jPP nii
n
nji
n ∞→∞→=
Métodos Matemáticos 1A - Cadeias de Markov
• Definimos uma classe como de recorrência
positiva ou fortemente ergódica se mi<∞ e
de recorrência nula ou fracamente ergódica
se mi= ∞. Um método alternativo para
determinarmos a distribuição limite πi para
uma classe recorrente não periódica.
Métodos Matemáticos 1A - Cadeias de Markov
• Teorema 4: Em uma classe de recorrênciapositiva não periódica com estadosj=0,1,2,...
0,1,...j para e ,0 (*)
:equações de conjunto pelo
osdeterminad unicamente são s' esses e
1 e 1
lim
00ii
00
)(
==≥
====
∑∑
∑∑
∞
=
∞
=
∞
=
∞
=∞→
iijiji
ii
jiijij
njj
n
P
mPP
ππππ
π
πππ
Métodos Matemáticos 1A - Cadeias de Markov
• Qualquer conjunto (πi)i=0∞ satisfazendo (*)
é chamado de uma distribuição estacionáriada cadeia de Markov. O termo estacionárioderiva da propriedade de que uma cadeia deMarkov iniciando de acordo com umadistribuição estacionária vai seguir estádistribuição para todos os demais pontos dotempo. Formalmente, se Pr{X0=i}= πi entãoPr{Xn=i}= πi para todo n=1,2,3,...Vamoschecar isso para o caso n=1, o caso geralsegue por indução:
Métodos Matemáticos 1A - Cadeias de Markov
onde a última igualdade é válida porque ππ éuma distribuição estacionária.
ik
kik
k
P
kXiXkXiX
ππ ==
=====
∑
∑∞
=
∞
=
0
00101 }|Pr{}Pr{}Pr{`
Métodos Matemáticos 1A - Cadeias de Markov
• Quando o estado inicial é selecionado deacordo com a distribuição estacionária, adistribuição conjunta de (Xn,Xn+1) é dadapor:
• Quando uma distribuição limite existe, ela ésempre uma distribuição estacionária. Maspode existir uma distribuição estacionáriaque não seja distribuição limite.
.
}|Pr{}Pr{},Pr{ 11
iji
nnnnn
P
iXjXiXjXiX
π=
====== ++
Métodos Matemáticos 1A - Cadeias de Markov
• Por exemplo seja a cadeia de Markovperiódica (portanto sem distribuição limite)dada por:
).2/1,2/1(01
10)2/1,2/1(
:pois iaestacionár ãodistribuiç uma é (1/2,1/2) mas 01
10
=
=
= πP