View
1
Download
0
Category
Preview:
Citation preview
Dinâmica EstocásticaAula 10
Cadeias de Markovmatriz Estocástica
Balanceamento Detalhado
Ifusp, setembro de 2016
Tânia Tomé - Din Estoc - 20161
Bibliografia:
Capítulo 6 – Dinâmica estocástica e Irreversibilidade, Tânia Tomé e Mário J. de Oliveira, Edusp, 2014.
Tânia Tomé - Din Estoc - 2016 2
Andrei Andreyevich Markov (1856—1922) - matemático russo.
Markov
Tânia Tomé - Din Estoc - 2016 3
Exemplo: passeio aleatório simples (como o que já vimos em aulas anteriores)
Processo markoviano a tempo discreto e espaço discreto
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016 4
Cadeias de Markov
Existem muitos exemplos de processos markovianos a tempo discreto e espaço discreto
Por exemplo: os famosos autômatos celulares
Os processos descritos pela equação mestra são processos markovianos a tempo contínuoe espaço discreto
Os processos estocásticos a serem estudados nesse curso são todos markovianos
Tânia Tomé - Din Estoc - 2016 5
6
0n
0 1 ...
...
Processo estocástico a tempo discreto
1t
1n n 1n tx
variável estocástica discretatx
Tânia Tomé - Din Estoc - 2016
)...,.,( 011 nnnP = Probabilidade conjunta(1)
O processo estocástico fica definido até o instante por meio da probabilidade conjunta dada na expressão acima
1
7Tânia Tomé - Din Estoc - 2016
),...,,.( 0111 nnnnP
Probabilidade condicional
Probabilidade condicional de assumir o valor em
dado que assumiu o valor em , em ,
... o valor em .
tx1n 1 t
tx 0n1n0t 1t
n t
(2)
Processo estocástico a tempo discreto
8Tânia Tomé - Din Estoc - 2016
(3))...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP
Probabilidadecondicional
Probabilidade conjunta Probabilidade conjunta
Processo estocástico a tempo discreto
9
Cadeias de Markov
Propriedade markoviana:
Tânia Tomé - Din Estoc - 2016
1 1 0 1 1( | ,..., ) ( | )P n n n P n n
),...,,.( 0111 nnnnP probabilidade condicional (2)
(4)
Propriedade markoviana (*)
(*) Processo markoviano de alcance 1
10
Cadeias de Markov
Propriedade markoviana
Tânia Tomé - Din Estoc - 2016
1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)
Se levarmos em conta a propriedade markoviana (4)podemos reescrever a probabilidade conjunta
)...,.,( 011 nnnP
11
Cadeias de Markov
Propriedade markoviana
Tânia Tomé - Din Estoc - 2016
1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)
)...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP (5)
)...,,,()|()...,.,( 0111011 nnnPnnPnnnP
A partir das expressões (4) e (5) temos:
(6)
),...,,,()|(),..,,.,,( 0111101111 nnnnPnnPnnnnnP (6)
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016 12
se forem dados:
Podemos obter a partir da equação (6) )( 11 nP
)( 00 nP
parannP )|( 11
e
13
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
)...,,,()|()|()...,.,( 0211111011 nnnPnnPnnPnnnP
Portanto, substituindo na equação (6) temos:
)|()...,.|( 101 nnPnnnP
Aplicação da propriedade markoviana (4) para
)...,,,()|()...,.,( 0211101 nnnPnnPnnnP
)...,.|( 01 nnnP
Portanto, a probabilidade conjunta que aparece do lado direito da Eq. (6) fica: )...,.,( 01 nnnP
(7)
14
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP
)...,,,()|()...,.,( 03222110211 nnnPnnPnnnP
)|()...,.|( 2110211 nnPnnnP
Portanto,
Aplicando novamente a hipótese (4) temos:
)...,,()...,,|()...,,,( 02202110211 nnPnnnPnnnP
15
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP
A aplicação da propriedade markoviana (4) ( vezes) na equação (6) leva a seguinte expressão para a probabilidade conjunta
)()|(....)|()|()|()...,.,( 00011211111011 nPnnPnnPnnPnnPnnnP
)...,.,( 011 nnnP
(8)
),...,,,()|(),..,,.,,( 0111101111 nnnnPnnPnnnnnP (6)
Cadeias de Markov
),...,,,()|(),...,,.,,( 01111
...,,
01111
...,, 00
nnnnPnnPnnnnnPnnnn
(9)
Tânia Tomé - Din Estoc - 201616
Retomemos a equação (6) e vamos obter uma relação de recorrência
)()...,,,( 11011
...,,0
nPnnnPnn
Cadeias de Markov
)()|()...,,,()|( 110111
,...,, 10
nPnnPnnnPnnPnnnn
Tânia Tomé - Din Estoc - 201617
Mas,
)...,,,()( 01
...,, 10
nnnPnPnn
),...,,,()|(),...,,.,,( 01111
...,,
01111
...,, 00
nnnnPnnPnnnnnPnnnn
(9)
(10-a)
(10-b)
(10-c)
Cadeias de Markov
)()|()( 1111
nPnnPnPn
(11)
Tânia Tomé - Din Estoc - 201618
Relação de recorrência
Substituindo as expressões (10) na equação (9) obtemos:
)()|()( 1111
nPnnPnPn
(11)
Cadeias de Markov
)|( 11 nnP probabilidade de transição de para n1n
(12)
Probabilidade de transição independente do tempo
)|()|( 111 nnPnnP
Vamos também mudar a nomenclatura:
),()|( 11 nnTnnP (14)
Tânia Tomé - Din Estoc - 201619
(13)
)(),()( 111
nPnnTnPn
(15)
Cadeias de Markov
),( 1 nnT probabilidade de transição de para n 1n
(16)
Tânia Tomé - Din Estoc - 201620
21
Processo markoviano
Tânia Tomé - Din Estoc - 2016
)(),()(1 mPmnTnPm
(17)
),( mnT probabilidade de transição do estado para o estado n m
Genericamente podemos escrever:
22
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
)(),()(1 mPmnTnPm
(17)
),( mnT Pode ser interpretado como:elemento de matriz
Tmatriz
Té denominada matriz estocástica
23Tânia Tomé - Din Estoc - 2016
)(),()(1 mPmnTnPm
(17)
),( mnT = elemento da matriz estocástica T
0),( mnT
1),( mnTn
(18)
(19)
Propriedades
Cadeias de Markov
24
)(),()(1 mPmnTnPm
é a probabilidade (condicional) de transição de m para n.
pode ser visto como o elemento de uma matriz e a equação de evolução temporal acima pode ser escrita na forma matricial como:
é a matriz coluna cujos elementos são
TPP 1
P )(mP
),( mnT
),( mnT
(17)
(20)
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
25
Matriz estocástica
TPP 1
Toda matriz quadrada que possui as propriedades 1) e 2) abaixo enumeradas é uma matriz estocástica:
Elementos da matriz T: ),( mnT Probabilidadecondicional m n.
1) 0),( mnT
2) 1),( mnTn
(20)
(21)
(22)
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
26
TPP 1
1
2
11 PTTPTP
0
1
12
3
1
2
1 .... PTPTPTPTP
Processo markoviano:
Ou seja:
(23)0
1
1 PTP
1 TPP
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
27
0
1
1 PTP
Ou,
probabilidade de transição de para em passos.),(1 mnT
Dado o estado inicial e calculando elevada a então obtém-se
)(),()( 0
1
1 mPmnTnPm
(24)
(23)
0P T 1 1P
m n 1
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
28
(25)
Solução estacionária P
Existência e propriedades de P
Propriedades de T
PTP
Cadeias de Markov
Tânia Tomé - Din Estoc - 2016
29
)(),()( mPmnTnPm
Estado estacionário
1),( nmTm
),()()( nmTnPnPm
Cadeias de Markov
(26)
(27)
Utilizando a propriedade expressa na equação Eq. (27) podemos escrever:
(28))(),()( nPnmTnPm
ou,
Tânia Tomé - Din Estoc - 2016
30
Estado estacionário
Cadeias de Markov
(28))(),()( nPnmTnPm
Ou, 0)()(),( nPnPnmTm
(29)
Mas, )(),()( mPmnTnPm
Portanto, a partir das Eqs. (26) e (29) obtemos:
(26)
0)(),()(),( mPmnTnPnmTm (30)
Tânia Tomé - Din Estoc - 2016
31
Estado estacionário
0)(),()(),( nPnmTmPmnTm
Cadeias de Markov
(30)
Essa condição deve ser satisfeita no estado estacionário
Dois tipos de estados estacionários:
0)(),()(),( nPnmTmPmnT1) A condição (30) é satisfeita e também
Isto é, cada termo da soma se anula.
2) A condição (30) é satisfeita, mas a condição (31) não é satisfeita para todo par (n,m)
(31)
reversibilidade microscópica
irreversibilidade microscópica
Tânia Tomé - Din Estoc - 2016
32
Reversibilidade microscópica
Estado estacionário
0)(),()(),( nPnmTmPmnTm
0)(),()(),( nPnmTmPmnT
)(),()(),( nPnmTmPmnT
ou
Para qualquer par (m,n)
Condição de balanceamento detalhado
Cadeias de Markov
(30)
(31)
(32)
Tânia Tomé - Din Estoc - 2016
33
Reversibilidade microscópica:Condição de balanceamento detalhado
)(),()(),( nPnmTmPmnT
Ou seja: A probabilidade de um estado qualquer m atingirum estado n é igual a probabilidade de n atingir m.(n,m) quaisquer (no regime estacionário!).
Para qualquer par (m,n)
Estado estacionário
Cadeias de Markov
(32)
)(nP : distribuição e probabilidades estacionária associada a n
Tânia Tomé - Din Estoc - 2016
Estado estacionário
Cadeias de Markov
Trajetórias cíclicas no espaço de configurações & Balanceamento detalhado
n 'n
''n
Tânia Tomé - Din Estoc - 2016 34
35
Trajetórias cíclicas no espaço de configurações
trajetória direta
Reversibilidade microscópica(balanceamento detalhado)
)(),'()',''()'',( nPnnTnnTnnT
n 'n
''ntrajetória inversa
Irreversibilidade:
caso contrário
Tânia Tomé - Din Estoc - 2016
nnnn '''
nnnn '''
),'()',''()'',( nnTnnTnnT )',()'','(),''( nnTnnTnnT
)()',()'','(),''( nPnnTnnTnnT
(*)
(*)
FIM
Tânia Tomé - Din Estoc - 2016 36
Recommended