Apresentação do PowerPointttome/cursos/dinamicaestocastica/de_aula10.pdf · variável estocástica discreta Tânia Tomé - Din Estoc - 2016 P" 1 (n" 1, n "...., n 0) = Probabilidade

Dinâmica EstocásticaAula 10

Cadeias de Markovmatriz Estocástica

Balanceamento Detalhado

Ifusp, setembro de 2016

Tânia Tomé - Din Estoc - 20161

Bibliografia:

Capítulo 6 – Dinâmica estocástica e Irreversibilidade, Tânia Tomé e Mário J. de Oliveira, Edusp, 2014.

Tânia Tomé - Din Estoc - 2016 2

Andrei Andreyevich Markov (1856—1922) - matemático russo.

Markov


https://pt.wikipedia.org/wiki/1856

https://pt.wikipedia.org/wiki/1922

https://pt.wikipedia.org/wiki/Matem%C3%A1tica

https://pt.wikipedia.org/wiki/R%C3%BAssia

Exemplo: passeio aleatório simples (como o que já vimos em aulas anteriores)

Processo markoviano a tempo discreto e espaço discreto

Cadeias de Markov


Cadeias de Markov

Existem muitos exemplos de processos markovianos a tempo discreto e espaço discreto

Por exemplo: os famosos autômatos celulares

Os processos descritos pela equação mestra são processos markovianos a tempo contínuoe espaço discreto

Os processos estocásticos a serem estudados nesse curso são todos markovianos


6

0n

0 1 ...

...

Processo estocástico a tempo discreto

1t

1n n 1n tx

variável estocástica discretatx


)...,.,( 011 nnnP = Probabilidade conjunta(1)

O processo estocástico fica definido até o instante por meio da probabilidade conjunta dada na expressão acima

1

7Tânia Tomé - Din Estoc - 2016

),...,,.( 0111 nnnnP

Probabilidade condicional

Probabilidade condicional de assumir o valor em

dado que assumiu o valor em , em ,

... o valor em .

tx1n 1 t

tx 0n1n0t 1t

n t

(2)



(3))...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP

Probabilidadecondicional

Probabilidade conjunta Probabilidade conjunta


9

Cadeias de Markov

Propriedade markoviana:


1 1 0 1 1( | ,..., ) ( | )P n n n P n n

),...,,.( 0111 nnnnP probabilidade condicional (2)

(4)

Propriedade markoviana (*)

(*) Processo markoviano de alcance 1

10

Cadeias de Markov

Propriedade markoviana


1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)

Se levarmos em conta a propriedade markoviana (4)podemos reescrever a probabilidade conjunta

)...,.,( 011 nnnP

11

Cadeias de Markov

Propriedade markoviana


1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)

)...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP (5)

)...,,,()|()...,.,( 0111011 nnnPnnPnnnP

A partir das expressões (4) e (5) temos:

(6)

),...,,,()|(),..,,.,,( 0111101111 nnnnPnnPnnnnnP (6)

Cadeias de Markov


se forem dados:

Podemos obter a partir da equação (6) )( 11 nP

)( 00 nP

parannP )|( 11

e

13

Cadeias de Markov


)...,,,()|()|()...,.,( 0211111011 nnnPnnPnnPnnnP

Portanto, substituindo na equação (6) temos:

)|()...,.|( 101 nnPnnnP

Aplicação da propriedade markoviana (4) para

)...,,,()|()...,.,( 0211101 nnnPnnPnnnP

)...,.|( 01 nnnP

Portanto, a probabilidade conjunta que aparece do lado direito da Eq. (6) fica: )...,.,( 01 nnnP

(7)

14

Cadeias de Markov


)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP

)...,,,()|()...,.,( 03222110211 nnnPnnPnnnP

)|()...,.|( 2110211 nnPnnnP

Portanto,

Aplicando novamente a hipótese (4) temos:

)...,,()...,,|()...,,,( 02202110211 nnPnnnPnnnP

15

Cadeias de Markov


)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP

A aplicação da propriedade markoviana (4) ( vezes) na equação (6) leva a seguinte expressão para a probabilidade conjunta

)()|(....)|()|()|()...,.,( 00011211111011 nPnnPnnPnnPnnPnnnP

)...,.,( 011 nnnP

(8)

),...,,,()|(),..,,.,,( 0111101111 nnnnPnnPnnnnnP (6)

Cadeias de Markov

),...,,,()|(),...,,.,,( 01111

...,,

01111

...,, 00

nnnnPnnPnnnnnPnnnn

(9)


Retomemos a equação (6) e vamos obter uma relação de recorrência

)()...,,,( 11011

...,,0

nPnnnPnn

Cadeias de Markov

)()|()...,,,()|( 110111

,...,, 10

nPnnPnnnPnnPnnnn


Mas,

)...,,,()( 01

...,, 10

nnnPnPnn

),...,,,()|(),...,,.,,( 01111

...,,

01111

...,, 00

nnnnPnnPnnnnnPnnnn

(9)

(10-a)

(10-b)

(10-c)

Cadeias de Markov

)()|()( 1111

nPnnPnPn

(11)


Relação de recorrência

Substituindo as expressões (10) na equação (9) obtemos:

)()|()( 1111

nPnnPnPn

(11)

Cadeias de Markov

)|( 11 nnP probabilidade de transição de para n1n

(12)

Probabilidade de transição independente do tempo

)|()|( 111 nnPnnP

Vamos também mudar a nomenclatura:

),()|( 11 nnTnnP (14)


(13)

)(),()( 111

nPnnTnPn

(15)

Cadeias de Markov

),( 1 nnT probabilidade de transição de para n 1n

(16)


21

Processo markoviano


)(),()(1 mPmnTnPm

(17)

),( mnT probabilidade de transição do estado para o estado n m

Genericamente podemos escrever:

22

Cadeias de Markov


)(),()(1 mPmnTnPm

(17)

),( mnT Pode ser interpretado como:elemento de matriz

Tmatriz

Té denominada matriz estocástica


)(),()(1 mPmnTnPm

(17)

),( mnT = elemento da matriz estocástica T

0),( mnT

1),( mnTn

(18)

(19)

Propriedades

Cadeias de Markov

24

)(),()(1 mPmnTnPm

é a probabilidade (condicional) de transição de m para n.

pode ser visto como o elemento de uma matriz e a equação de evolução temporal acima pode ser escrita na forma matricial como:

é a matriz coluna cujos elementos são

TPP 1

P )(mP

),( mnT

),( mnT

(17)

(20)

Cadeias de Markov


25

Matriz estocástica

TPP 1

Toda matriz quadrada que possui as propriedades 1) e 2) abaixo enumeradas é uma matriz estocástica:

Elementos da matriz T: ),( mnT Probabilidadecondicional m n.

1) 0),( mnT

2) 1),( mnTn

(20)

(21)

(22)

Cadeias de Markov


26

TPP 1

1

2

11 PTTPTP

0

1

12

3

1

2

1 .... PTPTPTPTP

Processo markoviano:

Ou seja:

(23)0

1

1 PTP

1 TPP

Cadeias de Markov


27

0

1

1 PTP

Ou,

probabilidade de transição de para em passos.),(1 mnT

Dado o estado inicial e calculando elevada a então obtém-se

)(),()( 0

1

1 mPmnTnPm

(24)

(23)

0P T 1 1P

m n 1

Cadeias de Markov


28

(25)

Solução estacionária P

Existência e propriedades de P

Propriedades de T

PTP

Cadeias de Markov


29

)(),()( mPmnTnPm

Estado estacionário

1),( nmTm

),()()( nmTnPnPm

Cadeias de Markov

(26)

(27)

Utilizando a propriedade expressa na equação Eq. (27) podemos escrever:

(28))(),()( nPnmTnPm

ou,


30


Cadeias de Markov

(28))(),()( nPnmTnPm

Ou, 0)()(),( nPnPnmTm

(29)

Mas, )(),()( mPmnTnPm

Portanto, a partir das Eqs. (26) e (29) obtemos:

(26)

0)(),()(),( mPmnTnPnmTm (30)


31


0)(),()(),( nPnmTmPmnTm

Cadeias de Markov

(30)

Essa condição deve ser satisfeita no estado estacionário

Dois tipos de estados estacionários:

0)(),()(),( nPnmTmPmnT1) A condição (30) é satisfeita e também

Isto é, cada termo da soma se anula.

2) A condição (30) é satisfeita, mas a condição (31) não é satisfeita para todo par (n,m)

(31)

reversibilidade microscópica

irreversibilidade microscópica


32

Reversibilidade microscópica


0)(),()(),( nPnmTmPmnTm

0)(),()(),( nPnmTmPmnT

)(),()(),( nPnmTmPmnT

ou

Para qualquer par (m,n)

Condição de balanceamento detalhado

Cadeias de Markov

(30)

(31)

(32)


33

Reversibilidade microscópica:Condição de balanceamento detalhado

)(),()(),( nPnmTmPmnT

Ou seja: A probabilidade de um estado qualquer m atingirum estado n é igual a probabilidade de n atingir m.(n,m) quaisquer (no regime estacionário!).

Para qualquer par (m,n)


Cadeias de Markov

(32)

)(nP : distribuição e probabilidades estacionária associada a n



Cadeias de Markov

Trajetórias cíclicas no espaço de configurações & Balanceamento detalhado

n 'n

''n


35

Trajetórias cíclicas no espaço de configurações

trajetória direta

Reversibilidade microscópica(balanceamento detalhado)

)(),'()',''()'',( nPnnTnnTnnT

n 'n

''ntrajetória inversa

Irreversibilidade:

caso contrário


nnnn '''

nnnn '''

),'()',''()'',( nnTnnTnnT )',()'','(),''( nnTnnTnnT

)()',()'','(),''( nPnnTnnTnnT

(*)

(*)

FIM


Documents

Apresentação do PowerPointttome/cursos/dinamicaestocastica/de_aula10.pdf · variável estocástica discreta Tânia Tomé - Din Estoc - 2016 P" 1 (n" 1, n "...., n 0) = Probabilidade