Upload
reski-mangkawani
View
78
Download
0
Embed Size (px)
Citation preview
TUGAS INDIVIDU
PROSES STOKASTIK
RANTAI MARKOV
RESKI MANGKAWANI
H 121 11 270
PROGRAM STUDI STATISTIKA
JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNVERSITAS HASANUDDIN
2014
BAB 4 RANTAI MARKOV
4. 1. Pendahuluan
Rantai markov adalah proses stokastik dimana = 0, 1, 2, (periode waktu) dan variabel acak
independen. Untuk setiap waktu , ketika kejadian adalah dan seluruh kejadian sebelumnya adalah
, 1 ,2 , ,0 yang terjadi dari proses yang di ketahui, probabilitas seluruh kejadian yang
akan datang +1 hanya bergantung pada dan tidak bergantung pada kejadian-kejadian sebelumnya
yaitu 1 ,2 , ,0. Dimana +1 adalah berdistribusi bersyarat.
Jika = , ketika proses dikatakan kejadian di waktu . Memiliki peluang transisi atau peluang
berpindahnya kejadian (pada waktu ) ke kejadian (pada waktu + 1).
+1 = = ,+1 = 1, ,1 = 1,0 = 0 = , 0 (4.1)
Oleh karena itu adalah peluang, untuk setiap dan , maka 0 dan untuk = 0, 1,
= 1
=0
Matriks peluang transisi adalah
=
00 01 02
10 11 12 0
1
2
4. 2. Persamaan ChapmanKolmogorov
Misalkan menyatakan peluang transisi -langkah suatu proses di kejadian akan berada di kejadian .
= + = = dimana , 0
Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi +-langkah:
+ =
=0
untuk , 0, semua , (4.2)
Secara formal, kita dapat
+ = + = 0 =
= + = , = 0 =
=0
= + = , = 0 =
=0
= 0 =
=
=0
Jika misalkan () menunjukkan matriks peluang transisi -langkah , persamaan (4.2) menunjukkan
(+) = ().()
Dimana tidak mewakili matriks multiplikasi. Sebab itu menerangkan bahwa
(2) = (1+1) = . = 2
Dan
() = (1+1) = 1 =
Jika distribusi tidak bersyarat dari kejadian waktu yang diinginkan, itu membutuhkan untuk menetapkan
distribusi peluang dari awal kejadian.
Misalkan kita tunjukkan seperti ini
= 0 = , 0 ( = 1)
=0
Semua peluang tak bersyarat bisa di hitung dengan pengaruh kejadian di awal kejadian.
= = = |0 =
=0
{0 = }
=
=0
Mempertimbangkan rantai markov dengan peluang transisi . Misalkan adalah kumpulan atau
himpunan kejadian dan andaikan kita berkepentingan dalam peluang rantai markov pernah mencatat
apa saja dari kejadian di dalam di waktu m. Dimana, untuk memberikan kejadian , kita
berkepentingan untuk menentukan
= ( untuk semua = 1, ,| = )
Untuk menentukkan terlebih dahulu peluang akan kita tetapkan rantai markov { , 0}kejadian yang
bukan kejadian dari ditambah dari tambahan kejadian, yang mana kita memanggil A dalam diskusi
umum . suatu kejadian {} rantai markov memasukkan kejadian A itu tetap disana selamanya.
Rantai markov baru adalah ditetapkan sebagai berikut. Misalkan menunjukkan kejadian di waktu
dari rantai markov dengan peluang transisi , , didefinisikan
= min { )
Dan misalkan = jika untuk semua . adalah waktu pertama rantai markov bagaian dari
himpunan kejadian . sekarang, didefinisikan
= , > ,
Jadi kejadian dari proses {} adalah sama untuk rantai markov sampai rantai markov asli
mencantumkan kejadian di . Dari sini dapat di deskripsikan , 0 adalah rantai markov dengan
kejadian , , A dan dengan peluang transisi , , diberikan
, = , , jika ,
, = , jika
, = 1
Karena rantai markov asli akan masuk dalam kejadian di dengan waktu jika dan hanya jika kejadian
di waktu dari rantai markov baru di , kita dapat lihat
( untuk semua = 1, ,| = )
= = = = = = = ,
Misalkan sekarang kita ingin menghitung peluang dari { , 0}rantai, dimulai dengan kejadian
, sampai kejadian di waktu tanpa perna mamasukkan suatu kejadian di , dimana tak ada atau
di dalam . bahwa ini, untuk , ,
= ( = , semua = 1, , 1| = )
Tidak ada kejadian = , , = 1, , 1 adalah persamaan untuk kejadian = , itu
untuk , ,
( = , semua = 1, , 1 = = ( = | = )
= = = = ,
Ketika tetapi kita bisa menentukkan peluang
= ( = , semua = 1, , 1| = )
Seperti terdapat
= ( = ,1 = , semua = 1, , 2| = )
= ( = | 1 = , semua = 1, , 2, = )
(1 = , semua = 1, , 2| = )
= ,( 1 = , semua = 1, , 2| = )
= ,,1
Juga, ketika kita bisa menentukkan
= ( = , semua = 1, , 1| = )
Dengan pengaruh kejadian di transisi pertama sampai mendapatkan
= ( = , , = 1, , 1| = ,1 = )(1 = | = )
= (1 = , , = 1, , 2| = ),
Untuk contoh, jika , jika persamaan hasil terdahulu
= , , = 1, , 1 = = ,1 ,
Kita biasa menghitung peluang bersyarat dari memberikan bahwa awal rantai di kejadian dan tidak
memiliki dalam suatu kejadian di di waktu , seperti terdapat.
Untuk , ,
= = , , = 1, ,
= = , , = 1, , =
, = 1, , = =
,
,
4. 3. Klasifikasi Bagian
Bagian dikatakan bisa diakses dari bagian jika > 0 untuk beberapa 0. Catatan bahwa ini
menyiratkan bahwa bagian dapat diakses dari bagian jika dan hanya jika, dimulai dengan , adalah
mungkin bahwa proses akan pernah memasuki bagian . Hal ini benar karena jika tidak dapat diakses
dari , maka
} = { =
=0
0 =
=
=0
|0 = }
=
=0
= 0
Dua bagian dan yang dapat diakses satu sama lain dikatakan berkomunikasi, dan
kita tuliskan .Perhatikan bahwa bagian apapun berkomunikasi dengan dirinya sendiri karena,
menurut definisi,
0 = 0 = 0 = = 1
Hubungan komunikasi memenuhi tiga sifat berikut:
(i) Bagian berkomunikasi dengan bagian , semua 0.
(ii) Jika bagian berkomunikasi dengan bagian , maka bagian berkomunikasi dengan bagian .
(iii) Jika bagian berkomunikasi dengan bagian , dan bagian berkomunikasi dengan bagian k, maka
bagian berkomunikasi dengan bagian k. Properti (i) dan (ii) mengikuti segera dari definisi komunikasi.
Untuk membuktikan (iii) anggaplah bahwa berkomunikasi dengan , dan berkomunikasi dengan k.
Dengan demikian, terdapat bilangan bulat n dan m sehingga > 0,
> 0. Dan sekarang dengan
Chapman-Kolmogorov, kita peroleh
+ =
> 0
=0
Anggaplah bahwa bagian i bersifat sementara. Oleh karena itu, setiap kali proses memasuki bagian i
akan ada kemungkinan positif, yaitu, 1 , sehingga prosesnya tidak akan pernah lagi masuk ke bagian
itu. Oleh karena itu, mulai bagian i, probabilitas bahwa proses akan berada dalam bagian i, misalnya n
kali pengulangan sama dengan 1(1 , 1). Dengan kata lain, jika bagian i bersifat sementara
kemudian, dimulai di bagian i, jumlah periode waktu bahwa proses akan berada dalam keadaan i
memiliki distribusi geometrik dengan mean terbatas adalah 1/(1 ).
Dapat dikatakan bahwa bagian i berulang jika dan hanya jika, dimulai di bagian bagian i, jumlah yang
diharapkan dari periode waktu bahwa proses adalah dalam keadaan i tak terbatas. Tapi, dengan
memisalkan
= 1, = 0,
kami memiliki =0 merupakan jumlah periode bahwa proses ini dalam keadaan i. juga,
|0 =
=0
= |0 =
=0
= = 0 =
0
=
=0
Kami telah demikian terbukti berikut ini. Proposisi 4.1 Bagian i berulang jika
=0
=
Sementara jika
=0
<
Dari sebelumnya kita peroleh, dengan menjumlahkan seluruh n, yang
++
=1
=
=1
Sejak
> 0
=1 tak terbatas karena bagian i berulang. Jadi, dengan Proposisi 4.1 berikut
bahwa j bagian juga berulang.
Remark.Untuk random berjalan satu dimensi pada contoh 4.18, dikatakan sebagai argument langsung
untuk membangun perulangan dalam kasus simetris, dan untuk menentukan probabilitas bahwa itu
pernah kembali ke bagian 0 dalam kasus tidak simetris. maka
= { 0}
Untuk menentukan , mulailah dengan pengkondisian pada transisi awal untuk memperoleh
= 0 1 = 1 + 0 1 = 1 (1 )
Untuk memperoleh persamaan , pada transisi berikutnya maka didapatkan
= 1 = 1,2 = 0 (1 ) + 1 = 1,2 = 2
= 1 + 1 = 1,2 = 2
= 1 + 2
Dan sekarang diperoleh p > . Dalam hal ini dapat bahwa P{pernah kembali ke 0|X1 = - 1}. Oleh karena
itu, persamaan (4.5) diperoleh
= + 1
Karena random berjalan merupakan transient dalam kasus ini kita ketahui bahwa < 1, ditunjukkan
bahwa 1. Oleh karena itu, = (1 - p) / p , diperoleh
= 2 1 , >1
2
Maka, ketika p < kita dapan menunjukkan bahwa = 2p.
= 2 min(, 1 )
Namun, Sn merupakan poisson dengan mean n, maka
= =
!
Oleh karena itu, untuk n besar
! (2)1/2
Atau ekivalen
! +1 2
Yang merupakan Pendekatan Stirling
4. 4. Limit Peluang
Keadaan i dikatakan memiliki periode d jika = 0 yang mana n tidak dapat dibagi oleh d, dan d adalah
bilangan bulat terbesar dari sifat ini. Sebagai contoh , dimulai pada keadaan i , bahwa proses hanya
mungkin masuk ke keadaan i hanya pada waktu 2,4,6,8,..., . dalam masalah ini periodenya adalah 2.
Sebuah keadaaan dengan periode 1 dikatakan aperiodik. Dapat ditunjukkan bahwa kecenderungan
waktu tertentu adalah sebuah sifat pengelompokan keadaan. Bahwa jika keadaan i memiliki perode d,
dan keadaan i dan j saling berhubungan (mempengaruhi ), maka keadaan j juga memiliki periode d.
Jika keadaan i berulang , maka dikatakan sebagai pengulangan positif jika dimulai pada keadaan i, waktu
yang diperkirakan sampai proses kembali pada keadaan i dalah terbatas. Dapat ditunjukkan bahwa
pengulangan positif adaalah sifat dari pengklasifikasian (pengelmokkan ) keadaan. Ketika terdapat
keadaan yang berulang yang bukan pengulangan positif *, dapat ditunjukkan bahwa dalam sebuah
rantai markov yang keadaannya terbatas semua keadaan ynag berulang adalah pengulangan positif.
Pengalangan positif, keadaan aperiodik disebut ergodik.
Teorema 4.1
Untuk sebuah rantai markov ergodik yang nilainya sangat kecil lim ada dan bebas terhdap i.
Sehingga diperoleh :
= lim
, 0,
Dimana merupakan solusi nonegatif tunggal dari
=
=0
, 0,
= 1
=0
Dalil 4.3
Misalkan , 1 merupakan sebuah rantai markov yang tidak dapat diperkecil lag dengan peluang
stasioner , 0 dan misalkan r adalah fungsi terbatas pada jeda keadaan maka dengan peluang 1 ,
lim
()=1
= ()
=0
Bukti
Jika kita misalkan () adalah waktu yang dihabiskan rantai markov pada keadaan selama periode
waktu 1,..., N, maka
()
=1
= ()()
=1
Karena ()/ hasilnya diperoleh dengan membagi yang sebelumnya dengan N dan kemudian
diperoleh .
Andaikan bahwa kita memperoleh sebuah hasil r(j) dimana rantai berada pada keadaan j, maka
dalil 4.3 bahwa jumlah dari pembagian setiap unit waktu adalah ()( )=1
4. 5. Beberapa aplikasi
4. 5. 1 Masalah kehancuran Penjudian
Jika kita misalkan Xn menunjukkan keberuntungan pemain pada waktu n, maka proses {Xn, n =
0, 1, 2,. . .} Adalah rantai Markov dengan probabilitas transisi
00 = = 1
,+1 = = 1 ,1 = 1, 2, , 1
Rantai Markov ini memiliki tiga kelas, yaitu, {0}, {1, 2,. . . , N -1}, dan {N}; pertama dan ketiga kelas yang
berulang dan kedua sementara. Karena bagian sementara dikunjungi hanya terbatas, maka bahwa,
setelah beberapa jumlah waktu yang terbatas, penjudi/penjudi baik akan mencapai tujuannya N atau
bangkrut.
Misalkaan Pi, i = 0, 1,. . . , N, menyatakan probabilitas bahwa dimulai dengan i, keberuntungan
penjudi/penjudi akhirnya akan mencapai N. Oleh pengkondisian pada hasil dari bermain awal permainan
kita memperoleh
= +1 + 1 = 1, 2, , 1
atau ekuivalen, karena + = 1
+ = +1 + 1
atau
+1 =
1, = 1, 2, , 1
Oleh karena itu, sejak P0 = 0, kita peroleh dari baris sebelumnya bahwa
2 1 =
1 0 =
1
3 2 =
2 1 =
2
1
1 =
1 2 =
1
1
4. 5. 2 Sebuah model untuk efisiensi algoritma
Berikut ini masalah optimasi disebut program linier:
Minimalkan cx
Subjek Ax = b,
x 0
dimana A adalah m n matriks konstanta tetap, c = (c1, . . . , cn) and b = (b1, . . . , bm) adala vector
gabungan tetap, dan x = (x1, . . . , xn) adalah n-vektor nilai-nilai non-negatif yang akan dipilih untuk
meminimalkan = =1 . Andaikan bahwa n> m, dapat ditunjukkan bahwa x optimal selalu dapat
memilih setidaknya n komponen m sama dengan 0 yaitu ia selalu dapat diambil untuk menjadi salah
satu yang disebut titik ekstrim dari wilayah kelayakan. Algoritma simpleks memecahkan program linier
ini dengan bergerak dari titik ekstrim dari wilayah kelayakan untuk lebih baik (dalam hal fungsi cx
tujuan) titik ekstrim (melalui operasi inden) sampai optimal tercapai.
Pertimbangkan rantai Markov yang P11 = 1 dan
Pij = 1
1 , j = 1, . . . , i 1, i > 1
dan misalkana Ti menunjukkan jumlah transisi yang diperlukan untuk pergi dari bagian i ke bagian 1.
Sebuah formula rekursif untuk E [Ti] dapat diperoleh dengan pengkondisian pada awal transisi:
= 1 +1
1
1
=1
Proporsi 4.4 1 , , 1 adalah bebas dan
= 1 =1 , 1 1
Corollary 4.5
(i) = 1/11 .
(ii) = (1/11 )(1 1/).
(iii) Untuk N besar, memiliki distribusi normal dengan mean dan log N dan variansi log N.
4.5.3 Menggunakan Jalan Acak Untuk Menganalisis Algoritma Peluang Dari Masalah Kepuasan.
Rantai markov memiliki daerah 0,1, ,
0,1 = 1 , ,+1 = , ,1 = = 1 1 <
dan misalkan kita tertarik untuk mempelajari waktu yang dibutuhkan untuk sebuah rantai bergerak dari
0 sampai . Salah satu pendekatan untuk mendapatkan waktu rata-rata untuk mencapai keadaan >
yang didefinisikan sebagai waktu rata-rata dari sampai ke- = 0, , 1. Jika kita kemudian
pada kondisi transisi awal, kita mengikuti dari persamaan:
0 = 1 +1
= waktu untuk keadaan |keadaan selanjutnya + 1
+ waktu untuk keadaan |keadaan selanjutnya 1
= 1 ++1 + 1 + 1
= 1 + +1 + 1 , = 1, , 1
Sedangkan persamaan sebelumnya dapat diselesaikan untuk , = 0, , 1, kita tidak mengejar
solusi mereka; kita malah memanfaatkan struktur khusus dari rantai Markov untuk mendapatkan
sebuah persamaan yang lebih sederhana . Kita juga dapat mengekspresikan 0, sebagai jumlah transisi
yang digunakan rantai untuk pergi dari keadaan 0 sampai keadaan , seperti
0, =
1
=0
Misalkan = kita peroleh, setelah pengkondisian pada transisi berikutnya setelah rantai
memasuki keadaan ,untuk = 1, , 1
= 1 + jumlah transisi tambahan untuk keadaan + 1|untuk rantai 1
= 1 + 1 +
Atau
=1
+
1 = 1, , 1
mulai dengan 0 = 1dan = / , kita peroleh dari pemanggilan sebelumnya bahwa
1 =1
+
2 =1
+
1
+ =
1
+
+ 2
3 =1
+
1
+
+ 2 =
1
+
+2
+ 3
Secara umum dapat dilihat bahwa
=1
1=0 +
= 1, , 1 (4.16)
Menggunakan persamaan (4.15), sekarang kita memperoleh
0, = 1 +1
1
=0
+ 1
=1
1
=1
Saat =1
2 dan = 1, kita melihat dari persamaan sebelumnya bahwa
0, = 1 + 1 + 1 = 2
Saat 1
2 , kita memperoleh
0, = 1 +1
1 1
1
=1
+
1
= 1 +1 +
1 1
1 +
1
= 1 +2+1 + 1 2 + 1
1 2
dimana persamaan kedua menggunakan fakta bahwa = 1 / (1 + ). Oleh karena itu, kita melihat
bahwa ketika > 1, atau ekuivalen ketika 1
2 , [0, ] adalah, untuk besar, pada dasarnya linier dalam .
Analisis kami juga membuat mengapa jelas kita mengasumsikan bahwa hanya ada dua variabel dalam
setiap klausa. Karena jika ada , > 2, variabel dalam klausul kemudian sebagai setiap klausul yang
tidak puas saat ini mungkin hanya memiliki satu pengaturan yang salah, sebuah variabel yang dipilih
secara acak yang nilainya berubah mungkin hanya meningkatkan jumlah nilai-nilai dalam perjanjian
dengan probabilitas 1 / dan jadi kami hanya bisa menyimpulkan dari sebelumnya Markov hasil rantai
kita bahwa waktu rata-rata untuk mendapatkan nilai-nilai di merupakan fungsi eksponensial dari ,
yang bukan merupakan algoritma yang efisien ketika adalah besar.
4. 6. Rataan Waktu Yang Dihabiskan Dalam Keadaan Transient
Perhatikan bahwa keadaan rantai Markov terbatas dan anggap bahwa keadaannya diberi nomor
sehingga = {1, 2, . . . , } merupakan himpunan dari keadaan transient. Misalkan
=
11 12 1. . . .. . . .1 2
dan perhatikan bahwa setelah hanya menentukan probabilitas transisi keadaan transient
ke keadaan transient, beberapa jumlah barisnya kurang dari 1 (sebaliknya, keadaan akan menjadi
kelas tertutup).
Untuk keadaan transient dan , misalkan menunjukkan jumlah yang diharapkan dari waktu periode
yaitu rantai Markov dalam keadaan , mengingat bahwa itu dimulai di keadaan . Misalkan , = 1
ketika = dan misalkan 0 lainnya. Keadaan pada transisi awal untuk mendapatkan
= , +
= , +
=1
dimana persamaan akhir berikut mustahil diperoleh untuk beralih dari rekuren ke suatu
kondisi transien, mengimplikasikan bahwa = 0 ketika k adalah keadaan berulang.
Misalkan menunjukkan matriks nilai-nilai , , = 1, . . . , . Artinya,
=
11 12 1. . . .. . . .1 2
Dalam notasi matriks, Persamaan (4.18) dapat ditulis sebagai berikut
= +
dimana adalah matriks identitas berukuran . Karena persamaan sebelumnya ekivalen
untuk
1 =
kita peroleh, setelah mengalikan kedua sisi dengan ( )1
= ( )1
Artinya, jumlah , , , dapat diperoleh dengan membalikkan matriks
. (Adanya kebalikan tersebut mudah dibentuk.)
Untuk , , jumlah , sama dengan probabilitas bahwa rantai Markov
pernah membuat transisi ke keadaan mengingat bahwa itu dimulai di keadaan , mudah
ditentukan dari . Untuk memastikan hubungan, mari kita mulai dengan menurunkan
sebuah persamaan untuk oleh pengkondisian keadaan yang pernah dimasukkan. Hal ini
menghasilkan
= [waktu di | mulai di , setelah transit ke ] + [waktu di | mulai di , tidak pernah transit
ke ]( )
= (, + ) + (1 ( )
= , +
= ,
Misalkan kita tertarik dalam waktu yang diharapkan sampai rantai Markov masuk
beberapa pasang kondisi , yang tidak perlu kondisi yang berulang. Kita bisa memperkecil
hal ini kembali pada situasi sebelumnya dengan membuat semua kondisi di keadaan baik . sehingga ,
reset probabilitas transisi dari kondisi-kondisi di untuk memenuhi
, = 1,
Hal ini mengubah dari keadaan ke keadaan yang berulang, dan mengubah setiap keadaan
di luar dari mana transisi akhirnya ke mungkin menjadi keadaan transien. Dengan demikian,
pendekatan sebelumnya dapat digunakan.
4. 7. Proses Percabangan
Berdasarkan sebuah populasi yang terdiri atas individu yang mampu menghasilkan keturunan yang baik.
Berdasarkan itu setiap individu sampai akhir hidupnya akan menghasilkan j keturunan baru dengan
peluang , 0, saling bebas dengan jumlah keturunan yang dihasilkan oleh individu lain. Dimisalkan
< 1 untuk setiap 0. Jumlah individu yang sekarang dinotasikan 0 yang disebut ukuran generasi
ke-0. Semua keturunan dari generasi ke-0 yang merupakan generasi pertama dinotasikan sebagai1.
Secara umum, dimisalkan adalah ukuran generasi ke-n maka { , = 0,1, } adalah rantai Markov
yang memiliki ruang bagian dari himpunan bilangan integer nonnegatif.
Misalkan rata-rata jumlah keturunan dari individu adalah
=
=0
Dan variansi dari jumlah keturunan yang diproduksi oleh individu adalah
2 = ( )2
=0
Misalkan 0 = 1 yang berasal dari 1 individu. Kita hitung [ ] dan () yang dapat dituliskan
=
1
=1
Dimana adalah jumlaj keturunan dari individu ke-I dari generasi ke (n-1). Dari 1 diperoleh
[ ] = [[ |1]]
= |1
1
=1
= 1
= 1
Dimana = . Karena 0 = 1 maka hasilnya
1 = ,
2 = 1 = 2 ,
= 1 =
Hampir sama untuk Var() dapat dirumuskan dengan rumus variansi bersyarat
() = ( |1) + ([ |1])
Diberikan 1 , adalah total penjumlahan dari 1 variabel acak saling bebas yang masing-masing
memiliki distribusi { , 0}. Maka,
|1 = 1, Var( |1) = 12
Maka rumus untuk variansi bersyarat adalah
() = 12 + (1)
= 21 + 2 1
= 21 + 2(22 + 2 2 )
= 2(1 + ) + 4 2
= 2(1 + ) + 4(23 + 2 3 )
= 2(1 + + +1) + 6 3
=
= 2(1 + + + 22) + 2 0
= 2(1 + + + 22)
Untuk itu
var = 21
1
1 ,
2 jika 1jika = 1
(4.19)
misalkan 0 sebagai peluang populasi akan punah (dengan asumsi 0 = 1). Selebihnya,
0 = lim
= 0 0 = 1
Pertama kita catat 0 = 1, jika < 1, maka
= = =
=0
1. =
=0
= 1
karena 0 = 1, maka 1 0 dan karenanya = 0 1
faktanya, kita masih dapat membuktikan 0 = 1 bahkan ketika = 1. Ketika < 1, itu membuat
0 < 1, dan persamaan menentukan 0 dapat berasal dengan bersyarat jumlah keturunan dari individu
awal, sebagai berikut:
0 = {populasi punah}
= populasi punah|1 =
=0
Sekarang diberikan 1 = , populasi akhirnya akan punah jika dan hanya jika tiap keluarga j dimulai dari
generasi pertama akhirnya punah. Karena setiap keluarga diasumsikan saling bebas, dan karena
peluang setiap keluarga tertentu meninggal adalah hanya 0, maka:
populasi punah|1 = = 0
Dan 0 memenuhi
0 = 0
=0 (4.20)
Faktanya ketika > 1, dapat dibuktikan bahwa 0 adalah bilangan positif terkecilyang memenuhi
persamaan (4.20)
4. 8. Waktu Keterbalikan Rantai marcov
Anggapan ergodic stasioner pada rantai Markov (yaitu, rantai Markov ergodic yang telah beroperasi
untuk waktu yang lama) yang memiliki probabilitas transisi Pij dan probabilitas stasioner i, dan
anggaplah bahwa mulai beberapa waktu kami menelusuri urutan keadaan akan mundur dalam waktu
tertentu. Artinya, mulai saat waktu n, dipertimbangkan urutan menyatakan Xn, Xn-1, Xn-2,..
Ternyata urutan kedaan ini sendiri merupakan rantai Markov dengan probabilitas transisi Qij yang
didefinisikan oleh:
= = +1 =
={ = ,+1 = }
+1 =
= = {+1 = | = }
+1 =
=
Untuk membuktikan bahwa proses kebalikan tersebut memang rantai Markov, kita harus memastikan
bahwa:
= +1 = ,+2,+3, = = {+1 = }
Dengan demikian, proses kebalikan rantai Markov dengan probabilitas transisi diberikan oleh:
=
Jika Qij = Pij untuk semua i, j, maka rantai Markov dikatakan waktu reversibel. kondisi waktu reversibilitas
yaitu Qij = Pij, juga dapat dinyatakan sebagai:
= untuk semua , (4.21)
Jika kita dapat menemukan nomor nonnegatif , menyimpulkan satu , yang memenuhi
persamaan(4.21),maka berikut bahwa rantai Markov adalah waktu reversibel dan menunjukkan peluang
terbatas . Hal ini jika:
= , , = 1 (4.22)
kemudian menjumlahkan hasil
= = ,
= 1
dan, karena probabilitas yang embatasi i adalah solusi unik dari sebelumnya, berikut bahwa
xi = i untuk semua i.
Kita dapat dengan mudah memperoleh probabilitas yang membatasi dengan menyamakan untuk setiap
keadaan = 0, 1, . . . , 1 tingkat di mana proses berjalan dari i ke i + 1 dengan tingkat di yang pergi
dari i + 1 untuk i. Hasilnya :
00 = 1 1 1 ,
11 = 2 1 2 ,
.
.
= +1 1 +1 , = 0,1, , 1
Pemecahan dalam hal hasil 0
1 =0
1 10
1 =0
1 10 =
10 1 2 1 1
0
Dan secara umum :
=1 0
1 2 1 1 0, = 1,2, ,
Maka = 1,0 kita hasilkan
0 = 1 + 1 0
1 2 1 1
=1
= 1
Atau
0 = 1 + 1 0
1 2 1 1
=1
1
Dan
=1 0
1 1 1 0, = 1, ,
Jika ,
0 = 1 +
1
=1
1
=1
1 +1
Dan secara umum
= 1
1 +1, = 0,1, ,
Dimana
=
1
Persamaan reversibilitas Waktu:
=
=
atau sama, karena wij = wji
=
Yang ekivalen dengan
=
Atau
=
Atau , jika 1 =
=
is yang diberikan oleh persamaan ini memenuhi persamaan waktu reversibilitas. Jika kita mencoba
untuk memecahkan Persamaan (4.22) untuk rantai Markov acak dengan keadaan-keadaan 0, 1,. . . , M,
maka biasanya ternyata bahwa tidak ada solusi. Sebagai contoh, dari Persamaan (4.22)
=
=
(Jika > 0) maka:
=
Secara umum tidak sama dengan / . Jadi, kita perlu melihat kondisi untuk waktu keterbalikan,
yaitu :
= , ,
Yang eqiuvalen dengan pernyataan bahwa, dimulai dari keadaan I, titik memiliki peluang
yang sama keterbalikan titik untuk lebih mengerti kebutuhan itu. Catatn bahwa waktu
keterbalikan menyiratkan laju urutan dari transisi dari ke ke ke kejadiannya harus sama dengan
laju dari . dan kita harus memiliki :
=
Pada persamaan (4.25) ketika > 0
4. 9. Rantai Markov Metode Monte Karlo
adalah vektor acak diskrit yang merupakan himpunan dari nilai yang mungkin adalah
, 1. pmf dari diberikan oleh = , 1, dan andaikan kita tertarik dalam
memperhitungkan
= = { = }
=1
Untuk suatu fungsi spesifik . Dalam situasi dimana perhitungannya sulit untuk menilai fungsi
, 1, kita sering membalik untuk simulasi perkiraan . Pendekatan/ perkiraan ini, disebut
simulasi Monte Carlo, ini digunakan untuk jumlah acak untuk membangkitkan barisan parsial dari
independen dan distribusi identik vektor acak 1,2, , diberikan pmf = , 1 (lihat Bab 11
untuk mendiskusikan bagaimana ini dapat diselesaikan). Sejak dalil kuat dari jumlah yang besar
menghasilkan
lim ()
= =1
Ini mengikuti bahwa kita dapat memperkirakan dengan memisalkan menjadi besar dan
menggunakan rata-rata nilai dari , = 1, , sebagai estimator.
Algoritma Hastings-Metropolish, dapat digunakan untuk membangkitkan waktu yang dapat dibalik
rantai Markov yang peluang tetap adalah
=
, = 1,2,
Untjk memulai, misal menjadi setiap Markov spesifik tak dapat diperkecil transisi peluang matriks
dalam integer, dengan , menunjukkan baris kolom elemen dari . Sekarang misalkan rantai
Markov { , 0}. Ketika = , pembangkit variabel acak sedemikian = = , , =
1,2, Jika = , maka himpunan +1 senilai dengan pelung (, ), dan himpunan ini senilai dengan
dengan peluang 1 (, ). Dibawa kondisi ini, mudah untuk melihat bahwa barisan dari keadaan rantai
Markov dengan transisi peluang ,
, = , , ,
, = , + , 1 ,
Rantai Markov ini dapat dibalik dan mempunyai peluang tetap () jika
, = ,
Senilai
, , = , , (4.31)
Tapi jika kita mengambil = ()/ dan himpunan
, = min ,
, , 1 4.32
Equasion (4.31) itu mudah diliat memuaskan. Jika
, = ,
,
Maka , = 1 dan mengikuti persamaan (4.31), dan jika , = 1 maka
, = ,
,
Dan lagi persamaan (4.31) memperoleh, menunjukkan bahwa rantai Marcov adalah waktu yang dapat
dibalik dengan peluang tetap . Juga, sejak = ()/, kita liat dari (4.32) bahwa
, = min ,
, , 1
Dengan menunjukkan bahwa nilai dari tidak diperlukan untuk menegaskan rantai Marcov, karena nilai
mencukupi. Juga, kasus ini sering bahwa , 1 tidak hanya menjadi peluang tetap tapi akan
selalu menjadi peluang limit.
4. 10. Proses Keputusan Markov
Dimisalkan sebuah proses yang diamati pada titik waktu diskrit berada di salah satu dari M menyatakan
mungkin,yang diberi nomor 1,2,.M.Setelah mengamati keadaan proses, suatu tindakan harus dipilih,
dan kita membiarkan A, diasumsikan terbatas, menyatakan mengatur semua tindakan yang mungkin.
Jika proses ini dalam keadaan i pada waktu dan tindakan a yang dipilih, maka negara berikutnya dari
sistem ditentukan sesuai dengan probabilitas transisi .Jika kita biarkan menunjukkan keadaan
proses pada waktu dan tindakan yang dipilih pada saat , maka sebelumnya setara dengan
menyatakan bahwa
+1 = 0.0,1,1,, = , = = ()
Dengan demikian, probabilitas transisi adalah fungsi hanya dari kondisi sekarang dan tindakan
selanjutnya.Dengan sebuah kebijakan, kita mengartikan aturan untuk memilih tindakan. Kita akan
membatasi diri kebijakan yang bentuk bahwa tindakan mereka meresepkan setiap saat hanya
bergantung pada keadaan proses pada waktu itu (dan bukan pada informasi tentang negara sebelum
dan tindakan). Namun, kami akan membiarkan kebijakan untuk "acak" dalam instruksi tersebut
mungkin memilih tindakan sesuai untuk distribusi probabilitas. Dengan kata lain, kebijakan adalah
seperangkat angka = { (), , = 1, . . . ,} dengan penafsiran bahwa jika proses ini di
negara , maka tindakan yang harus dipilih dengan probabilitas (). Tentu saja, kita perlu memiliki
0 1 untuk semua ,
= 1 untuk semua
Dalam setiap kebijakan yang diberikan, urutan negara { , = 0, 1, . . . } Merupakan
sebuah rantai Markov dengan probabilitas transisi () yang diberikan oleh
= +1 = =
= ()
dimana kesamaan yang terakhir mengikuti dengan mengkondisikan pada tindakan yang dipilih ketika di
negara . kita andaikan bahwa untuk setiap pilihan dari kebijakan , resultan Markov
rantai { , = 0, 1, . . . } Adalah ergodic. Untuk setiap kebijakan , dinyatakan membatasi (atau
steady-state) probabilitas bahwa proses akan berada dalam keadaan dan tindakan yang akan dipilih
jika kebijakan digunakan. Artinya,
= lim ( = , = )
Vector = harus memenuhi
(i) 0 untuk semua ,
(ii) = 1
(iii) = untuk semua .(4.33)
Jadi untuk setiap kebijakan , ada vektor = ( ) yang memenuhi (i) - (iii) dan dengan penafsiran bahwa
ia sama dengan probabilitas steady-state berada di negara i dan memilih tindakan ketika kebijakan
ini digunakan. Selain itu, ternyata bahwa sebaliknya ini juga berlaku. Yaitu, untuk setiap vektor = ( )
yang memenuhi (i) - (iii), ada terdapat kebijakan sehingga jika digunakan, maka probabilitas steady-
state menjadi i dan memilih tindakan yang sama ia. Untuk memverifikasi pernyataan terakhir ini,
misalkan = ( ) adalah vektor yang memenuhi (i) - (iii). Kemudian, biarkan = kebijakan ( ())
menjadi
= { | }
=
Sekarang kita andaikan menyatakan probabilitas yang membatasi berada di dan memilih ketika
Kebijakan digunakan. Kita perlu menunjukkan bahwa = .Untuk melakukannya, catatan
pertama { , = 1, . . . ,, } adalah probabilitas membatasi dari dimensi dua Markov chain
{( ,), 0}. Oleh karena itu, oleh Teorema dasar 4.1, semuanya adalah solusi khusus dari
(i) 0 untuk semua ,
(ii) = 1
(iii) = ()
di mana (iii)
+1 = ,+1 = = , = = () ()
Karena
()= =
kita melihat bahwa ( ) adalah solusi khusus dari
0
= 1
= ()
Oleh karena itu, untuk menunjukkan bahwa = , kita perlu menunjukkan bahwa
0
= 1
= ()
Atas dua persamaan mengikuti dari (i) dan (ii) dari Persamaan (4,33), dan yang ketiga,
yang setara dengan
= ()
berikut dari kondisi (iii) Persamaan (4.33). Dengan demikian kita telah menunjukkan bahwa suatu vektor
= ( ) akan memenuhi (i), (ii), dan (iii) dari Persamaan (4.33) jika dan hanya jika ada kebijakan
sehingga sama dengan probabilitas steady-state berada di negara i dan memilih tindakan ketika
digunakan. Bahkan, kebijakan didefinisikan oleh () = /
Sebelumnya cukup penting dalam penentuan kebijakan "optimal". Misalnya, bahwa reward (,)
diperoleh setiap kali tindakan yang dipilih di negara i. Karena ( ,) maka akan mewakili imbalan
yang diperoleh pada waktu , yang diharapkan imbalan rata-rata per unit waktu di bawah kebijakan
dapat dinyatakan sebagai
Perkiraan imbalan rata-rata di bawah = lim [ ( , )=1
]
Sekarang, jika ia menunjukkan probabilitas steady-state berada dalam negara i dan memilih
tindakan a, itu berikut bahwa diharapkan imbalan membatasi pada waktu n yang sama
yang menunjukan bahwa
lim
, =
(,)
Perkiraan imbalan rata-rata di bawah = (,)
Oleh karena itu, masalah penentuan kebijakan yang memaksimalkan perkiraan rata-rata
imbalan adalah
Memaksimalkan ,
= ( )
Subject 0
= 1
= () untuk semua j
akan tetapi, sebelumnya masalah mamaksimalkan adalah kasus khusus dari apa yang dikenal sebagai
program linier dan dapat diselesaikan dengan algoritma pemrograman linear standar dikenal sebagai
algoritma simpleks. * Jika = ()memaksimalkan sebelumnya, maka kebijakan yang optimal akan
diberikan oleh dimana
=
4. 11. Hidden Markov Chains
Misalkan { , = 1,2 } adalah rantai Markov dengan probabilitas transisi , dan keadaan
probabilitas awal = 1 = , 0. Misalkan ada sebuah himpunan berhingga dari sinyal-sinyal,
dan sebuah sinyal dari dipancarkan setiap kali rantai Markov memasuki keadaannya Selanjutnya,
anggaplah bahwa ketika rantai Markov memasuki pada lalu, secara independent dari keadaan rantai
Markov sebelumnya dan sinyal-sinyal, sinyal yang dipancarkan adalah dengan probabilitas
, = 1 . Artinya, jika Sn menunjukkan sinyal nth dipancarkan, maka...
1 = 1 = = ,
= |1,1 , ,1, 1, = = (|)
Sebuah model dari tipe sebelumnya di mana urutan sinyal 1, 2 ,diamati, sementara itu urutan yang
dasari keadaan rantai Markov 1,2, adalah tidak teramati, disebut sebuah model hidden rantai
Markov....
Untuk mendapatkan probabilitas ini, misalkan
= { = , = }
dan perhatikan bahwa
= = =
{ = , = }
{ = }
=
sekarang
= {1 = 1, = , = }
= {1 = 1,1 = , = , = }
= 1
= , = 1 = 1,1 =
= 1
= , = ,1 =
= 1 ,(
|)
= ( |) 1 , (4.35)
dimana sebelumnya menggunakan
= , = ,1 =
= { = |1 = } x { = | = ,1 = }
= ,{ = | = }
= ,( |)
Dimulai dengan
1 = 1 = , 1 = 1 = (1|)
kita dapat menggunakan Persamaan (4.35) untuk rekursif determinan fungsi 2 (),3 (), . . ., sampai
()
Untuk menghitung { = }, gunakan identitas = = () bersama dengan
Persamaan (4.35). Jika ada keadaan dari rantai Markov, ini membutuhkan perhitungan jumlah
(), dengan masing-masing perhitungan yang membutuhkan penjumlahan atas hal . Hal ini dapat
dibandingkan dengan perhitungan { = }, syarat pada n pertama keadaan rantai Markov untuk
mendapatkan
= = = 1 = 1, , = , 1 = 1, , =
1 ,,
= (1|1 ,
1) 11,22, 1,
Sebuah formula rekursif untuk () dapat diperoleh dengan syarat pada Xk +1
= +1 = +1, , = = ,+1 = +1 = =
= +1 = +1, , = +1 = ,
= +1 = +1 +1 = {+2 = +2, , = |+1 = +1,+1 = }
,
= +1 {+2 = +2 , , = |+1 = }
,
= +1
+1(),
Dimulai dengan
1 = = 1 =
= ,( |)
kita kemudian akan menggunakan Persamaan (4.36) untuk menentukan fungsi 2 , maka 3 ,
dan seterusnya, sampai ke 1 (). Hal ini kemudian akan menghasilkan P { = } melalui
= = {1 = 1, , = |1 = }
= 1 = 1 1 = 2 = 2, , = 1 = 1,1 =
= 1 {2 = 2, , = |1 = }
= 1
1 ()
Pendekatan lain untuk mendapatkan = adalah untuk menggabungkan kedua maju dan
pendekatan mundur. Misalkan untuk beberapa kita telah hitung kedua fungsi dan (). Karena
= , = = = , = +1 = +1, , =
= , =
= ()
Dapat kita lihat bahwa
= = ()
Keindahan menggunakan identitas sebelumnya untuk menentukan = adalah bahwa kita dapat
secara bersamaan menghitung urutan dari fungsi lanjutan, dimulai dengan F1, serta urutan dari fungsi
mundur, mulai at Bn-1. Perhitungan paralel kemudian dapat dihentikan setelah dihitung baik Fk dan Bk
untuk beberapa k.
4.11.1 Memprediksi Keadaan
Misalkan sinyal pertama diamati adalah = (1, , ), dan diberikan data ini kita ingin memprediksi
keadaan pertama dari rantai Markov. Prediktor terbaik tergantung pada apa yang kita capai. Jika
tujuan kami adalah untuk memaksimalkan jumlah yang diharapkan dari keadaan-keadaan yang
diprediksi dengan benar, maka untuk setiap k = 1, ..., n kita perlu menghitung P {Xk = j | Sn = sn} dan
kemudian memisalkan nilai j yang memaksimalkan kuantitas ini menjadi prediktor Xk. (Artinya, kita
mengambil modus dari fungsi massa probabilitas bersyarat dari Xk, mengingat urutan sinyal, sebagai
prediktor Xk.) Untuk melakukannya, pertama kita harus menghitung fungsi massa probabilitas bersyarat
ini, yang dilakukan sebagai berikut. Untuk ,
= = =
{ = , = }
{ = }
= ()
()
Dengan demikian, mengingat bahwa = , prediktor optimal dari Xk adalah nilai j yang
memaksimalkan . Misalkan Xk = (X1, ..., Xk) menjadi vektor dari keadaan k pertama,
masalahnya adalah untuk menemukan urutan keadaan 1, , yang memaksimalkan { =
(1, , )| = }. Karena
= 1, , = =
{ = 1, , , = }
{ = }
ini setara dengan menemukan urutan dari keadaan 1, , yang { = 1, , , = }.
Untuk mengatasi masalah sebelumnya misalkan , untuk ,
= max1 ,,1
{1 = 1, , 1 , = , = }
Untuk memecahkan rekursif , menggunakan
= max
max1 ,,2
{2 = 1, , 2 1 = , = , = }
= max
max1 ,,2
2 = 1, , 2 1 = , 1 = 1, = , =
= ( |) max, 1()
Dimulai dengan
1 = 1 = , 1 = 1 = (1|)
sekarang kita menggunakan identitas rekursif (4,37) ke determine 2 untuk setiap j; maka 3 untuk
setiap j; dan seterusnya, sampai dengan untuk setiap j. Untuk mendapatkan urutan
memaksimalkan keadaan, kami bekerja di arah sebaliknya. Misalkan menjadi nilai (atau nilai-nilai jika
ada lebih dari satu) dari j yang memaksimalkan Vn (j). Jadi jn adalah keadaan akhir dari urutan negara
memaksimalkan. Juga, untuk k