Vytautas Kazakevičius 2015 m. sausio 19 d.klevas.mif.vu.lt/~vytas/stat/markovo.pdf1 skyrius Pradines˙ sąvokos 1.1 Perejimo˙ tikimybes˙ Skirstiniai. Tegu E yra baigtine˙ arba

Markovo grandines

Vytautas Kazakevičius

2015 m. sausio 19 d.

ii

Turinys

I Diskrečios Markovo grandines 1

1 Pradines sąvokos 31.1 Perejimo tikimybes . . . . . . . . . . . . . . . . . . . . . . . . 3

Skirstiniai (3), dvieju dydžiu skirstiniai (4), operatoriai, susieti su perejimo tikimy-be (5), triju dydžiu skirstiniai (6), keliu dydžiu skirstiniai (6), uždaviniai (7).

1.2 Markovo grandines . . . . . . . . . . . . . . . . . . . . . . . . 11Branduoliai (11), Markovo grandines (12), kanonine Markovo grandine (13), Mar-kovo grandines trajektorijos (13), uždaviniai (14).

1.3 Markovo momentai . . . . . . . . . . . . . . . . . . . . . . . . 18Atsitiktiniai momentai (18), atkarpos iki ir po atsitiktinio momento (19), Markovosavybe (21), absorbavimo tikimybes (23), atkarpa tarp dvieju momentu (24), mo-mentu grandines (27), τA,n momentai (28), uždaviniai (29).

1.4 Atstatymo teorema . . . . . . . . . . . . . . . . . . . . . . . . 37Adityvios naturaliuju skaičiu aibes (37), atstatymo lygtis (38), atstatymo teorema (39).

2 Busenu klasifikacija 412.1 Esmines busenos . . . . . . . . . . . . . . . . . . . . . . . . . 41

Pasiekiamos busenos (41), esmines busenos (42), absorbuojančios aibes (43), mini-malios aibes (44), periodiškumas (44), uždaviniai (46).

2.2 Grižtamos klases . . . . . . . . . . . . . . . . . . . . . . . . . 47Grižtamos busenos (47), grižtamos klases (48), baigtines klases grižtamos (49),superharmonines funkcijos (50), dreifo kriterijai (51), pavyzdžiai (53).

2.3 Ergodines klases . . . . . . . . . . . . . . . . . . . . . . . . . . 55Ergodines busenos (55), ergodines klases (57), invariantines tikimybes (57), ergodi-nes tikimybes (58), ergodiniu tikimybiu charakterizacija (60), pirmieji ergodiškumokriterijai (61), dreifo kriterijus (61), pavyzdžiai (64), uždaviniai (67).

3 Ribines teoremos 693.1 Branduolio iteraciju konvergavimas . . . . . . . . . . . . . . . 69

Atstumas tarp tikimybiu (69), konvergavimas, kai branduolys ergodinis (70), itera-ciju konvergavimas bendruoju atveju (71).

3.2 Atsitiktiniu sumu konvergavimas . . . . . . . . . . . . . . . . 71Ergodine teorema, kai branduolys ergodinis (71), bendroji ergodine teorema (72),centrine ribine teorema (72), uždaviniai (72).

iii

I dalis

Diskrečios Markovo grandines

1

1 skyrius

Pradines sąvokos

1.1 Perejimo tikimybesSkirstiniai. Tegu E yra baigtine arba begaline skaiti aibe; kad skambetuispudingiau, vadinsiu ją erdve. Griežtai kalbant, tikimybe E erdveje yraσ-adityvi funkcija A 7→ µ(A), A ⊂ E. Tačiau nagrinejamu atveju

µ(A) =∑x∈A

µ(x),

todel norint apibrežti tikimybę pakanka pasakyti, kokios yra µ(x) reikšmes.Šioje knygoje (bent jau pirmoje jos dalyje) nusprendžiau tas reikšmes žymetitiesiog µ(x) ir i µ žiureti, kaip i x 7→ µ(x) funkciją.

Taigi tikimybe E erdveje vadinsiu bet kokią funkciją µ : E → R, tenki-nančią sąlygas:

∀x µ(x) > 0 ir∑x

µ(x) = 1.

Jei X yra atsitiktinis dydis su reikšmemis iš E (apibrežtas kokioje norstikimybineje erdveje (Ω,P)) ir µ(x) = P(X = x), tai µ yra tikimybe. Jąvadinsiu X dydžio skirstiniu. Aišku, kiekviena tikimybe yra kokio nors dy-džio skirstinys.

Jei µ yra tikimybe E erdveje ir h : E → [0;∞], žymesiu

µh =∑x

µ(x)h(x).

Aišku, kad jei µ yra X dydžio skirstinys, tai µh = Eh(X). Funkcijas sureikšmemis iš [0;∞] toliau vadinsiu neneigiamomis. Su tokiomis funkcijomismalonu dirbti del to, kad su neneigiamu skaičiu sumomis (net ir begalinemis)galima elgtis kaip su baigtinemis. Aišku, jei h funkcija igyja ir neigiamas

3

4 1 SKYRIUS. PRADINES SĄVOKOS

reikšmes, bet šeima (µ(x)h(x) | x ∈ E) kvazisumuojama, jos suma irgižymima µh.

Jei E = 1, . . . ,m, tai µ užrašoma kaip 1 eilutes matrica, h — kaip vienostulpelio matrica:

µ =(µ(1) · · · µ(m)

), h =

h(1)...

h(m)

.

Tada µh yra tu dvieju matricu sandauga (tiksliau, vienintelis tos sandaugos,kuri šiaip jau yra 1× 1 matrica, elementas).

Jei E baigtine, jos elementus visada galima užkoduoti skaičiais. Tačiausudetingesniuose uždaviniuose tai ne visada naudinga, nes dirbant su kodaissunkiau sekti sprendimo eigą.

Jei E = N, galima isivaizduoti, kad µ yra begaline eilute (1×∞ matrica),o h — begalinis stulpelis (∞× 1 matrica).

Dvieju dydžiu skirstiniai. Tegu F yra dar viena baigtine arba begalineskaiti aibe, o X ir Y — du atsitiktiniai dydžiai: pirmas — su reikšmemis iš E,antras — iš F aibes. Tada (X,Y ) pora yra atsitiktinis dydis su reikšmemisiš E × F ; galimos jo reikšmes yra poros (x, y), o skirstinys — funkcija

ν(x, y) = P(X = x, Y = y).

Dažnai buna taip, kad iš pradžiu generuojamas X dydis, o tik po to — Y ;be to, pastarojo dydžio reikšmiu tikimybes priklauso nuo to, kokia buvo Xdydžio reikšme. Tegu µ yra X skirstinys, o P (x, ·) — Y skirstinys, kai Xdydžio reikšme buvo x. Tada laikoma, kad ν(x, y) = µ(x)P (x, y), t.y.

P(X = x, Y = y) = µ(x)P (x, y). (1.1)

Toks ν tikrai yra skirstinys E × F aibeje, nes µ(x)P (x, y) > 0 su visaisx, y ir ∑

x,y

µ(x)P (x, y) =∑x

µ(x)∑y

P (x, y) =∑x

µ(x) = 1.

Be to, jei (X,Y ) poros skirstinys apibrežiamas (1.1) lygybe, tai µ yra Xskirstinys, o P (x, ·) — sąlyginis Y skirstinys su sąlyga X = x:

P(X = x) =∑y

P(X = x, Y = y)

=∑y

µ(x)P (x, y) = µ(x)∑y

P (x, y) = µ(x)

1.1. PEREJIMO TIKIMYBES 5

ir

P(Y = y | X = x) =P(X = x, Y = y)

P(X = x)=

µ(x)P (x, y)

µ(x)= P (x, y).

Su bet kokiu x ∈ E funkcija P (x, ·) yra skirstinys F aibeje; todel

∀y P (x, y) > 0 ir∑y

P (x, y) = 1.

Bet kokia funkcija P : E × F → R, tenkinanti tokias sąlygas, vadinamaperejimo tikimybe iš E i F . Jei E = 1, . . . ,m ir F = 1, . . . , n, P yram× n matrica:

P =

P (1, 1) · · · P (1, n)... . . . ...

P (m, 1) · · · P (m,n)

.

Visi tos matricos elementai neneigiami ir skaičiu suma kiekvienoje eilutejelygi 1 (tokios matricos dar vadinamos stochastinemis).

Jei E = F = N, galima isivaizduoti, kad P yra begaline ∞×∞ matrica:

P =

P (1, 1) P (1, 2) · · ·P (2, 1) P (2, 2) · · ·

...... . . .

.

Čia irgi visi matricos elementai neneigiami ir sumos kiekvienoje eiluteje lygios1, skirtumas tik tas, kad tos sumos begalines.

Operatoriai, susieti su perejimo tikimybe. Tegu P yra fiksuota per-ejimo tikimybe iš E i F . Jei µ yra tikimybe E erdveje ir h — neneigiamafunkcija F aibeje, žymiu

(µP )(y) =∑x

µ(x)P (x, y) ir (Ph)(x) =∑y

P (x, y)h(y).

Tada µP yra tikimybe F erdveje, o Ph — neneigiama funkcija E erdveje irteisinga lygybe

(µP )h = µ(Ph),

todel toki reiškini galima užrašyti be skliaustu: µPh. Skliaustu aš apskritainemegstu, todel vietoje (µP )(y) ir (Ph)(x) paprastai rašau µP (y) ir Ph(x).

Jei µ yra X dydžio skirstinys, o P (x, ·) — sąlyginis Y skirstinys su sąlygaX = x, tai µP yra besąlyginis Y skirstinys, o Ph — sąlyginis h(Y ) vidurkisX atžvilgiu:

P(Y = y) = µP (y) ir E(h(Y ) | X = x) = Ph(x).


Jei E = 1, . . . ,m ir F = 1, . . . , n, tai µ yra eilute, h — stulpelis ir P— m × n matrica. Tada µP yra µ eilutes ir P matricos sandauga, o Ph —P matricos ir h stulpelio sandauga.

Dauginant µ eilutę iš P matricos, gaunama eilute, kurios elementai yraµ eilutes ir atitinkamu P matricos stulpeliu sandaugos. Analogiškai, daugi-nant P iš h stulpelio gaunamas stulpelis, kurio elementai yra atitinkamu Pmatricos eilučiu ir h stulpelio sandaugos. Tai galima užrašyti lygybemis

µP (y) = µP (·, y), Ph(x) = P (x, ·)h.

Abi lygybes teisingos ir bendruoju atveju; tiesiog i P (·, y) reikia žiureti, kaipi funkciją x 7→ P (x, y), o i P (x, ·) — kaip i skirstini y 7→ P (x, y).

Triju dydžiu skirstiniai. Tegu G yra dar viena baigtine arba begalineskaiti aibe ir Z — atsitiktinis dydis su reikšmemis iš G. Trejeto (X,Y, Z)skirstinys dažnai aprašomas taip: duodamas X dydžio skirstinys µ, Y dydžiosąlyginis skirstinys X atžvilgiu (perejimo tikimybe P iš E i F ) ir Z dydžiosąlyginis skirstinys (X,Y ) atžvilgiu — perejimo tikimybe Q iš E × F i G.Kad butu paprasčiau, vietoje Q

((x, y), z

)rašysiu Q(x, y, z); tada

P(X = x, Y = y, Z = z) = µ(x)P (x, y)Q(x, y, z).

Markovo grandiniu teorijoje ypač svarbus atvejis, kai Q nepriklauso nuox ir, reiškia, faktiškai yra perejimo tikimybe iš F i G. Tada apibrežta vadi-namoji perejimo tikimybiu sandauga PQ:

(PQ)(x, z) =∑y

P (x, y)Q(y, z) = P (x, ·)Q(·, z).

Akivaizdu, kad PQ yra perejimo tikimybe iš E i G. Jei E = 1, . . . ,m,F = 1, . . . , n ir G = 1, . . . , p, tai PQ matrica yra P matricos ir Qmatricos sandauga.

Jei kokia nors lygybe teisinga kaip lygybe tarp matricu, ji bus teisinga irkaip lygybe, siejanti perejimo tikimybes, skirstinius ir funkcijas. Pavyzdžiui,

µ(PQ) = (µP )Q, (PQ)h = P (Qh), (PQ)R = P (QR)

ir panašiai.

Keliu dydžiu skirstiniai. Aukščiau aprašytą konstrukciją galima apiben-drinti. Tegu E1, . . . , En yra kokios nors baigtines arba begalines skaičios aibesir (X1, . . . , Xn) — atsitiktinis E1×· · ·×En elementas. Jo skirstinys gali buti


aprašytas taip: nurodytas X1 dydžio skirstinys µ ir su kiekvienu i = 2, . . . , n— sąlyginis Xi dydžio skirstinys (X1, . . . , Xi−1) atžvilgiu (tam tikra perejimotikimybe Pi iš E1 × · · · × Ei−1 i Ei). Tada

P(X1 = x1, . . . , Xn = xn) = µ(x1)P2(x1, x2) · · ·Pn(x1, . . . xn−1, xn).

Formule atrodo paprasčiau, jei visos Pi(x1, . . . , xi−1, ·) priklauso tik nuopaskutinio argumento xi−1. Tada

P(X1 = x1, . . . , Xn = xn) = µ(x1)P2(x1, x2)P3(x2, x3) · · ·Pn(xn−1, xn).

Uždaviniai.

1.1 uždavinys. Vienoje dežeje yra 1 baltas ir 9 juodi rutuliai, kitoje — 1juodas ir 5 balti. Iš pradžiu iš kiekvienos dežes atsitiktinai išmetame porutuli ir likusius supilame i trečią dežę; po to — iš tos trečios dežes atsitikti-nai ištraukiame vieną rutuli. Užkoduokite galimus eksperimento rezultatusskaičiais, užrašykite µ ir P matricas. Kokia tikimybe, kad iš trečios dežesištrauktas rutulys baltas?

Sprendimas. Tegu E = 1, 2, 3; čia:

• 1 reiškia, kad iš abieju dežiu buvo išmestas baltas rutulys;

• 2 reiškia, kad iš vienos dežes išmestas baltas, o iš kitos — juodas rutulys;

• 3 reiškia, kad iš abieju dežiu buvo išmestas juodas rutulys.

Tegu F = 1, 2; čia

• 1 reiškia, kad iš trečios dežes ištrauktas baltas rutulys;

• 2 reiškia, kad iš trečios dežes ištrauktas juodas rutulys.

Tada

µ =(

560

4660

960

), P =

414

1014

514

914

614

814

.

Tikimybe, kad iš trečios dežes ištrauktas rutulys baltas lygi∑x

µ(x)P (x, 1) =5

60· 4

14+

46

60· 5

14+

9

60· 6

14=

20 + 230 + 54

840=

38

105.


1.2 uždavinys. Dežeje yra 3 juodi ir 2 balti rutuliai. Pirmas žaidejas atsi-tiktinai ištraukia 3 rutulius, pažiuri, kokios spalvos rutuliu ištrauke daugiau,ir vieną tos spalvos rutuli grąžina i dežę. Tada kitas žaidejas atsitiktinaiištraukia vieną rutuli ir bando atspeti, kiek baltu rutuliu buvo ištraukęs pir-masis. Užkoduokite galimus eksperimento rezultatus skaičiais, užrašykite µir P matricas. Kokios yra tikimybes, kad pirmas žaidejas buvo ištraukęs 0,1 arba 2 baltus rutulius, jei antrasis ištrauke baltą.

Sprendimas. Tegu E = 1, 2, 3; čia

• 1 reiškia, kad pirmas žaidejas ištrauke 3 juodus rutulius;

• 2 reiškia, kad pirmas žaidejas ištrauke 2 juodus ir 1 baltą rutuli;

• 3 reiškia, kad pirmas žaidejas ištrauke 1 juodą ir 2 baltus rutulius.

Tegu F = 1, 2; čia

• 1 reiškia, kad antras žaidejas ištrauke baltą rutuli;

• 2 reiškia, kad antras žaidejas ištrauke juodą rutuli.

Tada

µ =(

110

610

310

), P =

23

13

13

23

13

23

.

Tikimybe, kad antras žaidejas ištrauke baltą rutuli, lygi

1

10· 23+

6

10· 13+

3

10· 13=

11

30.

Tada ieškomos sąlygines tikimybes lygios

110 · 2

31130

=2

11,

610 · 1

31130

=6

11ir

310 · 1

31130

=3

11.

1.3 uždavinys. Yra du lošimo kauliukai, A ir B. A kauliuko keturios sienosnudažytos raudonai, o dvi baltai, B kauliuko — atvirkščiai: dvi raudonai irketurios baltai. Metama moneta; jei iškrenta herbas, tris kartus metamasA kauliukas, jei skaičius — triskart metamas B kauliukas. Žinoma, kad podvieju metimu abu kartus iškrito raudona siena. Kokia tikimybe, kad irtrečiąkart iškris raudona?


Sprendimas. Monetos metimo rezultatus užkoduoju taip: H reiškia, kad me-tus monetą iškrito herbas ir pasirinktas A kauliukas, S — kad iškrito skaičius irpasirinktas B kauliukas. Pasirinkto kauliuko metimu rezultatus užkoduoju taip:R reikš, kad iškrito raudona siena, B — kad balta. Kadangi kauliukas metamastriskart, galimi 8 rezultatai: RRR, RRB, RBR, RBB, BRR, BRB, BBR ir BBB. Tegu Xžymi atsitiktini dydi, kurio reikšmes yra H ir S, o Y — dydi, kurio reikšmes yraRRR,. . . ,BBB. Tada

P(X = x, Y = y) = µ(x)P (x, y);

čia

µ(H) = µ(S) =1

2,

P (H, RRR) =8

27, P (H, RRB) = P (H, RBR) = P (H, BRR) =

4

27,

P (H, RBB) = P (H, BRB) = P (H, BBR) =2

27, P (H, BBB) =

1

27,

P (S, RRR) =1

27, P (S, RRB) = P (S, RBR) = P (S, BRR) =

2

27,

P (S, RBB) = P (S, BRB) = P (S, BBR) =4

27, P (S, BBB) =

8

27.

Reikia apskaičiuotiP(Y = RRR | Y ∈ RR*);

čia RR* žymi aibę RRR, RRB.Pagal sąlygines tikimybes formulę

P(Y = RRR | Y ∈ RR*) =P(Y = RRR)

P(Y = RRR) + P(Y = RRB);

be to,

P(Y = RRR) =1

2· 8

27+

1

2· 1

27=

1

6,

P(Y = RRB) =1

2· 4

27+

1

2· 2

27=

1

9.

Taigi

P(Y = RRR | Y ∈ RR*) =16

16 + 1

9

=3

5.

1.4 uždavinys. Vytas K. sugalvojo naujo pinigu dalijimo šou projektą, kurižada pasiulyti vienai iš didžiuju šalies televiziju. Studijoje bus dvi urnos,pažymetos skaičiais 1 ir 2, kiekvienoje urnoje — po du tuščius vokus ir duvokus su pinigais. Iš studijos svečiu atrenkami du žmones, kiekvienas atsi-stoja prie savo urnos ir ištraukia iš jos vieną voką. Iš pradžiu voką atplešia


žmogus, ištraukęs ji iš 1 urnos. Jei voke yra pinigu, nuskamba fanfaros ir šouvedejas perdeda vieną voką iš 2 urnos i 1 urną. Jei vokas tuščias, fanfarostyli, o vedejas perdeda vieną voką iš 1 urnos i 2 urną. Abiem atvejais pirmasžaidejas, su pinigais ar be ju, seda i savo vietą. Ir štai vakaro vinis — antramžaidejui pasiuloma apsispręsti: jis gali arba atplešti jau ištrauktą voką, arbatraukti naują voką iš bet kurios urnos. Kaip jam elgtis?

Sprendimas. Abiem atvejais (ar pirmas žaidejas laimejo pinigu, ar ne) tikimybe,kad antrojo žaidejo ištrauktame voke yra pinigu, lygi 1

2 . Taigi reikia išsiaiškinti,kokios tikimybes išlošti, nusprendus dar kartą traukti voką iš vienos ar kitos urnos.Tegu 1 reiškia, kad vokas su pinigais, o 0 — kad tuščias. Yra trys atsitiktiniaidydžiai, igyjantys tas reikšmes: X — antrojo žaidejo iš pradžiu ištrauktas vokas,Y — žaidimo vedejo perdetas vokas ir Z — vokas, kuri ištrauktu naujai antrasžaidejas. Mus domina p = P(Z = 1).

Pažymiu

P (x, y) = P(Y = y | X = x), Q(x, y, z) = P(Z = z | X = x, Y = y).

Tadap =

∑x,y

µ(x)P (x, y)Q(x, y, 1) =1

2

∑x,y

P (x, y)Q(x, y, 1);

čia µ yra X skirstinys ir antra lygybe teisinga del to, kad µ(1) = µ(0) = 12 .

Nagrineju 4 galimus atvejus.1 atvejis: pirmas žaidejas laimejo, antrasis trauks iš 1 urnos. Tada

P (1, 1) =1

3, P (1, 0) =

2

3, P (0, 1) =

2

3, P (0, 0) =

1

3,

Q(1, 1, 1) =1

2, Q(1, 0, 1) =

1

4, Q(0, 1, 1) =

1

2, Q(0, 0, 1) =

1

4

irp =

1

2

(16+

1

6+

1

3+

1

12

)=

3

8.

2 atvejis: pirmas žaidejas laimejo, antrasis trauks iš 2 urnos. Tada

P (1, 1) =1

3, P (1, 0) =

2

3, P (0, 1) =

2

3, P (0, 0) =

1

3,

Q(1, 1, 1) = 0, Q(1, 0, 1) =1

2, Q(0, 1, 1) =

1

2, Q(0, 0, 1) = 1

irp =

1

2

(0 +

1

3+

1

3+

1

3

)=

1

2.

3 atvejis: pirmas žaidejas nelaimejo, antrasis trauks iš 1 urnos. Tada

P (1, 1) =2

3, P (1, 0) =

1

3, P (0, 1) =

2

3, P (0, 0) =

1

3,

1.2. MARKOVO GRANDINES 11

Q(1, 1, 1) =1

2, Q(1, 0, 1) = 1, Q(0, 1, 1) =

1

2, Q(0, 0, 1) = 1

irp =

1

2

(13+

1

3+

1

3+

1

3

)=

2

3.

4 atvejis: pirmas žaidejas nelaimejo, antrasis trauks iš 2 urnos. Tada

P (1, 1) =2

3, P (1, 0) =

1

3, P (0, 1) =

2

3, P (0, 0) =

1

3,

Q(1, 1, 1) =1

2, Q(1, 0, 1) =

1

4, Q(0, 1, 1) =

3

4, Q(0, 0, 1) =

1

2

irp =

1

2

(13+

1

12+

1

2+

1

6

)=

13

24.

Taigi jei 1 žaidejas laimejo, reiktu pasilikti seną voką arba dar kartą traukti iš2 urnos; jei 1 žaidejas nelaimejo, reikia traukti iš 1 urnos.

1.2 Markovo grandines

Branduoliai. Tegu E yra baigtine arba begaline skaiti aibe. Perejimotikimybe iš E i E vadinama stochastiniu branduoliu E erdveje. Jei E =1, . . . ,m, stochastinis branduolys yra kvadratine m×m matrica.

Tegu P yra fiksuotas stochastinis branduolys E erdveje. Jei µ yra tiki-mybe, o h — neneigiama funkcija E erdveje, tai µP vel yra tikimybe, o Ph— neneigiama funkcija E erdveje.

Sandaugos P 2 = PP , P 3 = PPP ir t.t. vadinamos P branduolio ite-racijomis. Formalus ju apibrežimas rekursinis: P 1 = P ir P n = P n−1P sun > 2. Nesunku irodyti, kad tada Pm+n = PmP n su visais m,n > 1.

Turedami branduoli P ir kokią nors tikimybę µ erdveje E, galima api-brežti skirstini tiek E2 = E × E, tiek E3, tiek bet kokioje En erdveje. Taskirstiniu šeima suderinta, todel apibrežia netgi tikimybę E∞ erdveje, kuriąaš žymiu Pµ. Literaturoje sutinkamos kelios traktuotes to, kas yra E∞ irkaip tas indukuotas skirstinys atrodo. Mano koncepcija tokia:

• E∞ yra aibe seku (xi) = (x1, x2, . . . ), indeksuotu naturaliaisias skai-čiais;

• tikimybe Pµ apibrežiama lygybemis

Pµ(x′i) | x′

1 = x1, . . . , x′n = xn

= µP (x1)P (x1, x2) · · ·P (xn−1, xn). (1.2)


E∞ aibe nera skaiti, net jei E baigtine. Kai kuriais atvejais galima rastiskaitu poaibi S ⊂ E∞ su Pµ(S) = 1 ir tada galima butu tikimybę Pµ aprašytipasakant, kokia yra kiekvienos sekos iš S tikimybe. Tačiau dažniausiai tokiopoaibio S nera: kiekvienos konkrečios sekos tikimybe yra 0, nors tokiu sekuaibes gali tureti ir teigiamas tikimybes. Todel i Pµ tenka žiureti kaip i aibesfunkciją.

(1.2) lygybes apibrežia vadinamuju cilindru tikimybes (cilindrą galimaisivaizduoti, kaip (x1, . . . , xn, ∗, ∗, . . . ) pavidalo aibę; čia žvaigždute reiškia,kad toje vietoje gali buti bet koks E elementas). Visu tokiu cilindru ge-neruota σ-algebra vadinama cilindrine σ-algebra, o aibes iš tos algebros —mačiomis. Pµ(A) skaičius yra apibrežtas tik su mačiomis A.

Teorija sako, kad (1.2) lygybes vienareikšmiškai apibrežia Pµ(A) reikšmessu bet kokia mačia A. Tos reikšmes skaičiuojamos panaudojant tikimybiusavybes (pavyzdžiui, monotoniškumą), nors kartais tas skaičiavimas neralabai paprastas.

Markovo grandines. Sakau, kad atsitiktiniu E erdves elementu seka (Xi)yra Markovo grandine su pradiniu skirstiniu µ ir perejimo tikimybe P , jei josskirstinys yra Pµ. Taigi jei (Xi) yra tokia Markovo grandine, tai pagal manokoncepciją

• indeksai prasideda nuo 1, t.y. (Xi) = (X1, X2, . . . );

• su visais n > 1

P(X1 = x1, . . . , Xn = xn) = µP (x1)P (x1, x2) · · ·P (xn−1, xn).

Iš pirmo žvilgsnio mano koncepcija atrodo keista, nes X1 dydžio skirstinysturi buti µP , o ne µ. Tačiau tik iš pirmo žvilgsnio. Visu pirma, galimaisivaizduoti, kad egzistuoja dar vienas atsitiktinis dydis X0 (kuris tiesiogneitrauktas i grandinę), su kuriuo

P(X0 = x0, . . . , Xn = xn) = µ(x0)P (x0, x1)P (x1, x2) · · ·P (xn−1, xn).

Antra, dažnai nagrinejamos grandines pradinis skirstinys sukoncentruotaskokiame nors x0 taške (t.y. µ(x0) = 1; tada sakoma, kad grandine startuojaiš x0). Tada to pagalbinio dydžio X0 isivaizduoti nereikia ir pakanka žinoti,kad

P(X1 = x1, . . . , Xn = xn) = P (x0, x1)P (x1, x2) · · ·P (xn−1, xn).

Trečia, dabar Xn dydžio skirstinys yra µP n (arba P n(x, ·), jei grandine star-tuoja iš x), o ne µP n−1 — kaip butu, jei laikyčiau, kad X1 yra µ.


Kanonine Markovo grandine. Kartais mes turime tik branduoli P irgalvojame, kaip elgtusi Markovo grandine su tokiu perejimo tikimybiu bran-duoliu ir ivairiais pradiniais skirstiniais. Tada dažniausiai sukonstruojamadirbtine mati erdve Ω = E∞ ir joje formaliai apibrežiamos mačios funkcijosXi:

Xi(ω) = xi, kai ω = (x1, x2, . . . ).Jei Ω erdveje fiksuosiu tikimybę Pµ, jos atžvilgiu (Xi) seka bus Markovograndine su pradiniu skirstiniu µ ir perejimo tikimybe P . Todel taip sukon-struotą seką (Xi) aš vadinu kanonine Markovo grandine.

Taigi jei (Xi) yra kanonine Markovo grandine, jos pradinis skirstinys µfaktiškai nera fiksuotas ir kalbedamas apie ivairias tikimybes, susijusias sutokia grandine, vietoje P turesiu rašyti Pµ, taip nurodydamas potencialupradini skirstini. Dažniausiai mane domins, kas bus, jei grandine startuos iškokio nors x taško; tada vietoje Pµ (su µ, sukoncentruotu x taške) rašysiuPx. Vidurkio operatorius, atitinkančius Pµ ir Px tikimybes, žymesiu Eµ ir Ex.

Jei h yra neneigiama mati funkcija E∞ erdveje, h(X1, X2, . . . ) yra at-sitiktinis dydis ir jo vidurkis Pµ tikimybes atžvilgiu yra Eµh(X1, X2, . . . ).Taip rašydamas aš isivaizduoju, kad Xi yra ω argumento (kuris, kaip iprastatikimybiu teorijoje, nerašomas) funkcijos. Tačiau faktiškai ω = (x1, x2, . . . )ir tada h = h(X1, X2, . . . ), t.y. pati h yra atsitiktinis dydis. Todel jos vidurkigalečiau žymeti ir tiesiog Eµh. Trumpesni užrašą aš renkuosi paprastai tada,kai h = 1A su tam tikra A ⊂ E∞.

Markovo grandines trajektorijos. Markovo grandiniu teorijoje E erd-ves elementai paprastai vadinami busenomis. Isivaizduojame kažkoki atsitik-tini agregatą, kuris momentais 1, 2, 3, . . . yra tam tikrose busenose X1, X2, X3

ir t.t. Jei, tarkime, X2 = 5, o X3 = 1, sakome, kad momentu 3 agregatasperejo iš 5 busenos i 1 buseną; P (5, 1) yra tokio perejimo tikimybe.

Jei busenu aibe nedidele, perejimo tikimybiu branduoli patogu vaizduotigrafu. Grafo viršunes yra busenos. Jei iš x busenos su nenuline tikimybevienu žingsniu galima patekti i y buseną, brežiama rodykle iš x viršunes i yviršunę ir virš jos užrašoma perejimo tikimybe P (x, y). Jei ta tikimybe lygi1, joks skaičius nerašomas: sakome, kad toks perejimas yra determinuotas(neatsitiktinis). Štai pora pavyzdžiu:?>=<89:;1 1

2 //12 55

?>=<89:;212

oo12 // ?>=<89:;312

oo12 // 4 ee ?>=<89:;11

2 55

12 // ?>=<89:;212

oo 12ii (1.3)

Bet koks konkrečiu busenu rinkinys (x1, x2, . . . , xn) vadinamas grandinesn žingsniu trajektorija; tokios trajektorijos tikimybe, startuojant iš x0, yra

P (x0, x1)P (x1, x2) · · ·P (xn−1, xn).


Seka (xi) vadinama tiesiog trajektorija. Tokios trajektorijos tikimybe yrabegaline sandauga

∞∏i=1

P (xi−1, xi) = limn→∞

n∏i=1

P (xi−1, xi).

Kaip mineta aukščiau, tik retais atvejais tokios begalines sandaugos nely-gios 0 (dažniausiai — kai P (xi−1, xi) = 1 su visais pakankamai dideliaisi). Bet net ir tada visos tokios trajektorijos gali buti neapžvelgiamos. Pa-bandykite, pavyzdžiui, surašyti i lentelę (aišku, begalinę) visas trajektorijassu nenulinemis tikimybemis, atitinkančias Markovo grandinę, pavaizduotąkairiuoju (1.3) grafu (iš principo tai padaryti imanoma: yra skaiti aibetrajektoriju su nenulinemis tikimybemis ir visu tu tikimybiu suma lygi 1).

Grandine, aprašoma dešiniuoju (1.3) grafu, atrodo paprastesne. Nežiurinti tai, bet kurios begalines trajektorijos tikimybe yra 0. Todel paprastaimus domins ivykiai, susidedantys iš be galo daug (tiksliau, kontinuumo)trajektoriju.

Uždaviniai.

1.5 uždavinys. Tegu (Xi) yra Markovo grandine su pradiniu skirstiniu µ irperejimo tikimybiu matrica P ; čia

µ =(12

12

0), P =

0 12

12

0 12

12

0 0 1

.

Apskaičiuokite P(X3 = 1) ir EX23 .

Sprendimas. Kadangi

P 2 =

0 12

12

0 12

12

0 0 1

0 1

212

0 12

12

0 0 1

=

0 14

34

0 14

34

0 0 1

,

P 3 =

0 12

12

0 12

12

0 0 1

0 1

434

0 14

34

0 0 1

=

0 18

78

0 18

78

0 0 1

,

X3 dydžio skirstinys yra

µP 3 =(12

12 0

)0 18

78

0 18

78

0 0 1

=(0 1

878

).


Todel

P(X3 = 1) = µP 3(1) = 0 ir EX23 =

(0 1

878

)149

=67

8.

1.6 uždavinys. Tegu P yra branduolys iš 1.5 uždavinio ir (Xi) — kanonineMarkovo grandine su perejimo tikimybe P . Apskaičiuokite P2(X3 = X4).

Sprendimas. Ieškoma tikimybe lygi∑x1,x2,x3

P2(X1 = x1, X2 = x2, X3 = x3, X4 = x3)

=∑

x1,x2,x3

P (2, x1)P (x1, x2)P (x2, x3)P (x3, x3)

=∑x2,x3

P 2(2, x2)P (x2, x3)P (x3, x3)

=∑x3

P 3(2, x3)P (x3, x3)

= P 3(2, 1)P (1, 1) + P 3(2, 2)P (2, 2) + P 3(2, 3)P (3, 3)

=1

8· 12+

7

8

=15

16.

1.7 uždavinys. Tegu (Xi) yra kanonine Markovo grandine su perejimo ti-kimybiu matrica iš 1.5 uždavinio. Nubrežkite atitinkamą grafą. Žiuredami igrafą ir užrašydami visas reikalingas trajektorijas apskaičiuokite:

1) Px(X3 = 1), Px(X3 = 3) su ivairiais x;2) Pµ(X3 = 3) su µ = (1

2120);

3) ExX23 su ivairiais x ir EµX

23 su tuo pačiu µ kaip aukščiau;

4) P2(X3 = X4).

Sprendimas. Perejimo tikimybiu matricą galima pavaizduoti tokiu grafu:

?>=<89:;112

//

12

&&?>=<89:;212

//

12

JJ?>=<89:;3 hh

1. Nera ne vienos trajektorijos (kurios tikimybe ne 0), užsibaigiančios 1 buse-noje, todel

Px(X3 = 1) = 0


su visais x.Triju žingsniu trajektorijos, užsibaigiančios 3 busenoje, pavaizduotos tokioje

lenteleje (p žymi trajektorijos tikimybę):

x X1 X2 X3 p

1 2 2 3 18

1 2 3 3 14

1 3 3 3 12

2 2 2 3 18

2 2 3 3 14

2 3 3 3 12

3 3 3 3 1

Iš lenteles matyti, kad

P1(X3 = 3) = P2(X3 = 3) =7

8ir P3(X3 = 3) = 1.

2. Ieškoma tikimybe

Pµ(X3 = 3) =1

2· 78+

1

2· 78=

7

8.

3. Papildau lentelę:

x X1 X2 X3 p X23

1 2 2 2 18 4

1 2 2 3 18 9

1 2 3 3 14 9

1 3 3 3 12 9

2 2 2 2 18 4

2 2 2 3 18 9

2 2 3 3 14 9

2 3 3 3 12 9

3 3 3 3 1 9

Dabar akivaizdu, kad

E1X23 = E2X

23 = 4 · 1

8+ 9 · 7

8=

67

8ir E3X

23 = 9,

o tada irEµX

23 =

1

2· 678

+1

2· 678

=67

8.

4. Surašau i lentelę visas 4 žingsniu trajektorijas, kurios prasideda 2 busenoje:


x X1 X2 X3 X4 p

2 2 2 2 2 116

2 2 2 2 3 116

2 2 2 3 3 18

2 2 3 3 3 14

2 3 3 3 3 12


P2(X3 = X4) = 1− 1

16=

15

16.

1.8 uždavinys. Tegu (Xi) yra kanonine Markovo grandine, aprašoma grafu?>=<89:;1 // ?>=<89:;2 // ?>=<89:;3

?>=<89:;413

^>>>>>>>>>13

OO

13

@@

Užrašykite grandines perejimo tikimybiu matricą. Apskaičiuokite:1) Px(X4 = 4) su ivairiais x;2) P4(X4 = y) su ivairiais y;3) E4|X4 − 2|.

Sprendimas. Grandines perejimo tikimybiu matrica

P =

0 1 0 00 0 1 00 0 0 113

13

13 0

.

Tada

P 2 =

0 1 0 00 0 1 00 0 0 113

13

13 0

0 1 0 00 0 1 00 0 0 113

13

13 0

=

0 0 1 00 0 0 113

13

13 0

0 13

13

13

,

P 4 =

0 0 1 00 0 0 113

13

13 0

0 13

13

13

0 0 1 00 0 0 113

13

13 0

0 13

13

13

=

13

13

13 0

0 13

13

13

19

19

49

13

19

29

29

49

,


todel

P1(X4 = 4) = 0, P2(X4 = 4) = P3(X4 = 4) =1

3, P4(X4 = 4) =

4

9,

P4(X4 = 1) =1

9, P4(X4 = 2) = P4(X4 = 3) =

2

9, P4(X4 = 4) =

4

9

ir

E4|X4 − 2| =(19

29

29

49

)1012

=11

9.

1.3 Markovo momentai

Visame skyrelyje (Xi) žymi kanoninę Markovo grandinę E erdveje su pereji-mo tikimybiu branduoliu P .

Atsitiktiniai momentai. Lig šiol skaičiavau tikimybes tik ivykiu, apibre-žiamu baigtiniu skaičiumi grandines nariu Xi. Bet prireikia ir bendresniu.Dažniausiai jie buna susiję su pirmo patekimo i kokią nors busenu aibę Amomentu τA, apibrežiamu lygybe

τA = infi > 1 | Xi ∈ A.

Gali atsitikti, kad ne vienas Xi nepriklauso A aibei; tada pagal infimumoapibrežimą τA = ∞. Jei A susideda iš vieno taško y, vietoje τA rašau tiesiogτy.

Kanonines Markovo grandines nariai Xi yra funkcijos, apibrežtos E∞

erdveje. Todel formaliai ir τA yra funkcija iš E∞ i N = N ∪ ∞:

τA(x1, x2, . . . ) =

1, kai x1 ∈ A;2, kai x1 ∈ A, x2 ∈ A;. . . . . . . . . . . . . . . . . . . . . .

∞, kai ∀i xi ∈ A.

Bet kokią mačią funkciją iš E∞ i N aš vadinu atsitiktiniu momentu. Ne-sunku isitikinti, kad τA yra atsitiktiniai momentai.

1.3. MARKOVO MOMENTAI 19

Atkarpos iki ir po atsitiktinio momento. Tegu τ yra bet koks atsitik-tinis momentas, apibrežtas Ω = E∞ erdveje. Simboliu Xτ žymesiu atsitiktinidydi, kurio reikšme taške ω = (xi) ∈ Ω yra Xn(ω) = xn, kai τ(ω) = n. Jeiτ(ω) = ∞, to dydžio reikšme gali buti bet kokia; pavyzdžiui, kokia nors fik-suota busena x∗ ∈ E. Ji niekada nebus svarbi: man niekada nereikes žinoti,pavyzdžiui, h(Xτ ) dydžio vidurkio — užteks žinoti, kam lygus

E 1τ<∞h(Xτ ).

Kaip iprasta tikimybiu teorijoje, laikau, kad 0 · ∞ = 0. Todel jei τ(ω) = ∞,sandauga 1τ<∞h(Xτ ) visada lygi 0, net jei h(Xτ ) dydžio reikšme yra ∞.

Dabar gera proga dar kartą paaiškinti savo žymejimu sistemą. τ čiayra atsitiktinis dydis, apibrežtas Ω erdveje, jo argumentas ω = (xi) nerašo-mas. τ < ∞ yra sutrumpintas aibes ω | τ(ω) < ∞ žymuo — iprastastikimybiu teorijoje, kurioje stengiamasi nemineti ω. Tada 1τ<∞ yra tosaibes indikatorius — funkcija Ω aibeje, lygi 1, kai ω ∈ τ < ∞ (t.y. kaiτ(ω) < ∞), ir lygi 0 priešingu atveju. I 1τ<∞ čia žiuriu kaip i atsitiktinidydi ir argumento nerašau. Tačiau del specifines Ω strukturos ir (Xi) sekosapibrežimo tas dydis sutampa su 1τ<∞(X1, X2, . . . ) dydžiu, todel aukščiauužrašytą vidurki galečiau užrašyti ir taip:

E 1τ<∞(X1, X2, . . . )h(Xτ ).

Markovo grandiniu teorijoje prireikia ir sudetingesniu Xτ tipo konstruk-ciju. Po ilgu svarstymu (ši skyreli perrašiau gal keturis kartus), atrodo,suradau teisingiausią budą joms apibrežti. Kiekvienas atsitiktinis momentasτ perskelia grandinę (Xi) i dvi dalis:

(X1, . . . , Xτ ) ir (Xτ+1, Xτ+2, . . . ). (1.4)

Jei τ < ∞, pirmoji priklauso E∗ =∪

n>1En erdvei, antroji — E∞ erd-

vei. Pagrindine mano ideja — žiureti i (1.4) kaip i atsitiktinius tu erdviuelementus.

Pradesiu nuo formalaus tu dydžiu apibrežimo. Jei τ(ω) = n, laikau, kad(1.4) dydžiu reikšmes yra

(X1, . . . , Xn) ir (Xn+1, Xn+2, . . . );

jei τ(ω) = ∞, pasirenku bet kokias reikšmes iš atitinkamu erdviu, pavyzdžiui,x∗ ∈ E1 ⊂ E∗ ir (x∗, x∗, . . . ) ∈ E∞ (čia x∗ yra fiksuotas E erdves elementas).

Kadangi E∗ erdve skaiti, (X1, . . . , Xτ ) bus atsitiktinis E∗ elementas, jeivisos

(X1, . . . , Xτ ) = (x1, . . . , xn)


aibes bus mačios. Ta aibe yra arba

τ = n, X1 = x1, . . . , Xn = xn, arba τ = ∞ ∪ τ = 1, X1 = x∗,

ir abi jos mačios, jei τ yra atsitiktinis momentas. E∞ erdves σ-algebrągeneruoja cilindrai; todel antrasis iš (1.4) dydžiu matus, kai mačios visos(Xτ+1, Xτ+2, . . . ) ∈ A pavidalo aibes; čia A = (x1, . . . , xk, ∗, ∗, . . . ). Taaibe yra arba ∪

n>1

τ = n, Xn+1 = x1, . . . , Xn+k = xk,

arbaτ = ∞ ∪

∪n>1

τ = n, Xn+1 = x∗, . . . , Xn+k = x∗;

todel taip pat mati, jei τ yra atsitiktinis momentas. Taigi (1.4) dydžiai tikraiyra atsitiktiniai atitinkamu erdviu elementai.

E∗ ir E∞ erdviu elementus aš vadinu atkarpomis ; tada kairiji iš (1.4) dy-džiu naturalu vadinti atkarpa iki τ , o dešini — atkarpa po τ momento.Jei h yra neneigiama mati funkcija vienoje iš tu erdviu, h(x1, . . . , xn) arbah(x1, x2, . . . ) skaičiu aš vadinu atitinkamos atkarpos charakteristika; tadah(X1, . . . , Xτ ) arba h(Xτ+1, Xτ+2, . . . ) yra neneigiamas atsitiktinis dydis.Kad butu trumpiau, toliau atsitiktini dydi Y vadinsiu τ -žinomu (atitinka-mai, τ -spejamu), jei 1τ<∞Y dydis yra 1τ<∞h(X1, . . . , Xτ ) (atitinkamai,h1τ<∞(Xτ+1, Xτ+2, . . . )) pavidalo su kokia nors mačia funkcija h. Štai kelitokiu dydžiu pavyzdžiai.

1. Imdamas h1(x1, . . . , xn) = h(n), gaunu

h1(X1, . . . , Xτ ) =

h(τ), jei τ < ∞;h(1), jei τ = ∞.

Taigi bet koks h(τ) dydis τ -žinomas.2. Imdamas h1(x1, . . . , xn) = h(xn) gaunu

h1(X1, . . . , Xτ ) =

h(Xτ ), jei τ < ∞;h(x∗), jei τ = ∞.

Taigi bet koks h(Xτ ) dydis τ -žinomas.3. Imdamas h2(x1, x2, . . . ) =

∑i>1 h(xi), gaunu

h2(Xτ+1, Xτ+2, . . . ) =

∑i>τ h(Xi), jei τ < ∞;

∞ · h(x∗), jei τ = ∞.


Taigi∑

i>τ h(Xi) dydžiai τ -spejami.Panašiai irodyčiau, pavyzdžiui, kad τ -žinomi bet kokie 1τ>kh(Xτ−k)

arba 1τ>kh(Xk) dydžiai. Bet tas dar nereiškia, kad τ -žinomi bet kokieh(Xτ ′) dydžiai — net jei atsitiktinis momentas τ ′ visada neviršija τ . Štaipaprastas kontrpavyzdys: E = 1, 2, τ = 2 ir

τ ′(x1, x2, . . . ) =

1, kai x3 = 1;2, kai x3 = 2.

Markovo savybe. Atsitiktinis momentas τ vadinamas Markovo momentu,jei su bet kokiu n egzistuoja tokia An ⊂ En, kad

τ(x1, x2, . . . ) = n ⇐⇒ (x1, . . . , xn) ∈ An. (1.5)

Pavyzdžiui, τA funkcijos yra Markovo momentai: (1.5) formule teisinga su

An = (x1, . . . , xn) | x1 ∈ A, . . . , xn−1 ∈ A, xn ∈ A.

Pastebesiu, kad jei τ yra Markovo momentas, tai aibes An, su kuriomisteisingos (1.5) ekvivalencijos, yra gan specifines. Jei m < n, tai koks bebutu(x1, . . . , xn) rinkinys, gali buti teisingas tik vienas iš sąryšiu

(x1, . . . , xm) ∈ Am ir (x1, . . . , xn) ∈ An.

Markovo momentai svarbus del tokios vadinamosios Markovo savybes.

1.1 teorema. Jei τ yra Markovo momentas, tai su bet kokiomis neneigia-momis mačiomis funkcijomis h1, h2 (atitinkamose erdvese)

Ex1τ<∞h1(X1, . . . , Xτ )h2(Xτ+1, Xτ+2, . . . )

= Ex1τ<∞h1(X1, . . . , Xτ )h2(Xτ );

čia h2(y) = Eyh2(X1, X2, . . . ).

Irodymas. Pakanka irodyti, kad su bet kokiu n > 1

Ex1τ=nh1(X1, . . . , Xn)h2(Xn+1, Xn+2, . . . )

= Ex1τ=nh1(X1, . . . , Xn)h2(Xn). (1.6)

Tegu iš pradžiuh2(x1, x2, . . . ) = 1B(x1, . . . , xm);


čia B ⊂ Em. Tegu An yra aibe, su kuria teisinga (1.5) lygybe. Tada kairioji(1.6) lygybes puse lygi∑

(x1,...,xn)∈An

(xn+1,...,xn+m)∈B

h1(x1, . . . , xn)P (x, x1)P (x1, x2) . . . P (xn+m−1, xn+m)

=∑

(x1,...,xn)∈An

h1(x1, . . . , xn)P (x, x1)P (x1, x2) . . . P (xn−1, xn)

×∑

(y1,...,ym)∈B

P (xn, y1) · · ·P (ym−1, ym)

=∑

(x1,...,xn)∈An

h1(x1, . . . , xn)h2(xn)P (x, x1)P (x1, x2) . . . P (xn−1, xn)

= Ex1τ=nh1(X1, . . . , Xn)h2(Xn).

Tegu A yra aibe tokiu mačiu A ⊂ E∞, kad (1.6) lygybe teisinga su h2 =1A. Akivaizdu, kad A yra λ-sistema. Ką tik irodžiau, kad tai sistemai pri-klauso visi cilindrai (xi) | (x1, . . . , xm) ∈ B; čia B ⊂ Em. Kadangi cilidruaibe yra π-sistema, A sistemai priklauso visos mačios aibes. Kitaip tariant,(1.6) lygybe teisinga su bet kokiu indikatoriumi h2. Iš vidurkio savybiu tadaišplaukia, kad ji teisinga ir su bet kokia neneigiama mačia funkcija h2.

Teoremą aš suformulavau taip, kad ji derintusi su mano atkarpu koncep-cija (aš laikau, kad nei τ , nei Xτ nera τ -spejami dydžiai). Apskritai teoremaišlieka teisinga ir tuo atveju, kai h2 funkcija priklauso dar ir nuo τ arba Xτ ,t.y. vietoje h2(Xτ+1, Xτ+2, . . . ) yra h2(τ,Xτ , Xτ+1, Xτ+2, . . . ). Tačiau ben-dras atvejis nesunkiai suvedamas i jau išnagrinetą. Pažymiu

h2(n, y) = Eyh2(n, y,X1, X2, . . . ).

Iš 1.1 teoremos išplaukia, kad su bet kokiais n ir y

Ex1τ=n,Xn=yh1(X1, . . . , Xn)h2(n, y,Xn+1, Xn+2, . . . )

= Ex1τ=n,Xn=yh1(X1, . . . , Xn)h2(n, y)

(nes 1τ=n,Xn=yh1(X1, . . . , Xn) yra 1τ<∞h1(X1, . . . , Xτ ) pavidalo su tamtikra h1). Sudejęs tas lygybes gaunu

Ex1τ<∞h1(X1, . . . , Xτ )h2(τ,Xτ , Xτ+1, Xτ+2, . . . )

= Ex1τ<∞1τ<∞h1(X1, . . . , Xτ )h2(τ,Xτ ).


Absorbavimo tikimybes. Yra daug idomiu uždaviniu, kuriuos galimaspręsti nežinant Markovo grandiniu teorijos, destomos kituose skyriuose.Juose prašoma arba rasti tikimybę, kad grandine pateks i tam tikrą absorbuo-jančią buseną, arba apskaičiuoti vidutini laiką iki absorbavimosi. Sprendimairemiasi tokia teorema.

1.2 teorema. Tegu z yra fiksuota busena ir su x ∈ E

h0(x) = Px(τz < ∞), h1(x) = Ex1τz<∞τz.

Tada su visais x ∈ E

h0(x) = P (x, z) +∑y =z

P (x, y)h0(y) (1.7)

irh1(x) = h0(x) +

∑y =z

P (x, y)h1(y). (1.8)

Irodymas. Taikau Markovo savybę su pastoviu Markovo momentu τ = 1:

h0(x) =∑n>1

Px(τz = n)

= Px(X1 = z) +∑n>2

Px(X1 = z, . . . , Xn−1 = z,Xn = z)

= P (x, z) + Ex1X1 =z∑n>2

1X2 =z,...,Xn−1 =z, Xn=z

= P (x, z) + Ex1X1 =z∑m>1

1X1+1 =z,...,X1+m−1 =z, X1+m=z

= P (x, z) + Ex1X1 =zh0(X1);

čia

h0(y) = Ey

∑m>1

1X1 =z,...,Xm−1 =z, Xm=z

=∑m>1

Py(τz = m) = Py(τz < ∞) = h0(y).

Taigi

h0(x) = P (x, z) +∑y =z

Px(X1 = y)h0(y) = P (x, z) +∑y =z

P (x, y)h0(y).


Analogiškai

h1(x) =∑n>1

nPx(τz = n)

= Px(X1 = z) +∑n>2

nPx(X1 = z, . . . , Xn−1 = z,Xn = z)

= P (x, z) + Ex1X1 =z∑n>2

n1X2 =z,...,Xn−1 =z, Xn=z

= P (x, z) + Ex1X1 =z∑m>1

(m+ 1)1X1+1 =z,...,X1+m−1 =z, X1+m=z

= P (x, z) + Ex1X1 =zh1(X1);

čia

h1(y) = Ey

∑m>1

(m+ 1)1X1 =z,...,Xm−1 =z, Xm=z =∑m>1

(m+ 1)Py(τz = m)

= Py(τz < ∞) + Ey1τz<∞τz = h0(y) + h1(y).

Taigi

h1(x) = P (x, z) +∑y =z

Px(X1 = y)h0(y) +∑y =z

Px(X1 = y)h1(y)

= P (x, z) +∑y =z

P (x, y)h0(y) +∑y =z

P (x, y)h1(y)

= h0(x) +∑y =z

P (x, y)h1(y).

Kadangi visi h0(x) 6 1, iš (1.7) sistemos tikrai galima surasti visus h0(x)

(žr. uždavinius skyrelio gale). Kad butu naudinga ir (1.8) sistema, reikiažinoti, kad ir h1(x) reikšmes baigtines. Jei busenu aibe baigtine, tai atrodoakivaizdu, todel spręsdamas minetus uždaviniuose aš tuo naudojuosi. Betgriežtas to fakto irodymas nera labai paprastas — tai padarysiu tik kitameskyriuje.

Atkarpa tarp dvieju momentu. Tegu τ1 yra koks nors atsitiktinis mo-mentas. Atkarpa po τ1 yra E∞ erdves elementas ir viena iš idomesniu joscharakteristiku (t.y. neneigiamu mačiu funkciju E∞ erdveje) yra kitas mo-mentas τ2, kuris suskaido tą atkarpą dar i dvi dalis. Pradine trajektorija tada


suskaidoma jau i tris dalis. Štai kaip pagal formalu mano apibrežimą galetuatrodyti tos dalys, atitinkančios ivairius ω = (xi):

(x1, . . . , xm), (xm+1, . . . , xm+k), (xm+k+1, xm+k+2, . . . )

(jei τ1(ω) = m ir τ2(xm+1, xm+2, . . . ) = k),

(x1, . . . , xm), x∗, (x∗, x∗, . . . )

(jei τ1(ω) = m ir τ2(xm+1, xm+2, . . . ) = ∞),

x∗, (x∗, . . . , x∗), (x∗, x∗, . . . )

(jei τ1(ω) = ∞ ir τ2(x∗, x∗, . . . ) = k),

x∗, x∗, (x∗, x∗, . . . )

(jei τ1(ω) = ∞ ir τ2(x∗, x∗, . . . ) = ∞).

Nesunku pastebeti, kad visais atvejais pirmoji atkarpa yra (X1, . . . , Xτ1),o trečioji — (Xτ2+1, Xτ2+1, . . . ); čia su ω = (xi)

τ2(ω) =

m+ k, jei τ1(ω) = m ir τ2(xm+1, xm+2, . . . ) = k;∞, kitais atvejais.

(1.9)

Vidurinioji atkarpa yra atsitiktinio E∗ erdves elemento, kuri aš vadinu at-karpa tarp τ1 ir τ2 ir žymiu (Xτ1+1, . . . , Xτ2), reikšmes.

Galima isivaizduoti, kad τ2 yra momentas, kai ivyksta τ2 po to, kai ivykoτ1. Tačiau visada ne pro šali pasitikrinti, ar toks isivaizdavimas atitinkagriežtą apibrežimą. Tegu, pavyzdžiui, E = 1, 2 ir τ1 = τ2 = τ , o τ yrapirmas momentas, kai trajektorijoje pasirodo trys vienodi skaičiai:

τ(x1, x2, . . . ) = infi > 3 | xi = xi−1 = xi−2.

Tada trajektoriją0111100111 . . .

atitinka τ1 = 4 ir τ2 = 10, o ne τ2 = 5, nors butent 5 yra pirmas momentas,kai antrą kartą trajektorijoje pasirode trys iš eiles einantys vienodi simboliai.Tiesiog pagal apibrežimą τ2 skaičiuojamas nežiurint i trajektorijos dali, kuribuvo iki τ1 imtinai (galima isivaizduoti, kad ta dalis tiesiog nuvaloma).

1.3 teorema. Tegu τ1 ir τ2 yra du Markovo momentai, o τ2 apibrežiamas(1.9) lygybe. Tada:

1) τ2 yra Markovo momentas;2) bet koks h1(X1, . . . , Xτ1) ir h2(Xτ1+1, . . . , Xτ2) dydis τ2-žinomas;3) bet koks 1τ2<∞h2(Xτ1+1, . . . , Xτ2) ir 1τ2<∞h3(Xτ2+1, Xτ2+1, . . . ) dy-

dis τ1-spejamas.


Irodymas. 1. τ2(x1, x2, . . . ) = n tada ir tik tada, kai

∃m < n((x1, . . . , xm) ∈ Am, (xm+1, . . . , xn) ∈ A′

n−m

);

čia Am ir A′k žymi tokias aibes, kad

τ1(x1, x2, . . . ) = m ⇐⇒ (x1, . . . , xm) ∈ Am (1.10)

irτ2(x1, x2, . . . ) = k ⇐⇒ (x1, . . . , xm) ∈ A′

k. (1.11)

2. Apibrežiu

h1(x1, . . . , xn) =

h1(x1, . . . , xm), kai (x1, . . . , xm) ∈ Am su m < n;0 kitais atvejais;

h2(x1, . . . , xn) =

h2(xm+1, . . . , xn), kai (x1, . . . , xm) ∈ Am su m < n;0 kitais atvejais;

čia Am yra aibes, su kuriomis teisingi (1.10) sąryšiai. Apibrežimas korek-tiškas, nes gali buti tik vienas m, su kuriuo (x1, . . . , xm) ∈ Am.

Tegu ω = (xi) ir τ2(ω) = n < ∞. Tada su tam tikrais m, k > 1

τ1(ω) = m, τ2(xm+1, xm+2, . . . ) = k;

be to, m+ k = n. Iš čia (x1, . . . , xm) ∈ Am ir todel

h1(X1, . . . , Xτ1) = h1(x1, . . . , xm) = h1(x1, . . . , xn) = h1(X1, . . . , Xτ2),

h2(Xτ1+1, . . . , Xτ2) = h2(xm+1, . . . , xn) = h2(x1, . . . , xn) = h2(X1, . . . , Xτ2).

3. Apibrežiu

h2(x1, x2, . . . ) =

h2(x1, . . . , xk), kai (x1, . . . , xk) ∈ A′

k;0 kitais atvejais;

h3(x1, x2, . . . ) =

h3(xk+1, xk+2, . . . ), kai (x1, . . . , xk) ∈ A′

k;0 kitais atvejais;

čia A′k yra aibes, su kuriomis teisingi (1.11) sąryšiai. Apibrežimas korektiškas,

nes gali buti tik vienas k, su kuriuo (x1, . . . , xk) ∈ A′k.

Tegu ω = (xi) ir τ1(ω) = m. Jei τ2(xm+1, xm+2, . . . ) = k, tai τ2 = m+ k,(xm+1, . . . , xm+k) ∈ A′

k ir todel

1τ2<∞h2(Xτ1+1, . . . , Xτ2) = h2(xm+1, . . . , xm+k)


= h2(xm+1, xm+2, . . . ) = h2(Xτ1+1, Xτ1+2, . . . )

ir

1τ2<∞h3(Xτ2+1, Xτ2+1, . . . ) = h3(xm+1, xm+2, . . . )

= h3(xm+k+1, xm+k+2, . . . ) = h3(Xτ2+1, Xτ2+2 . . . ).

Jei τ2(xm+1, xm+2, . . . ) = ∞, tai taip pat

1τ2<∞h2(Xτ1+1, . . . , Xτ2) = 0 = h2(xm+1, xm+2, . . . ) = h2(Xτ1+1, Xτ1+2, . . . )

ir

1τ2<∞h3(Xτ2+1, Xτ2+1, . . . ) = 0

= h3(xm+k+1, xm+k+2, . . . ) = h3(Xτ2+1, Xτ2+2 . . . ).

Momentu grandines. Jei (τn) yra atsitiktiniu momentu seka, galima api-brežti naują momentu seką (τn), kurią aš vadinu momentu grandine (atitin-kančia seką (τn)). Apibrežimas rekursinis: τ1 = τ1 ir su n > 2, ω = (xi)

τn(ω) =

m+ k, kai τn−1(ω) = m, τn(xm+1, xm+2, . . . ) = k;∞, kitais atvejais.

1.4 teorema. Tegu (τn) yra Markovo momentu seka ir (τn) — ją atitinkantimomentu grandine. Tada:

1) visi τn yra Markovo momentai;2) su bet kokiu n > 1, bet kokiomis neneigiamomis mačiomis funkcijomis

h1, . . . , hn+1 (atitinkamose erdvese) ir bet kokiomis busenomis x, y1, . . . , yn

Ex1τn<∞,Xτ1=y1,...,Xτn=ynh1(X1, . . . , Xτ1) · · ·hn(Xτn−1+1, . . . , Xτn)

× hn+1(Xτn+1, Xτn+2, . . . )

= Ex1τ1<∞,Xτ1=y1h1(X1, . . . , Xτ1) · · ·Eyn−11τn<∞,Xτn=ynhn(X1, . . . , Xτn)

× Eynhn+1(X1, X2, . . . )

Irodymas. 1. Jei n = 1, teiginys trivialus. Jei n > 2, iš indukcijosprielaidos išplaukia, kad τn−1 yra Markovo momentas, o tada iš 1.3 teoremos— kad ir τn yra Markovo momentas.


2. Jei n = 1, lygybe išplaukia iš 1.1 teoremos (Markovo savybes). Tegun > 2. Pažymiu

Y1 = 1τ1<∞,Xτ1=ykh1(X1, . . . , Xτ1),

Yk = 1τk<∞,Xτk=ykhk(Xτk−1+1, . . . , Xτk), k = 2, . . . , n,

ir

Yn+1 = 1τn<∞hn+1(Xτn+1, Xτn+2, . . . );

tada vidurkis kaireje irodinejamos lygybes puseje lygus ExY1 · · ·Yn+1.Aišku, kad Y1 dydis τ1-žinomas, o iš 1.3 teoremos išplaukia, kad Yk dydis

τk-žinomas su k = 2, . . . , n. Iš tos pačios teoremos gaunu, kad jei k > 2, taibet koks τk−1-žinomas dydis yra τk-žinomas. Reiškia, kiekvienas Yk su k 6 n,o tada ir ju sandauga Y1 · · ·Yn yra τn-žinoma. Todel iš Markovo savybes

ExY1 · · ·YnYn+1 = ExY1 · · ·YnEyn1τn<∞hn+1(X1, X2, . . . ).

Dar kartą pasiremęs 1.3 teorema gaunu, kad Yn dydis yra τn−1-spejamas.Todel galutine lygybe dabar išplaukia iš indukcines prielaidos.

τA,n momentai. Momentu grandinę, atitinkančią seką (τn), kurios visi na-riai τn = τA, žymesiu (τA,n). Taigi τA,1 = τA ir su n > 2, ω = (xi)

τA,n(ω) =

m+ k, kai τA,n−1(ω) = m, τA(xm+1, xm+2, . . . ) = k;∞, kitais atvejais.

Kitaip tariant, su n > 2

τA,n = infi > τA,n−1 + 1 | xi ∈ A.

τA,n vadinamas n-ojo vizito A aibeje momentu.

1.5 teorema. Tegu x ∈ E, A ⊂ E ir F = A ∪ x, ω su tam tikru ω ∈ E.Apibrežiu

Yn =

XτA,n

, kai τA,n < ∞;ω, kai τA,n = ∞.

Tada Px tikimybes atžvilgiu (Yn) yra Markovo grandine F aibeje, kuriospradinis skirstinys sukoncentruotas x taške, o perejimo tikimybiu branduolysQ apibrežiamas tokiomis lygybemis:

Q(y, y′) = Py(τA < ∞, XτA = y′), Q(y, ω) = Py(τA = ∞),

Q(ω, y′) = 0, Q(ω, ω) = 1

(čia y, y′ ∈ A ∪ x).


Irodymas. Reikia irodyti, kad su bet kokiu n > 1 ir bet kokiomisy1, . . . , yn ∈ F

Px(Y1 = y1, . . . , Yn = yn) = Q(x, y1)Q(y1, y2) · · ·Q(yn−1, yn).

Jei ne vienas yk nera ω, lygybe išplaukia iš 1.4 teoremos (su h1 = · · · =hn+1 = 1).

Jei yn = ω, o visi kiti yk = ω, lygybe išplaukia iš tos pačios teoremos, tiksu n− 1 vietoje n, h1 = · · · = hn−1 = 1 ir hn(x1, x2, . . . ) = 1∀i Xi ∈A.

Tegu dabar k yra pirmas indeksas su yk = ω ir k < n. Jei yk = · · · =yn = ω, tai

Px(Y1 = y1, . . . , Yn = yn) = Px(Y1 = y1, . . . , Yk = yk)

(nes iš τA,k = ∞ išplaukia τAl= ∞ su l > k) ir

Q(x, y1) · · ·Q(yn−1, yn) = Q(x.y1) · · ·Q(yk−1, yk)

(nes Q(yl−1, yl) = 1 su l > k) ir šis atvejis susiveda i išnagrinetą aukščiau.Jeigu gi bent vienas yl su k < l 6 n nelygus ω, tai galiu laikyti, kad yl−1 = ω,o tada tiek

Px(Y1 = y1, . . . , Yn = yn) 6 Px(τA,k = ∞, τA,l < ∞) = 0,

tiek Q(x, y1) · · ·Q(yn−1, yn) = 0, nes Q(yl−1, yl) = 0. Imdamas A = y, iš irodytos teoremos gaunu gražią išvadą: su n > 1

Px(τy,n < ∞) = Px(τy < ∞)[Py(τy < ∞)

]n−1. (1.12)

Tikrai, tikimybe kaireje lygi

Px(Yn = ω) = Px(Y1 = ω, . . . , Yn = ω)

= Px(Y1 = y, . . . , Yn = y) = Q(x, y)Q(y, y)n−1.

Uždaviniai.

1.9 uždavinys. Tegu P branduolys aprašomas grafu

?>=<89:;155 ?>=<89:;212oo

12 // ?>=<89:;3 1

2 //12

oo ?>=<89:;4 ii

Apskaičiuokite P2(τ4 < ∞) ir E21τ4<∞τ4.


Sprendimas. Kad butu trumpiau, vietoje τ4 rašysiu tiesiog τ . Trajektoriju,prasidedančiu 2 busenoje ir atitinkančiu τ < ∞ ivyki, yra be galo daug. Visgijas galima išrašyti i begalinę lentelę:

x X1 X2 X3 X4 · · · p τ

2 3 4 4 4 · · · 122

22 3 2 3 4 · · · 1

244

......

......

.... . .

......


P2(τ < ∞) =1

22+

1

24+

1

26+ · · · =

14

1− 14

=1

3

ir

E21τ<∞τ =2

22+

4

24+

6

26+ · · · =

∞∑n=1

2n

4n=

1

2

∞∑n=1

n

4n−1=

8

9.

(pasiremiau lygybe∑

n>1 nqn−1 = (1− q)−2, teisinga su |q| < 1).

1.10 uždavinys. Tegu P branduolys aprašomas grafu

?>=<89:;1 12 //

12

;;?>=<89:;2 2

3 //

13

?>=<89:;3 ii

Tegu τ = τ3 ir

h1(x1, . . . , xn) =n∑

i=1

12(xi), h2(x1, x2, . . . ) = τ3(x1, x2, . . . ).

Apskaičiuokite

E11τ<∞h1(X1, . . . , Xτ ) ir E11τ<∞h2(Xτ+1, Xτ+2, . . . ).

Sprendimas. Lenteleje surašau trajektorijas, prasidedančias busenoje 1 ir ati-tinkančias τ < ∞ ivyki (paskutiniuose dviejuose stulpeliuose yra dydžiu Y =h1(X1, . . . , Xτ ) ir Z = h2(Xτ+1, Xτ+2, . . . ) reikšmes):

x X1 X2 X3 X4 · · · p τ Y Z

1 3 3 3 3 · · · 12 1 0 1

1 2 3 3 3 · · · 13 2 1 1

1 2 2 3 3 · · · 132

3 2 1...

......

......

. . ....

......

...



E11τ<∞Y =

∞∑n=1

n

3n=

1

3· 1

(1− 13)

2=

3

4

ir

E11τ<∞Z =1

2+

∞∑n=1

1

3n=

1

2+

13

1− 13

=1

2+

1

2= 1.

1.11 uždavinys. Tegu P yra branduolys iš 1.10 uždavinio, h1(x1, . . . , xn) =1 ir h2(x1, x2, . . . ) = τ3(x1, x2, . . . ). Patikrinkite, ar nurodytas atsitiktinismomentas τ yra Markovo momentas, ir ar teisingas 1.1 teoremos tvirtinimas,kai x = 1:

(a) τ = τ2;

(b) τ = τ2 + 1;

(c) τ = 2;

(d) τ = (τ2 − 1) ∨ 1;

(e) τ — paskutinio patekimo i buseną 2 momentas (= ∞, jei i tą busenąpatenkama be galo daug kartu arba nepatenkama ne karto).

Sprendimas. Iš pradžiu apskaičiuosiu h2(x) = Exτ3 funkciją, nes jos prireiksvisuose uždaviniuose. Užpildau lentelę:

x X1 X2 X3 X4 · · · p τ31 3 3 3 3 · · · 1

2 11 2 3 3 3 · · · 1

3 21 2 2 3 3 · · · 1

323

......

......

.... . .

......

2 3 3 3 3 · · · 23 1

2 2 3 3 3 · · · 232

2...

......

......

. . ....

...3 3 3 3 3 · · · 1 1

Taigi

h2(1) =1

2+∑n>2

n

3n−1=

1

2− 1 +

∑n>1

n

3n−1= −1

2+

1

(1− 13)

2=

7

4,


h2(2) =∑n>1

2n

3n=

2

3· 94=

3

2,

h3(3) = 1.

Pažymiu Z = h2(Xτ+1, Xτ+2, . . . ).(a) τ yra Markovo momentas, nes (1.5) lygybes teisingos su

An = (x1, . . . , xn) | x1 = 2, . . . , xn−1 = 2, xn = 2.

Užpildau lentelę (eiluteje su τ = ∞ paskutiniuose dviejuose stulpeliuose dedubrukšni, nes tos reikšmes nebus panaudojamos tikrinant Markovo savybę):

x X1 X2 X3 X4 · · · p τ Z h2(Xτ )

1 3 3 3 3 · · · 12 ∞ – –

1 2 3 3 3 · · · 13 1 1 3

2

1 2 2 3 3 · · · 132

1 2 32

1 2 2 2 3 · · · 133

1 3 32

......

......

.... . .

......

......

Taigi

E1τ<∞Z =∑n>1

n

3n=

1

3· 94=

3

4,

E1τ<∞h2(Xτ ) =3

2

∑n>1

1

3n=

3

2· 12=

3

4.

(b) τ yra Markovo momentas, nes (1.5) lygybes teisingos su A1 = ∅ ir

An = (x1, . . . , xn) | x1 = 2, . . . , xn−2 = 2, xn−1 = 2, n > 2.

Užpildau lentelę:

x X1 X2 X3 X4 · · · p τ Z h2(Xτ )

1 3 3 3 3 · · · 12 ∞ – –

1 2 3 3 3 · · · 13 2 1 1

1 2 2 3 3 · · · 132

2 1 32

1 2 2 2 3 · · · 133

2 2 32

......

......

.... . .

......

......

Taigi

E1τ<∞Z =1

3+∑n>1

n

3n+1=

1

3+

1

9· 94=

7

12,


E1τ<∞h2(Xτ ) =1

3+

3

2

∑n>2

1

3n=

1

3+

3

2· 16=

7

12.

(c) τ yra Markovo momentas, nes (1.5) lygybes teisingos su A2 = E2 ir A1 =A3 = A4 = · · · = ∅. Užpildau lentelę:

x X1 X2 X3 X4 · · · p τ Z h2(Xτ )

1 3 3 3 3 · · · 12 2 1 1

1 2 3 3 3 · · · 13 2 1 1

1 2 2 3 3 · · · 132

2 1 32

1 2 2 2 3 · · · 133

2 2 32

......

......

.... . .

......

......

Taigi

E1τ<∞Z =1

2+

1

3+∑n>1

n

3n+1=

5

6+

1

9· 94=

13

12,

E1τ<∞h2(Xτ ) =1

2+

1

3+

3

2

∑n>2

1

3n=

5

6+

3

2· 16=

13

12.

(d) τ nera Markovo momentas:

τ = 1 = τ2 6 2 = (xi) | x1 = 2 arba x2 = 2

ir tos aibes neimanoma užrašyti (xi) | x1 ∈ A1 pavidalu su jokia A1 ⊂ E (kadtuo isitikintume, galime perrinkti visas imanomas A1: yra 8 galimybes). Užpildaulentelę:

x X1 X2 X3 X4 · · · p τ Z h2(Xτ )

1 3 3 3 3 · · · 12 ∞ – –

1 2 3 3 3 · · · 13 1 1 3

2

1 2 2 3 3 · · · 132

1 2 32

1 2 2 2 3 · · · 133

1 3 32

......

......

.... . .

......

......

Gavau tokią pat lentelę kaip (a) uždavinyje, todel

E1τ<∞Z = E1τ<∞h2(Xτ ) =3

4.

(e) τ nera Markovo momentas:

τ = 1 = (xi) | x1 = 2, ∀i > 2 xi = 2

ir tos aibes neimanoma užrašyti (xi) | x1 ∈ A1 pavidalu su jokia A1 ⊂ E.Užpildau lentelę:


x X1 X2 X3 X4 · · · p τ Z h2(Xτ )

1 3 3 3 3 · · · 12 ∞ – –

1 2 3 3 3 · · · 13 1 1 3

2

1 2 2 3 3 · · · 132

2 1 32

1 2 2 2 3 · · · 133

3 1 32

......

......

.... . .

......

......

Taigi

E1τ<∞Z =∑n>1

1

3n=

1

2,

E1τ<∞h2(Xτ ) =3

2

∑n>1

1

3n=

3

4.

1.12 uždavinys. Programa kuria atsitiktinę teksturą tokiu budu: su tiki-mybe p generuojamas baltas pikselis (B), su tikimybe q = 1 − p — juodas(J); generuoti pikseliai dedami vienas šalia kito eiluteje, bet jei sutinkamakombinacija BJBB, pereinama i kitą eilutę. Taigi galimi, pavyzdžiui, tokievariantai:

BBJBBJBJBJJBBJBBBJJJBJBB

ir pan. Koks yra vidutinis eilutes ilgis?

Sprendimas. Tegu E = 1, 2, 3, 4, 5; čia:

• busena 5 absorbuojanti ir reiškia, kad eilute jau užbaigta;

• busena 4 reiškia, kad eilute gali buti užbaigta vienu žingsniu (t.y. ji užsibaigiasimboliu seka BJB);

• busena 3 reiškia, kad eilute gali buti užbaigta dviem žingsniais (t.y. ji užsi-baigia simboliu seka BJ);

• busena 2 reiškia, kad eilute gali buti užbaigta trim žingsniais (t.y. ji užsibaigiasimboliu B, bet prieš ji nera BJ);

• busena 1 reiškia, kad eilute gali buti užbaigta keturiais žingsniais (ji arbatuščia, arba užsibaigia simboliu J, prieš kuri stovi ne B).


Markovo grandine aprašoma tokiu grafu:

?>=<89:;1p //q

66?>=<89:;2

q //

p

JJ?>=<89:;3

p //

q

xx ?>=<89:;4p //

q

bb?>=<89:;5 hh

Grandine startuoja iš busenos 1 ir eilutes ilgis sutampa su τ5 — pirmu momentu,kai grandine patenka i buseną 5. Taigi reikia suskaičiuoti E1τ5.

Pažymiu h0(x) = Px(τ5 < ∞) ir h1(x) = Ex1τ5<∞τ5. Iš pradžiu rasiu h0(x).Iš (1.7) išplaukia, kad tie skaičiai tenkina tokią lygčiu sistemą:

h0(1) = qh0(1) + ph0(2),

h0(2) = ph0(2) + qh0(3),

h0(3) = qh0(1) + ph0(4),

h0(4) = p+ qh0(3).

Iš pirmos lygties h0(1) = h0(2), iš antros lygties h0(2) = h0(3), o tada iš trečiosh0(4) = h0(3). Istatęs i paskutinę lygti gaunu h0(3) = 1. Taigi h0(x) = 1 su visaisx ∈ E.

Taigi busena 5 beveik tikrai pasiekiama iš bet kurios kitos busenos. Tada manedominantis vidurkis sutampa su h1(1). Iš (1.8) gaunu, kad skaičiai h1(x) tenkinatokią lygčiu sistemą:

h1(1) = 1 + qh1(1) + ph1(2),

h1(2) = 1 + ph1(2) + qh1(3),

h1(3) = 1 + qh1(1) + ph1(4),

h1(4) = 1 + qh1(3).

Istatęs h1(4) reikšmę iš ketvirtosios i trečią lygti gaunu

h1(3) = 1 + qh1(1) + p+ pqh1(3),

h1(3) =1 + p+ qh1(1)

1− pq.

Istatęs šitą reikšmę i antrą lygti gaunu

h1(2) = 1 + ph1(2) + q1 + p+ qh1(1)

1− pq,

qh1(2) = 1 + q1 + p+ qh1(1)

1− pq=

1 + q + q2h1(1)

1− pq.

Reiškia,

h1(1) = 1 + qh1(1) + p1 + q + q2h1(1)

q(1− pq),


pq(1− pq)h1(1) = q(1− pq) + p(1 + q) + pq2h1(1),

pq(1− q − pq)h1(1) = 1 + pq − pq2,

p3qh1(1) = 1 + p2q,

h1(1) =1

p+

1

p3q.

1.13 uždavinys. Vytas K. laisvalaikiu megsta žaisti toki žaidimą: rašo antlentos kryžiukus ir nuliukus. Kiekvienas simbolis rašomas arba iš dešinesšalia jau parašytu, arba vietoje paskutinio parašytojo simbolio (tada pastara-sis nuvalomas). Kur rašyti simboli, pasirenkama atsitiktinai (abu variantaivienodai galimi). Jei eiluteje atsiranda du iš eiles einantys vienodi simboliai,žaidimas baigiamas: jei tai kryžiukai, Vytas laimi; jei nuliukai — pralaimi.Taigi žaidimo eiga gali atrodyti, pavyzdžiui, taip:

XX0X0X0XX00

Kad žaidimas butu sąžiningesnis, Vytas kiekvienąkart kryžiuką rašo su tiki-mybe p, o nuliuką — su tikimybe q = 1− p. Kokia vidutine žaidimo trukme,jei kiekvienas simbolis parašomas per 1 sekundę?

Sprendimas. Tegu α žymi pradinę buseną (kol dar lenta tuščia), X reiškia,kad parašytas vienas simbolis X, 0 — kad parašytas vienas simbolis 0, X0 — kadpaskutiniai du simboliai lentoje yra X0, 0X — kad paskutiniai du simboliai lentojeyra 0X, ir ω žymi žaidimo pabaigą (pagal uždavinio sąlygą nesvarbu, kas laimejo).Nagrinesiu Markovo grandinę, aprašomą tokiu grafu:?>=<89:;α

p

~~|||||||||

q

BBB

BBBB

BB

?>=<89:;X

q/2

q/2 //

p/2

++

p/2

0000000000000000

?>=<89:;0p/2

oo

p/2

q/2

ss

q/2

GFED@ABCX0

p/2 //

12 B

BBBB

BBBB

q/2

JJGFED@ABC0X

q/2oo

p/2

TT

12~~||

|||||||?>=<89:;ω

HH

Reikia apskaičiuoti Eατω.

1.4. ATSTATYMO TEOREMA 37

Kaip ir ankstesniame uždavinyje gaunu, kad beveik tikrai τω < ∞. Tadaskaičiai h(x) = Exτω tenkina tokias lygtis:

h(α) = 1 + ph(X) + qh(0);

h(X) = 1 + p2h(X) +

q2h(0) +

q2h(X0);

h(0) = 1 + p2h(X) +

q2h(0) +

p2h(0X);

h(X0) = 1 + q2h(X0) +

p2h(0X);

h(0X) = 1 + q2h(X0) +

p2h(0X).

Iš paskutiniu dvieju lygčiu h(X0) = h(0X) = 2. Istatęs i 2 ir 3 lygtis, gaunu:h(X) = 1 + p

2h(X) +q2h(0) + q;

h(0) = 1 + p2h(X) +

q2h(0) + p.

Taigi h(X)− h(0) = q − p, t.y. h(X) = h(0) + q − p ir

h(0) = 1 +p

2

(h(0) + q − p

)+

q

2h(0) + p,

1

2h(0) = 1 +

p(q − p)

2+ p,

h(0) = 2 + p(q − p) + 2p,

oh(X) = 3 + p(q − p).

Tada

h(α) = 1 + p(3 + p(q − p)

)+ q(2 + p(q − p) + 2p

)= 1 + 3p+ p2(q − p) + 2q + pq(q − p) + 2pq

= 3 + p+ p(q − p) + 2pq

= 3 + 4pq.

1.4 Atstatymo teorema

Adityvios naturaliuju skaičiu aibes. Jei N yra netuščia naturaliujuskaičiu aibe, jos didžiausiu bendruoju dalikliu, žymimu gcd(N), vadinamasdidžiausias naturalusis skaičius d, dalantis visus n ∈ N . Toks skaičius visadaegzistuoja: tereikia perrinkti kokio nors fiksuoto skaičiaus n0 ∈ N daliklius,pažiureti, kurie iš ju dalo visus likusius N aibes skaičius, ir išrinkti iš tokiudidžiausią.


Iš pastarojo samprotavimo išplaukia, kad d = gcd(N) sutampa su tamtikro baigtinio poaibio n1, . . . , ns ⊂ N didžiausiu bendruoju dalikliu. Skai-čiu teorijoje irodoma, kad tada

d = k1n1 + · · ·+ ksns (1.13)

su tam tikrais k1, . . . , ks ∈ Z.

1.6 teorema. Tegu N yra netuščia naturaliuju skaičiu aibe ir d = gcd(N).Jei N adityvi, t.y.

m,n ∈ N ⇒ m+ n ∈ N,

tai ld ∈ N su visais pakankamai dideliais l.

Irodymas. Tegu su tam tikrais n1, . . . , ns ∈ N ir k1, . . . , ks ∈ Z teisinga(1.13) lygybe. Pažymiu

n0 = n1 + · · ·+ ns ir k0 = max(|k1|, . . . , |ks|).

Jei l > k0n20, tai l = qn0 + r su tam tikrais sveikais q > k0n0 ir 0 6 r < n0.

Tada

ld = qn0d+ rd =s∑

i=1

qdni +n∑

i=1

rkini =s∑

i=1

(qd+ rki)ni.

Kadangi su visais i

qd+ rki > q − rk0 > q − n0k0 > 0,

ld ∈ N .

Atstatymo lygtis. Tegu (pi) yra neneigiamu skaičiu seka, kurios suma lygi1, o (un) seka apibrežiama rekursiškai:

u1 = p1,

u2 = p1u1 + p2,

u3 = p1u2 + p2u1 + p3

ir t.t. Kitaip tariant, su visais n > 1

un = p1un−1 + · · ·+ pn−1u1 + pn. (1.14)

(1.14) lygybe vadinama atstatymo lygtimi. Žemiau formuluojama atsta-tymo teorema sako, kad jei d = gcdi | pi > 0 = 1, (un) seka turi ribą (ir

1.4. ATSTATYMO TEOREMA 39

pasako, kokia ta riba yra). Atveju d > 1 (1.14) išsiskaido i d lygčiu, siejančiunesikertančius (un) sekos posekius (ur+(n−1)d), r = 1, . . . , d. Jei r < d, gaunu

ur = 0,

ur+d = pdur = 0,

ur+2d = pdur+d + p2dur = 0

ir t.t. Jeigu gi r = d, gaunu tokią sistemą:

ud = pd,

u2d = pdud + p2d,

u3d = pdu2d + p2dud + p3d

ir t.t., t.y. su visais n > 1

und = pdu(n−1)d + · · ·+ p(n−1)dud + pnd.

Kadangi gcdi > 1 | pid > 0 = 1, galima taikyti atstatymo teoremą ir gautiposekio (und) ribą.

Atstatymo teorema.

1.7 teorema. Tegu (pi) yra neneigiamu skaičiu seka, kurios suma lygi 1,ir gcdi > 1 | pi > 0 = 1. Jei (un) seka apibrežiama (1.14) lygtimi, taiun → 1/µ; čia µ =

∑i>1 ipi (jei µ = ∞, laikoma, kad 1/µ = 0).

Irodymas. Iš (1.14) išplaukia, kad 0 6 un 6 1 su visais n > 1. Pažymiuw0 = limn un ir randu tokią seką nk → ∞ ir tokią seką (ws | s > 1), kad suvisais s > 0

unk−s −−−→k→∞

ws.

Aišku, kad visi ws ∈ [0;w0].Iš (1.14) ir Lebego teoremos apie aprežtą konvergavimą išplaukia, kad su

visais s > 0ws = p1ws+1 + p2ws+2 + · · · . (1.15)

Pažymiu N = i1 + · · · + ik | pi1 · · · pik > 0. Tada iš (1.15) išplaukia, kadws+i = w0 su visais i ∈ N . N aibeje yra visi pakankamai dideli naturaliejiskaičiai; taigi ws = w0 su visais s > l; čia l — tam tikras naturalusis skaičius.Tada iš lygčiu

wl−1 = p1wl + p2wl+1 + · · · ,


wl−2 = p1wl−1 + p2wl + · · · ,. . . . . . . . .

w1 = p1w2 + p2w3 + · · ·

paeiliui gaunu, kad ir wl−1 = · · · = w1 = w0. Taigi ws = w0 su visais s.Dabar pažymiu rn = pn + pn+1 + · · · ; tada r1 = 1 ir

∑n>1 rn = µ. Iš

(1.14) išplaukia

u1 = p1,

u2 − p1u1 = p2,

u3 − p1u1 − p2u2 = p3,

. . . . . . . . .

un − p1un−1 − · · · − pn−1u1 = pn.

Sudejęs šias lygybes gaunu

un + r2un−1 + · · ·+ rnu1 = 1− rn+1. (1.16)

Istatau n = nk ir skaičiuoju ribas, kai k → ∞. Jei µ < ∞, iš Lebegoteoremos apie aprežtą konvergavimą išplaukia w0µ = 1. Jei µ = ∞, gaunuw0(r1 + · · ·+ rl) 6 1 su visais l ir, reiškia, w0 = 0. Aišku, pastaruoju atvejuun → 0. Todel belieka isitikinti, kad un → µ−1, kai µ < ∞.

Tegu w′ yra bet kokia (un) sekos daline riba ir unk→ w′. Fiksuoju ε ir

s. Iš (1.16) išplaukia, kad su visais k

unk+ r2unk−1 + · · ·+ rsunk−s+1 + rs+1 + rs+2 + · · · > 1

Tada su pakankamai dideliais k

unk+ (r2 + · · ·+ rs)(w0 + ε) + rs+1 + rs+2 + · · · > 1

ir suskaičiavęs ribas, kai k → ∞, gaunu

w′ + (r2 + · · ·+ rs)(w0 + ε) + rs+1 + rs+2 + · · · > 1.

Nelygybe teisinga su visais s ir ε, todel w′ + (µ − 1)w0 > 1, t.y. w′ > w0.Reiškia, w′ = w0.

2 skyrius

Busenu klasifikacija

Visame skyriuje (Xi) žymi kanoninę Markovo grandinę E erdveje su perejimotikimybiu branduoliu P .

2.1 Esmines busenosPasiekiamos busenos. Sakysiu, kad y busena pasiekiama iš x, ir rašysiux → y, jei

Px(τy < ∞) > 0.

Jei x → y ir y → x, x ir y busenos vadinamos susisiekiančiomis. Tokiuatveju rašysiu x ↔ y.

2.1 teorema. 1. x → y tada ir tik tada, kai egzistuoja toks n > 1 ir tokiašeima (x0, x1, . . . , xn), kad x0 = x, xn = y ir

P (x0, x1)P (x1, x2) · · ·P (xn−1, xn) > 0. (2.1)

2. Jei x → y → z, tai x → z.3. Jei x → y, tai Px(τy < ∞, ∀i < τy Xi = x) > 0.

Irodymas. 1. Iš

Px(τy < ∞) =∞∑n=1

Px(τy = n)

=∞∑n=1

∑x1 =y,...,xn−1 =y

Px(X1 = x1, . . . , Xn−1 = xn−1, Xn = y)

=∞∑n=1

∑x1 =y,...,xn−1 =y

P (x, x1)P (x1, x2) · · ·P (xn−1, y)

41

42 2 SKYRIUS. BUSENU KLASIFIKACIJA

išplaukia, kad x → y tada ir tik tada, kai (2.1) nelygybe teisinga su su tamtikra seka (x0, . . . , xn), tenkinančia sąlygas x0 = x, xn = y ir dar papildomąsąlygą

x1 = y, . . . , xn−1 = y. (2.2)

Belieka pastebeti, kad jei (2.1) teisinga su kokia nors šeima (x0, . . . , xn), ten-kinančia tik pirmas dvi sąlygas x0 = x ir xn = y, tai atsiras tokia pat šeima,tenkinanti ir tą papildomą sąlygą (2.2). Tikrai, tokia yra šeima (x0, . . . , xm);čia m yra pirmas indeksas > 1 su xm = y.

2. Tegu (x0, . . . , xm) ir (y0, . . . , yn) yra tokios šeimos, kad x0 = x, xm = y,y0 = y, yn = z ir

P (x0, x1) · · ·P (xm−1, xm) > 0, P (y0, y1) · · ·P (yn−1, yn) > 0.

Tada šeima (z0, . . . , zm+n) = (x0, . . . , xm, y1, . . . , yn) yra tokia, kad z0 = x,zm+n = z ir

P (z0, z1) · · ·P (zm+n−1, zm+n) > 0.

3. Tegu (x0, x1, . . . , xn) yra tokia šeima, kad x0 = x, xn = y ir teisinga(2.1) nelygybe. Tegu k yra paskutinis indeksas, mažesnis už n, su kuriuoxk = x. Tada xk = x, xk+1 = x, . . . , xn−1 = x, xn = y ir

0 < P (xk, xk+1) · · ·P (xn−1, xn) 6 Px(τy < ∞, ∀i < τy Xi = x).

Esmines busenos. x busena vadinama neesmine, jei

∃y x → y → x.

Kitais atvejais x vadinama esmine. Taigi x esmine, kai

x → y ⇒ y → x.

Yra grandiniu, kuriu visos busenos neesmines. Tokia, pavyzdžiui, yradeterminuota grandine, aprašoma grafu?>=<89:;1 // ?>=<89:;2 // ?>=<89:;3 // · · · (2.3)

Jei esminiu busenu aibe netuščia, joje → sąryšis sutampa su ↔ sąryšiu (t.y.jei x ir y busenos esmines, tai x → y tada ir tik tada, kai x ↔ y).

2.2 teorema. 1. Jei x esmine ir x → y, tai y esmine.2. → yra ekvivalentumo sąryšis esminiu busenu aibeje (jei ta aibe ne-

tuščia).

2.1. ESMINES BUSENOS 43

Irodymas. 1. Tegu y → z; tada x → z ir todel z → x, nes x esmine.Taigi z → y, t.y. y esmine.

2. Kokia bebutu x, kokia nors y pasiekiama iš x. Jei x esmine, iš toišplaukia y → x ir, reiškia, x → x. Taigi → sąryšis refleksyvus. Jei x ir yesmines ir x → y, tai iš (2.1) y → x; todel tas sąryšis simetrinis. Sąryšistranzityvus netgi visoje E.

Kiekvienas ekvivalentumo sąryšis suskaido aibę i ekvivalentumo klases.Ekvivalentumo klases, atitinkančios ↔ sąryši, vadinamos susisiekiančiu es-miniu busenu klasemis. Kad butu trumpiau, toliau žodi „susisiekiančiu“ ašpraleisiu ir jas vadinsiu tiesiog esminiu busenu klasemis.

Iš irodyto teiginio išplaukia, kad visą busenu erdvę E galima isivaizduotimaždaug taip: N

xxxxxxxxxx

##FFF

FFFF

FFF

((QQQQQ

QQQQQQ

QQQQQQGFED@ABCC1

GFED@ABCC2GFED@ABCC3 · · ·

Čia N žymi visu neesminiu busenu aibę, o Ci — esminiu busenu klases. Išesminiu busenu grižti atgal i N neimanoma; skirtingos klases Ci taip patnesusisiekia. Iš kai kuriu x ∈ N galima patekti i kai kurias Ci, tačiau galibuti tokiu x ∈ N , iš kuriu nepasiekiama jokia Ci (jei, pavyzdžiui, N aibejeyra (2.3) pavidalo paibis) ir gali buti tokiu Ci, kurie nepasiekiami iš jokiox ∈ N .

Absorbuojančios aibes. Busenu aibe A vadinama absorbuojančia, jei jinetuščia ir

x ∈ A, x → y ⇒ y ∈ A.

Aišku, kad visa E absorbuojanti. Absorbuojančiu aibiu šeimos (Ai)junginys A taip pat yra absorbuojanti aibe. Tikrai, jei x ∈ A ir x → y,tai x priklauso kokiai nors Ai ir tada y ∈ Ai ⊂ A, nes Ai absorbuojanti.Panašiai irodoma, kad absorbuojančiu aibiu šeimos sankirta yra absorbuo-janti aibe, jei tik netuščia.

2.3 teorema. Tegu z yra fiksuota busena ir su x ∈ E

h0(x) = Px(τz < ∞), h1(x) = Ex1τz<∞τz.

Tada aibes A0 = x | h0(x) = 1 ir A1 = x | h1(x) < ∞ arba tuščios, arbaabsorbuojančios.


Irodymas. Iš (1.7)–(1.8) išplaukia, kad su visais x ∈ Ak

P (x, y) > 0 ⇒ y ∈ Ak.

Jei x ∈ Ak ir x → y, atsiras tokia šeima (x0, . . . , xm), kad x0 = x, xm = y irP (xi−1, xi) > 0 su i = 1, . . . ,m. Reiškia, visi xi ∈ Ak, o tada ir y ∈ Ak.

Minimalios aibes. Absorbuojanti aibe A vadinama minimalia, jei betkokia absorbuojanti B ⊂ A sutampa su A. (2.3) pavyzdys rodo, kad min-imalios absorbuojančios aibes gali ir nebuti (tame pavyzdyje visos n, n +1, . . . aibes absorbuojančios, o ju sankirta tuščia).

2.4 teorema. Kiekviena esminiu busenu klase yra minimali absorbuojantiaibe ir atvirkščiai: kiekviena minimali absorbuojanti aibe yra kokia norsesminiu busenu klase.

Irodymas. Tegu C yra kokia nors esminiu busenu klase. Tada ji netuščiair iš x ∈ C, x → y išplaukia y ∈ C. Taigi C absorbuojanti. Tegu B ⊂ C taippat absorbuojanti. Jei x ∈ B, tai x → y su bet kokia y ∈ C. Todel y ∈ B subet kokia y ∈ C, t.y. B = C. Taigi C minimali.

Atvirkščiai, tegu A yra bet kokia minimali absorbuojanti klase. Fiksuojux ∈ A ir pažymiu

B = y | x → y → x.

Jei y ∈ B ir y → z, tai x → z → x, t.y. z ∈ B. Taigi B absorbuojanti, jeinetuščia.

Kadangi A absorbuojanti, B ⊂ A, o iš x ∈ B išplaukia B = A. KadangiA minimali, B negali buti absorbuojanti. Reiškia, B tuščia, t.y. x → y ⇒y → x. Kitaip tariant, x busena esmine.

Tegu C yra susisiekiančiu esminiu busenu klase, kuriai priklauso x. Išy ∈ C išplaukia x → y, todel y ∈ A, nes A absorbuojanti. Taigi C ⊂ A.Aukščiau irodžiau, kad C absorbuojanti, reiškia, A = C del A minimalumo.

Iš 2.4 teoremos išplaukia, kad jei absorbuojanti aibe A kertasi su kokianors esminiu busenu klase C, tai C ⊂ A. Tikrai, tada A ∩ C aibe absorbuo-janti ir turi sutapti su C del C minimalumo.

Periodiškumas. Žymesiu xn−→ y, jei y pasiekiamas iš x per n žingsniu,

t.y. jeiP n(x, y) = Px(Xn = y) > 0.

2.1. ESMINES BUSENOS 45

Iš nelygybes Pm+n(x, z) > Pm(x, y)P n(y, z) išplaukia, kad

xm−→ y

n−→ z ⇒ xm+n−−−→ z. (2.4)

Jei x esmine, pažymiu taip pat

N(x) = n > 1 | x n−→ x ir d(x) = gcd(N(x)

).

d(x) skaičius vadinamas x busenos periodu.

2.5 teorema. Jei x ir y yra susisiekiančios esmines busenos, d(x) = d(y).

Irodymas. Iš (2.4) išplaukia, kad

m,n ∈ N(x) ⇒ m+ n ∈ N(x).

Tada iš 1.6 teiginio gaunu, kad N(x) aibeje yra visi pakankamai dideli d(x)skaičiaus kartotiniai.

Randu tokius k ir l, kad xk−→ y ir y

l−→ x. Tada xk+md(y)+l−−−−−−→ x su visais

pakankamai dideliais m, todel k +md(y) + l ∈ N(x) ir, reiškia,

k +md(y) + l ≡ 0 (mod d(x)).

Gautas sąryšis teisingas ir su m + 1 vietoje m; todel d(y) ≡ 0 (mod d(x)).Analogiškai irodau, kad d(x) ≡ 0 (mod d(y)). Reiškia, d(x) = d(y).

Taigi jei C yra esminiu busenu klase, tai bet kokios busenos x ∈ C perio-das yra tas pats skaičius. Jis vadinamas tos klases periodu. Busena ar klasevadinama aperiodine, jei jos periodas yra 1.

2.6 teorema. Tegu C yra esmininiu busenu klase ir d — jos periodas. Egzis-tuoja toks C aibes skaidinys (C1, . . . , Cd), kad

x ∈ Ci, y ∈ Cj, P (x, y) > 0 ⇒ j ≡ i+ 1 (mod d).

Irodymas. Fiksuoju x0 ∈ C ir su i = 1, . . . , d apibrežiu

Ci = x | ∃m > 1 x0md+i−−−→ x.

Kiekvienas x ∈ C priklauso kokiai nors Ci, nes x0 → x. Tegu x ∈ Ci ∩ Cj.Randu toki l, kad x

l−→ x0, po to — tokius m ir n, kad

x0md+i−−−→ x ir x0

nd+j−−−→ x.


Tadax0

md+i+l−−−−→ x0, x0nd+j+l−−−−→ x0;

todel md + i + l ≡ 0 ≡ nd + j + l (mod d), t.y. i ≡ j (mod d), t.y. i = j.Taigi skirtingos Ci nesikerta, t.y. (C1, . . . , Cd) tikrai yra C aibes skaidinys.

Tegu x ∈ Ci ir P (x, y) > 0. Randu toki m, kad x0md+i−−−→ x. Tada

x0md+i+1−−−−−→ y. Reiškia, y ∈ Cj su j ≡ i+ 1 (mod d). Skaidini (C1, . . . , Cd), kurio egzistavimą ką tik irodžiau, vadinu C klases

periodiniu skaidiniu. Jis apibrežtas nevienareikšmiškai: pavyzdžiui, šeima(C2, . . . , Cd, C1) yra kitas periodinis skaidinys. Jei y yra fiksuota busena išC, egzistuoja toks periodinis skaidinys (C1, . . . , Cd), kad y ∈ Cd (ir toksskaidinys jau vienintelis).

Taigi kiekvieną esminiu busenu klasę reikia isivaizduoti taip:WVUTPQRSC1// WVUTPQRSC2

// · · · // WVUTPQRSCdgg

Uždaviniai.

2.1 uždavinys. Aprašykite esminiu busenu klases 1.5, 1.8, 1.9 ir 1.12 už-daviniuose nagrinetu branduoliu atžvilgiu.

Sprendimas. 1.5 uždavinyje nagrineta Markovo grandine, aprašoma grafu

?>=<89:;112

//

12

&&?>=<89:;212

//

12

JJ?>=<89:;3 hh

Akivaizdu, kad 1 ir 2 busenos neesmines (iš ju galima patekti i 3, bet grižtineimanoma). Busena 3 esmine ir sudaro vienintelę esminiu busenu klasę.

1.8 uždavinyje nagrineta Markovo grandine, aprašoma grafu?>=<89:;1 // ?>=<89:;2 // ?>=<89:;3

?>=<89:;4

13

^>>>>>>>>>13

OO

13

@@

Čia visos busenos esmines ir sudaro vieną esminiu busenu klasę.1.9 uždavinyje nagrineta Markovo grandine, aprašoma grafu

?>=<89:;166?>=<89:;2

12oo

12 // ?>=<89:;3

12 //

12

oo ?>=<89:;4 hh

2.2. GRIŽTAMOS KLASES 47

2 ir 3 busenos neesmines: iš ju galima patekti i, pavyzdžiui, 1 buseną, o grižtinebeimanoma. 1 ir 4 busenos esmines ir nesusisiekia, taigi yra dvi esminiu busenuklases — 1 ir 4.

1.12 uždavinyje nagrineta Markovo grandine, aprašoma grafu

?>=<89:;1p //q

66?>=<89:;2

q //

p

JJ?>=<89:;3

p //

q

xx ?>=<89:;4p //

q

bb?>=<89:;5 hh

Visos busenos, išskyrus 5, neesmines: iš ju galima patekti i 5, o grižti neimanoma.Busena 5 esmine ir sudaro vienintelę esminiu busenu klasę.

2.2 Grižtamos klasesGrižtamos busenos. x busena vadinama grižtama, jei

Px(τx < ∞) = 1;

priešingu atveju ji vadinama pereinama.

2.7 teorema. 1. Jei y busena grižtama, tai Py-beveik tikrai visi τy,n yrabaigtiniai ir su bet kokiu x → y

∞∑n=1

P n(x, y) = ∞.

2. Jei y busena pereinama, tai Py-beveik tikrai kažkuris τy,n yra begalinisir su bet kokiu x

∞∑n=1

P n(x, y) =Px(τy < ∞)

1− Py(τy < ∞).

Irodymas. Pažymiu

S =∞∑n=1

1Xn=y;

tada

ExS =∞∑n=1

Px(Xn = y) =∞∑n=1

P n(x, y).

1. Iš (1.12) išplaukia, kad su visais x ∈ E ir n > 1

Px(τy,n < ∞) = Px(τy < ∞).


Kadangi ivykiu seka τy,n < ∞ nedidejanti,

Px(∀n τy,n < ∞) = Px(τy < ∞).

Atskiru atveju, Py(∀n τy,n < ∞) = 1; be to, jei x → y, tai

Px(S = ∞) = Px(τy < ∞) > 0,

o tada ir ExS = ∞.2. Dar kartą pasiremęs (1.12) lygybemis, gaunu

ExS =∑n>1

Px(S > n) =∑n>1

Px(τy,n < ∞)

=∑n>1

Px(τy < ∞)[Py(τy < ∞)

]n−1=

Px(τy < ∞)

1− Py(τy < ∞).

Kadangi ExS < ∞,

Px(∀n τy,n < ∞) = Px(S = ∞) = 0.

Grižtamos klases.

2.8 teorema. 1. Bet kokia neesmine busena pereinama.2. Jei y busena grižtama ir y → z, tai z irgi grižtama.3. Jei y ir z yra susisiekiančios grižtamos busenos, tai Py(τz < ∞) = 1.

Irodymas. 1. Tegu x neesmine ir y — tokia busena, kad x → y → x. IšMarkovo savybes su τ = τy gaunu

Px(τx = ∞) > Px(τ < ∞, ∀i > 1 Xi = x)

= Ex1τ<∞1X1 =x,...,Xτ =x1∀i>1 Xτ+i =x

= Ex1τ<∞1X1 =x,...,Xτ =xh(y)

su h(y) = Ey1∀i>1 Xi =x = Py(τx = ∞) = 1. Taigi

Px(τx = ∞) > Px(τy < ∞, X1 = x, . . . , Xτy = x).

Kadangi y = x, dešine puse lygi P(τy < ∞, ∀i < τy Xi = x) ir iš 2.1 teiginioišplaukia, kad ta tikimybe teigiama. Reiškia, Px(τx = ∞) > 0.


2. Tegu y busena grižtama ir y → z. Randu toki k, kad P k(y, z) > 0. Suvisais n teisinga nelygybe

P n+k(y, z) > P n(y, y)P k(y, z),

todel ∑m>1

Pm(y, z) >∑n>1

P n(y, y)P k(y, z) = ∞.

Reiškia, z grižtama.3. Iš 2.3 teoremos išplaukia, kad aibe

A = x | Px(τz < ∞) = 1

arba tuščia, arba absorbuojanti. Jei z grižtama, z ∈ A. Todel A absorbuo-janti. Tegu C yra esminiu busenu klase, kuriai priklauso z. Tada C kertasisu A ir todel C ⊂ A. Kadangi y ∈ C, jis priklauso ir A aibei.

Jei C yra esminiu busenu klase ir bent viena busena iš C grižtama, tai iš2.8 teoremos išplaukia, kad ir visos kitos busenos iš C yra grižtamos. Tokiuatveju C klase vadinama grižtama. Jei visos busenos iš C pereinamos, Cvadinama pereinama.

Apibrežtos sąvokos naturalios ir skamba lietuviškai, bet nelabai vykę, nessusidaro ispudis, kad grandine palieka C aibę ir arba vis tiek i ją grižta (jei Cgrižtama), arba niekada nebegrižta (jei C pereinama). Iš tikruju taip nera:C aibe absorbuojanti ir i ją patekusi grandine niekada jos nebepalieka.

Jei visa E yra viena esminiu busenu klase ir ji yra grižtama (atitinkamai,pereinama), paprastai sakoma, kad grižtamas (atitinkamai, pereinamas) patsbranduolys P .

Baigtines klases grižtamos.

2.9 teorema. Tegu A yra baigtine absorbuojanti aibe. Tada1) A aibeje yra bent viena grižtama busena;2) koks bebutu x ∈ A, Px-beveik tikrai grandine patenka i kokią nors

grižtamą buseną;3) kiekviena esmine busena x ∈ A grižtama.

Irodymas. 1–2. Jei x ∈ A, tai Px-beveik tikrai (Xi) grandine igyjareikšmes tik iš A ir tik baigtini skaičiu kartu patenka i bet kokią pereinamąbuseną. Kadangi tokiu busenu yra tik baigtinis skaičius, o grandines nariu— be galo daug, tai imanoma tik tokiu atveju, kai A aibeje yra bent vienagrižtama busena, i kurią grandine kada nors patenka.


3. Tegu x ∈ A esmine ir C — esminiu busenu klase, kuriai priklauso x.Tada C ⊂ A ir, reiškia, C baigtine. Iš pirmo teiginio išplaukia, kad C aibejeyra bent viena grižtama busena. Tada visos busenos iš C grižtamos. Taigi xgrižtama.

Teoremą suformulavau taip, kad joje tilptu keletas faktu.1. Visu busenu aibe E yra absorbuojanti. Todel iš 2.9 teoremos išplaukia.

kad jei E baigtine, taia) neesmine=pereinama ir esmine=grižtama;b) egzistuoja bent viena grižtamu busenu klase;c) iš kur grandine bestartuotu, ji galu gale patenka i vieną iš grižtamu

busenu klasiu ir ten pasilieka amžinai.2. Jei E begaline, esminiu busenu klases gali buti tiek grižtamos, tiek

pereinamos, ir dažnai nera lengva nustatyti, kokia yra konkreti klase C.Kadangi C absorbuojanti, 2.9 teorema duoda atsakymą vienu labai paprastuatveju: jei C klase baigtine, ji grižtama.

Superharmonines funkcijos. Pradedu aiškintis aukščiau suformuluotąuždavini — kaip nustatyti, ar duota esminiu busenu klase C grižtama, arpereinama. Tegu

P (x, y) = P (x, y) su x, y ∈ C.

Kadangi C absorbuojanti, P yra stochastinis branduolys C aibeje. Aišku,bet kokios dvi busenos x, y ∈ C susisiekia P atžvilgiu. Be to,

Px(τx < ∞) = Px(τx < ∞);

čia Px žymi tikimybę C∞ erdveje, indukuotą P branduolio, o τy — pirmopatekimo i y momentą, kaip atsitiktini momentą C∞ erdveje. Todel Cgrižtama P branduolio atžvilgiu, jei ji grižtama P atžvilgiu.

Neneigiama funkcija h vadinama superharmonine, jei h > Ph, ir harmo-nine, jei h = Ph. Neneigiama funkcija C aibeje vadinama superharmoninearba harmonine C aibeje, jei ji superharmonine arba harmonine P branduo-lio atžvilgiu. Galima butu apibrežti ir subharmonines funkcijas, bet Markovograndiniu teorijoje ju neprireikia.

Su bet kokia neneigiama funkcija h′

Exh′(X1, . . . , Xn−1)h(Xn) = Exh

′(X1, . . . , Xn−1)Ph(Xn−1),

todel Ph(Xn−1) = En−1x h(Xn); čia Ek

x žymi sąlygini vidurki σ(X1, . . . , Xk)algebros atžvilgiu. Todel jei h funkcija superharmonine arba harmonine, taibet kokios Px tikimybes atžvilgiu (h(Xi)) seka yra, atitinkamai, neneigiamassupermartingalas arba martingalas.


2.10 teorema. C klase grižtama tada ir tik tada, kai bet kokia baigtinesuperharmonine C aibeje funkcija pastovi.

Irodymas. Nemažindamas bendrumo galiu laikyti C = E.(⇒) Tegu h yra baigtine superharmonine funkcija ir x ∈ C. Kadangi su

visais n

Exh(Xn) = P nh(x) 6 h(x) < ∞,

Px-beveik tikrai egzistuoja riba limn→∞ h(Xn). Tai butu neimanoma, jeih(y) = h(z) su tam tikromis y, z ∈ C, nes (Xi) seka be galo daug kartupatenka tiek i y, tiek i z buseną.

(⇐) Paimu bet koki z ∈ E ir pažymiu h(x) = Px(τz < ∞). Iš (1.7)išplaukia, kad h funkcija superharmonine. Taigi ji lygi tam tikrai konstantaic. Tada su visais x ∈ E

c = P (x, z) +∑y =z

P (x, y)c = c+ (1− c)P (x, z),

t.y. (1 − c)P (x, z) = 0. Kadangi z pasiekiama iš visur, atsiras toks x, kadP (x, z) > 0. Reiškia, c = 1. Tada 1 = h(z) = Pz(τz < ∞), t.y. z grižtama.Reiškia, visa C grižtama.

Dreifo kriterijai. 2.10 teiginyje suformuluotas kriterijus labai subtilus,bet ne visada lengvai patikrinamas. Paprastesniais atvejais naudojami vadi-namieji dreifo kriterijai.

2.11 teorema. Tegu C yra esminiu busenu klase ir egzistuoja tokia nenei-giama C aibeje funkcija h, kad

a) h aprežta C aibeje ir ir igyja joje bent dvi reikšmes;b) Ph(x) > h(x) su x ∈ C.

Tada C pereinama.

Irodymas. Jei h(x) 6 c su visais x ∈ C, tai c − h yra baigtine super-harmonine C aibeje funkcija, igyjanti bent dvi reikšmes. Iš 2.10 teoremosišplaukia, kad C pereinama.

Prieš suformuluodamas grižtamumo kriteriju, irodysiu vieną pagalbiniteigini.

2.12 teorema. Tegu C yra esminiu busenu klase ir A — baigtinis jos poai-bis. Jei Px(τA < ∞) = 1 su bet kokiu x ∈ A, tai C grižtama.


Irodymas. Tegu x ∈ A ir τn = τA,n žymi n-ojo vizito A aibeje momentą. Iš1.5 teoremos išplaukia, kad Px-beveik tikrai visi τn baigtiniai ir seka (Xτn) yraMarkovo grandine su busenu aibe A. Aišku, kad visos busenos iš A susisiekiatos grandines atžvilgiu. Kadangi A baigtine, (Xτn) grandine grižtama. TadaPx-beveik tikrai kažkuris Xτn = x. Reiškia, x grižtama ir P branduolioatžvilgiu. Tada C grižtama.

Jei C yra begaline esminiu busenu klase ir h — neneigiama funkcija tojeaibeje, sakysiu, kad

h(x) → ∞, kai x → ∞,

jei su visais c < ∞ egzistuoja tokia baigtine aibe A ⊂ C, kad h(x) > csu x ∈ C \ A. Taip pat sakysiu, kad koks nors teiginys apie x teisingas supakankamai dideliais x ∈ C, jei jis teisingas su visais x ∈ C \ A; čia A —koks nors baigtinis C poaibis.

Jei C = N, abi sąvokos turi iprastą prasmę. Bendruoju atveju galimaisivaizduoti, kad C ideta i tam tikrą erdvę C = C ∪ ∞, kurioje apibrežtatokia topologija: bet kokio x ∈ C aplinku bazę sudaro vientaškis poaibis x,o ∞ taško aplinku bazę — C \A pavidalo aibes; čia A — baigtinis C poaibis.

2.13 teorema. Tegu C yra begaline esminiu busenu klase ir h — tokianeneigiama funkcija C aibeje, kad

1) h baigtine ir h(x) → ∞, kai x → ∞;2) Ph(x) 6 h(x) su pakankamai dideliais x ∈ C.

Tada C grižtama.

Irodymas. Nemažindamas bndrumo galiu laikyti, kad E = C. Tegu Ayra toks baigtinis C poaibis, kad Ph(x) 6 h(x) su x ∈ C \ A. Apibrežiu

P (x, y) =

P (x, y), kai x ∈ C \ A;1, kai x = y ∈ A;0, kai x ∈ A, y = x.

Tada

P h(x) =∑y

P (x, y)h(y) =∑y

P (x, y)h(y) = Ph(x) 6 h(x)

su x ∈ C \ A ir P h(x) = h(x) su likusiais x. Taigi P h 6 h, t.y. h funkcijasuperharmonine P branduolio atžvilgiu. Tada h(Xn) yra neneigiamas super-martingalas bet kokios Px tikimybes atžvilgiu ir todel Px-beveik tikrai turibaigtinę ribą.


Tarkim, C klase pereinama. Tada kiekviena y ∈ C \ A pereinama irP branduolio atžvilgiu, todel Px-beveik tikrai (Xi) seka tik baigtini skaičiukartu patenka i kiekvieną y ∈ C \ A. Reiškia, Px-beveik tikrai (Xi) patenkai A aibę. Aišku, tada ir Px(τA < ∞) = 1 su bet kokiu x ∈ C \ A. IšMarkovo savybes išplaukia, kad lygybe teisinga ir su bet kokiu x ∈ A, o tadaiš 2.12 teiginio gaunu, kad C grižtama, t.y. prieštarą.

Pavyzdžiai.

2.1 pavyzdys. Tegu P yra branduolys N aibeje, aprašomas tokiu grafu:

?>=<89:;1p1 55

p2 **

p3

##?>=<89:;2oo ?>=<89:;3oo · · ·oo

Čia (pi) yra tam tikra teigiamu skaičiu seka, kurios suma lygi 1.Kadangi

P1(τ1 < ∞) = p1 +∑i>2

piPi(τ1 < ∞) = p1 +∑i>2

pi = 1,

P branduolys grižtamas. Tą pačią išvadą galima gauti ir panaudojus dreifokriteriju: jei h(x) = x su x > 1, tai su x > 2

Ph(x) = h(x− 1) = x− 1 < x = h(x).

2.2 pavyzdys. Tegu P yra branduolys N aibeje, aprašomas tokiu grafu:?>=<89:;1q1 55p1 // ?>=<89:;2 p2 //q2

jj ?>=<89:;3 p3 //

q3

cc · · ·

Čia (pi) yra tam tikra teigiamu skaičiu seka, o qi = 1−pi. Šiuo atveju galimatiksliai pasakyti, kada P branduolys grižtamas — be jokiu kriteriju. Tikrai,

P1(τ1 = ∞) = P1(X1 = 2, X2 = 3, . . . )

= limn→∞

P1(X1 = 2, . . . , Xn = n+ 1) = limn→∞

p1 · · · pn =∏i>1

pi,

todel P grižtamas tada ir tik tada, kai ta begaline sandauga bus lygi 0.Pažiuresiu, ar galima gauti tą rezultatą naudojant dreifo kriterijus. Pa-

žymiu

h(1) = 0 ir h(x) =1

p2 · · · px−1

su x > 2.


ir t.t. Tada h neneigiama ir su x > 2

Ph(x) = qxh(1) + pxh(x+ 1) = px1

p2 · · · px=

1

p2 · · · px−1

= h(x).

Jei limn(p1 · · · pn) > 0, h aprežta, igyja bent dvi reikšmes, ir Ph > h;todel P pereinamas.

Jei p1 · · · pn → 0, h(x) → ∞, kai x → ∞; be to, Ph(x) 6 h(x) su x > 2.Todel P grižtamas.

2.3 pavyzdys. Tegu P yra branduolys N aibeje, aprašomas tokiu grafu:?>=<89:;1q55

p // ?>=<89:;2 p //q

oo ?>=<89:;3 p //q

oo · · ·

(čia p ∈ (0; 1) ir q = 1− p).Tegu iš pradžiu p > 1/2. Apibrežiu h(1) = 0, h(2) = 1 ir su n > 1

h(2n+ 1) =1

p+

q2

p3+ · · ·+ q2n−2

p2n−1, h(2n+ 2) = 1 +

q

p2+ · · ·+ q2n−1

p2n.

Aišku, kad h neneigiama, griežtai didejanti ir aprežta, nes

h(2n+1) ↑ 1/p

1− q2/p2=

p

p2 − q2ir h(2n+2) ↑ 1+

q/p2

1− q2/p2= 1+

q

p2 − q2.

Be to, Ph(1) > 0 = h(1), Ph(2) = ph(3) = 1 = h(2) ir su n > 1 tiek

Ph(2n+ 1) = qh(2n) + ph(2n+ 2)

= q +q2

p2+ · · ·+ q2n−2

p2n−2+ p+

q

p+ · · ·+ q2n−1

p2n−1

= 1 +q

p+(q2p2

+q3

p3

)+ · · ·+

(q2n−2

p2n−2+

q2n−1

p2n−1

)=

1

p+

q2

p3+ · · ·+ q2n−2

p2n−1

= h(2n+ 1),

tiek

Ph(2n+ 2) = qh(2n+ 1) + ph(2n+ 3)

=q

p+

q3

p3+ · · ·+ q2n−1

p2n−1+ 1 +

q2

p2+ · · ·+ q2n

p2n

= 1 +(qp+

q2

p2

)+ · · ·+

(q2n−1

p2n−1+

q2n

p2n

)

2.3. ERGODINES KLASES 55

= 1 +q

p2+ · · ·+ q2n−1

p2n

= h(2n+ 2).

Kitaip tariant, Ph > h. Iš 2.11 teiginio išplaukia, kad P branduolys perei-namas.

Tegu dabar p 6 1/2. Pažymiu h(x) = x su visais x; tada h(x) ↑ ∞, kaix → ∞, ir su x > 2

Ph(x) = qh(x− 1)+ ph(x+1) = q(x− 1)+ p(x+1) = x+ p− q 6 x = h(x).

Iš 2.13 teiginio išplaukia, kad P grižtamas.

2.3 Ergodines klases

Ergodines busenos.

2.14 teorema. Tegu y yra grižtama busena, a = Eyτy, C — esminiu busenuklase, kuriai priklauso y, ir d — tos klases periodas. Tegu (C1, . . . , Cd) yraperiodinis C klases skaidinys ir y ∈ Cd. Tada su visais r = 1, . . . , d ir visomisx ∈ Cr

P nd−r(x, y) −−−→n→∞

d

a

(laikoma, kad d/∞ = 0).

Irodymas. Tegu iš pradžiu x = y. Su i, n > 1 pažymiu

pi = Py(τy = i) ir un = Py(Xn = y).

Tada su visais n > 1

un =n∑

i=1

Py(τy = i, Xn = y)

=n−1∑i=1

Py(τy = i)Py(Xn−i = y) + Py(τy = n) =n−1∑i=1

piun−i + pn;

be to,d = gcdn > 1 | un > 0

(nes un = P n(y, y)).


Pažymiu d′ = gcdn > 1 | pn > 0 ir irodysiu, kad d′ = d. Iš un > pnišplaukia

n > 1 | pn > 0 ⊂ n > 1 | un > 0,

todel d dalo d′. Tarkime, d < d′. Kadangi un > 0 su visais pakankamaidideliais d kartotiniais, atsiras toks n, kad un > 0, nors n nesidalo iš d′. Tegun0 yra mažiausias toks n; tada pn0 = 0 ir iš

un0 =

n0−1∑i=1

piun0−i

išplaukia, kad un0−i > 0 su tam tikru i > 1, tenkinančiu sąlygą pi > 0. Tadai dalosi iš d′ ir, reiškia, n0 − i nesidalo iš d′. Kadangi n0 − i < n0, gavauprieštarą.

Taigi gcdn > 1 | pn > 0 = d. Iš atstatymo teoremos tada išplaukia,kad und → 1/a′ su

a′ =∑n>1

npnd =1

d

∑i>1

ipi =a

d.

Tegu dabar x bet koks. Tada su n > 2

P nd−r(x, y) = Px(Xnd−r = y)

=n∑

k=1

Px(τy = kd− r, Xnd−r = y)

=n−1∑k=1

Px(τy = kd− r)Py(X(n−k)d = y) + Px(τy = nd− r),

todel iš jau irodyto fakto ir Lebego teoremos apie aprežtą konvergavimągaunu

P nd−r(x, y) −−−→n→∞

d

a

∞∑k=1

Px(τy = kd− r) =d

a.

x buseną vadinsiu ergodine, jei

Exτx < ∞.

Aišku, kiekviena ergodine busena grižtama. Grižtamą buseną, kuri nera er-godine, vadinsiu nuline. Iš 2.14 teoremos išplaukia, kad jei y busena ergodine,tai su bet kokiu x ↔ y tam tikras sekos P n(x, y) posekis (priklausantis nuo x)arteja prie teigiamo skaičiaus ir, reiškia, P n(x, y) → 0. Jei y nera ergodine,


tai P n(x, y) → 0 su visais x. Jei y nuline, tai išplaukia iš tos pačios 2.14 teo-remos (jei x ↔ y, išplaukia tiesiogiai; jei x bet koks, reikia dar pasiremtiMarkovo savybe ir Lebego teorema apie aprežtą konvergavimą); jei y perei-nama — iš 2.7 teoremos (nes konverguojančios eilutes bendrasis narys artejai 0).

Ergodines klases.

2.15 teorema. Tegu C yra esminiu busenu klase ir y ∈ C. Jei y ergodine,tai ir bet kokia z ∈ C ergodine; be to, Eyτz < ∞.

Irodymas. Randu toki k, kad P k(z, y) > 0. Tada su visais n > 1

P n+k(z, z) > P k(z, y)P n(y, y).

Jei z butu nuline busena, tikimybe kaireje puseje artetu i 0, kai n → ∞.Tada ir P n(y, y) → 0 — prieštara.

Su bet kokiu x ∈ C pažymiu h(x) = Exτz. Iš 2.3 teoremos išplaukia, kadaibe A = x | h(x) < ∞ absorbuojanti (nes ji netuščia: z ∈ A). Taigiy ∈ C ⊂ A.

Taigi kiekviena susisiekiančiu grižtamu busenu klase susideda arba vien išergodiniu busenu, arba vien iš nuliniu. Pirmu atveju klase vadinama ergodine,antruoju — nuline. Jei visa E erdve yra viena grižtamu busenu klase iryra ergodine (atitinkamai, nuline), paprastai sakoma, kad P branduolys yraergodinis (atitinkamai, nulinis).

Invariantines tikimybes. Tikimybe π vadinama invariantine (P atžvil-giu), jei πP = π. Tokia tikimybe vadinama ergodine, jei ji sukoncentruotakokioje nors ergodineje klaseje C (t.y. jei π(C) = 1).

Jei E = 1, . . . ,m, tai P yra m×m matrica, o π — 1×m eilute. Tadainvariantiškumas reiškia, kad π yra kairysis P matricos tikrinis vektorius,atitinkantis tikrinę reikšmę 1. 1 tikrai yra tikrine reikšme, nes P1 = 1 (1 čiažymi funkciją h, kurios visos reikšmes yra 1, t.y. stulpeli, kurio visi elementaiyra 1).

2.16 teorema. 1. Invariantiniu tikimybiu iškilas darinys yra invariantinetikimybe.

2. Bet kokia invariantine tikimybe yra iškilas ergodiniu tikimybiu darinys.

Irodymas. 1. Tegu

π = p1π1 + · · ·+ psπs;


čia π1, . . . , πs yra invariantines tikimybes, p1, . . . , ps > 0 ir p1 + · · ·+ ps = 1.Tada

πP = p1π1P + · · ·+ psπsP = p1π1 + · · ·+ psπs = π.

2. Tegu π yra bet kokia invariantine tikimybe; tada πP n = π su visaisn > 1. Jei y busena nera ergodine, iš

π(y) = πP n(y) =∑x

π(x)P n(x, y) → 0

išplaukia, kad π(y) = 0.Tegu C yra bet kokia ergodine klase su π(C) > 0 ir

πC(x) =

π(x)/π(C), kai x ∈ C;0, kai x ∈ C.

Akivaizdu, kad πC yra tikimybe, sukoncentruota C aibeje.Suma

∑x∈C π(x)P (x, y) lygi 0, kai y ∈ C (nes tada P (x, y) = 0 su visais

x ∈ C), ir lygi ∑x

π(x)P (x, y) = πP (y) = π(y)

su y ∈ C, nes jei x ∈ C, tai arba π(x) = 0 (kai x nera ergodine), arbaP (x, y) = 0 (jei x priklauso kitai ergodinei klasei negu y). Todel su visais y

πCP (y) =1

π(C)

∑x∈C

π(x)P (x, y) = πC(y),

t.y. πCP = πC .Taigi kiekviena πC yra ergodine tikimybe. Akivaizdu, kad π yra tokiu

tikimybiu iškilas darinys:

π =∑C∈C+

π(C)πC ;

čia C+ žymi visu ergodiniu klasiu aibę.

Ergodines tikimybes.

2.17 teorema. Jei C yra ergodine klase, tai egzistuoja vienintele ergodinetikimybe π su π(C) = 1. Be to,

1) su bet kokiu y ∈ C ir bet kokia neneigiama funkcija h

π(y) =1

Eyτyir Ey

τy∑i=1

h(Xi) =πh

π(y); (2.5)


2) jei (C1, . . . , Cd) yra periodinis C klases skaidinys, π(Cr) = 1/d su visaisr = 1, . . . , d.

Irodymas. 1 žingsnis: vienatis.Tegu π yra invariantine tikimybe, sukoncentruota C aibeje, ir y ∈ C.

Tegu (C1, . . . , Cd) yra toks periodinis C skaidinys, kad y ∈ Cd. Tada suvisais n > 1

dπ(y) = πP nd(y) + · · ·+ πP nd+d−1(y)

=∑x

π(x)P nd(x, y) + · · ·+∑x

π(x)P nd+d−1(x, y)

=∑x∈Cd

π(x)P nd(x, y) + · · ·+∑x∈C1

π(x)P nd+d−1(x, y)

−−−→n→∞

∑x∈Cd

π(x)d

a+ · · ·+

∑x∈C1

π(x)d

a

=d

a;

čia a = Eyτy. Reiškia, su visais y ∈ C

π(y) =1

Eyτy. (2.6)

2 žingsnis: egzistavimas.Fiksuoju z ∈ C ir su x ∈ E pažymiu

π(x) = c−1Ez

τz∑i=1

1Xi=x; (2.7)

čia c = Ezτz. Kadangi

∑x

π(x) = c−1Ez

τz∑i=1

∑x

1Xi=x = c−1Ez

τz∑i=1

1 = c−1Ezτz = 1,

π yra tikimybe. Aišku, kad π(z) = 1/c. Su bet kokiu y

π(y) = c−1∑n>1

Ez

n∑i=1

1Xi=y,τz=n

= c−1

∞∑i=1

Pz(Xi = y, τz > i)


= c−1

∞∑i=1

Pz(X1 = z, . . . , Xi−1 = z,Xi = y);

todel

π(y) = c−1P (z, y) + c−1∑i>2

∑x=z

Pz(X1 = z, . . . , Xi−2 = z,Xi−1 = x)P (x, y)

= π(z)P (z, y) +∑x =z

π(x)P (x, y)

=∑x

π(x)P (x, y),

t.y. π = πP . Taigi π invariantine. Joks x ∈ C nepasiekiamas iš z, todel πsukoncentruota C aibeje ir, reiškia, yra ergodine tikimybe.

3 žingsnis: savybes.Iš (2.6) išplaukia pirmoji iš (2.5) lygybiu, o iš (2.6) ir (2.7) gaunu

Ez

τz∑i=1

1Xi=y = π(y)Ezτz =π(y)

π(z).

Iš čia išplaukia antroji iš (2.5) lygybiu. Paskutinis teoremos teiginys teisingasdel to, kad su visais r = 1, . . . , d− 1

π(Cd) = πP d−r(Cd) =∑y∈Cd

∑x

π(x)P d−r(x, y) =∑y∈Cd

∑x∈Cr

π(x)P d−r(x, y)

=∑x∈Cr

π(x)∑y∈Cd

P d−r(x, y) =∑x∈Cr

π(x) = π(Cr).

Ergodiniu tikimybiu charakterizacija. Iš 2.16 teoremos išplaukia, kadvisu invariantiniu tikimybiu aibe I(P ) iškila. Tikimybe π ∈ I(P ) vadinamaekstremaliu tos aibes tašku, jei jos negalima užrašyti

π = (1− t)π1 + tπ2

pavidalu su skirtingomis π1, π2 ∈ I(P ) ir t ∈ (0; 1).

2.18 teorema. Kokia bebutu π ∈ I(P ), tokie trys teiginiai ekvivalentus:(i) π ergodine;(ii) π(A) ∈ 0, 1 su bet kokia absorbuojančia A(iii) π yra ekstremalus I(P ) taškas.


Irodymas. (i ⇒ ii) Tegu π sukoncentruota klaseje C ir A — bet kokiaabsorbuojanti aibe. Jei A nesikerta su C, tai π(A) = 0; jei kertasi, tai A ⊃ C(nes C minimali absorbuojanti) ir tada π(A) = 1.

(ii ⇒ iii) Tegu π = (1− t)π′+ tπ′′ su tam tikru t ∈ (0; 1) ir π′, π′′ ∈ I(P ).Jei C yra kokia nors ergodiniu busenu klase su π(C) > 0, tai π(C) = 1, otada ir π′(C) = π′′(C) = 1. Iš 2.17 teoremos išplaukia, kad π′ = π′′.

(iii ⇒ i) Jei π nera ergodine, tai destinyje

π =∑C∈C+

π(C)πC

bent du demenys nenuliniai. Reiškia, π nera ekstremalus I(P ) taškas.

Pirmieji ergodiškumo kriterijai. Pradedu aiškintis, kaip nustatyti, arduota esminiu busenu klase ergodine, ar ne. Pradesiu nuo dvieju paprastuteoremu.

2.19 teorema. Tegu C yra esminiu busenu klase. C ergodine tada ir tiktada, kai egzistuoja invariantine tikimybe, sukoncentruota C aibeje.

Irodymas. Jei C ergodine, tai atitinkamos tikimybes egzistavimas iš-plaukia iš 2.17 teoremos. Jei C nera ergodine, tokios tikimybes nera: jei πtikimybe invariantine, tai iš 2.16 teoremos išplaukia, kad π(y) = 0 su betkokia neergodine busena y; taigi π(C) = 0.

2.20 teorema. Kiekviena baigtine esminiu busenu klase ergodine.

Irodymas. Jei C yra baigtine esminiu busenu klase ir x ∈ C, tai∑y∈C

P n(x, y) = 1

su visais n. Suma kaireje baigtine, todel jei klase butu neergodine, suskaičia-vęs ribas, kai n → ∞, gaučiau prieštarą: 0 = 1.

Dreifo kriterijus.

2.21 teorema. Tegu C yra esminiu busenu klase ir A — baigtinis jos poai-bis. Jei ExτA < ∞ su bet kokiu x ∈ C, tai C ergodine.


Irodymas. Tegu x = y0 ∈ A, τ = τA, τn = τA,n ir Yn = Xτn ; tada Py0

tikimybes atžvilgiu (Yn) yra Markovo grandine su busenu aibe A, startuojantiiš y0 ir su perejimo tikimybiu branduoliu

Q(y, y′) = Py(Xτ = y′), y, y′ ∈ A.

Akivaizdu, kad bet kokios dvi busenos iš A susisiekia Q branduolio atžvilgiu.Taigi A yra baigtine esminiu busenu klase (Q atžvilgiu) ir todel ergodine.

Pažymiu

c = maxy,y′∈A

Q(y,y′)>0

Eyτ1Xτ=y′

Q(y, y′);

tada c < ∞ ir su visais y, y′ ∈ A

Eyτ1Xτ=y′ 6 cQ(y, y′).

Tegu τ ∗ yra pirmo patekimo i y0 momentas E∞ erdveje; tada

Ey0τ∗ =

∑n>1

Ey0τn1Y1 =y0,...,Yn−1 =y0, Yn=y0.

Bet su 1 6 k 6 n

Ey0(τk − τk−1)1Y1=y1,...,Yn=yn

= Ey01Y1=y1,...,Yk−1=yk−1

( τk∑i=τk−1+1

1)1Yk=yk,...,Yn=yn

=∏

16l6nl =k

Pyl−1(Xτ = yl)Eyk−1

1Xτ=ykτ

6 cQ(y0, y1) · · ·Q(yn−1, yn);

todelEy0τn1Y1=y1,...,Yn=yn 6 cnQ(y0, y1) · · ·Q(yn−1, yn).

Iš čiaEy0τ11Y1=y0 6 cQ(y0, y0)

ir su n > 2

Ey0τn1Y1 =y0,...,Yn−1 =y0, Yn=y0 6 cn∑

y1 =y0,...,yn−1 =y0

Q(y0, y1) · · ·Q(yk−1, y0).

Reiškia,Ey0τ

∗ 6 cEσ < ∞;


čia σ žymi pirmo patekimo i y∗ momentą A erdveje, o E — vidurkio opera-toriu A∞ erdveje, atitinkanti tikimybę Qy0 , indukuotą Q branduolio. Taigiy0 busena ergodine.

2.22 teorema. Tegu C yra esminiu busenu klase ir h — neneigiama funkcijaC aibeje su tokiomis savybemis:

a) h(x) < ∞ ir Ph(x) < ∞ su x ∈ C;b) egzistuoja tokia baigtine aibe A ir toks a > 0, kad

Ph(x) 6 h(x)− a su x ∈ A.

Tada C ergodine.

Irodymas. Iš prielaidu gaunu, kad su visais x ∈ A

h(x) > a+ Exh(X1) > a+ Ex1X1 ∈Ah(X1).

Todel iš Markovo savybes su x ∈ A ir visais n > 1

h(x) > a+ Ex1X1 ∈Ah(X1)

> a+ aPx(X1 ∈ A) + Ex1X1 ∈A, X2 ∈Ah(X2)

. . . . . . . . .

> a+ aPx(X1 ∈ A) + · · ·+ aPx(X1 ∈ A, . . . , Xn ∈ A)

+ Ex1X1 ∈A,...,Xn+1 ∈Ah(Xn+1)

> a+ aPx(X1 ∈ A) + · · ·+ aPx(X1 ∈ A, . . . , Xn ∈ A).

Suskaičiavęs ribas, kai n → ∞, gaunu

h(x) > a+ a∑n>1

Px(X1 ∈ A, . . . , Xn ∈ A) = a∑n>1

Px(τA > n) = aExτA.

Taigi ExτA < ∞ su x ∈ A.Jei x ∈ A, tai dar kartą iš Markovo savybes

ExτA =∑y∈A

P (x, y) +∑y ∈A

P (x, y)Ey(τA + 1)

6 1 + a−1∑y ∈A

P (x, y)h(y)

6 1 + a−1Ph(x),

todel ExτA < ∞ su visais x. Iš 2.21 teoremos dabar išplaukia, kad C ergodine.


Pavyzdžiai.

2.4 pavyzdys. Nagrineju branduoli iš 2.1 pavyzdžio. Aišku, kad

E1τ1 =∑i>1

iP1(τ1 = i) =∑i>1

ipi.

Taigi branduolys ergodinis tada ir tik tada, kai∑i>1

ipi < ∞. (2.8)

Ergodiškumą galiu nustatyti ir naudomas dreifo kriteriju. Tegu h(x) = x;tada

Ph(x) = h(x− 1) = x− 1 = h(x)− 1

su x > 2. Taigi grandine ergodiška, jei Ph(1) < ∞, o tai ir yra (2.8) sąlyga.Nesunku rasti ir invariantini skirstini π. Kadangi

P =

p1 p2 p3 · · ·1 0 0 · · ·0 1 0 · · ·. . . . . . . . . . . . . .

,

iš lygties πP = π gaunu

π(1)pi + π(i+ 1) = π(i) su i > 1.

Pažymiu qi = 1− p1 − · · · − pi−1 =∑

j>i pj. Tada

π(2) = (1− p1)π(1) = q2π(1),

π(3) = π(2)− p2π(1) = (q2 − p2)π(1) = q3π(1)

ir t.t. Iš (2.8) išplaukia, kad suma q =∑

i>1 qi baigtine. Tada π(1) = q−1 ir

π =( q1

qq2q

q3q

· · ·).

2.5 pavyzdys. Nagrineju branduoli iš 2.2 pavyzdžio. Šiuo atveju

E1τ1 =∑n>1

P1(τ1 > n) =∑n>1

p1 · · · pn−1;

taigi branduolys ergodinis tada ir tik tada, kai∑n>1

p1 · · · pn−1 < ∞. (2.9)


Jei (pi) yra konkreti seka, ergodiškumą galiu nustatyti ir naudodamasdreifo kriteriju. Tegu, pavyzdžiui,

pi 6 1− c

i

su pakankamai dideliais i; čia c > 1. Paimu 1 < q < c ir tegu h(1) = 0 irh(x) = xq su x > 2. Tada su pakankamai dideliais x

Ph(x) = pxh(x+ 1) + qxh(1) = px(x+ 1)q

6(1− c

x

)(x+ 1)q 6 xq

(1 +

1

x

)q− cxq−1.

Kai x → ∞, (1 +

1

x

)q− 1 ∼ q

x;

todel kai x pakankamai didelis,(1 +

1

x

)q6 1 +

c′

x;

čia q < c′ < c. Tada su tokiais x

Ph(x) 6 xq(1 +

c′

x

)− cxq−1 = xq − (c− c′)xq−1 6 xq − (c− c′).

Tegu teisinga ergodiškumo sąlyga (2.9); rasiu invariantini skirstini. Ka-dangi

P =

q1 p1 0 0 · · ·q2 0 p2 0 · · ·q3 0 0 p3 · · ·. . . . . . . . . . . . . . . . . .

,

iš πP = π išplaukia

π(1)q1 + π(2)q2 + · · · = π(1),

π(1)p1 = π(2),

π(2)p2 = π(3)

ir t.t. Taigi π(i) = p1 · · · pi−1π(1) su i > 2. Kadangi visu π(i) suma yra 1,gaunu π(1) = a−1; čia

a =∑i>1

p1 · · · pi−1.

Tadaπ =

(1a

p1a

p1p2a

· · ·).


2.6 pavyzdys. Nagrineju branduoli iš 2.3 pavyzdžio. Jei p < 1/2, jis ergo-dinis; tai išplaukia, pavyzdžiui, iš dreifo kriterijaus su funkcija h(x) = x: jeix > 2,

Ph(x) = ph(x+ 1) + qh(x− 1) = p(x+ 1) + q(x− 1) = x− (q − p).

Rasiu invariantini skirstini. Kadangi

P =

q p 0 0 · · ·q 0 p 0 · · ·0 q 0 p · · ·. . . . . . . . . . . . . . .

,

iš πP = π išplaukia

qπ(1) + qπ(2) = π(1),

pπ(1) + qπ(3) = π(2),

pπ(2) + qπ(4) = π(3)

ir t.t. Iš čia

π(2) =p

qπ(1),

π(3) =1

q

(pq− p)π(1) =

p2

q2π(1),

π(4) =1

q

(p2q2

− p2

q

)π(1) =

p3

q3π(1)

ir t.t. π(1) tikimybę randu iš lygties

1 =∑i>1

π(i) = π(1)∑i>0

pi

qi=

π(1)

1− pq

.

Taigi

π =(1− p

qpq− p2

q2p2

q2− p3

q3· · ·).

Jei p = 12, spręsdamas tą pačią lygti πP = π gaučiau, kad visi π(i)

vienodi. Tokios tikimybes π nera; taigi invariantinio skirstinio nera ir, reiškia,P branduolys nulinis. Jei p > 1/2, jis netgi negrižtamas.


Uždaviniai.

2.2 uždavinys. Raskite Markovo grandiniu, aprašomu tokiais grafais, in-variantinius skirstinius:

?>=<89:;1 13 **2

3 55?>=<89:;2

12

jj 12ii

?>=<89:;1 // ?>=<89:;212

12ii

?>=<89:;312

^>>>>>>>>>

12

JJ

Sprendimas. Pirmos grandines perejimo tikimybiu matrica

P =

(23

13

12

12

).

Pažymiu π = (a b). Spręsdamas lygti πP = π gaunu

2

3a+

1

2b = a,

b =2

3a.

Kadangi a+ b = 1, iš čia išplaukia a = 35 ir b = 2

5 . Taigi

π =(35

25

).

Antros grandines perejimo tikimybiu matrica

P =

0 1 00 1

212

12 0 1

2

.

Pažymiu π = (a b c). Spręsdamas lygti πP = π gaunu12c = a;

a+ 12b = b;

,

t.y.c = 2a, b = 2a.

Kadangi a+ b+ c = 1, iš čia išplaukia a = 15 ir b = c = 2

5 . Taigi

π =(15

25

25

).


2.3 uždavinys. Ozo šalis tikrai negarseja gerais orais. Jei viena diena graži,tai kitą dieną arba lyja, arba sninga (su vienodomis tikimybemis). Jei kuriąnors dieną lyja arba sninga, tai kita diena bus graži tik vienu atveju iš 7, ogreičiausiai vel lis arba snigs (abu atvejai vel vienodai galimi).

Šalies pakraštyje gyvena Vytas K. Jei lyja, jis visą dieną skaito detektyvus,tik vakarienei išsiverda pora bulviu. Jei sninga, dienotvarke panaši, bet tenkakurenti krosni, todel išeikvojama daugiau energijos ir vakarienei prireikiatriju bulviu. Jei diena graži, Vytas eina darbuotis i savo daržą ir griždamasparsineša bulviu vakarienei (padirbejus darže organizmas reikalauja irgi 3bulviu) ir atsargai. Kiek vidutiniškai bulviu reikia parsinešti, kad nepritruktuiki kito vizito i daržą?

Sprendimas. Tegu 1 reiškia, kad diena graži, 2 — kad lyja, o 3 — kad sninga.Tada Markovo grandines perejimo tikimybiu matrica

P =

0 12

12

17

37

37

17

37

37

.

Jei π = (a b c) yra jos invariantinis skirstinys, tai17b+

17c = a;

12a+ 3

7b+37c = b.

Istatęs a reikšmę iš 1 lygties i 2, gaunu

1

2

(17b+

1

7c)+

3

7b+

3

7c = b,

1

2c =

1

2b.

Taigi b = c ir a = 27c. Kadangi a+ b+ c = 1, iš čia išplaukia, kad

π =(

216

716

716

).

Laikotarpyje tarp dvieju gražiu dienu vidutiniškai po

716216

=7

2

dienos lis ir snigs ir 1 diena bus graži. Suvalgysiu vidutiniškai

2 · 72+ 3 · 7

2+ 3 = 20.5

bulves.

3 skyrius

Ribines teoremos

Visame skyriuje (Xi) yra kanonine Markovo grandine E erdveje su perejimotikimybiu branduoliu P .

3.1 Branduolio iteraciju konvergavimasAtstumas tarp tikimybiu. Simboliu Π(E) žymesiu visu tikimybiu Eerdveje aibę. Su bet kokiomis µ, ν ∈ Π(E) apibrežiu

∥µ− ν∥ =∑x

|µ(x)− ν(x)|.

Šis skaičius vadinamas pilnos variacijos atstumu tarp µ ir ν.I bet kokią tikimybę µ galiu žiureti, kai i ℓ1(E) erdves elementą; tada

∥µ − ν∥ yra elemento µ − ν norma. Taigi funkcija (µ, ν) 7→ ∥µ − ν∥ yrametrika Π(E) erdveje.

3.1 teorema. Jei (µn) ⊂ Π(E) ir µ ∈ Π(E), tai

∥µn − µ∥ → 0 ⇐⇒ ∀x µn(x) → µ(x).

Irodymas. (⇒) Akivaizdu, nes |µ(x)− ν(x)| 6 ∥µ− ν∥ su visais x.(⇐) Iš µn(E) = 1 = µ(E) išplaukia∑

µn(x)>µ(x)

(µn(x)− µ(x)

)+

∑µn(x)<µ(x)

(µn(x)− µ(x)

)= 0;

todel

∥µn − µ∥ = 2∑

µn(x)<µ(x)

(µ(x)− µn(x)

)= 2

∑x

(µ(x)− µn(x)

)+.

69

70 3 SKYRIUS. RIBINES TEOREMOS

Kadangi su visais x(µ(x)− µn(x)

)+ → 0,(µ(x)− µn(x)

)+ 6 µ(x)

ir šeima(µ(x) | x ∈ E

)sumuojama, teoremos tvirtinimas išplaukia iš Lebego

teoremos apie aprežtą konvergaimą. Toliau µn → µ reikš, kad µn arteja prie µ erdveje Π(E), t.y. ∥µn−µ∥ → 0.

Konvergavimas, kai branduolys ergodinis.

3.2 teorema. Tegu P ergodinis (t.y. visa E yra viena ergodine esminiubusenu klase),

Ln =P + · · ·+ P n

n(3.1)

ir π ∈ I(P ). Tada Ln(x, ·) → π su visais x ∈ E.

Irodymas. Fiksuoju y ∈ E. Tegu d yra E klases periodas ir (C1, . . . , Cd)— toks periodinis E skaidinys, kad y ∈ Cd. Iš 2.14 teoremos išplaukia, kadsu visais r = 1, . . . , d ir visomis x ∈ Cr

P nd−r(x, y) → d

Eyτy.

Kita vertus, iš 2.17 teoremos π(y) = 1/Eyτy. Taigi

P nd−r(x, y) → dπ(y).

Kadangi P nd−r′(x, y) = 0 su r′ = r, su visais x ∈ E

P nd−d+1(x, y) + · · ·+ P nd(x, y) → dπ(y).

Iš čia

Lmd(x, y) =1

md

m∑k=1

(P kd−d+1(x, y) + · · ·+ P kd(x, y)) −−−→m→∞

π(y).

Bet su bet kokiu r = 1, . . . , d

Lmd+r(x, y) =md

md+ rLmd(x, y) +

Pmd+1(x, y) + · · ·+ Pmd+r

md+ r−−−→m→∞

π(y),

nesPmd+1(x, y) + · · ·+ Pmd+r

md+ r6 1

md+ r→ 0.

Taigi Ln(x, y) → π(y) su visais x, y ∈ E.

3.2. ATSITIKTINIU SUMU KONVERGAVIMAS 71

Iteraciju konvergavimas bendruoju atveju.

3.3 teorema. Tegu C žymi visu ergodiniu klasiu aibę, A =∪

C∈C C ir τ =τA. Jei Ln apibrežiama (3.1) lygybe, tai su visais x ∈ E

Ln(x, y) →∑C∈C

pC(x)πC(y);

čia pC(x) = Px(τ < ∞, Xτ ∈ C) ir πC yra ergodine tikimybe, sukoncentruotaC aibeje.

Irodymas. Tegu y ∈ C ∈ C. Su bet kokiu i > 1

P i(x, y) = Px(Xi = y)

=i−1∑j=1

∑z∈C

Px(τ = j,Xj = z)P i−j(z, y) + Px(τ = i,Xi = y),

todeln∑

i=1

P i(x, y) =n−1∑j=1

∑z∈C

Px(τ = j,Xj = z)n∑

i=j+1

P i−j(z, y)+Px(τ 6 n, Xτ = y)

ir

Ln(x, y) =n−1∑j=1

∑z∈C

Px(τ = j,Xj = z)n− j

nLn−j(z, y) +

1

nPx(τ 6 n, Xτ = y).

Akivaizdu, kad antras demuo dešineje puseje arteja i 0. Tada iš 3.2 teoremosir Lebego teoremos apie aprežtą konvergavimą išplaukia, kad

Ln(x, y) →∑j>1

∑z∈C

Px(τ = j, Xj = z)π(y)

= Px(τ < ∞, Xτ ∈ C)π(y) = pC(x)πC(y).

3.2 Atsitiktiniu sumu konvergavimasErgodine teorema, kai branduolys ergodinis. Dabar mane dominsatsitiktiniu sumu

Sn = h(X1) + · · ·+ h(Xn)

72 3 SKYRIUS. RIBINES TEOREMOS

asimptotika; čia h — neneigiama funkcija E aibeje. Laikysiu iš pradžiu, kadP branduolys ergodinis. Fiksuoju bet kokias busenas x ir z ir pažymiu τ = τzir τn = τz,n; tada Px-beveik tikrai visi momentai τn baigtiniai. Sumas

Zj = h(Xτj+1) + · · ·+ h(Xτj+1)

vadinsiu z-blokais.

3.4 teorema. Px tikimybes atžvilgiu (Zj) yra nepriklausomu vienodai pasi-skirsčiusiu atsitiktiniu dydžiu seka; be to kiekvieno Zj skirstinys sutampa suZ dydžio skirstiniu Pz tikimybes atžvilgiu; čia

Z = h(X1) + · · ·+ h(Xτ ).

Irodymas. Iš 1.4 teoremos išplaukia, kad su bet kokiomis neneigiamomisfunkcijomis h1, . . . , hk

Exh1(Z1) · · ·hk(Zk) = Ezh1(Z) · · ·Ezhk(Z).

Bendroji ergodine teorema.

3.5 teorema. Tegu P branduolys grižtamas ir π — invariantinis skirstinys.Koks bebutu pradinis skirstinys µ ir neneigiama funkcija h, Pµ-beveik tikrai

h(X1) + · · ·+ h(Xn)

n→ πh.

Centrine ribine teorema.

Uždaviniai.

3.1 uždavinys. Doktorantai paskaičiavo, kad rašydami disertaciją sugaištaper dieną 10 valandu. Per tą laiką jie arba dirba su tekstu redaktoriumi, arbaprogramuoja, arba naršo internete, arba žiuri savo elektronini paštą. Be to,

• padirbeję su tekstu redaktoriumi jie su tikimybe 35

puola naršyti inter-nete ir su tikimybe 2

5— skaityti paštą;

• toks pat efektas ir paprogramavus, tik šikart tikimybes yra 23

ir 13;

• panaršius internete juos užgraužia sąžine ir jie puola arba dirbti sutektu redaktoriumi, arba programuoti — su vienodomis tikimybemis;

3.2. ATSITIKTINIU SUMU KONVERGAVIMAS 73

• pažiureję paštą jie su vienodomis tikimybemis renkasi bet kuri iš likusiutriju užsiemimu.

Užsiemimai keičiami labai dažnai ir reguliariais laiko tarpais. Visas laikas,praleistas su tekstu redaktoriumi, ir 3

5laiko, praleisto programuojant, yra

produktyvus; naršymas internete ir pašto skaitymas — deja, absoliučiai ne-produktyvus. Kiek vidutiniškai laiko per dieną studentai praleidžia produk-tyviai?

Sprendimas. Markovo grandine aprašoma tokiu grafu (1 žymi darbą su teksturedaktoriumi, 2 — programavimą, 3 — naršymą internete ir 4 — pašto tikrinimą;tikimybes surašiau rodykliu pradžiose):

1

35 //

25

>>>

>>>>

>>>>

>>>>

> 312

oo

12

2

23

?? 13 // 4

13

OO

13

oo

13

__>>>>>>>>>>>>>>>>

Perejimo tikimybiu matrica

P =

0 0 3

525

0 0 23

13

12

12 0 0

13

13

13 0

.

Pažymiu π = (a b c d); tada iš πP = π gaunu12c+

13d = a;

12c+

13d = b;

25a+ 1

3b = d.

Iš pirmu dvieju lygčiu gaunu a = b; tada iš trečiosios d = 1115a, o tada vel iš pirmos

c = 6845a. Kadangi a+ b+ c+ d = 1, a = 45

191 ir, reiškia,

π =(

45191

45191

68191

33191

).

π(x) rodo, kokią dalu laiko grandine vidutiniškai praleidžia busenoje x. Taigidoktoranto produktyvaus darbo laikas per dieną yra apytiksliai

10π(1) + 6π(2) =450 + 270

191=

720

191≈ 3.8(val.)

Documents

Vytautas Kazakevičius 2015 m. sausio 19 d.klevas.mif.vu.lt/~vytas/stat/markovo.pdf1 skyrius Pradines˙ sąvokos 1.1 Perejimo˙ tikimybes˙ Skirstiniai. Tegu E yra baigtine˙ arba