Embed Size (px)
Citation preview
Rachunek prawdopodobieństwa
Stanisław Jaworski
Rachunek prawdopodobieństwa: dział matematy-ki zajmujący się badaniem modeli zjawisk losowych(przypadkowych) i praw nimi rządzących (Encyklope-dia Popularna PWN, 1998)
Rachunek prawdopodobieństwa zajmuje się zdarzenia-mi, pojawiającymi się przy wykonywaniu doświadczeń,których wyniku nie da się z góry przewidzieć, a jedno-cześnie dających się powtarzać w tych samych warun-kach.
Pojęciem pierwotnym w rachunku prawdopodobień-stwa jest przestrzeń zdarzeń elementarnych. Bę-dziemy ją oznaczać przez Ω.
1
Przykład. Rzut monetą.
Ω = O,R
¥
Przykład. Rzut kostką.
Ω = 1, 2, 3, 4, 5, 6
¥
Przykład. Rzut monetą do chwili pojawienia się orła.
Ω = ω1, ω2, . . . , ωn, . . . ,
gdzie ωn oznacza, że w pierwszych n − 1 rzutach wy-padły reszki, a za n – tym razem wypadł orzeł. Możli-wych wyników jest nieskończenie wiele. Dadzą się usta-wić w ciąg, tzn. że jest ich przeliczalnie wiele. ¥
2
Przykład. Ze zbioru n ponumerowanych elementówlosujemy dwa elementy.
Ω = (ωi, ωj)| i, j = 1, 2, . . . , n, i < j
ωi oznacza wylosowanie elementu o numerze i. ¥
Przykład. Czas oczekiwania na autobus.
Ω = [0,∞)
¥
Przykład. Niech Tk ∈ 〈[0, 45], k = 1, 2, . . . , 10, ozna-cza spóźnienie k – tego studenta na losowo wybranywykład (w minutach).
(T1, T2, . . . , T10) ∈ Ω
Ω = [0, 45]× [0, 45]× . . .× [0, 45] = [0, 45]10
¥
3
Podstawowe pojęcia rachunkuprawdopodobieństwa
Definicja. Rodzinę F spełniającą warunki
1. F 6= ∅2. Jeśli A ∈ F , to Ω \A ∈ F3. Jeśli Ai ∈ F dla i = 1, 2, . . . , to
∞⋃i=1
Ai ∈ Fnazywamy σ – ciałem podzbiorów zbioru Ω.
Zdarzenie losowe jest elementem rodziny F
Definicja. Prawdopodobieństwem nazywamy dowol-ną funkcję P , określoną na σ−ciele zdarzeń F ⊆ 2Ω,spełniającą warunki
A1. P : F → R+;
A2. P (Ω) = 1
A3. Jeśli Ai ∈ F , i = 1, 2, . . . oraz Ai ∩ Aj = ∅ dlai 6= j, to
P
( ∞⋃
i=1
Ai
)=∞∑
i=1
P (Ai)
Mówimy, że matematyczny model doświadczenia loso-wego to trójka (Ω,F , P ), którą nazywamy przestrze-nią probabilistyczną
4
Przykład. Rozkład prawdopodobieństwaw skończonej przestrzeni zdarzeń
NiechΩ = ω1, ω2, . . . , ωn.
Niechpi > 0, i = 1, 2, . . . , n,
będą tak dobrane, że
n∑
i=1
pi = 1
Wówczas funkcję P określamy w następujący sposób:
P (ωi) = pi oraz
dla A ⊆ Ω postaci A = ωi1 , ωi2 , . . . , ωik
P (A) = pi1 + pi2 + . . .+ pik
Tak określona funkcja spełnia układ aksjomatów Koł-mogorowa dla F = 2Ω ¥
5
Przykład. Rzut kostką.
ωi 1 2 3 4 5 6pi 1/6 1/6 1/6 1/6 1/6 1/6
P (1, 2, 5) = 1/6 + 1/6 + 1/6 = 3/6 = 1/2
ωi 1 2 3 4 5 6pi 1/12 1/12 1/12 3/12 3/12 3/12
P (1, 2, 5) = 1/12 + 1/12 + 3/12 = 5/12 < 1/2
¥
Przykład. Przeliczalna przestrzeni zdarzeń
Ω = ω1, ω2, . . .
pi > 0,∞∑
i=1
pi = 1
P (ωi) = pi, P (A) =∑
j:ωj∈Apj
(?) Tak określona funkcja spełnia układ aksjomatów Koł-mogorowa dla F = 2Ω ¥
6
Przykład. Liczba zarejestrowanych cząstek w odcin-ku czasu [0, t].
Ω = 0, 1, . . .
P (k) = e−αt(αt)k
k!, k = 0, 1, . . .
(?) Zachodzi∞∑k=0
e−αt(αt)k
k!= 1 ¥
Ciągła przestrzeń zdarzeń
Przykład. Czas oczekiwania na pierwszą cząstkę.
Ω = [0,∞)
Zdarzenie (t,∞): pierwsza cząstka pojawi się późniejniż w chwili t
P ((t,∞)) = e−αt(αt)0
0!= e−αt
Stąd dla dowolnych s < t
P ((s, t]) = e−αs − e−αt
¥
7
Przykład. Rzut strzałką do tarczy o promieniu 1.
Model 1.Ω = (x, y) : x2 + y2 ≤ 1
(x, y)– współrzędne kartezjańskie punktu trafieniastrzałki w tarczę
Szansa trafienia w zbiór A ⊆ Ω
P (A) =pole Apole Ω
=|A||Ω| =
|A|π
Zdarzenie Ar = (x, y) : x2 + y2 ≤ r2: trafienie wdziesiątkę
P (Ar) =πr2
π= r2
8
Model 2.
Ω = (%, φ) : 0 ≤ % ≤ 1, 0 ≤ φ ≤ 2π = [0, 1]× [0, 2π]
(%, φ)– współrzędne biegunowe punktu trafieniastrzałki w tarczę
Szansa trafienia w zbiór A ⊆ Ω:
P (A) =pole Apole Ω
=|A||Ω| =
|A|2π
Zdarzenie Ar = (%, φ) : % ≤ r: trafienie w dziesiątkę
P (Ar) =2πr2π
= r
¥
9
Model 3.
Ω = % : 0 ≤ % ≤ 1 = [0, 1]
%– odległość punktu trafienia od środka tarczy
Zdarzenie Ar = % : % ≤ r: trafienie w dziesiątkę
P (Ar) =πr2
π= r2
Zdarzenie Ark = % : r < % ≤ k: trafienie w dzie-wiątkę
P (Ark) = k2 − r2 = 2(k − r)k + r
2
10
Co łączy podane przykłady dla przestrzeni ciągłych?
P (A) =∫
A
f, gdzie f ≥ 0
Czas oczekiwania na pierwszą cząstkę
f(x) = αxe−αx, P ((s, t]) ?=
t∫
s
f(x) dx
Rzut strzałką do tarczy (Model 1.)
f(x, y) =1π, P (Ar)
?=∫
Ar
f(x, y) dx dy
Rzut strzałką do tarczy (Model 2.)
f(%, φ) =1
2π, P (Ar)
?=∫
Ar
f(%, φ) d% dφ
Rzut strzałką do tarczy (Model 3.)
f(%) = 2%, P (Ar)?=∫
Ar
f(%) d%
11
Problem: Jak określić F ?
Czas oczekiwania na pierwszą cząstkę
F = B(R+)
Rzut strzałką do tarczy (Model 1.)
F = B(K(0, 1))
Rzut strzałką do tarczy (Model 2.)
F = B([0, 1]× [0, 2π])
Rzut strzałką do tarczy (Model 3.)
F = B([0, 1])
12
Własności prawdopodobieństwa
Twierdzenie 1. Jeśli (Ω,F , P ) jest przestrzenią pro-babilistyczną i A, B, A1, A2, . . . , An ∈ F , to:
W1. P (∅) = 0
W2. Jeśli A1, A2, . . . , An wykluczają się wzajemnie,tj. Ai ∩Aj = ∅ dla i 6= j, to
P
(n⋃
i=1
Ai
)=
n∑
i=1
P (Ai)
W3. P (A′) = 1− P (A), gdzie A′ = Ω \A
W4. Jeśli A ⊆ B, to P (B \A) = P (B)− P (A)
W5. Jeśli A ⊆ B, to P (A) 6 P (B)
W6. P (A) 6 1
W7. P (A ∪B) = P (A) + P (B)− P (A ∩B)
13
Dowód.
ad W1.
Niech A1 = Ω, Ai = ∅ dla i = 2, 3, . . .
⇓ aksjomat A3.
P (Ω) = P (Ω) +∞∑
i=2
P (∅)
⇓ aksjomat A1.
P (∅) = 0
ad W2.
Niech Ak = ∅, dla k > n
⇓ aksjomat A3. oraz własność W1.
P
(n⋃
i=1
Ai
)=
n∑
i=1
P (Ai)
ad W3.
1 = P (Ω) = P (A ∪A′) W2.= P (A) + P (A′)
ad W4.
Jeśli A ⊂ B, to B = A ∪ (B \A). Zatem
P (B) W2.= P (A) + P (B \A)
14
ad W5.
P (B)− P (A) W4.= P (B \A)A1.> 0
ad W6.
Wystarczy zastosować W5. dla B = Ω
ad W7.
A ∪B = [A \ (A ∩B)] ∪ (A ∩B) ∪ [B \ (A ∩B)]
⇓ W2, W4.
P (A ∪B) = P (A)− P (A ∪B)+
+ P (A ∩B) + P (B)− P (A ∩B) =
= P (A) + P (B)− P (A ∩B)
¥Zauważmy, że
A ∪B = [A ∩B′] ∪ [A ∩B] ∪ [A′ ∩B]︸ ︷︷ ︸trzy składowe sumy
Zatem każda składowa sumy A1 ∪A2 ∪ . . .∪An da sięprzedstawić, po odpowiednim przenumerowaniu zbio-rów, w postaci
A1 ∩A2 ∩ . . . ∩Ak ∩A′k+1 ∩A′k+2 ∩ . . . ∩A′n,gdzie k > 1
15
Twierdzenie 2. (Wzór włączeń i wyłączeń)
P (A1 ∪A2 ∪ . . . ∪An)
=∑
16i6nP (Ai)−
∑
16i16i26nP (Ai1 ∩Ai2)+
. . .+ (−1)n+1P (A1 ∩A2 ∩ . . . ∩An)
Dowód. Zbiór A1 ∪ A2 ∪ . . . ∪ An daje się zapisaćw postaci sumy rozłącznych składowych. Zatem Lewastrona równania włącza każdą składową dokładnie raz.Musimy pokazać, że prawa strona równania wprowa-dza każdą składową też dokładnie raz.W pierwszym składniku wzoru, czyli
∑
16i6nP (Ai)
każda składowa postaci
A1 ∩A2 ∩ . . . ∩Ak ∩A′k+1 ∩A′k+2 ∩ . . . ∩A′n
zostanie włączona k razy, w drugim, czyli
∑
16i16i26nP (Ai1 ∩Ai2),
16
wyłączona(k2
)razy, itd. Ostatecznie liczba włączeń
wyniesie
(k
1
)−(k
2
)+(k
3
)+ . . . (−1)k+1
(k
k
)= 1.
Uwaga. Korzystam ze wzoru dwumianowego New-tona:
(a+ b)k =k∑
i=0
(k
i
)ak−ibi
¥
Przykład. n listów losowo wkładamy do kopert. Jakiejest prawdopodobieństwo, że choć jeden list dotrze doadresata?Niech Ai oznacza zdarzenie, że i−ty list dotrze do ad-resata. Zatem
P
(n⋃
i=1
Ai
)= n
P (A1)︷ ︸︸ ︷(n− 1)!n!
−(n
2
)P (A1∩A2)︷ ︸︸ ︷(n− 2)!n!
+ . . .
+ (−1)n(
n
n− 1
)1n!
+ (−1)n+1 1n!
=
17
= 1− 12!
+13!
+ . . .+ (−1)n1
(n− 1)!+ (−1)n+1 1
n!
=n∑
i=1
(−1)i+1
i!= 1 +
n∑
i=0
(−1)i+1
i!= 1−
n∑
i=0
(−1)i
i!
≈ 1− e−1
Błąd oszacowania
∣∣∣∣∣P(
n⋃
i=1
Ai
)− (1− e−1)
∣∣∣∣∣ 61
(n+ 1)!
Skorzystałem z oszacowania:
∣∣∣∣∣ex −
n∑
i=0
xi
i!
∣∣∣∣∣ 6|x|n+1
(n+ 1)!
¥
18
Twierdzenie 3. (O ciągłości). Niech(Ω,F , P ) bę-dzie przestrzenią probabilistyczną.
(i) Jeśli (An)∞n=1 jest wstępującą rodziną zdarzeń
oraz∞⋃n=1
An = A, to
P (A) = limn→∞
P (An).
(ii) Jeśli (An)∞n=1 jest zstępującą rodziną zdarzeń
oraz∞⋂n=1
An = A, to
P (A) = limn→∞
P (An).
Rodzinę zdarzeń Ai nazywamy wstępującą, jeśli
A1 ⊆ A2 ⊆ . . . ⊂ An ⊆ An+1 · · ·
i zstępującą, jeśli
A1 ⊇ A2 ⊇ . . . ⊃ An ⊇ An+1 · · ·
19
Dowód. (i) Niech
B1 = A1, B2 = A2 \A1 i ogólnie: Bn = An \An−1
Wtedy zdarzenia Bi wykluczają się,
n⋃
i=1
Bi =n⋃
i=1
Ai = An,
a także⋃∞i=1Bi = A. Z przeliczalnej addytywności
wynika, że
P (A) = P
( ∞⋃
i=1
Bi
)=∞∑
i=1
P (Bi) =
= limn→∞
n∑
i=1
P (Bi) = limn→∞
P (An)
(ii) Rozpatrzmy rodzinę wstępującą (Cn)∞n=1,gdzie Cn = A′n. Wtedy
∞⋃n=1
Cn =∞⋃n=1
A′n =
[ ∞⋂n=1
An
]′= A′
i wystarczy skorzystać z (i) ¥
20
Prawdopodobieństwo warunkowe
Definicja. Prawdopodobieństwem warunkowym zaj-ścia zdarzenia A pod warunkiem zajścia zdarzenia B,gdzie P (B) > 0, nazywamy liczbę
P (A|B) =P (A ∩B)P (B)
(?) Uwaga. Przy ustalonym B prawdopodobieństwo wa-runkowe P (A|B) jest zwykłym prawdopodobieństwemna (Ω,F), a także na (B,FB), gdzie
FB = A ∩B : A ∈ F
(?) Wzór łańcuchowy. Jeśli P (A1 ∩ . . . ∩An−1) > 0, to
P (A1 ∩ . . . ∩An) = P (A1)P (A2|A1)×× P (A3|A1 ∩A2) · . . . · P (An|A1 ∩ . . . ∩An−1)
21
Definicja. Rozbiciem przestrzeni Ω nazywamy rodzi-nę zdarzeń Hii∈I , które wzajemnie wykluczają się,zaś ich suma jest równa Ω.
Twierdzenie 4.Jeżeli H1, H2, . . . , Hn jest rozbiciem Ω na zdarze-nia o dodatnim prawdopodobieństwie, to dla dowol-nego zdarzenia A
P (A) =n∑
i=1
P (A|Hi)P (Hi)
Dowód.
P (A) = P (n⋃
i=1
(A ∩Hi)) =n∑
i=1
P (A|Hi)P (Hi)
¥
(?) Uwaga.Twierdzenie jest prawdziwe i dla rozbicia Ωna przeliczalną liczbę zdarzeń Hi, i = 1, 2, . . . .
22
Przykład. W loterii fantowej szansa wygranej jestrówna p, przegranej – q, a z prawdopodobieństwemr wyciągamy los „graj dalej”. Los „graj dalej” wrzu-camy z powrotem do urny i dokonujemy ponownegolosowania. Jakie jest prawdopodobieństwo wygranej?
A−wyciągneliśmy los wygrywającyB−wyciągneliśmy los przegrywającyC−wyciągneliśmy los „graj dalej”W−wygraliśmy na loterii
P (W ) = P (W |A)P (A) + P (W |B)P (B)+
+ P (W |C)P (C) = 1 · p+ 0 · q + P (W ) · r
Stąd
P (W ) =p
1− r =p
p+ q
¥
Twierdzenie 5. Niech Hii∈I będzie rozbiciem Ωna zdarzenia o dodatnim prawdopodobieństwie. GdyP (B) > 0, to
P (A|B) =∑
i∈IP (A|B ∩Hi)P (Hi|B),
gdzie zbiór indeksów I jest skończony lub przeliczalny.
23
Przykład. Grześ i Jaś rzucają na przemian monetą.Jaś wygrywa, gdy pojawią się kolejno OOR, Grześ –gdy ROR. Jakie są prawdopodobieństwa wygranej dlaobu chłopców?
NiechW1 – wygra Jaś, W2 – wygra Grześ,Ok – w k-tym rzucie wypadł orzeł,Rk – w k-tym rzucie wypadła reszka.
x = P (W1|O1 ∩O2) y = P (W1|O1 ∩R2)
z = P (W1|R1 ∩O2) w = P (W1|R1 ∩R2)
Zatem
y =P (W1|O1 ∩R2 ∩O3)P (O3|O1 ∩R2)+
+ P (W1|O1 ∩R2 ∩R3)P (R3|O1 ∩R2)
=z12
+ w12
Analogicznie
x =12x+
12· 1, z =
12x+ 0, w =
12w +
12z
Stąd P (W1) = (x+ y + z + w)/4 = 5/8. ¥
24
Twierdzenie 6. Wzór Bayesa. Niech Hii∈I będzierozbiciem Ω na zdarzenia o dodatnim prawdopodo-bieństwie i P (A) > 0, to dla dowolnego j ∈ I mamy
P (Hj |A) =P (A|Hj)P (Hj)∑i∈I P (A|Hi)P (Hi)
Przykład. Amperomierze pochodzą z trzech taśmprodukcyjnych w stosunku 1:1:1. Dostawy z pierwszejtaśmy zawierają 0.5% braków, z drugiej 0.7%, a z trze-ciej 1%. Wybrany losowo amperomierz okazał się bra-kiem. Obliczyć prawdopodobieństwo, że został on wy-produkowany na taśmie drugiej.
A−amperomierz jest brakiemHi−amperomierz pochodzi z i−tej taśmy
P (H1) = P (H2) = P (H3) = 1/3
P (A|H1) = 0.005; P (A|H2) = 0.007; P (A|H3) = 0.01
Stąd
P (A) =13
(0.005 + 0.007 + 0.01) =0.022
3
P (H2|A) =P (H2)P (A|H2)
P (A)=
13
0.007
13
0.022=
722
¥
25
Niezależność zdarzeń.
Zdarzenie B nie zależy od zdarzenia A, gdy wiedza otym, że zaszło A nie wpływa na prawdopodobieństwozajścia B.
P (B|A) = P (B), P (A) > 0
⇓P (A ∩B) = P (A)P (B)
Definicja. Zdarzenia A oraz B nazywamy niezależ-nymi, gdy
P (A ∩B) = P (A)P (B)
Definicja. Zdarzenia A1, A2, . . . , An nazywamy nie-zależnymi, gdy
P (Ai1 ∩Ai2 ∩ . . . ∩Aik) = P (Ai1) . . . P (Aik)
dla 1 ≤ ii < i2, . . . < ik ≤ n, k = 2, 3, . . . , n
26
Przykład. Spośród rodzin mających n dzieci wybie-ramy jedną rodzinę. Niech zdarzenie A polega na tym,że w losowo wybranej rodzinie jest co najwyżej jednadziewczynka, B – w rodzinie są dziewczynki i chłopcy.Czy zdarzenia A i B są niezależne?
Przestrzeń probabilistyczną tworzą ciągi n− elemen-towe – uporządkowane według starszeństwa dzieci.
P (A ∩B) = P (A)P (B)⇔ n
2n=(n+ 1
2n
)(2n − 2
2n
)
⇔ n = 3
¥
Przykład. W urnie są cztery kule – niebieska, zielona,czerwona i pstrokata (niebiesko-zielono-czerwona).ZdarzeniaAn – wyciągneliśmy kulę z kolorem niebieskimAz – wyciągneliśmy kulę z kolorem zielonymAn – wyciągneliśmy kulę z kolorem czerwonymMamy
P (An) = P (Az) = P (Ac) = 1/2
P (An ∩Az) = P (An ∩Ac) = P (Az ∩Ac) = 1/4
Zatem rozważane zdarzenia są parami niezależne.
27
Zauważmy jednak, że
P (An ∩Az ∩Ac) =146= 1
8= P (An)P (Az)P (Ac)
¥
Przykład. Ω = [0, 1]2, F = B([0, 1]2), P− rozkładrównomierny na [0, 1]2.Zdarzenia
A = B =
(x, y) ∈ [0, 1]2 : x > y
C =
(x, y) ∈ [0, 1]2 : x < 0.5
Zauważmy, że
P (A ∩B ∩ C) =18
= P (A)P (B)P (C)
natomiast żadne dwa nie są niezależne ¥
28
Przyjmijmy konwencję: A0 = A, A1 = A′
Twierdzenie 7.Następujące warunki są równoważne:
(i) Zdarzenia A1, A2, . . . , An są niezależne;
(ii) Dla każdego ciągu ε1, ε2, . . . , εn, gdzie εi ∈0, 1, i = 1, 2, . . . , n, zdarzenia Aε11 , . . . , A
εnn
są niezależne;
(iii) Dla każdego ciągu ε1, ε2, . . . , εn, gdzie εi ∈0, 1, i = 1, 2, . . . , n, zachodzi równość
P (Aε11 ∩ . . . ∩Aεnn ) = P (Aε11 ) . . . P (Aεnn )
Dowód. (i)⇒ (ii) (indukcja względem n)
(1o) Pokażemy dla n = 2
(2o) Założymy, że tw. jest prawdziwe dla n− 1
(3o) Pokażemy, że
A1, . . . , An−1, An niezależne
⇓A1, . . . , An−1, A
′n niezależne
(4o) Zauważymy, że z 3o wynika
Aε11 , . . . , Aεn−1n−1 , A
εnn niezależne
29
Dla n = 2
P (A1 ∩A′2) = P (A1 \A1 ∩A2) =
= P (A1)− P (A1 ∩A2) =
= P (A1)[1− P (A2)] = P (A1)P (A′2)
Zatem A1, A′2 są niezależne. Na mocy symetrii także
A′1, A2 są niezależne. Stosując jeszcze raz powyższerozumowanie do A′1, A2 , otrzymujemy niezależnośćA′1, A
′2
Zakładamy, że tw. jest prawdziwe dla n − 1 i dowo-dzimy dla n.
W tym celu wystarczy pokazać:
P (A1 ∩ . . . ∩An−1 ∩A′n) =
= P (A1 ∩ . . . ∩An−1 \A1 ∩ . . . ∩An−1 ∩An) =
= P (A1 ∩ . . . ∩An−1)− P (A1 ∩ . . . ∩An) =
= P (A1 ∩ . . . ∩An−1)[1− P (An)]
= P (A1) . . . P (An−1)P (A′n)
¥
Definicja. Zdarzenia A1, A2, . . . nazywamy niezależ-nymi, gdy dla każdego n zdarzenia A1, A2, . . . , An sąniezależne.
30
Zmienne losowe.
Cel: Ujednolicić sposób rozważań dla różnych prze-strzeni zdarzeń elementarnych.
Definicja. Zmienna losowa jest to funkcja rzeczywista
X : Ω→ X
o własności:∧
x∈R
ω ∈ Ω : X(ω) ≤ x ∈ F
X – zbiór wartości zmiennej losowej
Często
X = 0, 1, . . . , X = [0,∞), X = [a, b], X = R
31
Definicja. Rozkładem prawdopodobieństwa zmiennejlosowejX nazywamy rozkład prawdopodobieństwa PXokreślony wzorem
PX(A) = P (ω ∈ Ω : X(ω) ∈ A) dla A ⊂ X= P (X−1(A))
! dokładniej dla A ∈ B(X )
Definicja. Trójkę (X ,B(X ), PX) nazywamy modelemprobabilistycznym.
Przykład. Ze zbioru pięciu ponumerowanych elemen-tów losujemy jeden element
Ω = ω1, . . . , ω5 P (ωi = 1/5)
ωi−wylosowano i−ty element
Wtedy dla X(ωi) = i mamy X = 1, 2, 3, 4, 5 oraz
PX(i) = 1/5, i = 1, 2, 3, 4, 5
PX(A) =∑
i∈APX(i), dla A ⊂ X
¥
32
Definicja. Dystrybuanta zmiennej losowej X, jest tofunkcj F : R→ [0, 1] określona wzorem
FX(x) = P (X ≤ x)
Własności dystrybuanty
W1. F jest niemalejąca
x1 < x2, A = (−∞, x1], B = (−∞, x2], A ⊂ B
F (x1) = P (A) 6 P (B) = F (x2)
W2. limx→−∞
F (x) = 0, limx→∞
F (x) = 1
xn ∞
limx→∞
F (x) = limn→∞
F (xn) = P
(⋃n
(−∞, xn]
)
= P ((−∞,∞)) = 1
33
xn ∞
limx→−∞
F (x) = limn→∞
F (xn) = P
(⋂n
(−∞, xn]
)
= P (∅) = 0.
W3. F jest prawostronnie ciągła
xn x0
limx→x+
0
F (x) = limn→∞
F (xn) = P
(⋂n
(−∞, xn]
)
= P ((−∞, x0])
= F (x0),
34
Twierdzenie 8. Każda funkcja F : R→ [0, 1] o wła-snościach 1–3 jest dystrybuantą pewnej zmiennej loso-wej.
Dowód.
F−1(u) := infx : F (x) ≥ u dla 0 < u < 1
F−1(u) ≤ x ⇔ u ≤ F (x)
Niech U oznacza zmienną losową o rozkładzie równo-miernym na zbiorze (0, 1):
FU (u) = P (U ≤ u) = u
Niech X = F−1(U).
FX(x) = P (X ≤ x) = P (F−1(U) ≤ x)
= P (U ≤ F (x)) = F (x)
¥
35
Własności dystrybuanty, ciąg dalszy
oznaczmy F (a+) := limx→a+
F (x)
(?)(i) P (a < X ≤ b) = F (b)− F (a)
(ii) P (X = a) = F (a)− F (a−)
(iii) P (a ≤ X ≤ b) = F (b)− F (a−)
(iv) P (a < X < b) = F (b−)− F (a)
a bF (a)
F (b)
P (a < X ≤ b)
..............................................................................
...............................
......................................................................................................................................
....................................
...............................................................
............. ............. ............. ............. ............. ............. ............. ............. .............
............. ............. ............. ............. ............. ............. ............. ............. .............
........
.........................................................................
...............
...............
...............
...............
...............
...............
...............
........
•
36
Zmienne losowe typu skokowego
Definicja. Mówimy, że zmienna losowa jest typu sko-kowego (dyskretna), jeżeli istnieje zbiór skończony lubprzeliczalny X ⊂ R taki, że
PX(X ) = 1
Przykłady zmiennych losowychtypu skokowego:
• rozkład dwumianowy
• rozkład Poissona
• rozkład ujemny dwumianowy
• rozkład wielomianowy
37
Rozkład dwumianowy
Powtarzające się i niezależne próby nazywamy pró-bami Bernoulliego, jeżeli każda próba ma tylko dwamożliwe wyniki: „sukces” z prawdopodobieństwem poraz „porażka” z prawdopodobieństwem q
Niech X oznacza ilość sukcesów osiągniętych w ciągun prób Bernoulliego.
Zmienna losowa X ma następujący rozkład prawdopo-dobieństwa:
P (X = k) =(n
k
)pkqn−k,
gdzie p ∈ (0, 1) oraz k = 0, 1, . . . , n.
O zmiennej losowej X mówimy, że ma rozkład dwu-mianowy (X ∼ B(n, p)).
38
Przykład. Dziesięciu robotników używa z przerwamienergię elektryczną. Jakiego należy oczekiwać obciąże-nia, jeżeli
1. W każdej danej chwili każdy robotnik ma to samoprawdopodobieństwo p zapotrzebowania na jed-nostkę energii.
2. Robotnicy pracują niezależnie od siebie.3. Przeciętnie jeden robotnik używa dostarczanej
energii w ciągu 12 minut na godzinę.
Niech X oznacza liczbę robotników, którzy potrzebująenergii w tym samym czasie.
X ∼ B(10, 1/5).
Wówczas, jeżeli dopływ energii jest ustalony na pozio-mie sześciu jednostek, to przeciążenie ma szanse:
P (X > 7) = 0.0008643584
(?) W ciągu 20 godzin powinno trwać łącznie przezokoło minutę.
¥
39
Rozkład Poissona
Zmienna losowa X ma rozkład Poissona z parametremλ > 0 (X ∼ P0(λ)), jeżeli:
P (X = k) =e−λλk
k!, k = 0, 1, . . .
Rozkład Poissona a rozkład dwumianowy.
Załóżmy, że liczba doświadczeń n w poszczególnychseriach schematu Bernoulliego wzrasta dążąc do nie-skończoności a prawdopodobieństwo p dąży do zeratak, że iloczyn np jest wielkością stałą równą λ > 0.Wtedy zachodzi
limn→∞
(n
k
)pk(1− p)n−k =
e−λλk
k!.
Wynika to z rozpisania:(nk
)pk(1− p)n−k =
=1k!
(n− k + 1)(n− k + 2) . . . n(λ
n
)k (1− λ
n
)n−k
=λk
k!
(1− k − 1
n
)(1− k − 2
n
). . .
. . .
(1− 1
n
)1(
1− λ
n
)n−k
40
Przykład. Jakie jest prawdopodobieństwo pk, żewśród 500 ludzi dokładnie k będzie miało urodziny wdniu Nowego Roku?
Jeżeli 500 ludzi zostało wybranych losowo, to możemyzastosować schemat 500 prób Bernoulliego z prawdo-podobieństwem sukcesu 1/365. Wówczas
p0 = (364/365)500 = 0.2537 . . .
Dla przybliżenia Poissona bierzemy
λ = 500/365 = 1.3699 . . .
Wtedy
p0 ≈ e−1.36991.36990
0!≈ 0.2541
¥
41
Ujemny rozkład dwumianowy.
Prowadzimy doświadczenia według schematu Berno-ulliego do momentu pojawienia się r−tego sukcesu.Niech X oznacza liczbę porażek poprzedzających r−tysukces.
P (X = k)=(r + k − 1
k
)pr−1qk · p =
(r + k − 1
k
)prqk
gdzie q = 1− p, k = 0, 1, . . .
O zmiennej losowej X mówimy, że ma ujemny rozkładdwumianowy (X ∼ f(r, p)). Zakładamy, że r > 0 oraz0 < p < 1.
Uwaga. Możemy przyjąć, że r > 0 nie musi być liczbącałkowitą. Wtedy przyjmujemy następującą definicjęsymbolu Newtona (dla a ∈ R oraz k > 0)
(a
k
):=
a(a− 1)(a− 2) . . . (a− (k − 1))k!
, k ∈ N
1 , k = 0
0 , k /∈ Z
42
Przykład. Zadanie Banacha o pudełkach zapałek.Mamy dwa pudełka zapałek – jedno w prawej kieszenii jedno w lewej. Kiedy potrzebujemy zapałkę, wybie-ramy jedną z kieszeni losowo. Przypuśćmy, że począt-kowo każde z pudełek zawiera N zapałek. Ile wynosiprawdopodobieństwo, że gdy wyciągniemy puste pu-dełko, w drugim będzie dokładnie m zapałek.
X – liczba wyciągnięć pudełka z prawej kieszeni domomentu aż w drugim pudełku będzie m zapa-łek
Y – . . . z lewej kieszeni . . .
X ∼ f(N −m, 0.5), Y ∼ f(N −m, 0.5)
Poszukiwane prawdopodobieństwo wynosi
P (X = N + 1 ∪ Y = N + 1) =
= P (X = N + 1) + P (Y = N + 1)
¥
43
Rozkład wielomianowy
uogólnienie rozkładu dwumianowego
Wykonujemy serię n niezależnych prób. Każda próbamoże mieć jeden z kilku wyników, np. E1, E2, . . . , Er.
Prawdopodobieństwo realizacji Ei w każdej próbie wy-nosi pi, i = 1, 2, . . . , r.
Prawdopodobieństwo, że w n próbach E1 występujek1 razy, E2 występuje k2 razy itd. wynosi
n!k1!k2! . . . kr!
pk11 p
k22 . . . pkrr
44
Zmienne losowe typu ciągłego
Definicja. Mówimy, że zmienna losowa o dystrybu-ancie F jest typu ciągłego, jeżeli istnieje taka funkcjaf ≥ 0, że dla każdego x zachodzi równość
F (x) =
x∫
−∞f(u) du
Funkcję f nazywamy gęstością prawdopodobieństwazmiennej losowej X lub w skrócie gęstością
Uwagi
(1) W punktach, w których f jest ciągła zachodzi
d
dxF (x) = f(x)
(2)∫∞−∞ f(x) dx = 1
(3) Każda funkcja f nieujemna i spełniająca (2)wyznacza dystrybuantę F za pomocą wzoru
F (x) =
x∫
−∞f(u) du
45
Przykład. Sprawdzić, czy funkcja f określona wzo-rem
f(x) =
0 dla x < 0
e−x dla x ≥ 0
jest gęstością.
∞∫
−∞f(x) dx =
∞∫
0
e−x dx =[−e−x]∞0 = 1
¥
Przykłady zmiennych losowych ciągłych:
• rozkład normalny N(µ, σ2)
• rozkład jednostajny U(a, b)
• rozkład gamma G(b, p)
• rozkład beta B(p, q)
• rozkład Cauchyego C(µ, λ)
46
N(µ, σ2), σ > 0
f(x) =1
σ√
2πexp
[−(x− µ)2
2σ2
]
U(a, b), a < b
f(x) =
1b− a, x ∈ [a, b],
0, x /∈ [a, b]
G(b, p), b > 0, p > 0
f(x) =
bp
Γ(p)xp−1e−bx, x > 0
0, x ≤ 0
gdzie
Γ(p) =
∞∫
0
xp−1e−x dx
47
B(p, q), b > 0, p > 0
f(x) =
1B(p, q)
xp−1(1− x)q−1, x ∈ (0, 1)
0, x /∈ (0, 1)
gdzie
B(p, q) =
1∫
0
xp−1(1− x)q−1 dx
a także
B(p, q) =Γ(p)Γ(q)Γ(p+ q)
C(µ, λ), λ > 0
f(x) =1π
λ
λ2 + (x− µ)2
48
Przykład. Sprawdzimy, że rozkład N(µ, σ2) jest rze-czywiście rozkładem prawdopodobieństwa:
∞∫
−∞
1
σ√
2πexp
[−(x− µ)2
2σ2
]dx =
podstawienie: y = (x− µ)/σ
=1√2π
∞∫
−∞exp
(− y2
2
)dy =
Należy zatem sprawdzić, że ostatnia całka równa jest√2π. Ponadto zauważmy, że przy okazji otrzymaliśmy
następujący fakt
X ∼ N(µ, σ2)⇒ X − µσ
∼ N(0, 1)
49
∞∫
−∞exp
(− y2
2
)dy
2
=
=
∞∫
−∞exp
(− x2
2
)dx ·
∞∫
−∞exp
(− y2
2
)dy =
=
∞∫
−∞
∞∫
−∞exp
(−x
2 + y2
2
)dx dy =
przejście na współrzędne biegunowe:
ϕ(r, t) = (r cos t, r sin t)
Jϕ(r, t) =∣∣∣∣cos(t) −r sin(t)sin(t) r cos(t)
∣∣∣∣ = r
=
∞∫
0
2π∫
0
exp(−r
2
2
)r dr dt = 2π
∞∫
0
exp(−r
2
2
)r dr =
= 2π[− exp
−r2
2
]∞
0= 2π
¥
50
Funkcje zmiennej losowej
Przykład. Niech Y = aX+b, gdzie a 6= 0 oraz X jestzmienną losową o rozkładzie
P (X = 0) = 1/4, P (X = 1) = 3/4.
Chcemy znaleźć rozkład zmiennej losowej Y .
P (X = 0) = P (Y = b) = 1/4
P (X = 1) = P (Y = a+ b) = 3/4
¥
Przykład. Niech X będzie zmienną losową typu cią-głego o gęstości fX , dystrybuancie FX oraz niech Y =aX + b, a < 0. Chcemy znaleźć rozkład Y
FY (y) = P (Y ≤ y) = P (X ≥ y − ba
) =
= 1− P(X <
y − ba
)= 1− FX
(y − ba
)
Zatem fY (y) =d
dyFY (y) = −1
afX
(y − ba
)¥
51
Przykład. Niech X oznacza zmienną losową ciągłąo dystrybuancie FX oraz gęstości fX . Niech fX jestfunkcją ciągłą, a g funkcją ściśle monotoniczną orazniech h = g−1. Wtedy dystrybuantą zmiennej losowejY = g(X) jest:
(dla g - rosnącej)
FY (y) = P (Y ≤ y) = P (g(X) ≤ y)
= P (X ≤ h(y)) = FX(h(y))
Jeżeli h jest funkcją różniczkowalną, to
d
dyFY (y) = fX(h(y))h′(y)
jest gęstością zmiennej losowej Y = g(X)
(dla g - malejącej)
FY (y) = P (Y ≤ y) = P (g(X) ≤ y)
= P (X ≥ h(y)) = 1− FX(h(y))
Jeżeli h jest funkcją różniczkowalną, to
d
dyFY (y) = fX(h(y))(−h′(y))
jest gęstością zmiennej losowej Y = g(X)
52
Zatem w obu przypadkach
fY (y) = fX(h(y))|h′(y)|
¥
Przykład. Niech X – nieujemna zmienna losowa typuciągłego oraz Y =
√X. Zatem h(y) = y2 oraz
fY (y) = 2y · fX(y2) · I(0,∞)(y)
Uwaga. IA(x) =
1, x ∈ A0, x /∈ A ¥
Przykład. Niech X – zmienna losowa typu ciągłegooraz Y = X2.
FY (y) = P (X2 ≤ y) = P (−√y ≤ X ≤ √y) =
= P (X ≤ √y)− P (X ≤ −√y)
= FX(√y)− FX(−√y)
fY (y) =d
dyFY (y) =
d
dy(FX(
√y)− F (−√y)) =
=1
2√y
(fX(√y) + fX(−√y))
¥
53
Twierdzenie 9.
Niech X będzie zmienną losową typu ciągłego. Niechg będzie funkcją określoną na zbiorze
n⋃
k=1
[ak, bk],
która na każdym przedziale otwartym (ak, bk) jestfunkcją ściśle monotoniczną oraz ma ciągłą pochodnąg(x)′ 6= 0. Niech hk(y) będzie funkcją odwrotną dofunkcji g(x) na przedziale
Ik = g((ak, bk)) = y : x ∈ (ak, bk), g(x) = y.
Wówczas funkcja gęstości zmiennej losowej Y = g(X)ma następującą postać
fY (y) =n∑
k=1
fX(hk(y)) · |h′(y)| · IIk(y)
Przykład. X− ciągła, Y = X2. Wtedy g(x) = x2,h1(y) = −√y, h2(y) =
√y, I1 = I2 = (0,∞). ¥
54
Dowód. Niech A ∈ B(R)
P (Y ∈ A) = P (g(X) ∈ A) = P (X ∈ g−1(A))
=n∑
k=1
P (X ∈ (ak, bk) ∩ g−1(A))
=n∑
k=1
P (X ∈ g−1(Ik) ∩ g−1(A))
=n∑
k=1
P (X ∈ g−1(Ik ∩A))
=n∑
k=1
P (X ∈ hk(Ik ∩A))
=n∑
k=1
∫
hk(Ik∩A)
fX(x) dx
=n∑
k=1
∫
Ik∩A
fX(hk(y)) · |h′k(y)| dy
=∫
A
n∑
k=1
fX(hk(y)) · |h′k(y)| · IIk dy
Pytanie: Czy coś by się zmieniło, gdyby n =∞? ¥
55
Wektory losowe
Definicja. Wektor losowy X = (X1, . . . , Xn) to od-wzorowanie
X : Ω→ X ⊆ Rn
o własności:
ω ∈ Ω : X1(ω) ≤ x1, . . . , Xn(ω) ≤ xn ∈ F
dla dowolnego (x1, x2, . . . , xn) ∈ Rn
X – zbiór wartości wektora losowego
Często
X = 0, 1, . . . n, X = [0,∞)n, X = [a, b]n, X = Rn
Definicja. Rozkładem prawdopodobieństwa wektoralosowego X nazywamy rozkład prawdopodobieństwaPX określony wzorem
PX(A) = P (ω ∈ Ω : X(ω) ∈ A) dla A ∈ B(X )
56
Definicja. Trójkę (X ,B(X ), PX) nazywamy modelemprobabilistycznym.
Definicja. Funkcja FX : Rn → [0, 1] postaci
FX(x1, . . . , xn) = P (X1 ≤ x1, . . . , Xn ≤ xn)
nazywamy dystrybuantą wektora losowego X
Definicja. Wektor losowy jest typu skokowego, jeżeliistnieje zbiór przeliczalny X ⊂ Rn, taki że PX(X ) = 1
Definicja. Wektor losowy jest typu ciągłego, jeżeli ist-nieje nieujemna funkcja fX(x1, x2, . . . , xn), zwanagęstością, taka że dla każdego x = (x1, x2, . . . , xn) ∈Rn
FX(x) =
x1∫
−∞· · ·
x2∫
−∞fX(u1, . . . , un) du1 . . . dun
57
Uwagi
Prawie wszędzie ma miejsce równość
∂FX(x1, . . . , xn)∂x1, . . . , ∂xn
= fX(x1, . . . , xn)
Dla dowolnego A ∈ B(Rn) zachodzi∫
A
fX(x) dx
Zauważmy, że
P (X1 ∈ A) = P (X1 ∈ A,X2 ∈ R, . . . , Xn ∈ R)
=∫
A
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx1 . . . dxn
=∫
A
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx2 . . . dxn
dx1
Zatem
fX1(x1) =
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx2 . . . dxn
Jest to tzw. brzegowa gęstość prawdopodobieństwa.
58
Dla rozkładów brzegowych wielowymiarowych mamy:
f(X1,X2)(x1, x2) =
=
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx3 . . . dxn
f(X1,X2,X3)(x1, x2, x3) =
=
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx4 . . . dxn
itd.
Podobnie postępuje się przy rozkładach skokowych:
Przykład. Niech wektor losowy (X,Y ) ma rozkładokreślony liczbami
pik = P (X = xi, Y = yk), gdzie i ∈ I, k ∈ K.
Wówczas rozkład zmiennej losowej X określają liczby
pi = P (X = xi) =∑
k∈Kpik, gdzie i ∈ I
¥
59
Przykład.
Niech (X,Y ) ma rozkład równomierny
na Ω = [0, 2]× [0, 3]:
fX,Y (x, y) =16IΩ(x, y).
Wówczas
fX(x) =
∞∫
−∞fX,Y (x, y) dy =
16
∞∫
−∞IΩ(x, y) dy =
=16
∞∫
−∞I[0,2](x) · I[0,3](y) dy =
=16I[0,2](x)
∞∫
−∞I[0,3](y) =
12I[0,2](x)
¥
60
Przykład. Niech (X1, X2) ma dwuwymiarowy roz-kład normalny, tzn:
fX1,X2(x1, x2) =1
2πσ1σ2(1− %2)12·
· exp
− 1
2(1− %2)
[(x1 − µ1
σ1
)2
+
+(x2 − µ2
σ2
)2
− 2%(x1 − µ1)(x2 − µ2)
σ1σ2
]
gdzie σ1, σ2 > 0 oraz % ∈ (−1, 1)
Rozpisujemy wyrażenie w nawiasie kwadratowym:
(x1 − µ1
σ1
)2
+(x2 − µ2
σ2
)2
− 2%(x1 − µ1)(x2 − µ2)
σ1σ2=
=(x1 − µ1
σ1
)2
+(x2 − µ2
σ2
)2
+ %2 (x2 − µ2)2
σ22
− %2 (x2 − µ2)2
σ22
− 2%(x1 − µ1)(x2 − µ2)
σ1σ2=
61
=(x1 − µ1
σ1− %x2 − µ2
σ2
)2
+ (1− %2)(x2 − µ2)2
σ22
=
=1σ2
1
(x1 − µ1 − %σ1
σ2(x2 − µ2)
)2
+ (1− %2)(x2 − µ2)2
σ22
Zatem wyrażenie w nawiasie klamrowym ma postać:
h(x1,x2)︷ ︸︸ ︷− 1
2(1− %2)σ21
(x1 − µ1 − %σ1
σ2(x2 − µ2)
)2
−
− 12σ2
2(x2 − µ2)2
Zatem
fX1,X2(x1, x2) =1
2πσ1σ2(1− %2)12·
· exph(x1, x2)− 1
2σ22
(x2 − µ2)2
62
Zauważmy, że
g(x1) :=1√
2π(1− %2)σ1exp(h(x1, x2))
jest gęstością rozkładu
N
(µ1 + %
σ1
σ2(x2 − µ2), (1− %2)σ2
1
)
Zatem
fX2(x2) =
∞∫
−∞fX1,X2(x1, x2) dx1 =
=1√
2πσ2exp
1
2σ22
(x2 − µ2)2 ∞∫
−∞g(x1) dx1
︸ ︷︷ ︸=1
Wniosek: Rozkład brzegowy dwuwymiarowego rozkła-du normalnego jest jednowymiarowym rozkładem nor-malnym ¥
63
Niezależność zmiennych losowych
Definicja. Niech (Ω,F , P ) będzie przestrzenią proba-bilistyczną, a X1, X2, . . . , Xn będą zmiennymi lo-sowymi określonymi na tej przestrzeni. Mówimy, żete zmienne losowe są niezależne, jeżeli dla dowolnychzbiorów borelowskich A1, A2, . . . , An zachodzi:
P (X1 ∈ A1, . . . Xn,∈ An) =
= P (X1 ∈ A1) . . . P (Xn ∈ An)
Definicja. Mówimy, że zmienne losowe X1, X2, . . .są niezależne, jeżeli każdy skończony podciąg ciąguX1, X2, . . . składa się z niezależnych zmiennych lo-sowych
Twierdzenie 10.Dla zmiennych losowych X1, X2, . . . , Xn następującewarunki są równoważne
(i) zmienne losowe są niezależne
(ii) dla x = (x1, x2, . . . , xn) ∈ Rn
FX(x) = FX1(x1) . . . FXn(xn)
64
Twierdzenie 11. Jeżeli X = (X1, X2, . . . , Xn) jestwektorem losowym typu skokowego to warunkiem ko-niecznym i wystarczającym niezależności zmiennychlosowych X1, X2, . . . , Xn jest:
P (X1 = x1, . . . , Xn = xn) =
= P1(X1 = x1) . . . Pn(Xn = xn),
dla każdego (x1, . . . , xn) ∈ Rn, gdzie Pk oznacza brze-gowy rozkład prawdopodobieństwa zmiennej losowejXk (k = 1, 2, . . . , n).
Twierdzenie 12. Jeżeli X = (X1, X2, . . . , Xn) jestwektorem losowym typu ciągłego o gęstości fX , to wa-runkiem koniecznym i wystarczającym niezależnościzmiennych losowych X1, X2, . . . , Xn jest:
fX(x) = fX1(x1) . . . fXn(xn),
dla każdego x = (x1, . . . , xn) ∈ Rn, gdzie fXk jestgęstością rozkładu brzegowego zmiennej losowej Xk
(k = 1, . . . , n )
65
Przykład. Niech X1, X2 ma łączny rozkład normalny.Chcemy znaleźć warunek konieczny i wystarczającyna niezależność zmiennych X1 oraz X2. Z twierdzeniamamy, że powinno zachodzić
fX1,X2(x1, x2) = fX1(x1)fX2(x2)
Ponieważ
fX1,X2(x1, x2) =1
2πσ1σ2(1− %2)12·
· exp
− 1
2(1− %2)
[(x1 − µ1
σ1
)2
+
+(x2 − µ2
σ2
)2
− 2%(x1 − µ1)(x2 − µ2)
σ1σ2
]
oraz
fX1(x1) =1
σ1√
2πexp
[−(x1 − µ1)2
2σ21
]
fX2(x2) =1
σ2√
2πexp
[−(x2 − µ2)2
2σ22
]
zauważamy, że warunkiem tym jest % = 0 ¥
66
Przykład. Niech Xi ∼ N(µi, σ2i ), i = 1, 2, · · · , n.
Wówczas
n∏
i=1
fXi(xi) =
=1
n∏i=1
(σi√
2π)exp
[−1
2
n∑
i=1
(xi − µi)2
σ2i
]=
=1√
(2π)n|Σ| exp[−1
2(x− µ)Σ−1(x− µ)′
],
gdzie x = (x1, x2, . . . , xn), µ = (µ1, µ2, . . . , µn)oraz
Σ =
σ2
1 0. . .
0 σ2n
Wniosek: Jeżeli X = (X1, X2, . . . , Xn) ∼ Nn(µ,Σ),to warunkiem koniecznym i dostatecznym niezależno-ści zmiennych losowych Xi, i = 1, 2, . . . , n jest to, abymacierz Σ była diagonalna. ¥
67
Twierdzenie 13.
(a) Jeżeli zmienne losowe X1, X2, . . . , Xn są nie-zależne oraz g1, g2, . . . , gn są funkcjami bore-lowskimi, to zmienne losowe
Y1 = g1(X1), . . . , Yn = gn(Xn)
są również niezależne.
(b) Jeżeli X1, . . . , Xm, Y1, . . . , Yn są niezależnymizmiennymi losowymi oraz
f : Rm → R i g : Rn → R
są funkcjami borelowskimi, to
U = f(X1, . . . , Xm) i V = g(Y1, . . . , Yn)
są niezależnymi zmiennymi losowymi, a także
U, Y1, . . . , Yn
są niezależnymi zmiennymi losowymi.
68
Przykład. Niech Xi ∼ N(0, 1), i = 1, 2 będą zmien-nymi niezależnymi.
Chcemy znaleźć rozkład zmiennej losowej X21 +X2
2 .
Ponieważ zmienne X1, X2 są niezależne, to zmienneY1 = X2
1 , Y2 = X22 też są niezależne. Zatem
fY1,Y2(y1, y2) = fY1(y1)fY2(y2)
Ponieważ
fYi(yi) =1
2√yi
(fXi(√yi) + fXi(−
√yi)) I(0,∞)(yi)
oraz
fXi(xi) =1
σ√
2πexp
[−x2i
2
]
mamy
fYi(yi) =1√
2πyiexp
[−yi
2
]I(0,∞)(yi)
69
Niech Z = X21 +X2
2 = Y1 + Y2.
FZ(z) = P (Y1 + Y2 ≤ z) =∫
Y1+Y2≤z
fY1,Y2(y1, y2) dy1dy2 =
=
∞∫
−∞
z−y2∫
−∞fY1,Y2(y1, y2) dy1
dy2 =
=
∞∫
−∞
z−y2∫
−∞fY1(y1) dy1
fY2(y2)dy2 =
=
∞∫
−∞
z∫
−∞fY1(y1 − y2) dy1
fY2(y2)dy2 =
=
z∫
−∞
∞∫
−∞fY1(y1 − y2)fY2(y2) dy2
dy1
Zmiana oznaczeń dla funkcji w nawiasach:
z := y1, x := y2
Zatem fZ(z) =∞∫−∞
fY1(z − x)fY2(x) dx
70
Robimy odpowiednie podstawienie i otrzymujemy
dla z > 0:
fZ(z) =1
2π
z∫
0
1√(z − x)x
exp[−z − x+ x
2
]dx =
=1
2πexp
[−z
2
] z∫
0
1√(z − x)x
dx =
podstawienie t := x/z
=1
2πexp
[−z
2
] 1∫
0
t−12 (1− t)− 1
2 dt =
=1
2πexp
[−z
2
]B(1/2, 1/2) =
=1
2πexp
[−z
2
] Γ( 12 )Γ(1
2 )
Γ( 12 + 1
2 )=
=12
exp[−z
2
]
ZatemfZ(z) =
12
exp[−z
2
]I(0,∞)(z)
71
Można pokazać przez indukcję ze względu na n, żezmienna losowa Z = X2
1 + . . . + X2n ma rozkład o gę-
stości
fZ(z) =1
2n/2Γ(n/2)zn/2−1e−z/2I(0,∞)(z)
Jest to tzw. rozkład chi-kwadrat o n stopniach swo-body. Symbolicznie piszemy
X21 + . . .+X2
n ∼ χ2(n)
Fakt.m∑i=1
λiX2i ∼ χ2(n), X2
i ∼ χ2(1) ⇒ m = n, λi = 1¥
72
Parametry rozkładówWartość oczekiwaną (wartość przeciętna, nadzieję ma-tematyczną) zmiennej losowejX oznaczamy symbolemE(X) i określamy w następujący sposób:
Dla zmiennej losowej skokowej
Jeżeli X jest zmienną losową typu skokowego, X =x1, x2, . . . , przy czym szereg
∑
k
|xk|P (X = xk)
jest zbieżny, to
E(X) =∑
k
xkP (X = xk)
Dla zmiennej losowej ciągłej
Jeżeli X jest zmienną losową typu ciągłego o gęstościf i zbieżna jest całka∫
R
|x|f(x) dx,
to
E(X) =∫
R
x f(x) dx
Ogólnie: E(X) =∫
ΩX(ω)dP (ω)
73
Przykład. Niech X = 0, 1, P (X = 0) = q,P (X = 1) = p = 1− q. Wówczas
E(X) = 0 · q + 1 · p = p
¥
Przykład. Niech X ∼ B(n, p). Wówczas
E(X) =n∑
k=0
k
(n
k
)pkqn−k =
=n∑
k=1
kn!
k!(n− k)!pk−1qn−k =
= npn∑
k=1
(n− 1)!(k − 1)!(n− k)!
pk−1qn−k =
= np (p+ q)n−1 = np
¥
Przykład. Niech X ∼ Po(λ). Wówczas
E(X) =∞∑
k=0
k · λk
k!e−λ = λe−λ ·
∞∑
k=1
λk−1
(k − 1)!=
= λe−λ∞∑r=0
λr
r!= λe−λeλ = λ
¥
74
Przykład. Niech X ∼ N(µ, σ2). Wówczas
E(X) =1
σ√
2π
∞∫
−∞x exp
[−(x− µ)2
2σ2
]dx
Stosujemy podstawienie z =x− µσ
i otrzymujemy
E(X) =1√2π
∞∫
−∞(µ+ σz)e−
z22 dz =
=µ√2π
∞∫
−∞e−
z22 dz +
σ√2π
∞∫
−∞ze−
z22 dz =
=µ√2π·√
2π +σ√2π· 0 = µ
¥
Przykład. Niech X ∼ C(0, 1). Wówczas
∞∫
−∞
|x|π(1 + x2)
dx = 2 limA→∞
A∫
0
x
π(1 + x2)dx =
= 2 limA→∞
12π
ln(1 +A2) =∞Wniosek: Dla rozkładu Cauchy’ego wartość oczeki-wana nie istnieje. ¥
75
Własności wartości oczekiwanej
Jeżeli E(X) <∞, E(Y ) <∞, to
(i) E(X + Y ) = E(X) + E(Y )
(ii) E(aX + b) = aE(X) + b, dla a, b ∈ R
(iii) Jeżeli X ≥ 0, to E(X) =∞∫0P (X > t) dt
(iv) Jeżeli X oraz Y są niezależne, to
E(XY ) = E(X)E(Y )
Przykład. Niech Xi, i = 1, 2, . . . n, ma rozkład dwu-punktowy:
P (Xi = 0) = q, P (Xi = 1) = p
Jeżeli zdarzenia Ai = Xi = 1 są niezależne, to
X =n∑
k=1
Xi ∼ B(n, p)
Zatem
E(X) =n∑
k=1
E(Xk) =n∑
k=1
p = np
¥
76
Twierdzenie 14. Jeżeli funkcja ϕ jest borelowska, to
(i) Dla X z rozkładu skokowego
E(ϕ(X)) =∑
k
ϕ(xk)P (X = xk)
(ii) Dla X z rozkładu ciągłego o gęstości f(x)
E(ϕ(X)) =∫
R
ϕ(x)f(x) dx
Przykład. Znaleźć wartość oczekiwaną pola prosto-kąta, którego obwód jest równy 10, a jeden bok jestzmienną losową X o rozkładzie U [1, 10].
Pole = X(10−X), fX(x) = 19I[1,10](x)
E(X(10−X)) =
∞∫
−∞x(10− x)fX(x) dx =
=19
10∫
1
x(1− x) dx = 18
¥
77
Problem. Jak możliwie najdokładniej zmierzyć dłu-gości dwóch prętów za pomocą zwykłej miarki, jeśliwolno mierzyć tylko dwa razy?
Propozycje
1. Mierzymy osobno każdy pręt.
2. Mierzymy sumę długości prętów, składając jerazem, a potem – różnicę.
Miernik precyzji pomiaru.
Wynik pomiaru = rzeczywista długość + błąd
X = x+ ε
E(X − x)2 = E(ε)2
ad 1.
Niech Xi oznacza pomiar i – tego pręta, i = 1, 2. Za-tem Xi = xi + εi. Wielkość błędu pomiaru pierwszegopręta wynosi E(ε1)2, a drugiego E(ε2)2. Rozsądnie jestprzyjąć
E(ε1)2 = E(ε2)2 = σ2
78
ad 2.
Niech S oznacza pomiar sumy długości prętów oraz Rróżnicę.
S = x1 + x2 + ε1
R = x1 − x2 + ε2
Jako oszacowanie x1 przyjmujemy
S +R
2= x1 +
ε1 + ε2
2
Jako oszacowanie x2 przyjmujemy
S −R2
= x2 +ε1 − ε2
2
Rozsądnie jest przyjąć, że
E(ε1) = E(ε2) = 0, oraz ε1, ε2 niezależne
Na mocy twierdzenia 19, 20 oraz założeń:
E
(ε1 ± ε2
2
)2
=14E(ε1)2 +
14E(ε2)2 ± 1
2E(ε1)E(ε2)
=14E(ε1)2 +
14E(ε2)2 ± 0 · 0 =
σ2
2
Średni kwadrat błędu jest dwa razy mniejszy niż po-przednio.
79
Zauważmy, że jeżeli E(ε) = 0 to E(X) = x. Zatem
E(X − x)2 = E(X − E(X))2
Definicja. Jeżeli E(X − EX)2 < ∞, to tę liczbę na-zywamy wariancją zmiennej losowej X i oznaczamy:
D2X = E(X − EX)2.
Uwaga.
D2X = E(X − EX)2 = E(X2 − 2X · EX + (EX)2)
= EX2 − (EX)2
Definicja. Pierwiastek z wariancji nazywamy odchy-leniem standardowym i oznaczamy przez DX.
80
Własności wariancji
Jeżeli X jest zmienną losową, dla której EX2 <∞, toistnieje D2X oraz:
(i) D2X ≥ 0
(ii) D2(cX) = c2D2X
(iii) D2(X + a) = D2X
(iv) D2X = 0 wtedy i tylko wtedy, gdy zmiennalosowa X jest z prawdopodobieństwem 1 stała
Uwaga.
E(X − t)2 =E(X − EX + EX − t)2
=E(X − EX)2 + E(X − t)2−− 2E((X −EX)(EX − t))
=E(X − EX)2 + E(X − t)2−− 2E(X − EX) · E(EX − t)≥E(X − EX)2
Zatem funkcja f(t) = E(X − t)2 przyjmuje minimum– równe wariancji – dla t = EX.
81
Przykład. Zagadnienie regresji liniowej. Chcemyzmienną Y w rozsądny sposób przybliżyć przy pomocyfunkcji liniowej zmiennej X. Za kryterium jakości przy-bliżenia przyjmiemy średni kwadrat błędu:
wyznaczyć takie liczby a i b, ażeby E(Y − aX − b))2
była minimalna.
Na podstawie uwagi
b = E(Y − aX) = EY − aEX
Zatem szukamy takiego a, które minimalizuje
E(Y − aX − (EY − aEX)))2 =
= E(Y − EY − a(X − EX))2
= D2Y + a2D2X − 2aE((Y − EY )(X − EX))
Mamy tu funkcję kwadratową względem a. Zatem
a =E((Y − EY )(X − EX))
D2X
82
Oznaczając
%(X,Y ) =E((Y − EY )(X − EX))√
D2X ·D2Ymamy
aX + b = %(X,Y )DY
DX(X − EX) + EY
oraz
mina,b
E(Y − aX − b)2 = (1− %(X,Y )2)D2Y
¥
Definicja. Kowariancją całkowalnych zmiennych loso-wych X,Y , spełniających warunek E|XY | < ∞, na-zywamy wielkość
Cov(X,Y ) = E((Y − EY )(X − EX)).
Definicja. Współczynnikiem korelacji zmiennychX,Y nazywamy wielkość
%(X,Y ) =E((Y − EY )(X − EX))√
D2X ·D2Y.
Uwaga. Z ostatniej równości w przykładzie wynika:(i) −1 ≤ %(X,Y ) ≤ 1
(ii) |%(X,Y )| = 1 wtedy i tylko wtedy, gdy istniejąliczby a 6= 0 oraz b takie, że P (Y = aX+ b) = 1
83
Wariancja sumy zmiennych losowych
Jeżeli każda ze zmiennych losowych X1, X2, . . . , Xn
ma wariancję, to istnieje wariancja sumy i
D2(X1+. . .+Xn) =n∑
i=1
D2Xi+2∑
1≤i<j≤nCov(Xi, Xj)
Definicja. Zmienne losowe X,Y , dla których
Cov(X,Y ) = 0, czyli %(X,Y ) = 0,
nazywamy nieskorelowanymi.
Wniosek. Jeśli zmienne losowe X1, X2, . . . , Xn mająwariancję i są parami nieskorelowane, to
D2(X1 + . . .+Xn) =n∑
i=1
D2Xi
(?) Uwaga. Jeżeli X,Y są niezależne, to są niesko-relowane.
Odwrotny fakt nie zachodzi (chyba, że mamy do czy-nienia z rozkładem normalnym)
84
Przykład. Niech (X1, X2) ma dwuwymiarowy roz-kład normalny. Policzmy Cov(X1, X2). Zgodnie z prze-kształceniami z przykładu na rozkład brzegowy dwy-wymiarowego rozkładu normalnego mamy:
fX1,X2(x1, x2) = fX2(x2) g(x1, x2)︸ ︷︷ ︸g(x1)−prz.
gdzie fX2(x2) jest gęstością rozkładu N(µ2, σ22) oraz
g(x1, x2) traktowana jako funkcja zmiennej x1 z para-metrem x2, jest funkcją gęstości zmiennej
N
(µ1 + %
σ1
σ2(x2 − µ2), (1− %2)σ2
1
)
Zatem
Cov(X1, X2) = E((X1 − µ1)(X2 − µ2)) =
=
∞∫
−∞
∞∫
−∞(x1 − µ1)(x2 − µ2)fX2(x2)g(x1, x2) dx1dx2 =
85
=
∞∫
−∞(x2 − µ2)fX2(x2)·
·∞∫
−∞(x1 − µ1)g(x1, x2) dx1
dx2
Zatem
=
∞∫
−∞(x2 − µ2)fX2(x2)·
·(µ1 + %
σ1
σ2(x2 − µ2)− µ1
))dx2
A zatem
= %σ1
σ2
∞∫
−∞(x2 − µ2)2fX2(x2)dx2 = %
σ1
σ2σ2
2 = %σ1σ2
Stąd %(X,Y ) = %. Zatem X,Y niezależne⇔ X,Y nie-skorelowane. ¥
86
Rozkłady warunkowe
Przykład. Niech (X,Y ) – dwuwymiarowy wektor lo-sowy typu skokowego
X ∈ x1, x2, . . . , Y ∈ y1, y2, . . . Rozkład
pij := P (X = xi, Y = yj)
Prawdopodobieństwa brzegowe
P (X = xi) =∑
k
pik, P (Y = yk) =∑
i
pik
Zachodzi
P (X = xi|Y = yk) ≥ 0,∑
i
P (X = xi|Y = yk) = 1
P (Y = yk|X = xi) ≥ 0,∑
k
P (Y = yk|X = xi) = 1
¥Zatem dla ustalonego yk
P ( · |Y = yk)
jest rozkładem prawdopodobieństwa.
PodobnieP ( · |X = xi)
87
Przykład. Rzut dwiema kostkami.
X – wynik rzutu pierwszą kostkąY – wynik rzutu drugą kostką
U := minX,Y , V := maxX,Y
u \ v 1 2 3 4 5 6 P (U = u)
1 136
136
236
236
236
236
1136
2 0 136
236
236
236
236
936
3 0 0 136
236
236
236
736
4 0 0 0 136
236
236
536
5 0 0 0 0 136
236
336
6 0 0 0 0 0 136
136
P (V = v) 136
336
536
736
936
1136
v 1 2 3 4 5 6 suma
P (V = v|U = 3) 0 0 17
27
27
27 1
E(V |U = 3) =337
F (4|U = 3) =37
¥
88
Przykład. Jaka jest średnia liczba sukcesów w pierw-szej próbie, jeżeli wiemy, ile zaszło sukcesów w całejserii n doświadczeń według schematu Bernoulliego?
Oznaczenia
Sn – łączna liczba sukcesówY – liczba sukcesów w pierwszej próbie
Ak := Sn = k, Bk := Ak ∩ Y = 1
E(Y |Ak) =∑
ω∈AkY (ω)P (ω|Ak) =
=1
P (Ak)
∑
ω∈AkY (ω)P (ω) =
=1
P (Ak)
∑
ω∈BkP (ω) =
P (Bk)P (Ak)
=
=p(n−1k−1
)pk−1q(n−1)−(k−1)
(nk
)pkqn−k
=k
n
Zatem E(Y |Sn) = Snn oraz
E(E(Y |Sn)) = E(Sn/n) =E(Sn)n
=np
n= p = E(Y )
¥
89
Przykład. Niech f(x, y) – gęstość wektora (X,Y ).
Rozkłady brzegowe
dla zmiennej X : f1(x) :=
∞∫
−∞f(x, y) dy
dla zmiennej Y : f2(y) :=
∞∫
−∞f(x, y) dx
Niech P (x < X ≤ x+ h) > 0.
Wtedy
P (Y ≤ y|x < X ≤ x+ h) =
x+h∫x
(y∫−∞
f(x, y) dy
)dx
x+h∫x
f1(x) dx
90
(?) Przy założeniu, że f(x, y) . . . oraz f1(x) . . .
P (Y ≤ y|X = x) : = limh→0+
P (Y ≤ y|x < X ≤ x+ h)
= limh→0+
1h
x+h∫x
(y∫−∞
f(x, y) dy
)dx
1h
x+h∫x
f1(x) dx
=
y∫−∞
f(x, y) dy
f1(x)=
y∫
−∞
f(x, y)f1(x)
dy
Oznaczając
F (y|x) = P (Y ≤ y|X = x), f(y|x) = f(x, y)/f1(x)
mamy
F (y|x) =
y∫
−∞f(y|x) dy
91
Zauważamy, że
f1(x)F (y|x) =
y∫
−∞f(x, y) dy
Po scałkowaniu obu stron
∞∫
−∞f1(x)F (y|x) dx = FY (y)
Przyjmując
E(Y |x) :=
∞∫
−∞yf(y|x) dy
mamy
∞∫
−∞E(Y |x)f1(x) dx =
∫ (∫yf(y|x) dy
)f1(x) dx
=∫ (∫
yf(x, y)f1(x)
dy
)f1(x) dx
92
∫ (∫yf(x, y) dy
)dx =
∫y
(∫f(x, y) dx
)dy =
=
∞∫
−∞yf2(y) dy = E(Y )
Otrzymaliśmy E(E(Y |X)) = E(Y ) ¥
Definicja. Jeżeli (X,Y ) jest wektorem losowym o gę-stości f(x, y) to funkcję
f(y|x) =
f(x,y)f1(x) gdy f1(x) > 0
0 w przeciwnym przypadku
nazywamy gęstością warunkową zmiennej Y dla da-nego X = x.
(?)∞∫−∞
f(y|x) dy = 1
93
Nadal zachodzi E(E(Y |X)) = E(Y )
Ponadto rozumiemy, że
P (Y ∈ B|x) =∫
B
f(y|x) dy– rozkład warunkowy
Przyjmując Z(ω) = IB(Y (ω)) mamy
E(Z) =
∞∫
−∞IB(y)f2(y) dy =
∫
B
f2(y) dy
= P (Y ∈ B)
E(Z|x) =
∞∫
−∞IB(y)f(y|x) dy =
∫
B
f(y|x) dy
= P (Y ∈ B|x)
ZatemE(P (Y ∈ B|X)) = P (Y ∈ B)
94
Dla B = (−∞, y] mamy
dystrybuantę zmiennej Y
FY (y) = P (Y ∈ B)
dystrybuantę zmiennej Y pod warunkiem X = x
F (y|x) = P (Y ∈ B|x)
oraz wzórE(F (y|X)) = FY (y)
Przykład. Z odcinka [0,1] wybrano losowo (zgodnie zrozkładem równomiernym) punk X, a następnie z od-cinka [0, X], również losowo, punkt Y . Jaka jest średniadługość odcinka [0, Y ]?
E(Y |X) =12X
E(Y ) = E(E(Y |X)) = E(12X) =
14
¥
95
Przykład. Owad składa X jajeczek zgodnie z roz-kładem Poissona z parametrem λ, a owad z jajeczkawylęga się z prawdopodobieństwem p, niezależnie odinnych. Znaleźć średnią liczbę potomków.
Niech Y oznacza liczbę potomków owada. Zatem
E(Y |X) = Xp
StądEY = E(E(Y |X)) = E(Xp) = λp
Ten przykład pokazuje, jak można obliczać wartośćoczekiwaną, korzystając z warunkowej wartości ocze-kiwanej. Właściwy wybór zmiennej losowej X częstobardzo upraszcza rachunki. ¥
96
Uwaga. Skorzystaliśmy ze wzoru EY = E(E(Y |X)),gdy X typu skokowego.
Ja w takim przypadku rozumieć „gęstość łączną”?
Umowa:b∫a
f(x, y) dy = P (X = x, a ≤ Y ≤ b)
Przy takiej umowie możemy zachować bez zmian okre-ślenia „gęstości warunkowych”
f(x|y) =f(x, y)f2(y)
, f(y|x) =f(x, y)f1(x)
gdzie
f1(x) =∫f(x, y) dy, f2(y) =
∑x
f(x, y)
97
Rodzaje zbieżności
Przykład. Niech P -rozkład jednostajny na [0, 1] oraz
Xkn(ω) =
1 dla ω ∈[k
n;k + 1n
);
0 dla ω ∈ Ω \[k
n;k + 1n
)
dla 0 ≤ k ≤ n− 1, n = 1, 2, . . .
P (Xnk = 0) = 1− 1n, P (Xnk = 1) =
1n
P (|Xnk| > ε) =1n−−−→n→∞
0, dla 0 < ε < 1
O ciągu X01, X02,X12, X03, X13, X23, . . . powiemy,że jest zbieżny do zera według prawdopodobieństwa.
Ciąg ten jest rozbieżny w każdym punkcie przedziału.
Na przykład dla ω = 1/2 mamy ciąg: 0, 0, 1, 0, . . . ,który na dowolnie dalekich miejscach ma zera i je-dynki. ¥
98
Definicja. Ciąg zmiennych losowych (Xn)∞n=1 jestzbieżny do zmiennej losowej X:
według prawdopodobieństwa, jeśli
dla każdego ε > 0 limnP (|Xn −X| > ε) = 0,
co oznaczamy XnP−→ X,
prawie na pewno, jeśli
P(ω : lim
nXn(ω) = X(ω)
)= 1
co oznaczamy Xnp.n.−→ X
Xnp.n.−→ X ⇔ P
( ∞⋃
N=1
∞⋂
n=N
|Xn −X| ≤ ε)
= 1⇔
⇔ limN→∞
P
( ∞⋂
n=N
|Xn −X| ≤ ε)
= 1⇔
⇔ limN→∞
P
( ∞⋃
n=N
|Xn −X| > ε)
= 0⇒
⇒ limN→∞
P (|XN −X| > ε) = 0⇔
⇔ XnP−→ X
99
Wniosek. Zbieżność prawie na pewno pociąga zbież-ność według prawdopodobieństwa.
Przykład. Niech Xn ma rozkład P (Xn = an) = 1.Zatem FXn(t) = I[an,∞)(t)
a an
1
.................................................................................................................................
...........................................
•FXn
a
1
....................................................................................................
........................................................................
•FX
Gdy an ↓ a okazuje się, że FXn(a) ≡ 0 6= 1 = FX(a) ¥
100
Przykład. Niech F będzie dowolną dystrybuantą.Zdefiniujmy dystrybuantę Fn(t)=F (t− 1
n ), n=1, 2, . . .Wtedy
Fn(t)→ F (t−).
Zauważmy, że F (t−) = F (t) tylko wtedy, gdy t jestpunktem ciągłości t. ¥
Definicja. Ciąg zmiennych losowych (Xn)∞n=1 jestzbieżny do zmiennej losowej X według dystrybuant,jeśli ciąg dystrybuant (FXn)∞n=1 jest zbieżny do dys-trybuanty FX w każdym punkcie jej ciągłości, co ozna-czamy:
XnD−→ X
Można pokazać
(Xnp.n.→ X)⇒ (Xn
P→ X)⇒ (XnD→ X)
101
Prawa wielkich liczbOznaczmy
Sn = X1+X2+· · ·+Xn, Xn =X1 +X2 + . . .+, Xn
n
Niech X1, X2, . . . będzie ciągiem niezależnych zmien-nych losowych o tym samym rozkładzie, o wartościśredniej µ i wariancji 0 < σ2 < ∞. Wtedy dla każ-dego ε > 0 mamy
Słabe prawo wielkich liczb
limn→∞
P
(∣∣∣∣X1 +X2 + · · ·+Xn
n− µ
∣∣∣∣ < ε
)= 1
XnP−→ µ
Mocne prawo wielkich liczb
P
(limn→∞
X1 +X2 + · · ·+Xn
n= µ
)= 1
Xnp.n.−→ µ
102
Wniosek. Prawdopodobieństwo jest odpowiednikiemteoretycznym częstości.
Faktycznie, jeżeli w wyniku powtórzenia niezależnie nrazy doświadczenia otrzymaliśmy ω1, ω2, . . . , ωn, to
IA(ω1) + IA(ω2) + · · ·+ IA(ωn)n
p.n.−→ EIA = P (A)
Metoda Monte Carlo obliczania całek.
Niech Xi będą niezależnymi zmiennymi losowymi owartościach w (0,1) i o gęstości g. Wtedy z MPWL
Sn =1n
n∑
i=1
f(Xi)g(Xi)
−−−→n→∞
E
[f(X1)g(X1)
]=
=
1∫
0
f(x)g(x)
· g(x) dx =
1∫
0
f(x) dx
W szczególności, gdy Xi ∼ U(0, 1), to
1n
n∑
i=1
f(Xi) −−−→n→∞
1∫
0
f(x) dx
103
Przykład. Obliczanie liczby π przy pomocy kompu-tera: generujemy 50 wartości z rozkładu U(0, 1) (ko-lumna x). Następnie wyliczamy y =
√1− x2. Z ko-
lumny y wyliczamy średnią i mnożymy ją przez cztery.Otrzymujemy wartość 3.155. Jeśli przybliżenia to nienie jest zadowalające, można wygenerować na przy-kład 1000 wartości.
x y x y x y0.382 0.924 0.017 1.000 0.952 0.3070.101 0.995 0.285 0.959 0.053 0.9990.596 0.803 0.343 0.939 0.705 0.7090.899 0.438 0.554 0.833 0.817 0.5770.885 0.466 0.357 0.934 0.973 0.2330.958 0.285 0.372 0.928 0.466 0.8850.014 1.000 0.356 0.935 0.300 0.9540.407 0.913 0.910 0.414 0.750 0.6610.863 0.505 0.466 0.885 0.351 0.9360.139 0.990 0.426 0.905 0.776 0.6310.245 0.970 0.304 0.953 0.074 0.9970.045 0.999 0.976 0.219 0.198 0.9800.032 0.999 0.807 0.591 0.064 0.9980.164 0.986 0.991 0.132 0.358 0.9340.220 0.976 0.256 0.967 0.487 0.8730.511 0.859 0.373 0.928 0.986 0.1670.041 0.999 0.231 0.973
¥
104
Dystrybuanta empiryczna Fn(x)
Powtarzamy pewne doświadczenie niezależnie n razy.W wyniku tego otrzymujemy ciąg
X1, X2, . . . , Xn
niezależnych zmiennych losowych o nieznanej dystry-buancie F .
Chcemy odtworzyć F . W tym celu dla każdego x ∈ Rdefiniujemy
Fn(x)(ω) =1n
n∑
i=1
IXi≤x(ω)
Ponieważ
E[IX1≤x] = P (X1 ≤ x) = F (x),
to z MPWL
Fn(x) =1n
n∑
i=1
IXi≤x −−−→n→∞
F (x)
105
Centralne twierdzenie graniczne
Centralne Twierdzenie GraniczneNiech X1, X2, . . . będą niezależnymi zmiennymi loso-wymi o tym samym rozkładzie, o wartości średniej µ iwariancji 0 < σ2 <∞. Wtedy
supx∈R
∣∣∣∣P(Sn − nµσ√n≤ x
)− Φ(x)
∣∣∣∣ −−−−→n−→∞0
Xn − µσ
√n
D−→ N(0, 1)
Twierdzenie de Moivre – Laplace’aNiech Yn ∼ B(n, p). Wtedy
supx∈R
∣∣∣∣P(Yn − np√
npq≤ x
)− Φ(x)
∣∣∣∣ −−−−→n−→∞0
106
Przykład. Wykonano n = 100 niezależnych rzutówmonetą. Oznaczmy przez Yn liczbę orłów w n rzutach.
Obliczymy P (Yn ≥ 61)
P (Yn ≥ 61) = 1− P (Yn ≤ 60) =
= 1− P(Yn − 100 · 0.5
10 · 0.5 ≤ 60− 100 · 0.510 · 0.5
)=
= 1− P(Yn − 100 · 0.5
10 · 0.5 ≤ 2)≈
≈ 1− Φ(2) ≈ 0.0228
¥
Uwaga. Dość dobre przybliżenie uzyskujemyze wzoru:
P
(a ≤ Yn − np√
npq≤ b)∼ Φ(b+
12h)− Φ(a− 1
2h),
gdzie h =1√npq
107
Szybkość zbieżności w centralnym twierdzeniugranicznym
Twierdzenie Berry–Esseen’aJeżeli X1, X2, . . . są niezależnymi zmiennymi loso-wymi o tym samym rozkładzie oraz E|X1|3 <∞, to
supx∈R
∣∣∣∣P(Sn − nµσ√n≤ x
)− Φ(x)
∣∣∣∣ ≤ CE|X1 − EX1|3
σ3√n
,
gdzie 1/√
2π ≤ C < 0.8.
Dla rozkładu dwumianowego:
supx∈R
∣∣∣∣P(Yn − np√
npq≤ x
)− Φ(x)
∣∣∣∣ ≤ Cp2 + q2
√npq
108
0.0 0.5 1.0p
p2 + q2
√pq
•
• • • • • • • • • • • • • • • • • •
•
Dla p ≈ 1 lub p ≈ 0 przybliżenie rozkładem normal-nym nie musi być zadowalające. Alternatywą jest przy-bliżenie rozkładem Poissona:
Twierdzenie 15. Niech Yn ∼ B(n, p) oraz λ = np.Wtedy dla każdego zbioru M ⊆ N mamy
∣∣∣∣∣P (Yn ∈M)−∑
k∈M
λk
k!e−λ
∣∣∣∣∣ ≤λ2
n
109
Przykład. Prawdopodobieństwo trafienia „szóstki” wToto-Lotku jest równe
1/(
496
)= 1/13983816 ≈ 7.151 · 10−8.
Ilu „szóstek” można się spodziewać w każdym tygo-dniu, jeżeli grający wypełniają kupony całkowicie lo-sowo i niezależnie od siebie, a kuponów jest n = 107.
Liczba „szóstek” ma rozkład dwumianowy, w przy-bliżeniu rozkład Poissona z parametrem λ = np ≈0.7151.
k λk
k! e−λ k λk
k! e−λ
0 0.4891 3 0.02981 0.3498 4 0.00532 0.1251 5 0.0008
Błąd przybliżenia rozkładem Poissona:
λ2/n ≤ 0.5 · 10−7.
¥
110
Twierdzenie Słuckiego
Niech XnD→ X oraz Yn
D→ c, gdzie c jest pewną skoń-czoną stałą. Wówczas:
(i) Xn + YnD→ X + c
(ii) XnYnD→ cX
(iii) Xn/YnD→ X/c
Z twierdzenia Słuckiego wynika, że ciąg zmiennych lo-sowych (Xn)n zbiega według rozkładu do N(µ, σ2),
jeżeli równoważnie ciągXn − µσ
zbiega do rozkładu
N(0, 1).
Asymptotyczna normalność
Mówimy, że ciąg zmiennych (Xn)n jest asymptotycznienormalny o średniej µn i wariancji σ2
n, jeżeli σ2n > 0
dla dostatecznie dużych n oraz
Xn − µnσn
→ N(0, 1).
Zapisujemy to jako: Xn jest AN(µn, σ2n).
111
Asymptotyczna normalność przy przekształa-ceniach
Niech Xn będzie AN(µ, σ2n), σn → 0. Niech g będzie
funkcją różniczkowalną w punkcie x = µ oraz niechg′(µ) 6= 0. Wówczas
g(Xn) jest AN(g(µ), (g′(µ))2σ2n)
Przykład. Niech Xn ma rozkład Poissona o wartościoczekiwanej θn, gdzie θ > 0. Wówczas Xn jest
AN(θn, θn)
(wariancja rozkładu Poissona jest równa wartości śred-niej) lub równoważnie
Xn
njest AN(θ,
θ
n).
Niech g będzie rozwiązaniem równania
dg(θ)dθ
=1/2θ1/2
.
To znaczy g(x) = x1/2. Zatem (Xn/n)1/2 jest
AN(θ1/2, 1/(4n))
lub równoważnie X1/2n jest
AN((θn)1/2, 1/4).
¥
112
Własności rozkładów
Rozkład sumy niezależnych zmiennychlosowych.
Niech X,Y mają rozkłady dyskretne:
∑
x∈XP (X = x) = 1,
∑
y∈YP (Y = y) = 1
Szukamy rozkładu zmiennej losowej Z = X + Y :
P (Z = z) = P (X + Y = z) =
=∑
x∈XP (X = x, Y = z − x) =
=∑
x∈X , z−x∈YP (X = x)P (Y = z − x) =
W przypadku, gdy X = 0, 1, . . . oraz Y = 0, 1, . . . mamy
P (X + Y = r) =r∑
i=0
P (X = i)P (Y = r − i)
113
Przykład. X ∼ B(n1, p), Y ∼ B(n2, p).
P (X + Y = r) =
=r∑
i=0
(n1
i
)pi(1− p)n1−i
(n2
r − i)pr−i(1− p)n1−r+i
= pr(1− p)n1+n2−rr∑
i=0
(n1
i
)(n2
r − i)
=(n1 + n2
r
)pr(1− p)n1+n2−r
Zatem X + Y ∼ B(n1 + n2, p) ¥
Przykład. X ∼ Po(λ1), Y ∼ Po(λ2)
P (X + Y = r) =
=r∑
i=0
λi1i!e−λ1 · λr−i
(r − i)!e−λ2
= e−(λ1+λ2) 1r!
r∑
i=0
(r
i
)λi1λ
r−i2
=(λ1 + λ2)r
r!e−(λ1+λ2)
Zatem X + Y ∼ Po(λ1 + λ2) ¥
114
Niech X,Y mają rozkłady ciągłe:
X ∼ fX(x), Y ∼ fY (y)
Wówczas (porównać – strona 86)
FZ(z) = P (X + Y ≤ z) =∫
X+Y≤z
fX,Y (x, y) dxdy =
=
∞∫
−∞
z−y∫
−∞fX,Y (x, y) dx
dy =
=
∞∫
−∞
z−y∫
−∞fX(x) dx
fY (y)dy =
=
∞∫
−∞
z∫
−∞fX(x− y) dx
fY (y)dy =
=
z∫
−∞
∞∫
−∞fX(x− y)fY (y) dy
dx
Zatem fZ(z) =∞∫−∞
fX(z − y)fY (y) dy
115
Przykład. X ∼ U [0, 1], Y ∼ U [0, 1]
Ponieważ I[0,1](z − y) = I[−1,0](y − z) = I[z−1,z](y),mamy
fX+Y (z) =
∞∫
−∞I[0,1](z − y)I[0,1](y) dy =
=
1∫
0
I[z−1,z](y) dy =
z dla 0 ≤ z ≤ 1,
2− z dla 1 ≤ z ≤ 2
0 dla z /∈ [0, 2]
Jest to rozkład trójkątny ¥
Przykład. Niech X0, X1, . . . , Xn mają rozkład wy-kładniczy:
tzn. o gęstości f(x) = λe−λx dla x > 0
Wtedy X0 +X1 + · · ·+Xn ma rozkład o gęstości
gn(x) = λ(λx)n
n!e−λx dla x > 0
Jest to rozkład gamma G(1, n+ 1)
116
Dowód. n = 0g0(x) = f(x)
n = k, n = k + 1
gk+1(x) =
∞∫
0
f(x− y)gk(y) dy =
=
x∫
0
λe−λ(x−y) · λ (λy)kk!
e−λy dy
=λk+2
k!e−λx
x∫
0
yk dy = λ(λx)k+1
(k + 1)!e−λx
¥
Ponadto można pokazać, że
Gn(x) = 1− e−λx(1 +λx
1!+ · · ·+ (λx)n
n!), x > 0
jest dystrybuantą rozkładu gamma G(λ, n+ 1). ¥
117
Przykład. Proces Poissona
Oznaczmy przez X1, X2, . . . niezależne zmienne losoweo wspólnym rozkładzie wykładniczym oraz przyjmijmy
S0 = 0, Sn = X1 +X2 + . . .+Xn
Niech N(t) oznacza liczbę wskaźników k ≥ 1 takich, żeSk ≤ t. Zdarzenie N(t) = n następuje wtedy i tylkowtedy, gdy
Sn ≤ t, Sn+1 > t.
Ponieważ Sn ma rozkład Gn−1, to
P (N(t) = n) = Gn−1(t)−Gn(t) = e−λt(λt)n
n!.
Interpretacja
X1X2Xn−1Xn
· · ·
Xi – czas oczekiwania na klienta „i + 1” od chwiliprzybycia klienta „i”
N(t) – liczba przybyłych klientów do chwili t
118
Problem. Czy w praktyce Xi może mieć rozkład wy-kładniczy?
Niech T oznacza czas oczekiwania na klienta.
Zakładamy, że prawdopodobieństwo tego, że klient, naktórego czekamy już t jednostek czasu, przybędzie wciągu czasu ∆t jest równe λ∆t+ o(∆t), gdzie
o(∆t) : lim∆t→0
o(∆t)∆t
= 0
(niezależnie od tego, jak długo czekamy).
Zatem
P (T > t+ ∆t) = P (T > t+ ∆t, T > t) =
= P (T > t+ ∆t|T > t)P (T > t) =
= (1− λ∆t− o(∆t))P (T > t)
119
Zatem
P (T > t+ ∆t)− P (T > t)∆t
=
= −λP (T > t)− o(∆t)∆t
P (T > t)
Oznaczając P (t) := P (T > t), dla ∆t→ 0 mamy:
P ′(t) = −λP (t)
Stąd P (t) = ce−λt.
Zatem
FT (t) =
1− P (t) = 1− ce−λt dla t ≥ 0,
0 dla t < 0
Ponieważ musi zachodzić FT (0) = 0, więc c = 1. ZatemT ma rozkład wykładniczy. ¥
120
Przykład. Rozkład wykładniczy a własnośćbraku pamięci. Niech T ma rozkład wykładniczy zparametrem λ. Zauważmy, że
P (T > t+ s|T > t) =P (T > t+ s, T > t)
P (T > t)=
=P (T > t+ s)P (T > t)
=e−λ(t+s)
e−λt=
= e−λs = P (T > s)
Zatem P (T > t+s|T > t) = P (T > s), z czego wynikanastępująca równość
P (T > s+ t) = P (T > s)P (T > t)
Załóżmy teraz, że nie wiemy jaki rozkład ma zmiennaT , ale niech to będzie zmienna losowa ciągła, któraspełnia powyższa równość.Jeżeli u(t) = P (T > t) nie jest tożsamościowo równezeru, to istnieje punkt x taki, że u(x) > 0.Niech α = − lnu(x) i niech v(t) = eαtu(xt). Wówczas
v(t+ s) = v(t)v(s), v(1) = 1
Pokażemy, że v(t) = 1 dla wszystkich t > 0.
121
Zauważmy
v2(12
) = v(1) = 1;
vn(1/n) = v(1) = 1 dla n ∈ N;
v(m/n) = vm(1/n) = 1 dla m,n ∈ N
Zatem v(w) = 1 dla wszystkich w wymiernych dodat-nich. Z ciągłości v wynika, że jest to prawda dla każdejrzeczywistej dodatniej. Zatem
v(t) = eαtu(xt) = 1
Przyjmując y = xt ∈ (0,∞) oraz λ = α/x mamy
P (T > y) = u(y) = e−λy
Zatem zmienna T ma rozkład wykładniczy. Powyższeprzekształcenia pokazały, że rozkład wykładniczy jestjedynym rozkładem ciągłym (nieujemnym) o własno-ści braku pamięci. ¥
122
Przykład. Własność braku pamięci dla rozkła-du dyskretnego.
Skorzystamy z poprzedniego wyniku:
P (T > y) = (eλ)y
Niech k ∈ N oraz 1− p = eλ. Wówczas
P (T = k) = P (T > k − 1)− P (T > k) = (p− 1)k−1p
Otrzymaliśmy rozkład geometryczny, który inter-pretujemy jako liczbę doświadczeń, które należy wyko-nać, by doczekać się sukcesu. Przy czym doświadczeniawykonujemy według schematu Bernoulliego z prawdo-podobieństwem sukcesu p. ¥
123
Parametry wektorów losowych
Wielowymiarowy rozkład normalny
Rozkłady form kwadratowych
Oznaczenia
X = (X1, X2, . . . , Xn)′
x = (x1, x2, . . . , xn)′
µ = (µ1, µ2, . . . , µn)′
Wartość oczekiwana wektora losowego
E(X) = (EX1, EX2, . . . , EXn)′.
Macierz kowariancji wektora losowego
D2(X) = E[(X − EX)(X − EX)′]
= [Cov(Xi, Xj)]i,j=1,... ,n,
o ile D2Xi <∞ dla każdego i = 1, · · · , n
124
Zauważmy
0 ≤ D2
(n∑
i=1
tiXi
)= E
(n∑
i=1
ti(Xi − EXi)
)2
=∑
i,j
titjCov(Xi, Xj)
Zatem macierz kowariancji jest symetryczna i nieujem-nie określona, co na przykład daje
∣∣∣∣D2(Xi) Cov(XiXj)
Cov(XiXj) D2Xj
∣∣∣∣ ≥ 0
a po przekształceniu
|Cov(Xi, Xj)| ≤√D2Xi ·D2Xj
i w konsekwencji |%(Xi, Xj)| ≤ 1
Podstawowe własności
Jeżeli Ajest macierzą p× n, B−macierzą n× n to
E(AX) = AE(X), E(AXB) = AE(X)BD2(AX) = AD2(X)A′
125
Wielowymiarowy rozkład normalny N(µ,Σ)
f(x) =1√
(2π)n|Σ| exp[−1
2(x− µ)′Σ−1(x− µ)
]
Niech X ∼ N(µ,Σ), A – macierz (n× n) nieosobliwaoraz Y = AX.
P (Y ∈ B) = P (X ∈ A−1B) =∫
A−1B
f(x) dx
=∫
B
f(A−1y)∣∣∣ |A−1|
∣∣∣ dy
Łatwo sprawdzić, że g(y) := f(A−1y)∣∣∣ |A−1|
∣∣∣ jest gę-
stością rozkładu N(Aµ, AΣA′)
Niech teraz A1 – macierz (k×n), r(A1) = k. Bierzemymacierz A2 taką, że
A =(A1
A2
)
jest macierzą (n× n) nieosobliwą.
126
Mamy Y = AX =(A1XA2X
)∼ N(Aµ, AΣA′), gdzie
Aµ =(A1µA2µ
)Aµ =
(A1ΣA′1 A1ΣA′2A2ΣA′1 A2ΣA′2
)
Zatem A1X ∼ N(A1µ, A1ΣA′1) o ile zachodzi taki
Fakt. Jeżeli Y ∼ N(µ,Σ), gdzie
Y =[
Y1
Y2
], µ =
[µ1
µ2
], Σ =
(Σ11 Σ12
Σ21 Σ22
)
to Y1 ∼ N(µ1,Σ11) oraz Y2 ∼ N(µ2,Σ22)
Niech f(y1,y2) oznacza gęstość rozkładu N(µ,Σ).Przedstawimy tę funkcję w postaci
f(y1,y2) = g(y1|y2)f2(y2)
127
Przyjmijmy Y1 (m× 1),Y2 (k × 1) oraz oznaczmy
Σ−1 = R =(R11 R12
R21 R22
)
Wtedy (y − µ)′Σ−1(y − µ) = (y − µ)′R(y − µ) =
= (y − µ)′[R11(y1 − µ1) +R12(y2 − µ2)R21(y1 − µ1) +R22(y2 − µ2)
]
= (y1 − µ1)′[R11(y1 − µ1) +R12(y2 − µ2)]++(y2 − µ2)′[R21(y1 − µ1) +R22(y2 − µ2)]
= (y1 −µ1)′R11(y1 −µ1) + (y1 −µ1)′R12(y2 −µ2)++(y2 − µ2)′R22(y2 − µ2) + (y2 − µ2)′R21(y1 − µ1)
(liczba)′ =liczba oraz (ABC)′ = C ′B′A′, R′12 = R12
= (y1−µ1)′R11(y1−µ1) + 2(y1−µ1)′R12(y2−µ2)+
+(y2 − µ2)′R21(y1 − µ1)
128
= y′1R11y1−2y′1R11µ1 +µ′1R11µ1 +2y′1R12(y2−µ2)−−2µ′1R12(y2 − µ2) + (y2 − µ2)′R21(y1 − µ1)
= y′1R11y1− 2y′1(R11µ1−R12(y2−µ2)) + µ′1R11µ1−−2µ′1R12(y2 − µ2) + (y2 − µ2)′R21(y1 − µ1)
=y′1R11y1−2y′1R11(µ1−R−111R12(y2−µ2))+µ′1R11µ1−
−2µ′1R12(y2 − µ2) + (y2 − µ2)′R21(y1 − µ1)
µ?1 := µ1 −R−111 R12(y2 − µ2)
= y′1R11y1 − 2y′1R11µ?1 + µ′1R11µ1−
−2µ′1R12(y2 − µ2) + (y2 − µ2)′R21(y1 − µ1)
(µ?)′R11µ? = µ′1R11µ1 − 2µ′1R12(y2 − µ2)+
+ (y2 − µ2)′R21R−111 R12(y1 − µ1)
129
= y′1R11y1 − 2y′1R11µ?1 + (µ?1)′R11µ
?1+
+(y2 − µ2)′(R22 −R21R−111 R12)(y1 − µ1)
= (y1 − µ?)′R11(y1 − µ?)+
+(y2 − µ2)′(R22 −R21R−111 R12)(y1 − µ1)
Zatem możemy przyjąć
f(y1|y2) =
=1√
(2π)k|R−111 |
exp[−1
2(y1 − µ?)′R11(y1 − µ?)
]
f(y2) =1√
(2π)m|R−111 |−1|Σ|
×
×exp[−1
2(y2 − µ2)′(R22 −R21R
−111 R12)(y1 − µ1)
]
130
(Σ11 Σ12
Σ21 Σ22
)(R11 R12
R21 R22
)=(I OO I
)
Σ11R11 + Σ12R21 = I
Σ21R11 + Σ22R21 = O
⇓Σ11 + Σ12R21R
−111 = R−1
11
−Σ−122 Σ21R11 = R21
⇓Σ11 − Σ12Σ−1
22 Σ21 = R−111
Ponadto
µ?1 = µ1 −R−111 R12(y2 − µ2)
= µ1 −R−111 (−Σ−1
22 Σ21R11)′(y2 − µ2)
= µ1 + Σ−122 Σ21(y2 − µ2)
131
Σ21R12 + Σ22R22 = I
⇓Σ21R12 = I − Σ22R22
Ponieważ
−Σ−122 Σ21R11 = R21
Zatem
−Σ−122 Σ21R12 = R21R
−111 R12
−Σ−122 (I − Σ22R22) = R21R
−111 R12
R22 −R21R−111 R12 = Σ−1
22
Otrzymaliśmy
Y2 ∼ N(µ2,Σ22)
oraz
Y1|Y2 ∼ N(µ1 + Σ−122 Σ21(y2 − µ2),Σ11 − Σ12Σ−1
22 Σ21)
132
Przykład. Niech X ∼ N(µ,Σ), gdzie Σ = (σij).Przyjmijmy A = [1, 0, . . . , 0]. Mamy
X1 = AX ∼ N(µ1, σ11)
AnalogicznieX2 ∼ N(µ2, σ22)
X3 ∼ N(µ3, σ33)
· · · · · ·Xn ∼ N(µn, σnn)
Zatem EX = µ oraz D2Xi = σii
Ponadto dla
eij = [ . . . , 1, . . . , 1, . . . ]
jedynka na i− tym oraz j − ym miejscu,
na pozostałych zera,
mamy eijX ∼ N(µi + µj , eijΣe′ij = σii + σjj + 2σij).
Ponieważ D2(Xi +Xj) = D2Xi +D2j + 2Cov(Xi, Xj),
to Cov(Xi, Xj) = σij .
Stąd D2X = Σ ¥
133
Przykład. Niech X ∼ N(µ, σ2I) oraz niech A będziemacierzą ortogonalną. Wtedy
Y = AX ∼ N(Aµ, Aσ2IA′ = σ2I).
Zatem jeżeli X1, X2, . . . , Xn niezależne o rozkładzieN( · , σ2), to Y1, Y2, . . . , Yn też są niezależne. ¥
Twierdzenie Fishera – Cochrana.
Niech X ∼ N(0, I) oraz Q1, . . . , Qk będą formamikwadratowymi rzędu n1, · · · , nk takimi, że
X ′X = Q1 + . . . , Qk
Wówczas warunkiem koniecznym i dostatecznym nato, by zmienne losowe Qi miały rozkłady χ2(ni) i byłyniezależne, jest
∑ni = n
Dowód. Istnieje Bi =
wi1· · ·wini
(n× ni) taka, że
Qi = ±(wi1X)2 ± · · · ± (winiX)2
134
Ponieważ n =∑ni, to przyjmującB =
B1
· · ·Bnk
mamy
X ′X =∑
Qi = X ′B′∆BX
gdzie
∆ =
±1. . .
±1. . .
Ponieważ X ′X = X ′B′∆BX jest spełniona dla do-wolnych X, mamy
I = B′∆B
Ponieważ n = r(I) = r(B′∆B) ≤ r(B) ≤ n, to Bjest macierzą nieosobliwą. Zatem ∆ = (B−1)′B−1 jestmacierzą dodatnio określoną. W konsekwencji ∆ = Ioraz macierz B jest ortogonalna. Zatem dla Y = BX
Q1 = y21 + . . .+ y2
n1
Q2 = y2n1+1 + . . .+ y2
n1+n2
· · · · · ·są niezależne i mają rozkłady χ2(n1), χ2(n2), . . . .W ten sposób została udowodniona dostateczność wa-runku. Konieczność jest oczywista. ¥
135
Twierdzenie 16. Warunkiem koniecznym i dostatecz-nym na to, aby zmienna losowa X ′AX miała rozkładχ2(ν) jest, by macierz A była idempotenta. Wtedyν = r(A) = tr(A).
Dowód.dostateczność
X ′X = X ′AX + X ′(I −A)X
A2 = A⇔ r(A) + r(I −A) = n
Teza wynika z tw. F–C.
koniecznośćIstnieje macierz ortogonalna C, że przy przekształce-niu X = CY
X ′AX = Y ′C ′ACY = λ1y21 + . . .+ λmy
2m
gdzie λi są niezerowymi wartościami własnymi macie-rzy A.
Ponieważ Yi ∼ χ2(1), więc m = k, λi = 1. ZatemC ′AC jest macierzą diagonalną o elementach 0 lub 1.Zatem A jest idempotentna, bo
C ′AC = C ′ACC ′AC = C ′A2C ⇒ A = A2
¥
136
Twierdzenie 17. Jeżeli X ′X = Q1 +Q2
oraz Q1 ∼ χ2(k), to Q2 ∼ χ2(n− k)
Dowód. Niech Q1 = X ′AX. Wtedy
Q2 = X ′(I −A)X
oraz (I −A)2 = I2 +A2 − IA−AI = I −A. ¥
Twierdzenie 18. Jeżeli Q = Q1 + Q2, Q ∼ χ2(m),Q1 ∼ χ2(k) oraz Q2 ≥ 0, to Q2 ∼ χ2(m− k).
Dowód. Niech Q = X ′AX, Q1 = X ′BX
Q = X ′AX = X ′BX + X ′(A−B)X
Istnieje macierz ortogonalna C, że przy przekształce-niu X = CY
X ′AX = Y ′C ′ACY = Y 21 + . . .+ Y 2
m
X ′BX = Y ′C ′BCY
X ′(I −B)X = Y ′C ′(A−B)CY
Oznaczmy B1 := C ′AC, B2 := C ′(A−B)C. Zatem
Y 21 + Y 2
2 + . . .+ Y 2m = Y ′B1Y + Y ′B2Y
137
Ponieważ Y ′B1Y , Y ′B2Y są nieujemne, każda z formzawiera wyłącznie elementy Y1, . . . , Ym. Z poprzed-niego twierdzenia Q2 ∼ χ2(m− k) ¥
Twierdzenie 19. Niech
X ′A1X ∼ χ2(k), X ′A2X ∼ χ2(m).
Warunkiem koniecznym i dostatecznym na to, aby obiezmienne losowe były niezależne, jest, by
A1A2 = 0
Dowód. Ponieważ
A1(I −A1 −A2) = A2(I −A1 −A2) = 0,
tor(A1) + r(A2) + r(I −A1 −A2) = n
Ale
X ′X = X ′A1X + X ′A2X + X ′(I −A1 −A2)X
Zatem z tw. F – C są niezależne.
138
Jeżeli są niezależne, to X ′(A1 +A2)X ∼ χ2(k +m)
Zatem A1A2 = 0, ponieważ
A1 +A2 = (A1 +A2)2 = A1 +A2 +A1A2 +A2A1
0 = A1A2 +A2A1
A10 = A1A2 +A1A2A1
0A1 = A1A2A1 +A2A1
dodaję stronami
0 = 2A1A2A1
podstawiam A2A1 = −A1A2
0 = −2A1A2
.
¥
139
Twierdzenie 20. Niech
X ′X = X ′A1X + . . .+ X ′AkX.
Każdy z następujących warunków jest warunkiem ko-niecznym i dostatecznym na to, aby zmienne losowe
X ′A1X, . . . ,X ′AkX
były niezależne i aby X ′AiX ∼ χ2(ni), gdzie ni jestrzędem macierzy Ai:
(a) Macierze A1, . . . , Ak są idempotentne,
(b) AiAj = 0 dla wszystkich i 6= j.
Dowód. Ponieważ A2i = Ai, więc tr(Ai) = r(Ai). Ale
I = A1 + . . . Ak,
więctr(I) = n =
∑tr(Ai) =
∑ni
i z tw. F – C wynika konieczność i dostateczność wa-runku (a). Ponieważ
I = I = A1 + . . . Ak oraz AiAj = 0,
więc Ai(I − Ai) = 0, zatem macierze Ai są indempo-tentne. Wynika stąd, że (a)⇔ (b) ¥
140
Twierdzenie 21. Niech X ∼ N(µ,Σ). Warunkiemkoniecznym i dostatecznym na to, aby zmienna losowa
(X − µ)′A(X − µ)
miała rozkład χ2, jest, by
AΣA = A.
Liczba stopni swobody jest wtedy równa tr(AΣ).
Dowód.
X ∼ N(µ,Σ)⇒ (X − µ) ∼ N(0,Σ)⇒Y = B−1(X − µ) ∼ N(0, I)
gdzie Σ = BB′, B nieosobliwa
Zatem
X = µ +BY , Y ∼ N(0, I)
(X − µ)′A(X − µ) = Y ′B′ABY
Zatem
(X − µ)′A(X − µ) ∼ χ2 ⇔ B′AB idempotentna
B′AB ·B′AB = B′AB ⇔ AΣA = A
Ponadto tr(B′AB) = tr(ABB′) = tr(AΣ) ¥
141
Twierdzenie 22. Niech X ∼ N(µ,Σ). Warunkiemkoniecznym i dostatecznym na to, aby zmienne losowe
P ′X oraz (X − µ)′A(X − µ)
były niezależne, jest, by
AΣP = 0
Twierdzenie 23. Niech X ∼ N(µ,Σ). Warunkiemkoniecznym i dostatecznym na to, aby zmienne losowe
(X − µ)′A(X − µ) oraz (X − µ)′B(X − µ)
były niezależne, jest, by
AΣB = 0
142
