Upload
vuongminh
View
238
Download
0
Embed Size (px)
Citation preview
STATYSTYCZNE METODY OPRACOWANIA
POMIARÓW - 2
B. Kamys
Spis tre±ci
1 Wstep - podstawowe poj¦cia 4
2 Wielowymiarowe zmienne losowe 112.1 Rozkªad prawdopodobie«stwa funkcji wielowymiarowej zmiennej losowej . . 152.2 Momenty rozkªadu wielowymiarowej zmiennej losowej . . . . . . . . . . . 172.3 Przybli»one wzory na momenty funkcji wielowymiarowej zmiennej . . . . . 21
3 Rozkªad normalny (Gaussa) 233.1 Wielowymiarowy rozkªad normalny . . . . . . . . . . . . . . . . . . . . 263.2 Dwuwymiarowy rozkªad normalny . . . . . . . . . . . . . . . . . . . . . 27
4 Estymacja parametrów 30
5 Estymacja punktowa E(x), σ2(x), σ(x) i %(x, y) 335.1 Estymator E(x) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335.2 Estymator wariancji σ2(x) . . . . . . . . . . . . . . . . . . . . . . . . 345.3 Estymator odchylenia standardowego σ(x) . . . . . . . . . . . . . . . . 365.4 Estymator wspóªczynnika korelacji %(x, y) . . . . . . . . . . . . . . . . 38
6 Estymacja przedziaªowa E(x), σ2(x) i σ(x) 416.1 Estymacja przedziaªowa warto±ci oczekiwanej Ex - znane σx . . . . 426.2 Estymacja przedziaªowa warto±ci oczekiwanej Ex - nieznane σx . . 456.3 Estymacja przedziaªowa wariancji i odchylenia standardowego . . . . . . . 46
7 Estymacja punktowa E~y(~x) i macierzy kowariancji ~y(~x) 49
8 Metody szukania estymatorów o po»¡danych wªasno±ciach 528.1 Metoda momentów (MM) . . . . . . . . . . . . . . . . . . . . . . . . 528.2 Metoda najwiekszej wiarygodno±ci (MNW) . . . . . . . . . . . . . . . 56
8.2.1 Oszacowanie bªedu parametru znalezionego MNW . . . . . . . . . 618.3 Metoda najmniejszych kwadratów (MNK) . . . . . . . . . . . . . . . . 62
8.3.1 Oszacowanie bªedu parametru znalezionego MNK . . . . . . . . . 668.3.2 Regresja liniowa . . . . . . . . . . . . . . . . . . . . . . . . . . 678.3.3 Regresja przy pomocy wielomianów ortogonalnych . . . . . . . . . 73
1
SMOP-2 B.Kamys: 2016/17 2
9 Testowanie hipotez statystycznych 789.1 Denicje elementarnych poj¦¢ . . . . . . . . . . . . . . . . . . . . . . . 789.2 Schemat postepowania przy testowaniu hipotez . . . . . . . . . . . . . . 809.3 Hipotezy dotyczace warto±ci oczekiwanej . . . . . . . . . . . . . . . . . 82
9.3.1 Porównanie E(X) z liczba (H0 : E(X) = X0) . . . . . . . . . . 829.3.2 Warto±ci oczekiwane dwu populacji (H0 : E(X) = E(Y )) . . . . 84
9.4 Hipotezy dotyczace wariancji . . . . . . . . . . . . . . . . . . . . . . . 869.4.1 Porównanie wariancji X z liczba (H0 : σ2(X) = σ2
0) . . . . . . . 869.4.2 Porównanie wariancji dwu populacji (H0 : σ2(X) = σ2(Y )) . . . 86
9.5 Moc testu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889.6 Test normalno±ci rozkªadu . . . . . . . . . . . . . . . . . . . . . . . . . 91
9.6.1 Test zerowania sie wspóªczynnika asymetrii i kurtozy . . . . . . . . 919.6.2 Test zgodno±ci λ - Koªmogorowa . . . . . . . . . . . . . . . . . . 939.6.3 Test zgodno±ci χ2 - Pearsona . . . . . . . . . . . . . . . . . . . 969.6.4 Wykres normalny . . . . . . . . . . . . . . . . . . . . . . . . . 98
9.7 Testy nieparametryczne hipotez porównujacych populacje . . . . . . . . . 1009.7.1 Test Smirnowa . . . . . . . . . . . . . . . . . . . . . . . . . . . 1009.7.2 Test znaków . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1039.7.3 Test serii Walda-Wolfowitza . . . . . . . . . . . . . . . . . . . . 1049.7.4 Test sumy rang Wilcoxona-Manna-Whitneya . . . . . . . . . . . . 1079.7.5 Wykres kwantyl-kwantyl . . . . . . . . . . . . . . . . . . . . . . 108
9.8 Hipoteza jednorodno±ci wariancji . . . . . . . . . . . . . . . . . . . . . 1109.8.1 Test Bartletta . . . . . . . . . . . . . . . . . . . . . . . . . . . 1109.8.2 Test Cochrana . . . . . . . . . . . . . . . . . . . . . . . . . . . 1119.8.3 Test Fmax Hartleya . . . . . . . . . . . . . . . . . . . . . . . . 111
9.9 Analiza wariancji (ANOVA) - klasykacja jednoczynnikowa . . . . . . . . 1129.9.1 Inne sformuªowanie hipotezy zerowej . . . . . . . . . . . . . . . . 1149.9.2 Praktyczne rachunki w ANOVA . . . . . . . . . . . . . . . . . . 1169.9.3 Stabilizacja wariancji . . . . . . . . . . . . . . . . . . . . . . . . 116
9.10 Analiza wariancji (ANOVA) - klasykacja dwuczynnikowa . . . . . . . . . 1199.11 Test wspóªzale»no±ci statystycznej pomiedzy cechami jako±ciowymi . . . . 123
9.11.1 Test dokªadny (Fishera) dla tablic kontyngencji 2x2 . . . . . . . . 1249.11.2 Test χ2 dla tablic kontyngencji 2x2 . . . . . . . . . . . . . . . . 1299.11.3 Wspóªczynnik korelacji rang % Spearmana . . . . . . . . . . . . . 1329.11.4 Wspóªczynnik korelacji rang τ Kendalla . . . . . . . . . . . . . . 1349.11.5 Analiza asocjacyjna . . . . . . . . . . . . . . . . . . . . . . . . 1399.11.6 Miary siªy zwiazku nominalnych zmiennych jako±ciowych . . . . . . 142
9.12 Test istotno±ci dla wspóªczynnika korelacji Pearsona . . . . . . . . . . . . 1469.13 Test istotno±ci dla stosunku korelacyjnego . . . . . . . . . . . . . . . . . 148
10 Metoda Monte Carlo 15210.1 Liczenie caªek metoda Monte Carlo . . . . . . . . . . . . . . . . . . . . 15210.2 Zmniejszanie bªedu caªki . . . . . . . . . . . . . . . . . . . . . . . . . . 15510.3 Generacja liczb losowych . . . . . . . . . . . . . . . . . . . . . . . . . . 158
10.3.1 Generacja liczb o rozkªadzie równomiernym . . . . . . . . . . . . 158
SMOP-2 B.Kamys: 2016/17 3
10.3.2 Generacja liczb losowych o dowolnych rozkªadach prawdopodobie«stwa16010.3.3 Generacja wielowymiarowych zmiennych losowych . . . . . . . . . 168
10.4 Modelowanie komputerowe . . . . . . . . . . . . . . . . . . . . . . . . 17010.4.1 Modelowanie przechodzenia neutronów przez o±rodek symulacja . . 17010.4.2 Modelowanie przez zastosowanie wag statystycznych . . . . . . . . 17710.4.3 Modelowanie przechodzenia neutronów przez o±rodek wagi staty-
styczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
SMOP-2 B.Kamys: 2016/17 4
1 WSTEP - podstawowe poj¦cia
W tym wst¦pie zostan¡ przypomniane podstawowe pojecia teorii prawdopodobie«stwa.Nie powtarzamy wszystkich niezbednych denicji (mo»na je znale¹¢ w notatkach do wy-kªadu ze Statystycznych Metod Opracowania Pomiarów I na stronie internetowej IFUJ).
1. Zdarzenia losowe. Badane zdarzenia traktujemy jako zdarzenia losowe. Denicjezdarze« losowych omawiali±my na SMOP1 a tu przypomnijmy tylko intuicyjne okre-±lenie; sa to takie zdarzenia o których nie mo»emy z góry wyrokowa¢ czyzajda czy te» nie . To intuicyjne okre±lenie nie uwzgl¦dnia zdarzenia pewnego(zachodz¡cego zawsze) i zdarzenia niemo»liwego (nie zachodz¡cego nigdy), któreformalnie nale»¡ do zdarze« losowych.
2. Ka»demu zdarzeniu losowemu mo»emy przypisa¢ prawdopodobie«stwo, które jestmiara czesto±ci pojawiania sie zdarzenia w okre±lonych warunkach (de-nicje tak»e poznali±my na wykªadzie SMOP-1). Prawdopodobie«stwo i metodypracy z prawdopodobie«stwem stanowia dziaª matematyki nazywany teoria praw-dopodobie«stwa, na której opieraj¡ si¦ wszystkie rozwa»ania statystyki tak jak roz-wa»ania zyki opieraj¡ si¦ na formali¹mie matematyki.
3. Zmienne losowe to dodatkowe (poza prawdopodobie«stwem) charakterystyki zda-rze« losowych. W zyce zajmujemy sie tylko wielko±ciami, które mog¡ by¢ zmierzonetzn. takimi, które moga by¢ ilo±ciowo porównane z wielko±ci¡ tego samego rodzajuprzyj¦t¡ za jednostke. Dlatego te» w zyce wystepuja tylko ilo±ciowe zmiennelosowe.
W przyrodniczych dziedzinach wiedzy zwiazanych z organizmami »ywymi, wprowa-dza sie tak»e jako±ciowe zmienne losowe. Zmienne te dzielimy na zmienne nomi-nalne, dla których okre±lona jest jedynie relacja identyczny - ró»ny i zmienneporzadkowe, dla których dodatkowo mo»na wprowadzi¢ relacje uporzadkowania(lepszy ni» , bardziej bolesny , itp.). Dla zmiennych nominalnych i porzadko-wych stosuje si¦ specyczne metody statystyczne.
Warto przypomnie¢, »e obok powy»szego podziaªu wprowadzone sa inne klasyka-cje, np. zmienne mierzalne dzieli sie na zmienne ciagªe i zmienne dyskretne zewzgledu na przyjmowany zbiór warto±ci (oczywi±cie moga równie» istnie¢ zmienneo charakterze mieszanym, tzn. przyjmujace w pewnych przedziaªach zmienno±ciwarto±ci dyskretne a w innych warto±ci ciagªe). Inny jeszcze podziaª zmiennychmierzalnych to podziaª na zmienne przedziaªowe, dla których nie jest okre±lonenaturalne zero skali (np. temperatura w skali Celsjusza) oraz zmienne stosunkowegdzie zero skali jest naturalnym a nie umownym zerem (np. temperatura w skalibezwzglednej). Dla pierwszego typu zmiennych istotne sa tylko przyrosty zmien-nej a nie ma sensu bezwzgledna warto±¢ tych zmiennych a wiec w szczególno±ci niemo»na liczy¢ ilorazów warto±ci tych zmiennych w odró»nieniu od zmiennych sto-sunkowych gdzie ilorazy sa dobrze okre±lone i moga by¢ poprawnie interpretowane.Stad wªa±nie pochodza przytoczone nazwy.
SMOP-2 B.Kamys: 2016/17 5
4. Statystyka jest dziaªem nauki, który posªugujac sie metodami teorii prawdopodo-bie«stwa zajmuje sie zdarzeniami losowymi badanymi w praktyce do±wiadczalnej iobserwacyjnej. W szczególno±ci statystyka podaje przepisy jak na podstawie sko«-czonej grupy obserwacji czy pomiarów wnioskowa¢ o wszystkich mo»liwych obser-wacjach i pomiarach (teoria estymacji) i okre±la reguªy stawiania hipotez i ichsprawdzania na podstawie sko«czonej liczby obserwacji czy pomiarów (testowaniehipotez statystycznych). W obu tych podstawowych dziaªach statystyki trzebastosowa¢ specyczne metody je»eli mamy do czynienia ze zmiennymi nominalnymii porzadkowymi.
5. Metoda Monte Carlo to bardzo rozpowszechniona ostatnio metoda rozwi¡zywaniaró»nych zada« matematyki i nauk przyrodniczych przez przyporz¡dkowanie ory-ginalnemu problemowi równowa»nego zagadnienia z teorii prawdopodobie«stwa irozwi¡zania tego problemu metodami statystycznymi.
6. Rozkªad prawdopodobie«stwa, funkcja gesto±ci prawdopodobie«stwa i dys-trybuanta zwana tak»e przez statystyków funkcja rozkªadu sa wielko±ciami u»y-wanymi do okre±lenia, jakie jest prawdopodobie«stwo pojawiania sie ró»nych warto-±ci (mierzalnej) zmiennej losowej. Odpowiednie denicje poznali±my na wykªadzieSMOP1.
DEFINICJA:Przypomnijmy tutaj, »e rozkªad prawdopodobie«stwa to przyporzadkowanie dys-kretnym warto±ciom zmiennej losowej prawdopodobie«stw - stosowany jest wiectylko dla dyskretnych zmiennych losowych:
P (xk) = pk, k = 1, 2, . . . (1)
PRZYKAD:Rozkªad dwumianowy (Bernoulliego) to rozkªad prawdopodobie«stwa pojawieniasi¦ k pozytywnych wyników w serii n niezale»nych prób je»eli wiadomo, »e prawdo-podobie«stwo otrzymania pozytywnego wyniku w pojedynczej próbie wynosi p:
P (k) =
(nk
)·pk ·(1− p)n−k (2)
Zmienna k przyjmuje warto±ci od zera do n.
SMOP-2 B.Kamys: 2016/17 6
Jak ªatwo sprawdzi¢ suma prawdopodobie«stw wszystkich (wykluczaj¡cych si¦) wy-ników na warto±¢ zmiennej k jest równa jedno±ci bo zgodnie ze wzorem Newtonataka suma jest równa n-tej pot¦dze dwumianu; [p+(1−p)]n , który to»samo±cioworówny jest jedno±ci.
DEFINICJA:Funkcja gesto±ci prawdopodobie«stwa okre±la jakie jest prawdopodobie«stwoprzyjmowania przez zmienna ciagªa X warto±ci z przedziaªu [x, x+ dx]:
f(x)dx ≡ P (x ≤ X ≤ x+ dx) (3)
Stad mo»na ªatwo wydedukowa¢ nastepujace, wa»ne wªasno±ci funkcji gesto±ci praw-dopodobie«stwa:
• f(x) ≥ 0
• wymiar f(x) to 1/(wymiar x)
• f(x) jest unormowana:∫ +∞−∞ f(x)dx = 1.
DEFINICJA:Najbardziej ogólna wielko±cia, która mo»na zastosowa¢ zarówno do zmiennychciagªych jak i dyskretnych jest dystrybuanta zdeniowana nastepujaco:
F (x) ≡ P (X < x) (4)
przy czym dla zmiennych ciagªych istnieje nastepujaca relacja pomiedzy dystrybu-anta i funkcja gesto±ci prawdopodobie«stwa:
F (x) =
∫ x
−∞f(t)dt
oraz
f(x) =dF (x)
dx.
7. Warto±¢ oczekiwana,wariancja,odchylenie standardowe to podstawowe wielko-±ci, które zawieraja w sobie wa»ne informacje o rozkªadzie prawdopodobie«stwa(funkcji gesto±ci prawdopodobie«stwa). Znajomo±¢ tych wielko±ci musi nam czesto
SMOP-2 B.Kamys: 2016/17 7
zastapi¢ znajomo±¢ rozkªadu prawdopodobie«stwa, który znacznie trudniej wyzna-czy¢ z do±wiadczenia.
DEFINICJA:Warto±¢ oczekiwana x deniowana jest dla zmiennych ciagªych jako:
E(x) ≡∫x · f(x)dx (5)
oraz dla zmiennych dyskretnych jako:
E(x) ≡∑i
xi · p(xi) (6)
WASNOCI:
• Warto±¢ oczekiwana jest ta warto±cia, dookoªa której gromadza siewarto±ci zmiennej losowej - wynika to z nierówno±ci Czebyszewa po-danej poni»ej (po denicji wariancji).
• Warto zapamieta¢, »e warto±¢ oczekiwana kombinacji liniowej jest kombinacjaliniowa warto±ci oczekiwanych bo operator caªkowania i operator sumy sa ope-ratorami liniowymi:
E(∑j
Cjxj) ≡∑j
Cj · E(xj)
• Cz¦sto wykorzystuje si¦ fakt, »ewarto±¢ oczekiwan¡ pewnej funkcji zmien-nej x ; g(x), mo»na policzy¢ korzystaj¡c z funkcji g¦sto±ci prawdopodobie«-stwa (rozkªadu prawdopodobie«stwa) samego argumentu x:
E(g(x)) =
∫g(x) · f(x)dx
=∑i
g(xi) · p(xi)DEFINICJA:Wariancja, oznaczana var(x) lub σ2(x) deniowana jest jako warto±¢ oczekiwanakwadratu odchylenia zmiennej od jej warto±ci oczekiwanej:
SMOP-2 B.Kamys: 2016/17 8
var(x) ≡ E[(x− E(x))2] (7)
Prosze zapamieta¢ trzy nastepujace wªasno±ci wariancji, które czesto wykorzystujesie w praktyce:
• Wariancja nie zmienia sie przy przesunieciu zera skali zmiennej x (lub jak ktowoli nie zmienia sie przy dodaniu dowolnej staªej do zmiennej x),
• Zmiana jednostki skali o czynnik C (lub inaczej pomno»enie zmiennej x przezstaªe C) powoduje pomno»enie wariancji przez czynnik C2.
• Czesto wygodnie jest liczy¢ wariancje zmiennej x jako ró»nice warto±ci ocze-kiwanej kwadratu zmiennej x i kwadratu warto±ci oczekiwanej x:
var(x) = E(x2)− E2(x)
Dwie pierwsze wªasno±ci wynikaja w prosty sposób z denicji wariancji oraz z faktu,»e w pierwszym przypadku dodanie staªej warto±ci C do zmiennej x powoduje do-danie tej samej warto±ci C do warto±ci oczekiwanej E(x) (a wiec ró»nica x−E(x)nie zmienia sie) a w drugim przypadku pomno»enie zmiennej x przez staªy czyn-nik C powoduje pomno»enie warto±ci oczekiwanej x przez ten czynnik a operacjapodnoszenia do kwadratu, wystepujaca w denicji wariancji, powoduje pojawieniesie czynnika C2. Trzecia wªasno±¢ ªatwo otrzyma¢ rozpisujac jawnie kwadrat ró»-nicy wystepujacy w denicji wariancji a nastepnie dziaªajac operatorem warto±cioczekiwanej na poszczególne wyrazy.
DEFINICJA:Odchylenie standardowe σ(x) z denicji jest pierwiastkiem arytmetycznym (liczbanieujemna) z wariancji.
Wariancja lub/i odchylenie standardowe u»ywane sa jako miary rozrzutuwarto±ci zmiennej losowej x dookoªa jej warto±ci oczekiwanej co mo»nawywnioskowa¢ z nierówno±ci Czebyszewa:
Nierówno±¢ Czebyszewa gªosi, »e dla ka»dej zmiennej losowej, która posiada skon-czona wariancje (a wiec i warto±¢ oczekiwana) zachodzi zwiazek (∀ k > 0):
P (|x− E(x)| ≥ k · σ(x)) ≤1
k2. (8)
Skoro warto±¢ oczekiwana i odchylenie standardowe zmiennej x maja interpretacjecentrum rozkªadu i naturalnej jednostki zmiennej x to jest oczywiste, »e dla celówpraktycznych wygodnie jest wprowadzi¢ tzw. zmienna standaryzowana, którazdeniowana jest jako:
SMOP-2 B.Kamys: 2016/17 9
z ≡x− E(x)
σ(x)(9)
Jak ªatwo sprawdzi¢ warto±¢ oczekiwana zmiennej standaryzowanej równa jest zero:E(z) = 0 a odchylenie standardowe równe jest jedno±ci: σ(z) = 1. Zgodnie ztwierdzeniem Czebyszewa warto±ci zmiennej standaryzowanej gromadzasie dookoªa warto±ci zerowej na odcinku równym kilku jednostkom .
8. Kwantyle (albo fraktyle) to nastepne wa»ne i wygodne wielko±ci charakteryzujacerozkªad prawdopodobie«stwa (funkcje gesto±ci prawdopodobie«stwa).
DEFINICJA:Kwantylem na poziomie q nazywamy taka warto±¢ zmiennej losowej xq, dla którejspeªniona jest relacja:
p(X < xq) = q (10)
Korzystajac z denicji dystrybuanty F (x) mo»emy ten zwiazek zapisa¢ nastepujaco:
F (xq) = q.
Kwantyle u»ywane sa bardzo czesto przy testowaniu hipotez statystycznych atak»e przy estymacji przedziaªowej.
DEFINICJA:Specycznymi kwantylami sa decyle, tj. kwantyle na poziomie 0,1, 0,2, 0,3 ... orazpercentyle, tj. kwantyle na poziomie 0,01, 0,02, ...
DEFINICJA:U»ywa sie równie» specjalnej nazwy na okre±lenie kwantyla x0.5 (mediana) oraz naokre±lenie kwantyli x0.25 i x0.75 (dolny kwartyl i górny kwartyl).
Mediana sªu»y do okre±lania gdzie grupuja sie warto±ci zmiennej (poªowa warto-±ci zmiennej jest mniejsza od mediany a poªowa wieksza) a wiec mediana mo»eby¢ zastosowana w tym samym celu co warto±¢ oczekiwana . U»ywa sie jejszczególnie wtedy gdy pojawiaja sie warto±ci zmiennej losowej silnie odró»niajace
SMOP-2 B.Kamys: 2016/17 10
sie od pozostaªych (nawet gdy pojawiaja sie one rzadko maja zwykle silny wpªywna warto±¢ oczekiwana a znacznie mniejszy na mediane). Dotyczy to przede wszyst-kim zmiennych dyskretnych oraz, co jest bardzo wa»ne, oszacowa« (estymatorów)warto±ci oczekiwanej i mediany na podstawie niewielkiej próby.
Kwartyle u»ywane sa dla scharakteryzowania rozrzutu warto±ci badanej zmiennejlosowej (podobnie jak odchylenie standardowe) bo ich ró»nica daje pojecie o zakresiezmienno±ci rozwa»anej zmiennej.
SMOP-2 B.Kamys: 2016/17 11
2 WIELOWYMIAROWE ZMIENNE LOSOWE
Wielowymiarowa zmienna losowa deniowana jest analogicznie jak jednowymiarowa(skalarna), tzn. mo»na ja traktowa¢ jako wektor, którego skªadowe sa jednowymiarowymizmiennymi losowymi.
DEFINICJA:Dystrybuanta :
F (x1, .., xN) = P (X1 < x1, ..., XN < xN) (11)
DEFINICJA:Funkcja gesto±ci prawdopodobie«stwa:
f(x1, ..., xN).dx1...dxN = P (x1 ≤ X1 < x1 + dx1, ..., xN ≤ XN < xN + dxN) (12)
Oprócz funkcji gesto±ci prawdopodobie«stwa dla caªego wektora losowego (X1, .., XN )mo»na zdeniowa¢ jeszcze :
• Rozkªad brzegowy gesto±ci prawdopodobie«stwa i
• Rozkªad warunkowy gesto±ci prawdopodobie«stwa.
DEFINICJA:Brzegowy rozkªad gesto±ci prawdopodobie«stwazmiennej Xi ( i tej skªadowej wektora losowego) to wynik wycaªkowania funkcji gesto±ciprawdopodobie«stwa dla caªej wielowymiarowej zmiennej po wszystkich skªadowych zwyjatkiem Xi:
fb(Xi) =
∫dx1..dxi−1.dxi+1...dxN .f(x1, ..., xN)
(13)
Oczywi±cie mo»na stworzy¢ rozkªady brzegowe dla dwuwymiarowych zmiennych (je»eliN > 2) caªkujac po wszystkich zmiennych z wyjatkiem tych dwu wybranych,rozkªad
SMOP-2 B.Kamys: 2016/17 12
brzegowy dla trzywymiarowych (je»eli N > 3) caªkujac po wszystkich z wyjatkiem tychtrzech zmiennych, itd.
Rozkªad warunkowy fw zmiennych (X1, .., Xi) pod warunkiem, »e zmienne (Xi+1, .., XN )przyjmuja warto±¢ w niesko«czenie maªym przedziale (xi+1 ≤ Xi+1 < xi+1, .., xN ≤XN < xN) deniowany jest nastepujaco:
fw(x1, .., xi|xi+1 , .., xN) =f(x1, .., xN)
fb(xi+1, .., xN)(14)
Rozkªad ten nie jest okre±lony, gdy rozkªad brzegowy wystepujacy w mianowniku zerujesie. Wska¹niki w i b zostaªy u»yte w tym wzorze aby podkre±li¢, »e posta¢ funkcyjnatych rozkªadów jest w ogólno±ci inna ni» rozkªadu f(x1, .., xN).
Rozkªad warunkowy mo»na tworzy¢ dla ró»nych zespoªów skªadowych wektora loso-wego, np. mogliby±my zdeniowa¢ rozkªad warunkowy pojedynczej zmiennej XN podwarunkiem, »e pozostaªe zmienne przyjmuja okre±lone warto±ci.
Rozkªad prawdopodobie«stwa wielowymiarowej dyskretnej zmiennej losowej jestoczywistym uogólnieniem rozkªadu jednowymiarowego, a brzegowy rozkªad prawdo-podobie«stwa i warunkowy rozkªad prawdopodobie«stwa tworzy sie tak jak ichodpowiedniki dla zmiennej ciagªej zastepujac caªkowanie sumowaniem po warto±ciach od-powiednich skªadowych.
Warto równie» pamieta¢, »e mo»na tworzy¢ brzegowa dystrybuante i warunkowadystrybuante (zarówno dla zmiennej ciagªej jak i skokowej).
Niezale»ne zmienne losowe to takie, »e rozkªad warunkowy zmiennej (mo»e to by¢wielowymiarowa zmienna) pod warunkiem, »e druga zmienna przyjmuje konkretne warto-±ci (ta zmienna te» mo»e by¢ wielowymiarowa) równy jest rozkªadowi brzegowemu pierw-szej zmiennej:
fw(~x1|~x2) = fb(~x1) (15)
Warunkiem koniecznym i wystarczajacym niezale»no±ci zmiennych losowychjest aby ich wspólna funkcja gesto±ci prawdopodobie«stwa (dla zmiennej ciagªej) lub ichwspólny rozkªad prawdopodobie«stwa (dla zmiennej dyskretnej) faktoryzowaªy sie tzn.
f(x1, ...xN) = f1(x1).f2(x2)....fN(xN) (16)
SMOP-2 B.Kamys: 2016/17 13
UWAGA:Zale»no±¢ statystyczna zmiennych jest sªabsza ni» zwiazek funkcyjny bo oznacza tylko,»e rozkªad prawdopodobie«stwa a nie warto±¢ jednej ze zmiennych zale»y od warto±cidrugiej zmiennej. Co wiecej, zale»no±¢ statystyczna nie oznacza zwiazku przyczynowego.Najlepiej wida¢ to z faktu, »e gdy zmienna x nie zale»y statystycznie od y to au-tomatycznie y nie zale»y statystycznie od x a tak wcale nie musi by¢ przy zwiazkuprzyczynowym, np. z faktu, »e wiek czªowieka nie zale»y przyczynowo od wzrostu niewynika, »e wzrost nie zale»y przyczynowo od wieku.
PRZYKADdla 2-wymiarowej zmiennej losowej:
Wspólna funkcja gesto±ci prawdopodobie«stwa X1 i X2 jest staªa (wynosi 1/2) w kwa-dracie o wierzchoªkach (-1,0),(0,1),(1,0) i (0,-1) a zeruje sie poza kwadratem.
Rozkªad brzegowy X1:
fb(X1) =
0 dla X1 ≤ −1X1 + 1 dla −1 ≤ X1 ≤ 0−X1 + 1 dla 0 ≤ X1 ≤ +10 dla X1 ≥ +1
Jest to rozkªad trójkatny zwany rozkªadem Simpsona . Mo»na wyobrazi¢ sobiepogladowo, »e w powy»szym przykªadzie liczenie rozkªadu brzegowego jest równowa»nezsypywaniu punktów jednorodnego rozkªadu w kwadracie na o±X1 co powoduje, »e roz-kªad brzegowy ma ksztaªt trójkata (w kwadracie zmiennych X1, X2 najwiecej punktówma wspóªrzedna X1 bliska zeru a ilo±¢ punktów z wiekszymi lub mniejszymi warto±ciamitej wspóªrzednej maleje liniowo.
Rozkªad warunkowy X1 pod warunkiem X2.
fw(X1|X2 ) =12
fb(X2)
Wzór ten wa»ny jest dla nastepujacego przedziaªu zmiennej X1:
−X2 − 1 ≤ X1 ≤ +X2 + 1 gdy − 1 ≤ X2 ≤ 0+X2 − 1 ≤ X1 ≤ −X2 + 1 gdy 0 ≤ X2 ≤ +1
Jak wida¢ rozkªad warunkowy X1 jest rozkªadem równomiernym w przedziale, któregodªugo±¢ zale»y od warto±ci X2, co oznacza, »e zmienne sa zale»ne . Mo»emy to uja¢inaczej: Poniewa» fw(X1|X2 ) 6= fb(X1) to zmienne X1 i X2 sa zale»ne ! .
Wyznaczanie rozkªadu warunkowego fw(X1|X2 ) mo»na sobie wyobrazi¢ jako ogladanie(patrzac wzdªu» osiX2) przekroju prostopadªo±cianu wykonanego wzdªu» linii równolegªejdo osiX1 i przechodzacej przez punkt o okre±lonej warto±ciX2. Przekrój ten to prostokat,którego jeden bok - przedziaª zmienno±ci X1 - zale»y od X2 a poniewa» ze wzgledu na
SMOP-2 B.Kamys: 2016/17 14
normalizacje pole tego przekroju musi by¢ równe jedno±ci to i drugi bok prostokata -warto±¢ warunkowej funkcji gesto±ci prawdopodobie«stwa fw(X1|X2 ) = 1/(2 ·fb(X2))musi zale»e¢ od X2.
Wychodzac z takiej interpretacji rozkªadu warunkowego wida¢, »e gdyby kwadrat, w któ-rym staªa funkcja gesto±ci prawdopodobie«stwa zmiennych (X1, X2) jest ró»na od zera,miaª boki równolegªe do osi X1 i X2 to rozkªad warunkowy jednej ze zmiennych nie za-le»aªby od warto±ci drugiej zmiennej a wiec zmienne byªyby niezale»ne statystycznie.
SMOP-2 B.Kamys: 2016/17 15
2.1 ROZKAD PRAWDOPODOBIESTWA FUNKCJIWIELOWYMIAROWEJ ZMIENNEJ LOSOWEJ
Bardzo czesto interesuje nas rozkªad zmiennej losowej, która jest funkcja wielowy-miarowej zmiennej losowej, np. rozkªad sumy Z=X1+X2, iloczynu Z=X1· X2, itd. Wszczególno±ci mo»emy by¢ zainteresowani rozkªadem wielowymiarowej zmiennej losowej,która jest funkcja innej wielowymiarowej zmiennej losowej. Poni»ej podany jest wzór,który stanowi uogólnienie wzoru na rozkªad skalarnej funkcji skalarnego losowego argu-mentu:
g(Y ) = f(X(Y ))
∣∣∣∣dX(Y )
dY
∣∣∣∣Wzór ten stosowaª sie dla monotonicznej funkcji g(Y ) - w przypadku niemonotonicz-nej funkcji nale»y rozpatrywa¢ oddzielnie odcinki warto±ci argumentu, gdzie funkcja jestmonotoniczna. Analogiem dla wektorowej funkcji wektorowego argumentu losowego (obawektory o tym samym wymiarze) jest:
g(~Y ) = f( ~X(~Y ))
∥∥∥∥∥∂Xi(~Y )
∂Yj
∥∥∥∥∥ (17)
Jak wida¢ oba wzory sa bardzo podobne, z tym »e moduª pochodnej zostaª zastapionymoduªem jakobianu. Wzór ten podobnie jak jego skalarny analog stosuje sie dla monoto-nicznych relacji pomiedzy zmiennymi.
Je»eli znamy rozkªad wektorowej zmiennej losowej ~X to mo»emy otrzyma¢ rozkªad ska-larnej zmiennej Y = y( ~X) wykonujac nastepujace dziaªania:
• Tworzymy nowa wektorowa zmienna losowa ~Y o takim samym wymiarze jak ~X przyczym jedna ze skªadowych wektora ~Y jest interesujaca nas skalarna zmienna Y apozostaªe skªadowe sa dowolne. Warunkiem na nie nakªadanym jest tylko istnieniejakobianu ∂Xi
∂Yj.
• Caªkujemy po pomocniczych zmiennych traktujac interesujaca nas skalarna zmiennajako staªa (bedzie to oczywi±cie caªka po krzywej Y=const w przestrzeni zmien-nych ~Y ). Ten rozkªad brzegowy wielowymiarowego rozkªadu zmiennej ~Y jest szu-kanym rozkªadem skalarnej zmiennej Y.
Oczywi±cie, taka sama procedure mo»na zastosowa¢, gdy szukamy rozkªadu zmiennejwektorowej ~Y ′, o wymiarze mniejszym ni» wymiar ~Y .
SMOP-2 B.Kamys: 2016/17 16
Dla prostych funkcji takich jak suma, ró»nica, iloczyn i iloraz dwu zmiennych z = x+ y, z = y − x, z = x · y i z = y/x mo»na poda¢ ogólne wzory:
g(z ≡ x+ y) =
+∞∫−∞
f(x, z − x)dx =
+∞∫−∞
f(z − y, y)dy (18)
g(z ≡ y − x) =
+∞∫−∞
f(x, z + x)dx =
+∞∫−∞
f(y − z, y)dy (19)
g(z ≡ x · y) =
+∞∫−∞
1
|x|f(x,
z
x)dx =
+∞∫−∞
1
|y|f(z
y, y)dy (20)
g(z ≡ y/x) =
+∞∫−∞
|x| f(x, zx)dx =
+∞∫−∞
|y|z2f(y
z, y)dy (21)
Szczególnie prosto wygladaja te wzory, gdy x i y sa niezale»ne - wówczas funkcja f(x, y)wystepujaca pod caªka wyra»a sie przez iloczyn dwu funkcji f1(x) i f2(y). Wartopamieta¢ o obu wersjach ka»dego wzoru, gdy» mo»e sie zdarzy¢, »e niektóre tylko caªkidaja sie ªatwo policzy¢.
W praktyce do±wiadczalnej rzadko mamy do czynienia z taka sytuacja, »e potramywyznaczy¢ dystrybuante wielowymiarowej zmiennej czy te» funkcje gesto±ci prawdopodo-bie«stwa (dla zmiennej ciagªej) lub rozkªad prawdopodobie«stwa (dla zmiennej dyskret-nej). Dlatego musimy sie zadowala¢ mniej peªnymi informacjami zawartymi w momen-tach rozkªadu. Dla zmiennych wielowymiarowych deniowane s¡ nowe typy momentów,które nie tylko informuj¡ o ksztaªcie i poªo»eniu rozkªadu ale s¡ szczególnie istotne dlabadania zale»no±ci statystycznej pomi¦dzy zmiennymi losowymi. Do tego celu najlepiejnadaja sie nastepujace wielko±ci: macierz kowariancji oraz krzywe regresji zdeniowaneponi»ej.
SMOP-2 B.Kamys: 2016/17 17
2.2 MOMENTY ROZKADU WIELOWYMIAROWEJZMIENNEJ LOSOWEJ
Momentem wielowymiarowej zmiennej losowejX (X1,...,XN) rzedu k1+...+kN wzgledempunktu X0 (X01,...,X0N) nazywamy wielko±¢ zdeniowana wzorem:
mk1+...+kN (X01, ..., X0N) =
∫dX1...dXN .f(X1, ..., XN).(X1−X01)k1...(XN−X0N)kN
(22)
Ten wzór jest sªuszny dla zmiennej ciagªej a dla dyskretnej trzeba caªke zamieni¢ na sumei funkcje gesto±ci prawdopodobie«stwa na rozkªad prawdopodobie«stwa.
Najwa»niejsze momenty dla celów analizy statystycznej danych to:
Warto±¢ oczekiwana czyli pierwszy moment wzgledem poczatku ukªadu wspóªrzednych:
E ~X = (m10...0(0, .., 0), ...,m0...01(0, ..., 0))
jest to wektor o skªadowych równych warto±ciom oczekiwanym poszczególnych zmiennych
E ~X = (EX1, EX2, ...EXN) (23)
Wariancja czyli drugi moment wzgledem warto±ci oczekiwanej:
varX1 = m20...0 (EX1, ..., EXN).............
varXN = m00...2 (EX1, ..., EXN)(24)
Kowariancja czyli drugi moment mieszany wzgledem warto±ci oczekiwanej:
covX1, X2 = m1100..0(EX1, .., EXN),covX1, X3 = m1010..0(EX1, .., EXN),
.....(25)
SMOP-2 B.Kamys: 2016/17 18
Poniewa» wariancje mo»na uwa»a¢ za kowariancje policzona dla dwukrotnie powtórzonejzmiennej varXi = covXi,Xi to wygodnie jest zgromadzi¢ wariancje i kowariancje wjeden zespóª wielko±ci zwany macierza kowariancji.
• Na gªównej przekatnej macierzy kowariancji znajduja sie wariancje a poza przekatnakowariancje.
• Macierz kowariancji jest: rzeczywista, symetryczna i dodatnio okre±lona .Mo»na ja wiec zawsze zdiagonalizowa¢ przez liniowa transformacje zmiennych po-zostawiajac jedynie wariancje na diagonali.
Czesto zamiast macierzy kowariancji tworzy sie macierz korelacji.
Macierz ta skªada sie ze wspóªczynników korelacji ρ(Xi,Xj) zdeniowanych nastepujaco:
ρ(Xi, Xj) =covXi, Xj√
varXi.varXj(26)
Oczywi±cie diagonalne elementy macierzy korelacji to jedynki a pozadiagonalne to odpo-wiednie wspóªczynniki korelacji.
Wªasno±ci wspóªczynnika korelacji
© Wspóªczynnik korelacji przyjmuje warto±ci z przedziaªu [-1,+1]
© Je»eli zmienne sa niezale»ne to wspóªczynnik korelacji jest równy zero.
© Gdy wspóªczynnik korelacji równy jest zero (mówimy wtedy, »e zmienne sanieskorelowane) to zmienne sa niezale»ne liniowo ale moga by¢ zale»ne i to nawetfunkcyjnie.
© Je»eli zmienne X i Y sa zwiazane funkcyjnym zwiazkiem liniowym ; Y=aX+b to wspóªczynnik korelacji jest równy jedno±ci co do moduªu a jego znak jest takisam jak znak wspóªczynnika kierunkowego prostej.
© Je»eli moduª wspóªczynnika korelacji jest równy jedno±ci to X i Y zwiazanesa funkcyjnym zwiazkiem liniowym Y= aX+b a znak wspóªczynnika kierunkowego prostejjest taki sam jak znak wspóªczynnika korelacji.
Badanie wspóªczynników korelacji daje nam pewna informacje o zale»no±ci liniowejzmiennych gdy warto±¢ wspóªczynnika korelacji jest co do moduªu bliska jedno±ci. Zni-kanie wspóªczynnika korelacji mówi nam jedynie, »e zmienne sa niezale»ne liniowo ale nie
SMOP-2 B.Kamys: 2016/17 19
pozwala jednoznacznie stwierdzi¢ czy zmienne sa statystycznie niezale»ne.
Inny rodzaj informacji o spodziewanym zwiazku pomiedzy zmiennymi (niekonieczniezwiazku liniowym) mo»na otrzyma¢ badajac jak zachowuje sie warto±¢ oczekiwana jed-nej zmiennej gdy potraktujemy ja jako funkcje warto±ci drugiej zmiennej. Taka funkcjenazywamy funkcja regresji a denicje podajemy poni»ej:
DEFINICJA:Regresja (lub regresja pierwszego rodzaju ) zmiennej Y wzgledem X nazywamy wa-runkowa warto±¢ oczekiwana EY |X traktowana jako funkcja zmiennejX. Oczywi±ciewarunkowa warto±¢ oczekiwana EX|Y nazywamy regresja pierwszego rodzaju zmien-nej X wzgledem Y .
Podstawowa wªasno±¢ funkcji regresji EY |X polega na tym, »e warto±¢ oczekiwanakwadratu odchyle« zmiennej losowej Y od dowolnej funkcji u(X) jest minimalna, gdyjako te funkcje przyjmiemy funkcje regresji EY |X:
E(Y − u(X))2
≥ E
(Y − EY |X)2
(27)
Dowód:
E(Y − u(X))2 =
∫dX · dY · f(X,Y ) · (Y − u(X))2
=∫dX · f1(X)
∫dY · f2(Y |X) · (Y − u(X))2
Wewnetrzna caªka I jest warto±cia oczekiwana kwadratu odchylenia zmiennej Y od pew-nej staªej (u(X) jest staªa je»eli idzie o caªkowanie wzgledem zmiennej Y ). Mo»emy wieczapisa¢ te caªke nastepujaco (oznaczamy u(X) ≡ c):
I ≡∫dY · f2(Y |X) · (Y − u(X))2 =
= E(Y − c)2 =
= E(Y − EY + EY − c)2 =
= E(Y − EY )2 + 2(Y − EY )(EY − c) + (EY − c)2 =
= E(Y − EY )2+ 2E(Y − EY )(EY − c)+ E(EY − c)2 =
= E(Y − EY )2 + 0 + E(EY − c)2.
Drugi wyraz zniknaª bo EY − EY ≡ 0 a pozostaªa suma warto±ci oczekiwanychz kwadratów (Y − EY )2 i (EY − c)2 bedzie miaªa minimum gdy EY ≡ c.
SMOP-2 B.Kamys: 2016/17 20
Poniewa» we wzorach powy»ej c ≡ u(x) oraz EY ≡ EY |X to wida¢, »e minimumosi¡gane jest dla u(x) = EY |X. c.b.d.o.
UWAGI:
• Metoda estymacji parametrów oparta na omówionej powy»ej wªasno±ci funkcji re-gresji nazywana jest metoda najmniejszych kwadratów.
• Funkcja regresji zmiennej Y wzgl¦dem X (EY |X) zwykle nie pokrywa si¦ zfunkcj¡ regresji zmiennej X wzgl¦dem Y (EX|Y ) co jest spowodowane tym,»e pierwsza z nich minimalizuje sum¦ kwadratów odchyle« wzdªu» osi Y a drugawzdªu» osi X. Krzywe reprezentuj¡ce obie regresje pokrywaj¡ si¦ tylko wtedy, gdyzale»no±¢ pomi¦dzy Y i X jest zale»no±ci¡ funkcyjn¡ a nie statystyczn¡.
Regresja liniowa zwana równie» regresja drugiego rodzaju to linia prosta przybli»ajacazale»no±¢ regresji EY |X od X, przy czym parametry tej prostej dobiera sie tak abybyªa speªniona podstawowa wªasno±¢ regresji tzn. aby warto±¢ oczekiwana sumy kwadra-tów odchyle« warto±ci Y od linii prostej byªa minimalna.
W szczególnym przypadku dwuwymiarowego rozkªadu normalnego funkcja regresjiEY |X jest linia prosta a wiec funkcja regresji drugiego rodzaju jest równie» funkcjaregresji pierwszego rodzaju.
Regresja krzywoliniowa to funkcja nieliniowa argumentuX przybli»ajaca regresjeEY |Xprzy czym parametry funkcji dobierane sa metoda najmniejszych kwadratów. W tymprzypadku nale»y rozró»ni¢ dwie sytuacje:
• Parametry wchodza liniowo do funkcji , np. przybli»enie EY |X przez sze-reg wielomianów lub innych funkcji tworzacych ukªad zupeªny. Odpowiada to tzw.liniowej metodzie najmniejszych kwadratów i pozwala znale¹¢ warto±ci paramet-rów jako rozwiazania ukªadu równa« liniowych przy czym dla unikniecia niestabil-no±ci numerycznych zalecane jest stosowanie funkcji, które sa ortogonalne na danymodcinku lub na zbiorze warto±ci zmiennej X. W szczególno±ci mo»na posªu»y¢ siewielomianami ortonormalnymi na zbiorze warto±ci zmiennej X.
• Parametry wchodza nieliniowo do formuª . Wtedy optymalne warto±ci para-metrów sa rozwiazaniami ukªadu równa« nieliniowych, które rozwiazuje sie ró»nymisposobami. Jedna z popularnych metod jest szukanie rozwiaza« iteracyjnie znaj-dujac w kolejnych iteracjach poprawki do startowych parametrów w sposób analo-giczny jak dla liniowego przypadku metody najmniejszych kwadratów. Osiaga sieto rozwijajac nieliniowa formuªe w szereg Taylora dokoªa startowych warto±ci pa-rametrów i obcina sie szereg na wyrazach liniowych. Dla zapewnienia zbie»no±ciprocedury iteracyjnej uzupeªnia sie te metode o szereg pragmatycznych reguª przy-±pieszajacych zbie»no±¢ i okre±lajacych kiedy nale»y przerwa¢ poszukiwanie warto±ciparametrów.
SMOP-2 B.Kamys: 2016/17 21
2.3 Przybli»one wzory na momenty funkcji wielowymiarowej zmien-nej
Cz¦sto zachodzi potrzeba oszacowania warto±ci oczekiwanej i wariancji wektorowej funkcji~Y od wektorowego argumentu ~X gdy znamy dokªadnie warto±¢ oczekiwan¡ E( ~X) orazmacierz kowariancji C( ~X).
Dla oszacowania warto±ci oczekiwanej funkcji wielu zmiennych losowych stosujesie standardowo poni»sze przybli»enie:
E(~y) ≈ ~y(E(x1), E(x2), ..E(xN)) (28)
gdzie x1, x2, ..., xN to skªadowe wektora ~X.
Dla oszacowania macierzy kowariancji zmiennej ~Y stosuje si¦ wzór:
cov(yk, yq) ≈∑
i,j
(∂yk
∂xi
)~x=E(~x)
(∂yq
∂xj
)~x=E(~x)
cov(xi, xj). (29)
Powy»szy wzór nazywa si¦ cz¦sto propagacj¡ bª¦dów.
W zapisie macierzowym wzór ten wygl¡da bardzo prosto:
C(~y) ≈ TC(~x)T T (30)
gdzie
Cij(~x) = covxi, xjCij(~y) = covyi, yj
Tij =
(∂yi
∂xj
)~x=E(~x)
Oba wzory s¡ ±cisªe tylko dla liniowego zwi¡zku pomi¦dzy wektorami ~X i ~Y .Powstaªy one przez rozwini¦cie funkcji ~Y ( ~X) w szereg Taylora dokoªa warto±ci oczeki-wanej wektora ~X i obci¦ciu szeregu do wyrazów liniowych.
SMOP-2 B.Kamys: 2016/17 22
Wyprowadzenie :
• Rozwijamy w szereg Taylora skªadowe wektora ~Y dokoªa wektora E~x obcinajacrozwiniecie na wyrazach liniowych
yi ≈ yi(E~x) +∑
j
(∂yi
∂xj
)~x=E(~x)
· (xj − Exj).
• Poniewa» warto±¢ oczekiwana z ró»nicy ~x−E~x to»samo±ciowo znika wiec warto±¢oczekiwana wektora ~y równa jest y(E~x), tzn. dostajemy podany wy»ej wzór nawarto±¢ oczekiwana
E(~y) ≈ y(E~x).
• Z tego równie» wynika, »e
yi − yi(E~x) ≈∑
j
(∂yi
∂xj
)~x=E(~x)
· (xj − Exj)
a wiec kowariancja yk i yq , która jest warto±cia oczekiwana
cov(yk, yq) ≡ E [(yk − Eyk) · (yq − Eyq)]
liczona jest jako warto±¢ oczekiwana iloczynu analogicznych sum zawierajacych po-chodne i wyra»enia (xj − Exj) co po prostym przeliczeniu daje szukany wzór:
cov(yk, yq) ≈∑
i,j
(∂yk
∂xi
)~x=E(~x)
(∂yq
∂xj
)~x=E(~x)
cov(xi, xj).
UWAGA: Ostatnio coraz bardziej popularna staje si¦ estymacja momentów wektoro-wej funkcji wektorowego losowego argumentu na podstawie próby skªadaj¡cej si¦ ze zbioruwarto±ci funkcji otrzymanych ze zbioru warto±ci argumentów wygenerowanego metod¡Monte Carlo zgodnie z zaªo»onym rozkªadem prawdopodobie«stwa (zwykle wielowymia-rowym rozkªadem Gaussa).
SMOP-2 B.Kamys: 2016/17 23
3 ROZKAD NORMALNY (Gaussa)
DEFINICJA:Ciagªa zmienna losowa X, której funkcja gesto±ci prawdopodobie«stwa ma posta¢:
f(X) =1
√2π B
exp
[−(X −A)2
2B2
](31)
nazywa sie zmienna o rozkªadzie normalnym N(A,B).
WASNOCI:
E(X) = A (32)
σ(X) = B (33)
m3(E(X)) = 0 (34)
m4(E(X)) = 3 · σ4(X) (35)
UWAGA:
• Rozkªad normalny jest caªkowicie okre±lony przez parametryA iB a wiec caªkowicieokre±lony przez warto±¢ oczekiwana E(X) i odchylenie standardowe σ(X).
• Znikanie trzeciego momentu centralnego jest oczywi±cie równowa»ne znikaniuwspóª-czynnika asymetrii:
γ1 ≡ m3(E(X))/σ3(X) (36)
i oznacza, »e rozkªad jest symetryczny dookoªa E(X).
• Wprowadza sie dla porównania rozkªadu danej zmiennej z rozkªadem normalnym,tzw. wspóªczynnik przewy»szenia zwany tak»e kurtoza lub wspóªczynnikiemekscesu:
γ2 ≡ m4(E(X))/σ4(X)− 3 (37)
Dla rozkªadu normalnego ten wspóªczynnik zeruje sie.
SMOP-2 B.Kamys: 2016/17 24
Dystrybuanta rozkªadu normalnego nie wyra»a sie przez funkcje elementarne.
Warto zapamieta¢ nastepujace nierówno±ci, speªniane przez zmienna X o rozkªadzie nor-malnym:
P (E(X)− σ(X) ≤ X < E(X) + σ(X)) = 0.6827
P (E(X)− 2σ(X) ≤ X < E(X) + 2σ(X)) = 0.9545
P (E(X)− 3σ(X) ≤ X < E(X) + 3σ(X)) = 0.9973
W biologii i naukach z nia zwiazanych czesto u»ywa sie dla warto±ci zmiennej le»acych
w pierwszym z trzech powy»szych przedziaªów okre±lenia: warto±ci charakterystyczne.
Dla tych, które nale»a do drugiego przedziaªu okre±lenia warto±ci typowe a dla tych, które
nale»a do trzeciego przedziaªu ale nie nale»a do przedziaªu drugiego - warto±ci nietypowe.
Dla warto±ci zmiennej bardziej odchylajacych sie od warto±ci oczekiwanej ni» trzy odchylenia
standardowe rezerwuje sie nazwe warto±ci wyjatkowe.
UWAGA:Dowolna zmienna Y o rozkªadzie normalnym mo»na standaryzowa¢ tworzac wielko±¢ Zo rozkªadzie standardowym normalnym N(0, 1):
Z = (Y − E(Y ))/σ(Y )
Standaryzacja jest wa»na ze wzgledu na mo»liwo±¢ tablicowania zarówno funkcji gesto±ciprawdopodobie«stwa, jak i dystrybuanty rozkªaduN(0, 1) a potem wykorzystania faktu,»e majac zmienna X o rozkªadzie N(0, 1) mo»emy stworzy¢ zmienna Y o rozkªadzieN(A,B) przez prosta transformacje: Y = B ·X +A .
TWIERDZENIE:Centralne Twierdzenie Graniczne w wersji podanej przez Lapunowa:
Niech X1, X2, ...Xn bedzie ciagiem niezale»nych zmiennych losowych których roz-kªady posiadaja:
• warto±¢ oczekiwana E(Xk),
• wariancje var(Xk),
SMOP-2 B.Kamys: 2016/17 25
• trzeci moment centralny µ3(Xk), oraz
• absolutny trzeci moment centralny tj.
bk ≡ E(| Xk − E(Xk) |3) dla k = 1, ..., n.
Wówczas ciag dystrybuant standaryzowanych zmiennych losowych zdeniowanychnastepujaco:
Z =n∑k=1
Xk − E(Xk)√∑ni=1 var(Xi)
speªnia zale»no±¢:
limn→∞
Fn(Z) =1√
2π
∫ Z
−∞dt · exp(−
t2
2)
je»eli jest speªniony warunek:
limn→∞
3√∑n
k=1 bk2√∑n
k=1 var(Xk)= 0
Centralne Twierdzenie Graniczne (Intuicyjne sformuªowanie)
Zmienna Z bedaca standaryzowana suma niezale»nych zmiennych losowych bedzie miaªastandardowy rozkªad normalny gdy liczba skªadników w sumie da»y do niesko«czono±cioraz w sumie nie wystepuja zmienne o wariancjach dominujacych w stosunku do resztyskªadników.
Wªa±nie to twierdzenie powoduje, »e rozkªad normalny jest wyró»nionym rozkªadem -bardzo czesto stosowanym w statystyce.
SMOP-2 B.Kamys: 2016/17 26
3.1 WIELOWYMIAROWY ROZKAD NORMALNY
Jest to najwa»niejszy z rozkªadów w statystyce. Wektorowa zmienna losowa ~Y (Y1, ...YN)ma wielowymiarowy rozkªad normalny gdy jej funkcja gesto±ci prawdopodobie«stwa manastepujaca posta¢:
f(~Y ) =
√det(B)
(2π)Nexp
[−
1
2
(~Y − ~A
)TB(~Y − ~A
)](38)
gdzie wektor ~A to wektor warto±ci oczekiwanych (EY1, ..EYN) a macierz B tomacierz odwrotna do macierzy kowariancji skªadowych wektora ~Y .
Wªasno±ci:
• Wielowymiarowy rozkªad normalny jest caªkowicie okre±lony przez podanie wektorawarto±ci oczekiwanych (EY1, ..EYN) i macierzy kowariancji tych zmiennych
• Dowolny rozkªad brzegowy (rzut na podzespóª zmiennych Y1, ..YN) tego rozkªadujest rozkªadem normalnym
• Dowolny rozkªad warunkowy (przekrój wzdªu» podzespoªu zmiennych Y1, ..YN) jestrozkªadem normalnym
• Poziomice funkcji gesto±ci (linie o staªej warto±ci gesto±ci) speªniaja warunek:
(~Y − ~A
)TB(~Y − ~A
)= const
Wielko±¢ wystepujaca po lewej stronie równania to zmienna losowa o rozkªadziechi-kwadrat o N stopniach swobody.
Dwuwymiarowy rozkªad normalny jest najprostszym rozkªadem, który posiada wszyst-kie cechy wielowymiarowego rozkªadu a równocze±nie jest na tyle nieskomplikowany, »emo»na go sobie ªatwo wyobrazi¢. Poni»ej omówimy go jako przykªad wielowymiarowegorozkªadu normalnego.
SMOP-2 B.Kamys: 2016/17 27
3.2 DWUWYMIAROWY ROZKAD NORMALNY
Parametrami rozkªadu jest wektor ~A = (Ey1, Ey2) oraz macierz B bedaca od-wrotno±cia macierzy kowariancji.
Odwrotna macierz mo»e by¢ znaleziona przez policzenie wyznacznika wyj±ciowej ma-cierzy i podzielenia macierzy uzupeªnie« algebraicznych wyj±ciowej macierzy przez tenwyznacznik.
Ostatecznie dostajemy:
B =1
σ2(y1)σ2(y2)− cov(y1, y2)2
[σ2(y2) −cov(y2, y1)−cov(y1, y2) σ2(y1)
]Wtedy dwuwymiarowy rozkªad normalny ma nastepujaca posta¢:
f(y1, y2) = 1
2π·σ1·σ2
√1−%2
exp g(y1, y2)
g(y1, y2) = −12(1−%2)
[(y1−Ey1)2
σ21
− 2% (y1−Ey1)·(y2−Ey2)σ1σ2
+ (y2−Ey2)2σ22
] (39)
gdzie obok odchyle« standardowych σi oraz warto±ci oczekiwanych Eyi pojawiª siewspóªczynnik korelacji % ≡ %(y1, y2).
WASNOCI:
• Rozkªad jest caªkowicie okre±lony przez 5 parametrów: warto±ci oczekiwane E(y1),E(y2), odchylenia standardowe σ1, σ2 i wspóªczynnik korelacji %.
• Gdy wspóªczynnik korelacji znika to rozkªad sie zamienia na iloczyn dwu rozkªadówbrzegowych (jednowymiarowych rozkªadów normalnych). A wiec wida¢ tu unikalnaceche wielowymiarowego rozkªadu normalnego; zmienne które nie sa skorelo-wane (czyli sa niezale»ne liniowo) sa automatycznie niezale»ne .
• Poziomice funkcji gesto±ci prawdopodobie«stwa to elipsy, których póªosie równe saodchyleniom standardowym. Ustawienie osi elipsy w stosunku do osi wspóªrzednychy1 i y2 zale»y od warto±ci wspóªczynnika korelacji. Gdy wspóªczynnik korelacjiznika osie elipsy sa równolegªe do osi wspóªrzednych. Gdy wspóªczynnik korelacjijest dodatni to dªu»sza o± elipsy przechodzi przez pierwsza i trzecia ¢wiartke ukªaduwspóªrzednych a gdy jest ujemny to przechodzi przez druga i czwarta ¢wiartke.
SMOP-2 B.Kamys: 2016/17 28
Rozkªad brzegowy dwuwymiarowego rozkªadu normalnegoto jednowymiarowy rozkªad normalny:
fb(y1) =1
√2π.σ1
exp
−1
2σ21
[y1 − E(y1)]2
(40)
WASNOCI:
• Okre±lony caªkowicie przez E(y1) i σ1 .
• Funkcja ksztaªtu dzwonu symetryczna dokoªa E(y1), spadajaca bardzo szybko dozera dla warto±ci y1 oddalonych od warto±ci oczekiwanej.
Rozkªad warunkowy dwuwymiarowego rozkªadu normalnego:
fw(y1|y2) =1
√2π · σ1 ·
√1− %2
exp
−
1
2σ21(1− %2)
[y1 −
(E(y1) +
% · σ1
σ2
(y2 − E(y2))
]2(41)
WASNOCI:
• Rozkªad warunkowy dwuwymiarowego rozkªadu normalnego okre±lony jest przez tesame 5 parametrów co dwuwymiarowy rozkªad normalny.
• Gdy wspóªczynnik korelacji znika to rozkªad warunkowy przechodzi w rozkªad brze-gowy (jednowymiarowy rozkªad normalny) a wiec brak korelacji jest równowa»nyniezale»no±ci zmiennych - zgodnie z tym co obserwowali±my dla peªnego rozkªadu.
• Posta¢ rozkªadu jest identyczna jak dla rozkªadu brzegowego (jednowymiarowegorozkªadu Gaussa) ale parametry tego rozkªadu, tj. wariancja i warto±¢ oczekiwanawyra»aja sie nastepujaco:
SMOP-2 B.Kamys: 2016/17 29
Wariancja:
σ2(y1|y2) = σ21(1− %2) (42)
UWAGA: wariancja warunkowa σ2(y1|y2) → 0 gdy % → 1 a wi¦c wtedypunkty (y1, y2) le»¡ dokªadnie na prostej (y1 nie ma rozrzutu dla ustalonegoy2). Z kolei gdy %→ 0 to σ2(y1|y2)→ σ2
1 czyli rozrzut warto±ci y1 jest takisam dla ró»nych y2 bo y1 nie zale»y od y2.
Warunkowa warto±¢ oczekiwana zmiennej y1 pod warunkiem y2 czyliregresja pierwszego rodzaju y1 wzgledem y2 jest linia prosta czyli regresjadrugiego rodzaju.
E(y1|y2 ) = E(y1) +%.σ1
σ2
(y2 − E(y2)) (43)
Wspóªczynnikiem kierunkowym tej prostej jest wyra»enie
%.σ1
σ2
a wiec wida¢, »e zamiana wska¹ników zmiennych y1 i y2 nie powoduje, przechodzeniawspóªczynnika kierunkowego w swa odwrotno±¢ jak to powinno by¢ gdyby linia prostaregresji y1 wzgledem y2 pokrywaªa sie z linia prosta regresji y2 wzgledem y1.
Linie regresji E(y1|y2 ) oraz E(y2|y1 ) beda sie pokrywaªy tylko wtedy gdymoduª wspóªczynnika korelacji bedzie równy jedno±ci , czyli wtedy gdy bedzie ist-niaª funkcyjny zwiazek liniowy pomiedzy zmiennymi y1 i y2. Przy bliskich zera warto-±ciach wspóªczynnika korelacji linie te beda prawie prostopadªe do siebie.
SMOP-2 B.Kamys: 2016/17 30
4 ESTYMACJA PARAMETRÓW
W tym rozdziale zostan¡ omówione podstawowe poj¦cia estymacji parametrów.
DEFINICJA:Statystyka nazywamy zmienna losowa, która jest funkcja próby czyli sko«czonej liczbywyników do±wiadcze« (obserwacji) reprezentujacych wszystkie mo»liwe wyniki, którychzbiór nazywany jest populacja generalna. Je»eli rozkªad statystyki zale»y od warto±cipewnego parametru to warto±¢ statystyki mo»e sªu»y¢ do oszacowania tego parametrui statystyke taka nazywamy estymatorem tego parametru. Na przykªad ±rednia aryt-metyczna wzrostu kilku studentów jest statystyka, która mo»e by¢ u»yta do oszacowaniawarto±ci oczekiwanej wzrostu wszystkich studentów. A wiec ±rednia arytmetyczna jestestymatorem warto±ci oczekiwanej .
DEFINICJA:Oszacowanie warto±ci parametru przez warto±¢ estymatora nazywane jest estymacjapunktowa.
DEFINICJA:Od estymatora wymagamy przede wszystkim aby byª zgodny. Synonimem zgodno±ciestymatora jest stwierdzenie, »e estymator speªnia prawo wielkich liczb. Okre±leniate oznaczaja, »e wraz ze wzrostem rozmiarów próby prawdopodobie«stwo tego,»e estymator parametru a odchyla sie od prawdziwej warto±ci tego parametrumniej od dowolnego ε > 0, da»y do jedno±ci :
limn→∞
P (|Tn(a)− a| < ε) = 1
(44)
DEFINICJA:Jeszcze bardziej po»adana wªasno±cia jest aby estymator speªniaª silne prawo wielkichliczb czyli aby prawdopodobie«stwo tego, »e warto±¢ estymatora parametru da»ydo warto±ci szacowanego parametru wraz ze wzrostem rozmiarów próby, rów-naªo sie jedno±ci (a nie aby tylko da»yªo do jedno±ci).
P(
limn→∞
Tn(a) = a)
= 1 (45)
SMOP-2 B.Kamys: 2016/17 31
Bardzo po»adane jest aby estymator miaª powy»sza wªasno±¢ ale je»eli nie da sie tegoosiagna¢ to zadowalamy sie faktem zgodno±ci estymatora.
Warto zapamieta¢, »e dla dwu bardzo wa»nych wielko±ci, tj. dla prawdopodobie«-stwa zachodzenia jakiego± zdarzenia oraz dla warto±ci oczekiwanej zmiennejlosowej istnieja estymatory speªniajace silne prawo wielkich liczb:
TW. CANTELLIEGOF.P. Cantelli w 1917 roku (a E. Borel w 1909 r dla szczególnego przypadku P=1/2)udowodniª, »e czesto±¢ realizacji zdarzenia A w serii n niezale»nych do±wiadcze« jest es-tymatorem prawdopodobie«stwa zdarzenia A speªniajacym silne prawo wielkich liczb:
P
(limn→∞
(nA
n
)= P (A)
)= 1
(46)
W powy»szym wzorze nA oznacza liczbe realizacji zdarzenia A w ciagu n do±wiadcze«.
TW. KOMOGOROWAA.N. Koªmogorow udowodniª, »e ±rednia arytmetyczna ciagu niezale»nych pomiarów xijest estymatorem warto±ci oczekiwanej mierzonej wielko±ci x speªniajacym silne prawowielkich liczb.
P
(limn→∞
(1
n
n∑i=1
xi
)= E(x)
)= 1
(47)
DEFINICJA:Inna, po»adana cecha estymatora jest aby byª nieobcia»ony. Mówimy, »e estymatorparametru Θ posiada te ceche gdy
E Tn (Θ) = Θ (48)
niezale»nie od n, tj. od rozmiaru próby.
DEFINICJA:Obcia»eniem estymatora nazywana jest wielko±¢:
Bn ≡ E Tn (Θ) −Θ (49)
SMOP-2 B.Kamys: 2016/17 32
Oczywi±cie dla estymatora nieobcia»onego Bn ≡ 0.
DEFINICJA:Estymatorem asymptotycznie nieobcia»onym nazywany jest taki estymator obcia»ony,dla którego obcia»enie da»y do zera gdy rozmiary próby rosna nieograniczenie:
limn→∞
Bn ≡ limn→∞
[E Tn (Θ) −Θ] = 0 (50)
Poni»ej podane sa dwa po»yteczne twierdzenia, które mo»na wykorzysta¢ do zdecydo-wania, czy estymator jest estymatorem zgodnym.
TWIERDZENIE:Je»eli wariancja estymatora nieobcia»onego lub asymptotycznie nieobcia»onego da»y dozera gdy rozmiary próby rosna nieograniczenie to estymator jest zgodny.
TWIERDZENIE:Je»eli parametr η jest wymierna funkcja (ilorazem wielomianów) parametru Θ: η =η(Θ) oraz Tn(Θ) jest zgodnym estymatorem parametru Θ to Tn(η) ≡ η(Tn(Θ)) jestzgodnym estymatorem parametru η.
UWAGA:Istnieja specjalne metody tworzenia estymatorów, takie jak np. metoda momentów,metoda najwiekszej wiarygodno±ci czy metoda najmniejszych kwadratów, którychzastosowanie zapewnia uzyskanie zgodnych estymatorów.
SMOP-2 B.Kamys: 2016/17 33
5 ESTYMACJA PUNKTOWAE(x), σ2(x), σ(x) i %(x, y)
Przypomnijmy denicje estymacji punktowej podana we wstepie:
DEFINICJA:Oszacowanie warto±ci parametru przez warto±¢ estymatora nazywane jest estymacjapunktowa.
W tym rozdziale zakªadamy, »e mierzona wielko±¢ losowa rzadzona jest roz-kªadem normalnym. Na tej podstawie mo»na wyprowadzi¢ wnioski dotyczace roz-kªadów rozwa»anych estymatorów. Wiekszo±¢ wniosków (z wyjatkiem postaci rozkªaduestymatorów) przenosi sie równie» na estymatory warto±ci oczekiwanej i wariancji dlazmiennych losowych o rozkªadach ró»nych od normalnego.
5.1 ESTYMATOR E(x)
Jak to ju» omówiono we wstepie jako estymator warto±ci oczekiwanej Tn(E(x)) przyjmujesie ±rednia arytmetyczna niezale»nych pomiarów wielko±ci x (oznaczana przez x) :
Tn(E(x)) ≡ x =1
n
n∑i=1
xi (51)
Estymator ten posiada optymalne wªasno±ci:
• Koªmogorow pokazaª, »e X speªnia mocne prawo wielkich liczb a wiec oczywi±ciejest tak»e zgodny,
• Estymator X jest nieobcia»ony.
E(1
n
∑i
xi) =1
n
∑i
E(xi) =1
n(n.E(x)) = E(x)
c.b.d.o.
Tu wykorzystano fakt, »e wszystkie warto±ci oczekiwane sa równe E(xi) = E(x).
• Mo»na pokaza¢, »e x jest najbardziej efektywnym estymatorem E(x), tzn. posiadanajmniejsza wariancje spo±ród wszystkich mo»liwych estymatorów.
SMOP-2 B.Kamys: 2016/17 34
Dla zmiennej losowej x o rozkªadzie normalnym mo»na udowodni¢ poni»sze twierdze-nie:
TWIERDZENIE:Estymator x warto±ci oczekiwanej E(x) ma rozkªad normalny
f(x) = N
(E(x),
σ(x)√n
)gdzie n jest liczba pomiarów w próbie.
WNIOSKI:
• E(x) = E(x) tzn. Estymator x jest nieobcia»ony
• Odchylenie standardowe ±redniej arytmetycznej σ(x) jest√n - krotnie mniejsze
od odchylenia standardowego σ(x) pojedynczego pomiaru.
• Odchylenie standardowe σ(x) czyli bªad ±redni kwadratowy ±redniej arytmetycz-nej charakteryzuje dokªadno±¢ wyznaczenia prawdziwej warto±ci x w danymkonkretnym pomiarze skªadajacym sie z n niezale»nych do±wiadcze«.
x0 = x± σ(x)
• Aby charakteryzowa¢ dokªadno±¢ metody pomiarowej wówczas jako miare do-kªadno±ci podajemy bªad pojedynczego pomiaru tj. σ(x) .
5.2 ESTYMATOR WARIANCJI σ2(x)
Dwa powszechnie stosowane estymatory wariancji to S2(x) i s2(x):
S2 (x) ≡1
n− 1
n∑i=1
(xi − x)2 (52)
S2(x) to zgodny i nieobcia»ony estymator σ2(x). Jest to ªatwo pokaza¢ je»eli wiadomo(a mo»na to udowodni¢), »e zmienna Y zdeniowana poni»ej ma rozkªad chi-kwadrat o(n-1) stopniach swobody:
Y ≡(n− 1)S2(x)
σ2(x)= χ2
n−1
SMOP-2 B.Kamys: 2016/17 35
Wtedy, wykorzystujac znajomo±¢ warto±ci oczekiwanej i wariancji zmiennej chi-kwadrat,mo»na napisa¢:
E Y ≡ E
(n− 1)S2(x)
σ2(x)
= E
χ2n−1
= n− 1
σ2 Y ≡ σ2
(n− 1)S2(x)
σ2(x)
= σ2
χ2n−1
= 2(n− 1)
Z pierwszego tych równa« dostajemy natychmiast:
ES2(x)
= σ2(x)
a wiec S2(x) jest estymatorem nieobcia»onym .
Z drugiego otrzymujemy:
σ2S2(x)
=
2(n− 1)σ4(x)
(n− 1)2=
2σ4(x)
(n− 1)→n→∞
0
a wiec mamy do czynienia z estymatorem nieobcia»onym, którego wariancja da»y dozera wraz ze wzrostem rozmiarów próby . Taki estymator jest estymatorem zgodnymjak to gªosi twierdzenie przytoczone we wstepie.
Drugi z wymienionych estymatorów to s2(x), deniowany nastepujaco:
s2 (x) ≡1
n
n∑i=1
(xi − x)2 (53)
Ten estymator proporcjonalny jest do S2(x):
s2(x) =n− 1
n· S2(x)
SMOP-2 B.Kamys: 2016/17 36
a wiec musi by¢ obcia»ony skoro S2(x) jest nieobcia»ony. Obcia»enie wynosi Bn =−(1/n)σ2(x) i znika gdy n ro±nie do niesko«czono±ci a wiec jest to estymator asymp-totycznie nieobcia»ony .
Wariancja tego estymatora wynosi:
σ2(s2(x)) =
(n− 1
n
)2
·2σ4(x)
(n− 1)=
2(n− 1)σ4(x)
n2
Stad mo»na powiedzie¢, »e
• Wariancja s2(x) znika, gdy rozmiary próby rosna do niesko«czono±ci a poniewa»s2(x) jest asymptotycznie nieocia»ony to twierdzenie u»yte poprzednio tak»e mówi,»e s2(x) jest estymatorem zgodnym σ2(x).
• Wariancja s2(x) jest dla ka»dego rozmiaru próby mniejsza od wariancji S2(x) awiec jest on bardziej efektywny ni» S2(x). Mo»na pokaza¢, »e jest to najbardziejefektywny estymator σ2(x).
5.3 ESTYMATOR ODCHYLENIA STANDARDOWEGO σ(x)
Dla oszacowania warto±ci odchylenia standardowego stosuje sie trzy estymatory. Dwaz nich - S(x) ≡
√S2(x) i s(x) ≡
√s2(x) sa bardzo popularne mimo, »e oba sa
estymatorami obcia»onymi . Trzeci, o którym bedzie mowa poni»ej, jest estymatoremnieobcia»onym ale u»ywany jest rzadko gdy» wyra»a sie bardziej skomplikowanym wzorema jego warto±ci ró»nia sie znaczaco od warto±ci S(x) tylko dla niewielkich prób.
S(x): S(x) ≡
√√√√ 1
n− 1
n∑i=1
(xi − x)2 (54)
Jest to zgodny, asymptotycznie nieobcia»ony estymator odchylenia standardo-wego.
SMOP-2 B.Kamys: 2016/17 37
s(x): s(x) ≡
√√√√ 1
n
n∑i=1
(xi − x)2
(55)
Jest to zgodny, asymptotycznie nieobcia»ony i najbardziej efektywny esty-mator odchylenia standardowego.
S(x): S(X) ≡√n− 1
2
Γ(n−12
)
Γ(n2)· S(x) (56)
Jest to zgodny i nieobcia»ony estymator σ(X).
UWAGA:
Wspóªczynnik wystepujacy przy estymatorze S(x) w powy»szej denicji mo»na zastapi¢z niezªym przybli»eniem przez wstawienie do wzoru na S(X) zamiast 1/(n−1) czynnika1/(n− 1.45).
Poni»ej podajemy w tabelce przykªadowe warto±ci tego wspóªczynnika dla ró»nych na tak»e wynik zastosowania powy»szego uproszczonego sposobu zastapienia tego wspóª-czynnika:
n√
n−12
Γ(n−12
)
Γ(n2
)
√n−1n−1.45
3 1.1284 1.13594 1.0853 1.08475 1.0640 1.06156 1.0506 1.04827 1.0423 1.039710 1.0280 1.026015 1.0181 1.016520 1.0134 1.012125 1.0104 1.009550 1.0051 1.0046
SMOP-2 B.Kamys: 2016/17 38
UWAGA:Najcze±ciej u»ywanym estymatorem odchylenia standardowego jest estymator S(x)
5.4 ESTYMATOR WSPÓCZYNNIKA KORELACJI %(x, y)
Estymator wspóªczynnika korelacji Tn(ρ(X,Y )) ≡r" (symbole x i y oznaczaja ±red-nie arytmetyczne pomiarów):
Tn(ρ(X,Y )) ≡ r =
n∑i=1
(xi − x)(yi − y)√√√√( n∑i=1
(xi − x)2
)(n∑j=1
(yj − y)2
) (57)
Interpretacja kwadratu estymatora r2”
Mo»na pokaza¢, »e kwadrat estymatora wspóªczynnika korelacji (nazywany wspóªczyn-nikiem determinacji) pokazuje na ile dobre jest przybli»enie liniowe zale»no±ci y(x) czylijak dobra jest regresja drugiego rodzaju .
r2 =
∑i
(axi + b− y)2∑i
(yi − y)2(58)
Wielko±¢ y to ±rednia po wszystkich obserwowanych warto±ciach yi a a · xi + b to liniaprosta z tak dobranymi parametrami a i b aby byªa minimalna suma kwadratów odchy-le« od prostej do odpowiadajacych danemu argumentowi prostej xi warto±ci zmiennej yi.Wyra»enie w liczniku to tzw. wyja±niona przez regresje suma kwadratów a wy-ra»enie w mianowniku to caªkowita suma kwadratów . Jak wida¢ im bli»szy jedno±cijest kwadrat estymatora wspóªczynnika korelacji tym lepiej caªkowity rozrzut zmiennejy jest odtwarzany przez regresje a wiec tym lepszym przybli»eniem zale»no±ci y(x) jestlinia prosta. Zwykle uwa»a sie, »e przybli»enie jest dobre gdy warto±ci r2 sa bliskie 0.9 alew praktyce sami musimy zdecydowa¢, czy odchylenia rzedu 10% sa ju» zadowalajaco maªe.
Wprowad¹my nast¦puj¡ce oznaczenie dla funkcji regresji drugiego rodzaju czyli liniiprostej:
SMOP-2 B.Kamys: 2016/17 39
E(y|xi) ≡ Yi = a · xi + b
gdzie parametry prostej a i b wyra»aj¡ si¦ nast¦puj¡cymi wzorami:
a =
∑i
(xi − x) (yi − y)∑i
(xi − x)2 , b = y − ax
Stosuj¡c to oznaczenie mo»emy rozbi¢ odchylenie yi od ogólnej ±redniej y na dwie cz¦±ciprzez dodanie i odj¦cie funkcji regresji Yi:
yi − y = (yi − Yi) + (Yi − y)
Podnosz¡c do kwadratu obie strony i sumuj¡c po wszystkich punktach dostaniemy
∑i
(yi − y)2 =∑i
(yi − Yi)2+∑i
(Yi − y)2 (59)
bo wyraz mieszany znika: ∑i
(yi − Yi) (Yi − y) = 0
co poni»ej b¦dzie pokazane.
∑i
(yi − Yi) (Yi − y) =
=∑i
(yi − axi − b) (axi + b− y) =
=∑i
(yi − axi − (y − ax)) (axi + (y − ax)− y) =
= a∑i
(yi − y − a(xi − x)) (xi − x) =
= a∑i
((yi − y) (xi − x)− a(xi − x)2
)=
= a
[a∑i
(xi − x)2 − a∑i
(xi − x)2
]≡ 0
W drugiej linijce wyraz b zostaª wyra»ony przez a, x i y, w trzeciej zostaªy uprosz-czone y i − y oraz uporz¡dkowany pierwszy czynnik pod sum¡ i czynnik a wyrzucony
SMOP-2 B.Kamys: 2016/17 40
przed sum¦, w czwartej zostaª jawnie zapisany iloczyn (xi− xi) przez dwa wyrazy pierw-szego czynnika a w pi¡tej wykorzystano jawny wzór na wyraz a (patrz powy»ej).
Wspóªczynnik determinacji (78) jest zawsze deniowany jako stosunek dwu sumkwadratów odchyle«: wyja±nionej przez regresj¦ sumy kwadratów i caªkowitej sumy kwa-dratów ale dla regresji liniowej jest on równy kwadratowi estymatora wspóªczynnika kore-lacji (r2) st¡d dla regresji nieliniowej przyj¦ªo si¦ u»ywa¢ oznaczenia R2 na wspóªczynnikdeterminacji.
Poni»ej jest pokazane, »e dla regresji liniowej wspóªczynnik determinacji jest kwadra-tem estymatora wspóªczynnika korelacji r2.
Wzór (42) na warunkow¡ wariancj¦ σ2(y|x) = σ2(y) · (1 − %2) zawiera jawn¡zale»no±¢ wariancji σ2(y|x) od wspóªczynnika korelacji %. Przeksztaªcaj¡c ten wzórdostajemy:
1− %2 =σ2(y|x)
σ2(y)
%2 =σ2(y)− σ2(y|x)
σ2(y)
Z kolei korzystaj¡c ze wzoru (77) widzimy, »e suma kwadratów odchyle« poszczegól-nych warto±ci yi od funkcji regresji Yi ≡ axi + b,∑
i
(axi + b− y)2
jest równa ró»nicy σ2(y)−σ2(y|x) wyst¦puj¡cej we wzorze powy»ej. Zast¦puj¡c σ2(y)w mianowniku wzoru na %2 przez sum¦ kwadratów odchyle« od ±redniej warto±ci yotrzymujemy wzór (78), który chcieli±my wyprowadzi¢.
SMOP-2 B.Kamys: 2016/17 41
6 ESTYMACJA PRZEDZIAOWAE(x), σ2(x) i σ(x)
Podstawy tej metody estymacji opracowaª polski statystyk Jerzy Spªawa-Neyman (w li-teraturze zachodniej cytowany zwykle jako Neyman). Idea metody jest tworzenie takiegoprzedziaªu liczbowego, o którym mo»na powiedzie¢, »e z zadanym prawdopodobie«stwemzawiera w sobie (przekrywa) warto±¢ szacowanego parametru.
Prawdopodobie«stwo to nazywa sie poziomem ufno±ci i standardowo oznaczane jestsymbolem 1 - α .
UWAGA: Zwykle mówimy, »e "prawdziwa warto±¢ szacowanego parametru znajduje si¦w przedziale ufno±ci z zadanym prawdopodobie«stwem". Nale»y jednak zwróci¢ uwag¦ nato, »e to ko«ce przedziaªu s¡ warto±ciami losowymi a prawdziwa warto±¢ parametru,chocia» nieznana, nie jest warto±ci¡ losow¡.
Przedziaª nazywany jest przedziaªem ufno±ci dla parametru θ je»eli:
♦ prawdopodobie«stwo P( T(1)n ≤ θ ≤T(2)
n ) = 1 - α ,
♦ ko«ce przedziaªu zale»a od wyników do±wiadczenia i od poziomu ufno±ci a nie zale»afunkcyjnie od θ.
UWAGA:
• Poziom ufno±ci 1 - α przyjmuje sie zwykle du»y (np. 0,9) ale nie mo»e by¢ zbyt du»ybo zwiekszanie poziomu ufno±ci zwieksza dªugo±¢ przedziaªu ufno±ci co powoduje,»e tracona jest informacja o warto±ci oszacowanego parametru.
• Poni»sze rozwa»ania sa sªuszne przy zaªo»eniu, »e wyniki pomiarów xi ,i=1,..n obar-czone sa tylko bªedami przypadkowymi a wiec rzadzone sa rozkªadem normal-nym N(Ex, σx).
SMOP-2 B.Kamys: 2016/17 42
6.1 ESTYMACJA PRZEDZIAOWAWARTOCI OCZEKIWA-NEJ Ex - ZNANE σx
Jako statystyke testowa (zmienna losowa zale»na od wyniku do±wiadczenia) bierzemyzmienna z zdeniowana poni»ej:
z ≡x− Exσx
≡(x− Ex)
√n
σx(60)
Poniewa» ±rednia arytmetyczna x ma rozkªad normalny wiec zmienna z, która jeststandaryzowana ±rednia arytmetyczna, ma standardowy rozkªad normalny N(0,1).
Szukamy takiego przedziaªu [zmin, zmax], »e:
• P(zmin ≤ z ≤ zmax) = 1− α
• przedziaª ten poªo»ony jest tam, gdzie gesto±¢ prawdopodobie«stwa f(z) jest naj-wieksza.
Poniewa» rozkªad standardowy normalny jest symetryczny dokoªa zera i zero jest modarozkªadu (funkcja gesto±ci ma maksimum) to wida¢, »e przedziaª [zmin, zmax] powinienby¢ poªo»ony symetrycznie dokoªa z=0:
zmax = −zmin.
Wiedzac, »e funkcja gesto±ci prawdopodobie«stwa jest unormowana do jedno±ci (polepod caªym wykresem funkcji gesto±ci jest równe jedno±ci) oraz wiedzac, »e pole pod tymwykresem dla z le»acego w przedziale [zmin, zmax] wynosi γ a przedziaª le»y symetryczniedokoªa z = 0 mo»na brzegi przedziaªu wyrazi¢ przez kwantyle rozkªadu N(0, 1) :
zmin = zα2oraz zmax = z1−α
2
SMOP-2 B.Kamys: 2016/17 43
-3 -2 -1 0 1 2 30,0
0,1
0,2
0,3
0,4
0,5
Z1- /2 - Z1- /2
f(Z)
Z
N(0,1)
1 -
Rysunek 1: Standardowy rozkªad Gaussa: N(0,1). Obszar niezakreskowany odpowiadaprzedziaªowi ufno±ci i realizuje si¦ z prawdopodobie«stwem 1 − α (tu 1 − α = 0, 95).Przedziaªy zakreskowane le»¡ poza obszarem ufno±ci i maj¡ ª¡cznie prawdopodobie«stwoα = 0, 05 co przy symetrii rozkªadu daje dla ka»dego z powy»szych przedziaªów praw-dopodobie«stwo α/2 a wi¦c górny brzeg lewego przedziaªu zakreskowanego to kwantylzα/2 = −z1−α/2 = −z0,975 = −1, 96 a dolny brzeg prawego obszaru zakreskowanegoto kwantyl z1−α/2 = z0,975 = 1, 96.
Dodatkowo mo»emy skorzysta¢ z faktu symetrii rozkªadu N(0, 1) dokoªa z = 0, którypozwala na wyra»enie obu kwantyli przez siebie:
zα2
= −z1−α2
Dzieki temu w tablicach podawane sa zwykle tylko kwantyle na du»ym ( tj. 1 − α2)
lub na maªym ( tj. α2) poziomie.
Zamiast korzysta¢ z tablic mo»na oczywi±cie wylicza¢ numerycznie kwantyle rozkªaduN(0, 1). Odpowiednie procedury dla liczenia kwantyli rozkªadu standardowego normal-nego a tak»e innych podstawowych rozkªadów statystyki, takich jak rozkªad chi-kwadrat,rozkªad Studenta czy te» rozkªad Fishera-Snedecora mo»na znale¹¢ np. w ksia»ce S.Brandta, Analiza danych , PWN 1998.
Denicyjny wzór na zmienna z pokazuje, »e zmienna z i ±rednia arytmetyczna zwiazane samonotoniczna (liniowa) zale»no±cia a wiec mo»na jednoznacznie przedziaªowi [zmin, zmax]przypisa¢ przedziaª warto±ci zmiennej
x− Ex =σx√nz.
SMOP-2 B.Kamys: 2016/17 44
co po prostym przeksztaªceniu da przedziaª ufno±ci na EX:
P (zmin ≤ z ≤ zmax) ⇔ P
(x−
σx√nzmax ≤ Ex ≤ x−
σx√nzmin
)Z prawdopodobie«stwem 1− α przedziaª liczbowy wypi-sany powy»ej przykrywa soba warto±¢ oczekiwana Ex.
Trzeba pamieta¢, »e warto±¢ oczekiwana jest konkretna liczba a nie zmiennalosowa . Zmiennymi sa ko«ce przedziaªu bo sa funkcjami ±redniej arytmetycznejpomiarów.
Wyra»ajac zmin i zmax przez kwantyle standardowego rozkªadu normalnego dostajemyprzedziaª ufno±ci dla warto±ci oczekiwanej EX na poziomie ufno±ci 1− α:
x−σx√nz1−α
2≤ Ex ≤ x−
σx√nzα
2
lub
x−σx√nz1−α
2≤ Ex ≤ x+
σx√nz1−α
2
lub
x+σx√nzα
2≤ Ex ≤ x−
σx√nzα
2
Sa to trzy równowa»ne formy, przy czym najªatwiej chyba zapamieta¢ druga z nich:
x−σx√nz1−α
2≤ Ex ≤ x+
σx√nz1−α
2(61)
SMOP-2 B.Kamys: 2016/17 45
6.2 ESTYMACJA PRZEDZIAOWAWARTOCI OCZEKIWA-NEJ Ex - NIEZNANE σx
Jako statystyke testowa bierzemy zmienna t zdeniowana poni»ej:
t ≡x− ExSx
≡(x− Ex)
√n
Sx(62)
gdzie statystyka
Sx ≡
√√√√ 1
n(n− 1)
n∑i=1
(xi − x)2
jest znanym nam estymatorem odchylenia standardowego ±redniej arytmetycznej x an oznacza liczbe pomiarów w próbie.
Mo»na pokaza¢, »e zmienna t ma rozkªad Studenta o (n-1) stopniach swo-body .
Poniewa» rozkªad Studenta jest bardzo podobny do standardowego rozkªadu normal-nego wiec rozwa»ania podane powy»ej dla przypadku przedziaªu ufno±ci dla Ex gdyznane jest odchylenie standardowe pomiarów zachowuja swa prawdziwo±¢ i dla aktualnejsytuacji z tym, »e kwantyle rozkªadu normalnego musza by¢ zamienione przez odpowiedniekwantyle rozkªadu Studenta a odchylenie standardowe zastapione przez jego estymator:
x−Sx√nt1−α
2≤ Ex ≤ x+
Sx√nt1−α
2(63)
Tu podana jest tylko jedna z trzech równowa»nych postaci wzoru na przedziaª ufno±ciale oczywi±cie mo»na równie» u»ywa¢ obu pozostaªych po odpowiednich modykacjach.
UWAGA: Dla du»ych prób (n > 20 ÷ 30) rozkªad Studenta upodabnia sie bardzo dorozkªadu standardowego normalnego i dla wiekszo±ci praktycznych zastosowa« mo»naposªugiwa¢ sie kwantylami rozkªadu N(0, 1).
SMOP-2 B.Kamys: 2016/17 46
6.3 ESTYMACJA PRZEDZIAOWA WARIANCJI I ODCHY-LENIA STANDARDOWEGO
Jako statystyke bierzemy zmienna Y zdeniowana nastepujaco:
Y =(n− 1)S2(x)
σ2(x)(64)
gdzie n to liczba pomiarów w próbie, σ2(x) to wariancja X a S2(x) to estymator war-iancji zmiennej X:
S2(x) =1
n− 1
n∑i=1
(xi − x)2
Wielko±¢ ta ma rozkªad chi-kwadrat o (n-1) stopniach swobody.
Podobnie jak przy szukaniu przedziaªu ufno±ci dla warto±ci oczekiwanejEx rozwa»asie przedziaª najbardziej prawdopodobnych warto±ci zmiennej Y. Jednak»e przedziaª tennie jest symetryczny dokoªa mody bo rozkªad chi-kwadrat nie jest symetryczny.
SMOP-2 B.Kamys: 2016/17 47
0 5 10 15 20 25 300,00
0,05
0,10
0,15
( )( )
/2=0,025
f( ) 1 -
/2=0,025
Rysunek 2: Rozkªad chi-kwadrat o (n − 1) = 9 stopniach swobody χ29. Obszar nieza-
kreskowany odpowiada przedziaªowi ufno±ci i realizuje si¦ z prawdopodobie«stwem 1−α(tu 1− α = 0, 95). Przedziaªy zakreskowane le»¡ poza obszarem ufno±ci i maj¡ ª¡cznieprawdopodobie«stwo α = 0, 05 co przy zaªo»eniu, »e odchylenia w gór¦ i w dóª pozaprzedziaª ufno±ci s¡ równie prawdopodobne daje dla ka»dego z powy»szych przedziaªówprawdopodobie«stwo α/2 = 0, 025 a wi¦c górny brzeg lewego przedziaªu zakreskowa-nego to kwantyl
(χ2
9
)α/2
= 2, 7004 a dolny brzeg prawego obszaru zakreskowanego to
kwantyl(χ2
9
)α/2
= 19, 023.
Dla jednoznacznego okre±lenia przedziaªu ufno±ci zakªada sie, »e prawdopodobie«stwoodchylenia warto±ci Y poza wybrany przedziaª w strone du»ych warto±ci jest takie samojak prawdopodobie«stwo odchylenia w strone odwrotna:
P (Y < Ymin) = P (Y > Ymax) =α
2
Zaªo»enie to pozwala jednoznacznie okre±li¢ brzegi przedziaªu przez kwantyle rozkªaduchi-kwadrat :
Ymin = (χ2n−1)α
2i Ymax = (χ2
n−1)1−α2
Kwantyle te nie sa równe i musza by¢ oba wyliczone lub znalezione z tablic.
Relacja pomiedzy estymowanym parametrem, tj. wariancja i statystyka Y jest mono-toniczna funkcja :
σ2(x) =(n− 1).S2(x)
Y
SMOP-2 B.Kamys: 2016/17 48
wiec prawdopodobie«stwo traenia statystyki do przedziaªu [Ymin,Ymax] jest równe praw-dopodobie«stwu tego, »e oszacowywana wariancja bedzie le»aªa w przedziale:
(n− 1).S2(x)
Ymax≤ σ2(x) ≤
(n− 1).S2(x)
Ymin
co powoduje, »e ostatecznie przedziaª ufno±ci dla wariancji na poziomie ufno±ci γ to :
(n− 1).S2(x)
(χ2n−1)1−α
2
≤ σ2(x) ≤(n− 1).S2(x)
(χ2n−1)α
2
(65)
Estymacja przedziaªowa odchylenia standardowego σ(x) mo»e by¢ przeprowadzonaprzez pierwiastkowanie granic przedziaªu ufno±ci dla wariancji. Ten przedziaª liczbowybedzie przedziaªem ufno±ci dla odchylenia standardowego na tym samym poziomie ufno±cico startowy przedziaª ufno±ci dla wariancji. Dzieje sie tak dlatego, »e pierwiastkowanie -relacja miedzy dwoma dodatnimi wielko±ciami, t.j. wariancja i odchyleniem standardo-wym - jest monotoniczna funkcja. Stad prawdopodobie«stwo traenia odchylenia stan-dardowego do przedziaªu o granicach równych pierwiastkom z granic przedziaªu ufno±cidla wariancji jest takie samo jak prawdopodobie«stwo traenia wariancji do swojego prze-dziaªu ufno±ci.
SMOP-2 B.Kamys: 2016/17 49
7 ESTYMACJA PUNKTOWAE~y(~x) I MACIERZYKOWARIANCJI ~y(~x)
Estymator warto±ci oczekiwanej:Dla oszacowania warto±ci oczekiwanej funkcji wielu zmiennych losowych stosuje sie
standardowo poni»sze przybli»enie:
Tn (E(~y(~x))) = ~y (Tn(E(x1)), Tn(E(x2)), . . . , Tn(E(xN)))
przy czym aby upro±ci¢ zapis opuszcza sie czesto symbol estymatora warto±ci oczekiwanejfunkcji ~y a estymatory warto±ci oczekiwanych argumentów zapisuje sie w standardowysposób:
E(~y) ≈ ~y(x1, x2, ..xN) (66)
gdzie x1, x2, ... to skªadowe wektora ~x a xi to ±rednia arytmetyczna z n pomiarówargumentu xi: xi ≡ (1/n)
∑j(xi)j .
Estymator macierzy kowariancji:
Tn (cov(yk, yq)) =∑
i,j
(∂yk
∂xi
)~x=(~x)
(∂yq
∂xj
)~x=(~x)
Tn (cov(xi, xj))
gdzie estymator kowariancji skªadowych wektora argumentu ~x ma nastepujaca posta¢:
Tn(cov(xi, xj)) =1
n− 1
n∑k=1
((xi)k − xi)((xj)k − xj) (67)
Powy»sze wzory tak»e zapisuje sie najcze±ciej opuszczajac symbole estymatorów alewtedy trzeba z kontekstu domy±li¢ sie, »e mowa jest o estymatorach !
cov(yk, yq) ≈∑
i,j
(∂yk
∂xi
)~x=(~x)
(∂yq
∂xj
)~x=(~x)
cov(xi, xj) (68)
SMOP-2 B.Kamys: 2016/17 50
Symbol (~x) oznacza wektor ±rednich arytmetycznych (~x) ≡ (x1, x2, ...xN).
Wprowadzajac oznaczenia macierzowe:
Cij(~x) = covxi, xjCij(~y) = covyi, yj
Tij =
(∂yi
∂xj
)~x=(~x)
mo»emy wyrazi¢ kowariancje zmiennej ~y przez kowariancje zmiennej ~x w nastepujacysposób (nazywany propagacja bªedów):
C(~y) ≈ TC(~x)T T (69)
Wyprowadzenie powy»szych przybli»onych wzorów zostaªo podane w rozdziale 2.3 atutaj pokazano jakie estymatory wprowadza si¦ za odpowiednie wielko±ci.
SZCZEGÓLNY PRZYPADEK:Gdy zmienne xi, i = 1, ..n sa niezale»ne macierz kowariancji skªadowych wektora ~xjest diagonalna czyli pozostaja niezerowe jedynie wariancje:
covxi, xj = δij · varxi
Wzór na estymatory kowariancji cov(yk, yq) gdy xi, i=1,..n sa niezale»ne sprowadzasie do poni»szej postaci, gdzie wariancje zast¡piono ich estymatorami:
cov(yk, yq) ≈∑
i
(∂yk
∂xi
)~x=(~x)
(∂yq
∂xi
)~x=(~x)
S2(xi) (70)
co w szczególno±ci daje znany nam wzór na bªad ±redni kwadratowy :
SMOP-2 B.Kamys: 2016/17 51
σ(yk) ≡√var(yk) ≈
√∑i
(∂yk
∂xi
)2
~x=(~x)
S2(xi) (71)
UWAGA: Nale»y pamieta¢, »e
• Bªad ±redni kwadratowy yk mo»e by¢ policzony wg wzoru powy»ej (bez kowariancji)tylko wtedy gdy zmienne xi sa niezale»ne . W praktyce E(xi) zastepowanajest przez ±rednia arytmetyczna xi a var(xj) przez kwadrat bªedu ±redniej arytme-tycznej (a nie samej zmiennej xi).
• Macierz kowariancji zmiennych yi, i=1,..n jest zwykle niediagonalna na-wet wtedy gdy zmienne xi sa niezale»ne (macierz kowariancji xi jest diago-nalna) czyli zmienne yi, i = 1, ..n sa zwykle zale»ne. Je»eli wiec bedziemy chcieliznale¹¢ macierz kowariancji wektora losowego ~z, który jest z kolei funkcja wektora ~yto musimy korzysta¢ z ogólnego wzoru zawierajacego kowariancje (zastepujac oczy-wi±cie ~y przez ~z a ~x przez ~y).
• Wzory powy»sze sa wzorami przybli»onymi , tzn. na tyle sa dobre na ile rozwiniecie~y(~x) w szereg Taylora dokoªa E~x z obcieciem na liniowych wyrazach jest dobrymprzybli»eniem funkcji ~y(~x).
Mimo to praktycznie wszedzie stosuje sie te wzory , czesto zapominajac otym, »e sa one ±cisªe tylko dla liniowego zwiazku pomiedzy ~y i ~x.
SMOP-2 B.Kamys: 2016/17 52
8 METODY SZUKANIA ESTYMATORÓWO PO-DANYCH WASNOCIACH
Omówimy poni»ej trzy najcze±ciej stosowane ogólne metody poszukiwania estymatorówparametrów zapewniajace otrzymanie estymatorów o po»adanych wªasno±ciach. Sa to:
• Metoda momentów
• Metoda najwiekszej wiarygodno±ci
• Metoda najmniejszych kwadratów
Ka»da z nich ma swoje zalety i wady. W ogólnym przypadku zalecana jest metodanajwiekszej wiarygodno±ci ale w przypadku szukania parametrów regresji najbardziej po-pularna jest metoda najmniejszych kwadratów. Z kolei metoda momentów mo»e by¢bardzo wygodna w niektórych przypadkach przedyskutowanych poni»ej.
8.1 METODA MOMENTÓW (MM)
Metoda momentów zaproponowana zostaªa przez K. Pearsona na przeªomie XIX i XXwieku.
Idea metody : Szukamy estymatorów parametrów θ1, θ2,... θk okre±lajacych caªkowi-cie dystrybuante zmiennej losowej X postepujac w poni»szy sposób:
• Znajdujemy zwiazki pomiedzy parametrami a momentami rozkªadu.
• Wyliczamy estymatory momentów Tn(mi(0)) ≡ Mi wg wzoru:
Mi =1
n
n∑j=1
[xj]i
• Wstawiamy powy»sze estymatory momentów do wzorów wia»acych oszacowywaneparametry z momentami.
• Rozwiazujemy ukªad równa« na parametry θ1, θ2,... θk wyra»ajac je przez esty-matory momentów Mi , i=1,..,k . Te rozwiazania sa estymatorami odpowiednichparametrów Tn(θi) , i=1,...,k , optymalnymi w sensie metody momentów.
SMOP-2 B.Kamys: 2016/17 53
PRZYKAD:
Szukamy estymatorów parametrów θ1, (θ2)2 rozkªadu Gaussa:
f(x) =1√
2πθ22
exp−(x− θ1)2
2θ22
Znamy zwiazki pomiedzy parametrami i momentami rozkªadu:
θ1 =Ex ≡ m1(0)
(θ2)2 = varx = Ex2 − (Ex)2 ≡ m2(0)− (m1(0))2
Liczymy estymatory momentów:
Tn(m1(0)) ≡M1 =1
n
n∑i=1
xi
Tn(m2(0)) ≡M2 =1
n
n∑i=1
x2i
Z pierwszego równania po wstawieniu ±redniej arytmetycznej zamiast Exdostajemy:
Tn(θ1) =1
n
n∑i=1
xi
Z drugiego równania (zastepujac momenty ich estymatorami) dostajemy:
Tn(θ22) = 1
n
n∑i=1
x2i −
(1n
n∑i=1
xi
)2
=
= 1n
n∑i=1
x2i − 2x2 + x2 =
= 1n
n∑i=1
x2i − 2x.
(1n
n∑i=1
xi
)+
(1n
n∑i=1
x2
)=
= 1n
n∑i=1
(x2i − 2x.xi + x2
)=
= 1n
n∑i=1
(xi − x)2
SMOP-2 B.Kamys: 2016/17 54
(w drugim wierszu dodany i odjety kwadrat ±redniej arytmetycznej, w trzecim kwadrat±redniej zapisany jako n-ta cze±¢ sumy kwadratów ±redniej a dalej to tylko zwijanie kwa-dratu ró»nicy).
Otrzymujemy wiec znany nam estymator s2(x) jako najlepszy w sensie metody momen-tów estymator wariancji θ2
2 :
Tn(θ22) =
1
n
n∑i=1
(xi − x)2 ≡ s2(x)
Wªasno±ci estymatorów metody momentów :
Estymatory sa:
• asymptotycznie nieobcia»one (lub nieobcia»one)
• zgodne
Wady metody momentów:
• Ukªad równa« na estymatory parametrów θ jest zwykle nieliniowy co powoduje,»e musimy znajdowa¢ rozwiazania numerycznie i dodatkowo utrudnia oszacowaniebªedów estymatorów.
• Estymatory metody momentów sa zwykle mniej efektywne (tzn. maja wiekszawariancje) ni» estymatory znalezione innymi metodami a w szczególno±ci metodanajwiekszej wiarygodno±ci.
• Wyznaczanie wy»szych momentów z do±wiadczenia jest maªo dokªadne co rzutujena dokªadno±¢ estymatorów parametrów.
Optymalna sytuacja dla metody momentów:
Zachodzi ona wtedy, gdy szukane parametry wystepuja jako wspóªczynniki rozwinieciafunkcji gesto±ci prawdopodobie«stwa na ortonormalny zespóª funkcji gk(x), k = 1, .., r:
f(x, ~θ) = const+r∑k=1
θkgk(x)
SMOP-2 B.Kamys: 2016/17 55
gdzie const jest staªa normalizacyjna a funkcje gk speªniaja relacje:
∫dx gk(x) gj(x) = δkj oraz
∫dx gk(x) = 0.
Wtedy mo»emy napisa¢ nastepujaco wzór na warto±¢ oczekiwana funkcji gj(x):
Egj(x) =∫dx gj(x) f(x, ~θ) =
=∫dx const gj(x) +
r∑k=1
θk∫dx gk(x) gj(x) =
= 0 + θj
Wynika stad, »e szukanie estymatora parametru θj sprowadza sie do znalezienia estyma-tora warto±ci oczekiwanej funkcji gj(x). Zgodnie z zasada metody momentów estymato-rem tym jest ±rednia arytmetyczna:
Tn(θj) =1
n
n∑i=1
gj(xi)
Wiemy, »e ±rednia arytmetyczna jest zgodnym i nieobcia»onym estymatorem. Cowiecej, wiemy z centralnego twierdzenia granicznego , »e asymptotyczny rozkªad takiejzmiennej jest rozkªadem normalnym a wiec znamy równie» przepis na estymator wariancjitego estymatora. Takim nieobcia»onym i zgodnym estymatorem jest S2(x), gdzie zamiastxi bierzemy funkcje gj(xi) a zamiast x bierzemy estymator Tn(θj):
S2(Tn(θj)) =1
n(n− 1)
n∑i=1
[gj(xi)− T n(θj)]2
SMOP-2 B.Kamys: 2016/17 56
8.2 METODA NAJWIEKSZEJ WIARYGODNOCI (MNW)
Metoda najwiekszej wiarygodno±ci zaproponowana zostaªa przez R.A. Fishera w 1921roku.
Idea metody:Zawiera sie w zaªo»eniu, »e zaobserwowane w próbie wyniki sa najbardziej prawdopodobnespo±ród wszystkich mo»liwych.
• Szukamy prawdopodobie«stwa tego, »e próba bedzie taka jaka zaobserwowali±myje»eli parametry ~θ przyjmuja konkretna warto±¢ ~θ0.
Je»eli próba jest prosta, tzn. pomiary xi, i = 1, .., n sa niezale»ne to szukane praw-dopodobie«stwo próby równe jest iloczynowi prawdopodobie«stw warunkowych po-szczególnych pomiarów. Dla zmiennej ciagªej X mo»emy opu±ci¢ iloczyn ró»niczekdx1...dxn i zapisa¢ jedynie iloczyn gesto±ci prawdopodobie«stw:
L(~θ0) =n∏i=1
f(xi
∣∣∣~θ0) .
To prawdopodobie«stwo (dla zmiennej dyskretnej) lub gesto±¢ prawdopodobie«stwa(dla zmiennej ciagªej) mo»emy potraktowa¢ jako funkcje szukanych parametrów.Funkcje te nazywamy funkcja wiarygodno±ci.
• Znajdujemy taka warto±¢ parametrów ~θ , która zapewnia maksimum funkcji wia-rygodno±ci:
L(~θ) = max .
Te dwa warunki sªu»a jako przepis na szukanie optymalnych w sensie metody najwiekszejwiarygodno±ci estymatorów.
Poniewa» szukanie maksimum funkcji wiarygodno±ci wymaga zwykle ró»niczkowaniapo parametrach wiec bedziemy mie¢ do czynienia z ró»niczkowaniem iloczynu co pro-wadzi do do±¢ skomplikowanych rachunków. Aby uªatwi¢ ró»niczkowanie standardowozamienia sie funkcje wiarygodno±ci przez jej logarytm co powoduje, »e zamiastró»niczkowania iloczynu nale»y ró»niczkowa¢ sume a poªo»enie maksimum w przestrzeniparametrów jest takie samo gdy» logarytm jest funkcja monotoniczna oraz
∂ ln(L)
∂θi≡
(∂L∂θi
)L
ma taki sam znak jak∂L
∂θi(L jest wieksze od zera ).
Logarytm z funkcji wiarygodno±ci oznaczany jest zwykle przez maªa litere l.
SMOP-2 B.Kamys: 2016/17 57
l ≡ ln(L)
(chocia» stosuje sie równie» oznaczenie przez du»e L) i nazywany jest logarytmicznafunkcja wiarygodno±ci a czasem równie» funkcja wiarygodno±ci.
PRZYKAD:
Dla rozkªadu normalnego N(θ1,θ2) :
f(x) =1
√2π θ2
exp
−
(x− θ1)2
2θ22
wiec funkcja wiarygodno±ci:
L(θ1, θ2) =1
(2π)n2 θn2
exp
−
1
2θ22
n∑i=1
(xi − θ1)2
a logarytmiczna funkcja wiarygodno±ci:
l = −n ln((2π)12 )− n ln(θ2)−
1
2θ22
n∑i=1
(xi−θ1)2
Ró»niczkujac po parametrach dostajemy ukªad równa« na parametry:∂l∂θ1
= 1θ22
n∑i=1
(xi − θ1) = 0
∂l∂θ2
= − nθ2
+ 1θ32
n∑i=1
(xi − θ1)2 = 0
Rozwiazanie pierwszego równania daje estymator Tn(θ1):
Tn(θ1) =1
n
n∑i=1
xi
czyli ±rednia arytmetyczna x, a przeksztaªcajac drugie równanie mo»na napisa¢ tak:
n =1
θ22
n∑i=1
(xi − Tn(θ1)2
czyli
Tn(θ22) =
1
n
n∑i=1
(xi − x)2
SMOP-2 B.Kamys: 2016/17 58
a to jest znany nam estymator wariancji zmiennej x oznaczany symbolem s2(x).
Jak wida¢ metoda najwiekszej wiarygodno±ci daªa w tym przypadku dokªadnie te sameestymatory co metoda momentów.
Zanim podamy wªasno±ci estymatorów MNW wprowadzimy denicje rozkªadu re-gularnego i estymatorów regularnych.
Mówimy, »e rozkªad f(X, θ) jest rozkªadem regularnym gdy caªkowanie wzgledem x iró»niczkowanie wzgledem θ sa przemienne i istnieja wyra»enia:
∂∂θ
+∞∫−∞
dx f(x|θ) =+∞∫−∞
dx ∂f(x|θ)∂θ
≡+∞∫−∞
dx f(x|θ) ∂ ln f(x|θ)∂θ
≡ E∂ ln f(x|θ)
∂θ
oraz
∂2
∂θ2
+∞∫−∞
dx f(x|θ) =+∞∫−∞
dx ∂2f(x|θ)∂θ2
≡+∞∫−∞
dx f(x|θ) ∂2 ln f(x|θ)∂θ2
++∞∫−∞
dx f(x|θ)[∂ ln f(x|θ)
∂θ
]2≡
≡ E∂2 ln f(x|θ)
∂θ2
+ E
[∂ ln f(x|θ)
∂θ
]2
Estymator parametru θ rozkªadu regularnego nazywamy estymatorem regularnym.
Gdy zmienna X jest dyskretna to w powy»szych wzorach nale»y funkcje gesto±ci praw-dopodobie«stwa zastapi¢ prawdopodobie«stwem i caªki sumami.
UWAGA:
Ze wzgledu na warunek normalizacji gesto±ci prawdopodobie«stwa+∞∫−∞
dx f(x|θ) = 1
oba wyra»enia wypisane w denicji rozkªadu regularnego sa równe zero.
TWIERDZENIEJe»eli funkcja gesto±ci prawdopodobie«stwa f(X|θ) (lub rozkªad prawdopodobie«stwap(X|θ) ) sa rozkªadami regularnymi i parametr θ jest szacowany na podstawie próbyprostej to estymator Tn(θ) otrzymany przy pomocy MNW ma dla rozmiarów próbyn da»acych do niesko«czono±ci nastepujace wªasno±ci:
• jest zgodny
SMOP-2 B.Kamys: 2016/17 59
• jego asymptotyczny rozkªad jest normalny
z warto±cia oczekiwana ETn(θ)=θ
i wariancja σ2(Tn(θ))=
[n
+∞∫−∞
(∂ ln f(X|θ)
∂θ
)2
f(X|θ) dX
]−1
Mo»na pokaza¢ (jest to tre±cia tzw. nierówno±ci Cramera-Rao), »e wyra»enie powy»-sze jest dolna granica wariancji dla nieobcia»onego estymatora regularnego awiec
MNW daje estymatory:- zgodne,- asymptotycznie nieobcia»one,- asymptotycznie najbardziej efektywne
Dla sko«czonych rozmiarów próby i regularnych rozkªadów MNW daje estyma-tory zgodne ale moga by¢ one obcia»one i moga nie by¢ najbardziej efektywne. O ichefektywno±ci mo»na wnioskowa¢ na podstawie twierdzenia Cramera-Rao zwanego rów-nie» nierówno±cia informacyjna :
TWIERDZENIE Cramera-Rao:
Wariancja regularnego estymatora Tn(θ) speªnia nierówno±¢
σ2(Tn(θ)) ≥
1 +∂Bn(θ)
∂θ
n +∞∫−∞
(∂ ln f(X|θ)
∂θ
)2
f(X|θ) dX
−1
gdzie
Bn(θ) ≡ ETn(θ) − θ
jest obcia»eniem estymatora.
Wyra»enie w nawiasie kwadratowym nazywane jest informacja o parametrze θ za-warta w próbie (R.A. Fisher) - stad nazwa nierówno±ci.
Wyra»enie to zostaªo tak nazwane gdy» posiada wªasno±ci, których wymagamy od infor-macji:
• zwieksza sie wraz z liczba obserwacji,
• zale»y od tego czego chcemy sie dowiedzie¢ (od parametru θ i jego zwiazku z mie-rzonymi wielko±ciami),
SMOP-2 B.Kamys: 2016/17 60
• zwiazana jest z dokªadno±cia (im wieksza informacja tym lepsza dokªadno±¢ okre-±lenia warto±ci parametru)
TWIERDZENIE
Minimalna wariancje estymatora regularnego (równo±¢ w twierdzeniu Cramera-Rao)Tn(τ (θ)) pewnej funkcji τ (θ) interesujacego nas parametru θ :
σ2(Tn(τ (θ)) =
∣∣∣∣∣∣(∂τ(θ)
∂θ
)F (θ)
∣∣∣∣∣∣uzyskuje sie dla sko«czonych rozmiarów próby n wtedy gdy pochodna czastkowafunkcji wiarygodno±ci speªnia nastepujaca relacje:
∂ lnL
∂θ= F (θ) [Tn (τ (θ))− τ (θ)]
gdzie F(θ) jest pewna funkcja parametru θ ale nie zale»y od pomiarów ~x.©
Funkcja wiarygodno±ci ma wtedy nastepujaca posta¢:
L(~x|θ ) = exp A(θ)B(~x) + C(~x) +D(θ) gdzie A i D sa funkcjami θ (A jest caªka po dθ z F (θ) ) a B i C sa funkcjamizespoªu pomiarów (próby).
Porównujac wzór na wariancje estymatora Tn(τ (θ)) z nierówno±cia Cramera-Rao wi-da¢ natychmiast, »e:
• F (θ) to informacja z próby o funkcji τ (θ),
• gdy τ (θ)=θ to wariancja wynosi 1/F (θ),
• istnieje tylko jedna funkcja τ (θ) parametru θ , dla której osiagana jest minimalnawariancja estymatora okre±lona nierówno±cia Cramera-Rao czyli taka funkcja τ (θ)od której liniowo zale»y pochodna po parametrze θ z logarytmicznej funkcji wiary-godno±ci.
PRZYKAD: Je»eli parametrem θ jest odchylenie standardowe rozkªadu normalnegoσ(x) to tylko estymator wariancji σ2(x) , tzn. estymator s2(x) ma minimalna wariancjea estymator s(x) ju» tej wªasno±ci nie posiada. Wida¢ to ze wzoru wyprowadzonego wprzykªadzie zastosowania MNW:
∂l
∂θ2
= −n
θ2
+1
θ32
n∑i=1
(xi − θ1)2 = 0
SMOP-2 B.Kamys: 2016/17 61
Pochodna po θ2 jest liniowo zwiazana z funkcja s2(x) ≡ 1n
n∑i=1
(xi − θ1)2 a nie z
estymatorem odchylenia standardowego s(x), który jest pierwiastkiem z tego wyra»enia.Wida¢ to po prostym przeksztaªceniu wzoru na pochodna:
∂l
∂θ2
≡(n
θ32
)[−θ2
2 +1
n
n∑i=1
(xi − θ1)2
]atwo zidentykujemy:
F (θ) ≡(n
θ32
)τ (θ) ≡ θ2
2
Tn (τ (θ)) ≡1
n
n∑i=1
(xi − θ1)2
8.2.1 Oszacowanie bªedu parametru znalezionego MNW
Istnieje prosty sposób oszacowania bªedu estymatorów znalezionych MNW je»eli logaryt-miczna funkcja w pobli»u maksimum mo»e by¢ przybli»ona parabola jako funkcja wszyst-kich parametrów. Mo»na pokaza¢, »e wówczas kontur staªej warto±ci logarytmicznej f.wiarygodno±ci lnL(~θ) speªniajacy relacje:
ln(L(~θ)
)= ln
(L(~θ0)max
)−y2
2
odcina na osiach θi y-krotna wielko±¢ odchylenia standardowego parametru θi:
θi = (θi)0 ± y · σ(θi).
Je»eli przybli»enie parabola zale»no±ci lnL(θi) nie jest ±cisªe to nale»y ten sposóbtraktowa¢ jedynie jako przybli»ona metode.
SMOP-2 B.Kamys: 2016/17 62
8.3 METODA NAJMNIEJSZYCH KWADRATÓW (MNK)
Za autora metody najmniejszych kwadratów uwa»a sie K. Gaussa.
Idea metody:
Szukamy estymatora Tn(θ) parametru θ wystepujacego we wzorze:
g(Y, θ) = 0,
który mo»e by¢ ±ci±le speªniony tylko w wyidealizowanym przypadku, gdy mierzone do-±wiadczalnie wielkosci Yi nie sa obarczone bªedami. W obecno±ci bªedów tak dobieramyparametr θ (mo»e by¢ ich wiecej) aby funkcja g zbli»yªa sie do zera tak bardzo jak totylko jest mo»liwe, tj. »adamy speªnienia warunku:
n∑i=1
[g(Yi, θ)]2 = minθ
a w najogólniejszym przypadku (wªaczajac wagi pomiarów w i) warunku:
n∑i=1
wi· [g(Yi, θ)]2 = min .θ
PRZYKAD:Szukamy prawdziwej warto±ci wielko±ci Y mierzonej bezpo±rednio. Gdyby nie byªo bledówwówczas:
θ = Y
albo inaczej
g(Y |θ) ≡ Y − θ = 0.
W obecno±ci bªedów,funkcja g(Y |θ) bedzie zwykle ró»na od zera ale MNK podaje przepisjak znale¹¢ estymator Tn(θ):
n∑i=1
[g(Yi|θ)]2 ≡n∑i=1
[Yi − θ]2 = minθ
Aby znale¹¢ minimum powy»szej funkcji ze wzgledu na θ nale»y przyrówna¢ do zerapochodna tej funkcji wzgledem θ:
−2n∑i=1
[Yi − θ] = 0
a wiec dostajemy znany nam przepis na estymator warto±ci oczekiwanej:
SMOP-2 B.Kamys: 2016/17 63
Tn(θ) =1
n
n∑i=1
Yi
Wªasno±ci estymatorów MNKEstymatory otrzymane MNK nie maja w ogólnym przypadku optymalnych wªasno±ci
(nawet asymptotycznie)! Istnieja jednak dwa wa»ne wyjatki od tej reguªy:
1.) Pomiary Yi maja rozkªad normalny i sa nieskorelowane,
2.) Szukane parametry sa wspóªczynnikami w liniowej funkcji regresji.
ad 1. Pomiary maja rozkªad normalny i sa nieskorelowane Odpowiada to sytu-acji, w której zmienna Y mo»e by¢ przedstawiona nastepujaco:
Yi = h(Xi, ~θ) + ε
gdzie ε to bªad przypadkowy.Wtedy funkcja wiarygodno±ci ma nastepujaca posta¢:
L(Y1, .., Yn|~θ) =n∏i=1
1√
2πσiexp
−(Yi − h(Xi, ~θ)
)2
2σ2i
a logarytmiczna funkcja wiarygodno±ci:
l(Y1, .., Yn|~θ) = −1
2n ln
(2πσ2
i
)−
n∑i=1
(Yi − h(Xi, ~θ)
)2
2σ2i
Funkcja ta bedzie miaªa maksimum (ujemne !) gdy suma kwadratów bedzie naj-mniejsza. A wiec metoda najmniejszych kwadratów jest wtedy równowa»na meto-dzie najwiekszej wiarygodno±ci, która zapewnia optymalno±c otrzymywanych esty-matorów.
ad 2. Funkcja regresji jest liniowa ze wzgledu na szukane parametry ZmiennaY zale»y wtedy od zmiennej X w nastepujacy sposób:
SMOP-2 B.Kamys: 2016/17 64
Yi =k∑j=1
θj · fj(Xi)
gdzie fj(X) jest dowolna funkcja.
Markow udowodniª , »e w takiej sytuacji estymatory parametrów posiadaja bardzodobre wªasno±ci:
• sa nieobcia»one
• sa najbardziej efektywne
• sa liniowymi funkcjami pomiarów Y1, ..., Yn.Te wªasno±ci nie zale»a od rozkªadu zmiennej Y i speªnione sa nawet dlaniewielkich prób.
Linowy (ze wzgledu na parametry) model funkcji regresji jest bardzo czesto stosowanyw praktyce, poniewa» obok optymalnych wªasno±ci estymatorów parametrów zapewniamo»liwo±¢ ±cisªego rozwiazania równa« okre±lajacych estymatory parametrów a wiec mo»-liwo±¢ znalezienia jawnych wzorów na estymatory. Tego prawie nigdy nie da sie zrobi¢w przypadku pierwszym, tzn. gdy zale»no±¢ od parametrów jest nieliniowa. Zapiszemywarunek metody najmniejszych kwadratów macierzowo stosujac nastepujace oznaczenia:
Aij ≡ fj(xi) i = 1, .., n j = 1, .., rBij i = 1, .., n j = 1, .., nYi i = 1, .., nθi i = 1, .., r
gdzie Aij to macierz warto±ci funkcji fj(xi), Bi,j to macierz wag zwykle brana jakoodwrócona macierz kowariancji pomiarów cov(yi,yj)−1, Yi - wektor pomiarów, θi -wektor parametrów. Wtedy minimalizowana suma kwadratów mo»e by¢ zapisana w takisposób:
Q2 = (~Y −A · ~θ)T ·B · (~Y −A · ~θ)
a pochodne wzgledem parametrów nastepujaco (i=1,...,r):
∂Q2
∂θi=−2AT ·B · (~Y −A · ~θ)
i
= 0·
Zespóª r powy»szych równa« mo»na zapisa¢ macierzowo i rozwiaza¢ formalnie:
AT ·B · (~Y −A · ~θ) = 0
AT ·B · ~Y = AT ·B ·A · ~θ
a mno»ac lewostronnie przez macierz odwrotna do ATBA, dostaniemy estymatoryparametrów liniowej funkcji regresji :
SMOP-2 B.Kamys: 2016/17 65
Tn(~θ) =[AT ·B ·A
]−1AT ·B · ~Y
Jest to dokªadne i jedyne rozwiazanie (pod warunkiem, »e macierz ATBA jest nieoso-bliwa)
Z powy»szego wzoru wida¢, »e estymatory parametrów sa liniowymi funkcjami war-to±ci pomiarów Y1, ..., Yn co pozwala ±ci±le wyrazi¢ macierz kowariancji estymatorówparametrów (a wiec i ich bªedy) przez macierz kowariancji pomiarów C(~Y ) stosujac wzórwyprowadzony dla propagacji bªedów . Gdy przyjmiemy macierz wag B jako macierzodwrotna do C(~Y ) to uzyskamy wyjatkowo prosta forme macierzy kowariancji estymato-rów parametrów.
C(Tn(~θ)) =[ATBA
]−1ATB
· C(~Y ) ·
[ATBA
]−1ATB
T=
[ATBA
]−1ATB
·B−1 ·
[ATBA
]−1ATB
T=
[ATBA
]−1AT ·BB−1 ·BTA
([ATBA
]−1)T
=[ATBA
]−1 ·[ATBA
]·([ATBA
]T)−1
=([ATBA
])−1
=[ATC(~Y )−1A
]−1
Ostatecznie macierz kowariancji estymatorów parametrów :
C(Tn(~θ)) =[ATC(~Y )−1A
]−1
Warto zauwa»y¢, »e
• Ten wynik jest ±cisªy
• Powy»sza macierz jest wyliczana dla znalezienia estymatorów parametrów bo to jestmacierz ATBA−1 wystepujaca we wzorze na estymatory.
• Mimo, »e wzór jest ±cisªy i prosty to jego wyliczenie czesto napotyka na trudno±cinumeryczne gdy» procedura odwracania macierzy ATBA−1 jest ¹le uwarunko-wana numerycznie (maªe zaokraglenia rachunków moga powodowa¢ wielkie zmianywyników). Dla unikniecie tego problemu stosuje sie jako funkcje, na które rozwijanajest funkcja regresji tzw. wielomiany ortogonalne na zbiorze punktów.
SMOP-2 B.Kamys: 2016/17 66
8.3.1 Oszacowanie bªedu parametru znalezionego MNK
Istnieje prosty sposób oszacowania bªedu estymatorów znalezionych MNK je»eli minima-lizowana funkcja sumy kwadratów wa»onych kwadratami odwrotno±ci bª¦dów w pobli»uminimum mo»e by¢ przybli»ona parabola jako funkcja wszystkich parametrów. Mo»napokaza¢, »e dla niezale»nych pomiarów kontur staªej warto±ci minimalizowanej funkcji :
χ2(~θ) = χ2min(~θ0) + y2
odcina na osiach θi y-krotna wielko±¢ odchylenia standardowego parametru θi:
θi = (θi)0 ± y · σ(θi).
Je»eli przybli»enie parabola zale»no±ci χ2(θi) nie jest ±cisªe to nale»y ten sposób trak-towa¢ jedynie jako przybli»ona metode.
SMOP-2 B.Kamys: 2016/17 67
8.3.2 Regresja liniowa
Podstawowa wªasno±¢ regresji E(y|x) polegaj¡ca na tym, »e warto±¢ oczekiwana kwa-dratu odchyle« warto±ci yi od funkcji regresji jest mniejsza lub równa od kwadratu od-chyle« od dowolnej innej funkcji powoduje, »e metoda najmniejszych kwadratów jestnaturalnym sposobem szukania parametrów regresji .
Denicja regresji liniowej byªa ju» omawiana powy»ej ale powtórzymy ja dla przypo-mnienia:
DEFINICJARegresja liniowa zmiennej Y wzgledem zmiennej X to linia prosta
Y = a ·X + b (72)
z parametrami a i b dobranymi tak aby minimalizowa¢ sume kwadratów odchyle« wspóªrzednych(yi, i = 1, 2, ..n) zespoªu n punktów o wspóªrzednych (x1, y1),(x2, y2),... (xn, yn) odtej linii:
Q2 =n∑i=1
(yi − a · xi − b)2 (73)
Zmienna Y nazywana jest zmienna obja±niana a zmienna X zmienna obja±niajaca.
UWAGA:Regresja liniowa X wzgledem Y tj. prosta X = c · Y + d pokrywa sie z regresja liniowaY wzgledem X tj. prosta Y = a ·X + b znaleziona dla tego samego zespoªu punktówdo±wiadczalnych tylko wtedy gdy zwiazek pomiedzy X i Y jest funkcyjnym zwiazkiemliniowym (a nie zale»no±cia statystyczna).
Rozwa»ymy tu specyczna sytuacje (czesto spotykana w zastosowaniach) polegajaca natym, »e:
• zmienna obja±niajaca X ma zaniedbywalnie maªe bªedy (mówimy wtedy, »e X jestzmienna kontrolowana) a wiec mo»e by¢ traktowana jako nielosowa zmienna.
• zmienna obja±niana Y jest zmienna losowa przy czym bªad tej zmiennej jest identycznydla wszystkich punktów i wynosi σ(y).
SMOP-2 B.Kamys: 2016/17 68
Wtedy dostajemy proste, analityczne wzory na estymatory parametrów regresji:
Tn(b) =(∑i xi
2) · (∑i yi)− (
∑i xi) · (
∑i xi · yi)
W
Tn(a) =n · (
∑i xi · yi)− (
∑i xi) · (
∑i yi)
W
W ≡ n ·∑i
x2i − (
∑i
xi)2 (74)
Wska¹nik sumowania i przebiega warto±ci od 1 do n gdzie n jest liczba punktówpomiarowych.
Bªedy estymatorów parametrów a i b oraz ich kowariancja równie» wyra»ajasie analitycznymi wzorami:
Tn(σ(b)) = σ(y) ·
√∑i x
2i
W
Tn(σ(a)) = σ(y) ·√n
W
Tn(cov(a, b)) = −σ2(Y ) ·∑i xi
W(75)
Mo»emy równie» poda¢ wzór na bªad warto±ci Y przewidzianej przez linie regresji(zale»ny od x):
Tn(σ(Y (x))) = σ(y) ·
√1
n+
(x− x)2∑i (xi − x)2
(76)
OZNACZENIA:
• Tn(σ(Y (x))) to estymator bªedu warto±ci Y (x) przewidzianej przez regresje,
SMOP-2 B.Kamys: 2016/17 69
• σ(y) to bªad pomiaru wspóªrzednej Yi z zaªo»enia taki sam dla wszystkich punk-tów.Gdy go nie znamy wpisujemy tu (i do wzorów na bªedy parametrów 'a' i 'b') esty-mator Tn(σ(y)),
• x to ±rednia arytmetyczna warto±ci zmiennej kontrolowanej wyliczona ze wspóªrzednychpunktów x1, x2, ...xn,
• x - to warto±¢ zmiennej kontrolowanej X, dla której wyliczamy warto±¢ regresjiliniowej Y (x) i estymator bªedu regresji liniowej Tn(σ(Y (x))).
• Bardzo czesto opuszcza sie symbole estymatorów a o tym, czy mamy doczynienia z parametrami linii prostej i ich bªedami czy te» z estymatorami tychwielko±ci wnioskujemy z kontekstu.
UWAGA:
Aby podja¢ decyzje, czy regresja liniowa zadowalajaco dobrze odtwarza zale»no±¢ y od xmo»na zbada¢ czy suma kwadratów odchyle« wyników pomiaru od linii prostej speªniaponi»sze warunki:
Przy poprawnym odtwarzaniu zale»no±ci y(x) przez prosta regresji y = a · x + bwielko±¢ Q2/σ2(Y ) ma rozkªad chi - kwadrat o n− 2 stopniach swobody a wiec jejwarto±¢ oczekiwana i odchylenie standardowe speªniaja nastepujace relacje:
E
Q2
σ2(y)
= n− 2
σ
Q2
σ2(y)
=
√2(n− 2)
Stad przy adekwatno±ci liniowego modelu i przy poprawnym oszacowaniu bªedów po-miarów σ(yi) obliczona warto±¢ Q2/σ2(y) powinna by¢ bliska n− 2 a rozrzut dookoªatej warto±ci powinien by¢ okre±lony przez
√2(n− 2) gdzie n to liczba pomiarów.
Istnieje inna metoda okre±lenia, czy regresja liniowa jest dobrym przybli»eniem zwi¡zkupomi¦dzy y i x, która nie wymaga znajomo±ci niepewno±ci pomiarowych lecz polega naporównaniu sumy kwadratów odchyle« punktów do±wiadczalnych od linii regresji orazsumy kwadratów odchyle« tych punktów od ±redniej warto±ci y. Iloraz tych dwu sum totzw. wspóªczynnik determinacji R2 .
Wprowad¹my nast¦puj¡ce oznaczenie dla funkcji regresji drugiego rodzaju czyli liniiprostej:
E(y|xi) ≡ Yi = a · xi + b
SMOP-2 B.Kamys: 2016/17 70
gdzie parametry prostej a i b wyra»aj¡ si¦ nast¦puj¡cymi wzorami:
a =
∑i
(xi − x) (yi − y)∑i
(xi − x)2 , b = y − ax
Stosuj¡c to oznaczenie mo»emy rozbi¢ odchylenie yi od ogólnej ±redniej y na dwie cz¦±ciprzez dodanie i odj¦cie funkcji regresji Yi:
yi − y = (yi − Yi) + (Yi − y)
Podnosz¡c do kwadratu obie strony i sumuj¡c po wszystkich punktach dostaniemy
∑i
(yi − y)2 =∑i
(yi − Yi)2+∑i
(Yi − y)2 (77)
bo wyraz mieszany znika: ∑i
(yi − Yi) (Yi − y) = 0
co poni»ej jest pokazane.
∑i
(yi − Yi) (Yi − y) =
=∑i
(yi − axi − b) (axi + b− y) =
=∑i
(yi − axi − (y − ax)) (axi + (y − ax)− y) =
= a∑i
(yi − y − a(xi − x)) (xi − x) =
= a∑i
((yi − y) (xi − x)− a(xi − x)2
)=
= a
[a∑i
(xi − x)2 − a∑i
(xi − x)2
]≡ 0
W drugiej linijce wyraz b zostaª wyra»ony przez a, x i y, w trzeciej zostaªy uprosz-czone y i − y oraz uporz¡dkowany pierwszy czynnik pod sum¡ i czynnik a wyrzuconyprzed sum¦, w czwartej zostaª jawnie zapisany iloczyn (xi− xi) przez dwa wyrazy pierw-szego czynnika a w pi¡tej wykorzystano jawny wzór na wyraz a (patrz powy»ej).
SMOP-2 B.Kamys: 2016/17 71
Suma kwadratów po lewej stronie wzoru (77) to tzw. caªkowita suma kwadratów(dookoªa ogólnej ±redniej) i odpowiada ona wariancji σ2(y) a pierwsza suma po prawejstronie odpowiada warunkowej wariancji σ2(y|x) (rozrzut y dookoªa regresji). Drugasuma po prawej stronie tego wzoru to tzw. wyja±niona przez regresj¦ suma kwadra-tów (rozrzut warto±ci y przewidzianych przez regresj¦ dookoªa ogólnej ±redniej).
Wspóªczynnik determinacji R2 (78) jest deniowany jako stosunek dwu sum kwa-dratów odchyle«: wyja±nionej przez regresj¦ sumy kwadratów i caªkowitej sumykwadratów . Dla regresji liniowej jest on równy kwadratowi estymatora wspóªczynnikakorelacji r2 (57) ( st¡d ogólnie przyj¦ªo si¦ u»ywa¢ oznaczenia R2 na wspóªczynnik deter-minacji).
R2 =
∑i
(axi + b− y)2∑i
(yi − y)2(78)
Jak wida¢ im bli»szy jedno±ci jest kwadrat estymatora wspóªczynnika korelacji tym lepiejcaªkowity rozrzut zmiennej y jest odtwarzany przez regresje a wiec tym lepszym przybli-»eniem zale»no±ci y(x) jest linia prosta. Zwykle uwa»a sie, »e przybli»enie jest dobre gdywarto±ci r2 sa bliskie 0.9 ale w praktyce sami musimy zdecydowa¢, czy odchylenia rzedu10% sa ju» zadowalajaco maªe.
Poni»ej jest pokazane, »e dla regresji liniowej wspóªczynnik determinacji jest kwadra-tem estymatora wspóªczynnika korelacji r2.
Wzór (42) na warunkow¡ wariancj¦ σ2(y|x) = σ2(y) · (1 − %2) zawiera jawn¡zale»no±¢ wariancji σ2(y|x) od wspóªczynnika korelacji %. Przeksztaªcaj¡c ten wzórdostajemy:
1− %2 =σ2(y|x)
σ2(y)
%2 =σ2(y)− σ2(y|x)
σ2(y)
Korzystaj¡c ze wzoru (77) widzimy, »e suma kwadratów wyja±niona przez regresj¦∑i
(Yi − y)2 ≡∑i
(axi + b− y)2
jest równa ró»nicy
σ2(y)− σ2(y|x) ≡∑i
(yi − y)2 −∑i
(yi − Yi)2
SMOP-2 B.Kamys: 2016/17 72
wyst¦puj¡cej w liczniku we wzorze powy»ej. Zast¦puj¡c σ2(y) w mianowniku wzoruna %2 przez caªkowit¡ sum¦ kwadratów odchyle« od ±redniej warto±ci (
∑i
(yi − y)2)
otrzymujemy wzór (78), który chcieli±my wyprowadzi¢:
r2 =
∑i
(axi + b− y)2∑i
(yi − y)2
SMOP-2 B.Kamys: 2016/17 73
8.3.3 Regresja przy pomocy wielomianów ortogonalnych
Tu omówiona zostanie regresja krzywoliniowa ze wzgledu na posta¢ zale»no±ci dopaso-wanych funkcji od argumentu ale liniowa ze wzgledu na zale»no±¢ od dobieranych para-metrów. W takiej sytuacji warto±ci parametrów mo»na znale¹¢ przez rozwiazanie ukªadurówna« liniowych (podobnie jak poprzednio dla parametrów linii prostej). Równaniate sa jednak»e czesto numerycznie niestabilne, tzn. maªe zmiany warto±ci wspóªczynni-ków ukªadu równa« powoduja drastyczne zmiany rozwiaza«. Wygodna metoda uniknieciatych problemów jest zastosowanie wielomianów ortogonalnych. Tu zakªadamy dalej, »ezmienna x jest zmienna kontrolowana , tzn. jej warto±ci sa znane z zaniedbywalniemaªymi bªedami.
a) Regresja przy pomocy wielomianów ortogonalnych na zbiorze warto±ciargumentu xi, i = 1, ...n
Przedstawiamy zmienna y jako rozwiniecie w szereg wielomianów ortogonalnych Pr(x)na zbiorze warto±ci argumentów xi, i = 1, ...n:
y(x) =m∑r=0
θr · Pr(x)
gdzie parametry θr, (r = 1, ...,m) nale»y wyznaczy¢ z warunku minimalizacji sumy kwa-dratów odchyle« wspóªrzednych (yi, i = 1, 2, ..n) zespoªu n punktów o wspóªrzednych(x1, y1),(x2, y2),... (xn, yn) od linii regresji y(x) a wielomiany Pr(x), (r = 1, 2, ...,m)sa okre±lone przez zbiór warto±ci argumentu xi; (i = 1, 2, .., n) na którym maja by¢ortogonalne oraz - ewentualnie - przez zbiór wag wi, (i = 1, 2, ..., n) przypisanych po-szczególnym punktom (xi, yi), (i = 1, 2, ..., n).
Stosowanie wielomianów ortogonalnych ma nastepujace zalety:
1. parametry θr, (r = 1, ...,m) mo»na wyliczy¢ analitycznie poniewa» pojawiajasie jako wspóªczynniki przy wielomianach a wiec mamy do czynienia z liniowymprzypadkiem metody najmniejszych kwadratów (MNK).
2. Obliczenie parametrów odbywa sie przy pomocy prostych wzorów podanych poni»ej.Nie wymaga to odwracania macierzy - jak to ma miejsce w ogólnym przypadkuogólnej liniowej MNK. Dzieki temu unika sie problemów numerycznych gdy» odwra-canie typowych macierzy pojawiajacych sie w MNK jest niestabilna numerycznieprocedura.
3. Parametr θr+1 jest wyznaczany niezale»nie od parametrów θ1, θ2, ...θr, tzn. do-danie nastepnego wyrazu do szeregu nie wpªywa na parametry przy wielomianachni»szego stopnia). Oznacza to równie», »e macierz kowariancji estymatorów pa-rametrów θ jest diagonalna.
SMOP-2 B.Kamys: 2016/17 74
Ortogonalno±¢ wielomianów Pr(x) na zbiorze xi, i = 1, 2, ...n warto±ci argumentuoznacza speªnienie poni»szych warunków:
n∑i=1
wi Pl(xi) · Pk(xi) = 0 dla l 6= k
n∑i=1
wi [Pl(xi)]2 6= 0 (79)
gdzie wi, i = 1, 2, ..n s¡ wagami odpowiednich pomiarów yi, i = 1, 2...n.
Wªasno±ci te wykorzystujemy nastepujaco:Mno»ymy równanie okre±lajace y(x) jako rozwiniecie w szereg wielomianów ortogonal-nych przez dany wielomian Pk(xi) i wag¦ wi a nast¦pnie sumujemy po i co dzieki orto-gonalno±ci wielomianów prowadzi do wzoru:
n∑i=1
yiwiPk(xi) = θk
n∑i=1
wi[Pk(xi)]2
a wiec otrzymujemy analityczny wzór na estymator parametru θk:
Tn(θk) =
n∑i=1
yi wi Pk(xi)
n∑i=1
wi [Pk(xi)]2(80)
Jako wagi wi bierze sie zwykle kwadraty odwrotno±ci bªedów mierzonych wielko±ci Yi,gdy» to bardzo upraszcza rachunki:
wi =1
σ2(yi)(81)
Wida¢ to szczególnie przy szacowaniu bª¦dów estymatorów parametrów a nast¦pnie bª¦-dów znalezionych warto±ci funkcji regresji. Przede wszystkim nale»y zauwa»y¢, »e estyma-tory parametrów θk zale»a liniowo od danych y1, y2, ...yn a wiec macierz kowariancjiestymatorów mo»na wyliczy¢ ±ci±le stosujac wzór na transformacje macierzykowariancji (propagacja bªedów) znajac macierz kowariancji danych y1, y2, ...yn. Cowiecej wiadomo, »e macierz kowariancji parametrów jest diagonalna (bo estymator pa-rametru θk jest wyliczany niezale»nie od estymatorów pozostaªych parametrów) a wiecpozostaje nam znalezienie wariancji tych estymatorów.
SMOP-2 B.Kamys: 2016/17 75
var(Tn(θk)) =
n∑i=1
[wi · Pk(xi)]2σ2(yi)
[n∑i=1
wi · P 2k (xi)]2
Gdy przyjmiemy (tak bedziemy robi¢ w nastepnych wzorach) wi ≡ 1σ2(yi)
to
n∑i=1
[wi · Pk(xi)]2 · σ2(yi) =n∑i=1
w2i · P
2k (xi) ·
1
wi
=n∑i=1
wi · P 2k (xi)
a wiec wariancja estymatora parametru θk wyra»a sie analitycznym wzorem:
var(Tn(θk)) =1
n∑i=1
P 2k (xi)/σ2(yi)
(82)
Równie ªatwo mo»na (±cisle) znale¹¢ wariancje (wiec i bªad) formuªy interpolacyjnej nay(x):
var(y(x)) =m∑r=0
[Pr(x)]2 · var(Tn(θr))
czyli
var(y(x)) =m∑r=0
[Pr(x)]2
n∑i=1
P 2r (xi)/σ2(yi)
(83)
SMOP-2 B.Kamys: 2016/17 76
Jako±¢ dopasowania mo»e by¢ oceniana przez policzenie warto±ci wyra»enia:
Q2(m) =n∑i=1
wi · [yi −m∑r=0
Tn(θr) · Pr(xi)]2, (84)
które przy adekwatno±ci modelu powinno mie¢ rozkªad chi-kwadrat o (n-(m+1)) stop-niach swobody.
Wiedzac o tym mo»emy warto±¢ tego wyra»enia u»ywa¢ jako kryterium doboru najwy»-szego stopnia wielomianu w rozwinieciu (m), gdy» wiemy, »e Q2(m) powinno mie¢ war-to±¢ oczekiwana równa (n−m− 1) z bªedem
√2(n−m− 1).
Czesto zamiast Q2(m) stosuje sie unormowana sume kwadratów odchyle«:
Q2(m)
n−m− 1.
Warto±¢ oczekiwana tej wielko±ci jest równa jedno±ci a bªad√
2n−m−1
.
UWAGA: Innym popularnym wyborem wag jest przyj¦cie wag równych jedno±ci dla wszyst-kich punktów. Wtedy trzeba jednak policzy¢ bª¦dy parametrów i przewidzianej funkcjiregresji wg nieco innych wzorów, uwzgl¦dniaj¡c to, »e wagi nie uproszcz¡ si¦ z kwadratembª¦dów.
var (Tn (θk)) =
n∑i=1
P 2k (xi)σ
2(yi)[n∑i=1
P 2k (xi)
]2 (85)
var (y (x)) =m∑r=0
[Pr(x)]2
n∑i=1
P 2r (xi)σ
2(yi)[n∑i=1
P 2r (xi)
]2
(86)
Ten ostatni wzór jest uogólnieniem wzoru (76), który mo»na z niego otrzyma¢ pod-stawiaj¡c identyczn¡ warto±¢ bª¦du σ(yi) dla wszystkich punktów.
SMOP-2 B.Kamys: 2016/17 77
b) Konstrukcja zespoªu wielomianów ortogonalnych na zbiorze warto±ciargumentu
Zakªadamy, »e maja to by¢ wielomiany ortogonalne z wagamiw1, w2, ...wn na zbiorzewarto±ci argumentu x1, x2, ...xn, posiadajace jednostkowy wspóªczynnik przy najwy»szejpotedze argumentu x. Mo»na pokaza¢, »e wielomiany ortogonalne P0(x), P1(x), ...Pm(x)speªniaja poni»sze formuªy rekurencyjne, które moga by¢ efektywnie zastosowane do ichwyliczenia:
Pr+1(x) = [x+ βr+1] · Pr(x) + γr+1 · Pr−1(x)
βr+1 = −
n∑i=1
wi · P 2r (xi) · xi
n∑i=1
wi · P 2r (xi)
γr+1 = −
n∑i=1
wi · P 2r (xi)
n∑i=1
wi · P 2r−1(xi)
(87)
przy czym startowe wielomiany, tzn. P0(x) i P1(x) okre±la sie nastepujaco:
P0(x) = 1
P1(x) = x−
n∑i=1
wi · xin∑i=1
wi
(88)
Warto zauwa»y¢, »e sumy typu∑i wi·P 2
r (xi) wystepuja zarówno w mianowniku wzorówna γr+2, βr+1, Tn(θr), var(y) jak i w liczniku wzoru na γr+1. Dzieki temu przyprogramowaniu wzorów mo»na te sumy wykorzysta¢ wielokrotnie.
SMOP-2 B.Kamys: 2016/17 78
9 TESTOWANIE HIPOTEZ STATYSTYCZNYCH
9.1 Denicje elementarnych poj¦¢
Poni»ej podamy denicje elementarnych poj¦¢ stosowanych przy testowaniu hipotez.
Hipoteza statystyczna nazywamy hipoteze odnoszaca sie do rozkªadu prawdopodo-bie«stwa zmiennej losowej (funkcji gesto±ci prawdopodobie«stwa, itp.) lub do parametrówrozkªadu prawdopodobie«stwa.
Hipoteza prosta to taka, która jednoznacznie okre±la dystrybuante (rozkªad) zmien-nej losowej, tzn. podana jest posta¢ rozkªadu i warto±ci wszystkich parametrów.
Hipoteza zªo»ona to taka, która nie jest prosta, np. podana jest posta¢ rozkªadu anie sa znane warto±ci niektórych parametrów.
Hipoteza parametryczna to hipoteza odnoszaca sie do warto±ci parametrów roz-kªadu. Inne hipotezy nazywaja sie hipotezami nieparametrycznymi i z natury sahipotezami zªo»onymi.
Hipoteza zerowa "H0” to sprawdzana hipoteza.
Hipoteza alternatywna "H1” to hipoteza, która byliby±my skªonni przyja¢ gdyH0” jest nieprawdziwa.
UWAGA: ”H1” nie musi by¢ prostym zaprzeczeniem ”H0”.
Bªad pierwszego rodzaju to odrzucenie prawdziwej ”H0”.
Poziomem istotno±ci ”α” nazywamy prawdopodobie«stwo popeªnienia bªedupierwszego rodzaju. Przyjmuje sie zwykle ”α” ∈ [0.1 − 0.001] konkretny wybóroczywi±cie zale»y od tego jak kosztowne beda skutki popeªnienia bªedu pierwszego ro-dzaju.
UWAGA: Prosz¦ nie myli¢ poziomu istotno±ci oznaczanego standardowo przez α zpoziomem ufno±ci oznaczanym standardowo przez 1 − α. Te dwa poj¦cia nie maj¡ze sob¡ nic wspólnego mimo podobie«stwa oznacze«.
Bªad drugiego rodzaju to przyjecie nieprawdziwej ”H0”.
UWAGA: Przez sformuªowanie przyjecie hipotezy” nale»y rozumie¢ stwierdzenie, »e"nie mamy podstaw do odrzucenia hipotezy H0”. Pomiaru, którego wynik nie przeczyhipotezie nie mo»na uwa»a¢ za dowód prawdziwo±ci hipotezy !!!
Moc¡ testu nazywamy prawdopodobie«stwo odrzucenia faªszywej ”H0”, tzn. praw-dopodobie«stwo tego, »e nie popeªnimy bªedu II rodzaju. Moc testu oznacza sie zwykleprzez ”1− β” gdzie ”β” oznacza prawdopodobie«stwo popeªnienia bªedu II rodzaju.
SMOP-2 B.Kamys: 2016/17 79
- 3 - 2 - 1 0 1 2 3 4 50 , 0
0 , 1
0 , 2
0 , 3
0 , 4
0 , 5
f(X)
X
N ( 0 , 1 ) N ( 1 . 5 , 1 )
1 - β
α
Rysunek 3: Rysunek ilustruj¡cy znaczenie poziomu istotno±ci α i mocy testu 1− β.
Ró»nic¦ pomi¦dzy poziomem istotno±ci i moc¡ testu ilustruje rysunek 4. Lewa (nie-bieska) krzywa przedstawia rozkªad zmiennej x postulowany przez hipotez¦ zerow¡, któragªosi, »e zmienna ta o rozkªadzie normalnym i odchyleniu standardowym równym jedno-±ci ma warto±¢ oczekiwan¡ równ¡ zero H0 : E(x) = 0, 0. Prawa (czerwona) krzywato rozkªad postulowany przez hipotez¦ alternatywn¡ H1 : E(x) = 1, 5. Zakreskowanepole pod lew¡ krzyw¡ to zaªo»ony poziom istotno±ci α = 0, 05 równy prawdopodobie«-stwu odrzucenia prawdziwej H0 na korzy±¢ faªszywej H1. Pole zaznaczone na »óªto tomoc testu 1−β czyli prawdopodobie«stwo odrzucenia faªszywejH0 na korzy±¢ prawdzi-wej H1. Moc testu ªatwo przedstawi¢ w tym wypadku poniewa» hipoteza alternatywnajest hipotez¡ prost¡, jednoznacznie okre±laj¡c¡ rozkªad zmiennej x i jego parametry. Wprzypadku alternatywnej hipotezy zªo»onej, np. H1 : E(x) > 0, 0 nie jest tak ªatwozilustrowa¢ moc testu.
Dla ªatwiejszego zapami¦tania opisanych powy»ej poj¦¢ w tabelce 1 przytoczone s¡stosowne nazwy odpowiadaj¡ce konkretnym decyzjom podejmowanym przy testowaniuhipotez statystycznych.
Tablica 1: Wyniki podejmowania decyzji przy testowaniu hipotez
H0 prawdziwa H1 prawdziwaPrzyjecie H0 Decyzja prawidªowa Bªad II rodzajuPrzyjecie H1 Bªad I rodzaju Decyzja prawidªowa
SMOP-2 B.Kamys: 2016/17 80
9.2 Schemat postepowania przy testowaniu hipotez
Idea testowania hipotez polega na odrzucaniu postawionej hipotezy (hipotezy zerowejH0) je»eli otrzymane wyniki do±wiadczenia lub obserwacji sa wysoce nieprawdopodobneprzy jej prawdziwo±ci.
1. Pojawienie sie wyników niesprzecznych z H0 nie udowadnia tej hipotezy a jedyniepozwala na stwierdzenie, »e nie ma podstaw do jej odrzucenia.
2. Jak wiadomo, maªe prawdopodobie«stwo pojawienia sie pewnych wyników nie ozna-cza, »e wyniki te sa niemo»liwe. Mo»e wiec sie zdarzy¢, »e przy prawdziwo±ci H0
pojawi sie tak bardzo nieprawdopodobny wynik i» uznamy go za argument dla od-rzucenia H0. Wtedy odrzucajac H0 popeªnimy bªad pierwszego rodzaju.
3. Ustalajac, jakie warto±ci wyników uznamy za upowa»niajace do odrzucenia H0
kierujemy sie kosztami skutków odrzucenia prawdziwej H0 i na tej podstawie usta-lamy prawdopodobie«stwo odrzucenia prawdziwejH0 czyli poziom istotno±ci. Ty-powe warto±ci to α = 0, 1− 0, 001.
4. Odrzucajac H0 automatycznie akceptujemy hipoteze alternatywna H1, która wbraku wcze±niejszych informacji o badanym zagadnieniu powinna by¢ zaprzeczeniemH0: H1 : nieprawda »e H0.
Omówimy poni»ej schemat postepowania przy testowaniu hipotezy, wykorzystujacjako przykªad prosta hipoteze zerowa, która gªosi, »e:H0: Zmienna losowa x posiadajaca rozkªad normalny o znanym odchyleniustandardowym σ(x)=2 ma warto±¢ oczekiwana E(x) = 3.0
• Ustalamy H0.
Zrobili±my to powy»ej. Wa»ne jest u±wiadomienie sobie faktu, »e caªe dalsze rozu-mowanie przeprowadzane jest przy zaªo»eniu, »e H0 jest prawdziwa.
• Tworzymy statystyke testowa Tn.
Czynimy to w taki sposób aby zale»aªa ona od wielko±ci testowanej przez H0 orazznany byª rozkªad tej statystyki przy prawdziwo±ci H0 .
Tu H0 dotyczy warto±ci oczekiwanej E(x) a wiec nasuwa sie aby jako statystyketestowa wzia¢ estymator warto±ci oczekiwanej czyli ±rednia arytmetyczna pomia-rów x. Co wiecej, przy prawdziwo±ci H0 znamy rozkªad tej statystyki - jest torozkªad normalny o warto±ci oczekiwanej E(x) = 3.0 i odchyleniu standardowymσ(x) = σ(x)/
√n = 2/
√n, gdzie n oznacza liczbe pomiarów w próbie, np.
n = 10. Mo»emy wiec wzia¢ ±rednia arytmetyczna pomiarów jako statystyketestowa przy czym wygodnie jest ja standaryzowa¢; x → (x − E(x))/σ(x) borozkªad standaryzowanej zmiennej, tzn. N(0, 1), jest stablicowany:
Tn ≡(x− 3.0)
√10
2
SMOP-2 B.Kamys: 2016/17 81
• Ustalamy H1.
Je»eli przed ustaleniem H1 nie mamy »adnych informacji do±wiadczalnych (obser-wacyjnych) to jako H1 przyjmujemy proste zaprzeczenie H0, tzn. H1 brzmi nie-prawda, »e H0 czyli w naszym przykªadzie H1 : E(X) 6= 3.0. W przypadku,gdy mamy ju» pewne informacje, np. znamy warto±¢ ±redniej arytmetycznej, to whipotezie alternatywnej wykorzystujemy te wiedze. Przypu±¢my, »e w rozwa»anymprzykªadzie ±rednia arytmetyczna z n = 10 pomiarów wynosi 4, 1. W takiej sytu-acji nie miaªoby sensu gªoszenie hipotezy, »e warto±¢ oczekiwana E(x) jest mniejszaod 3. Nale»aªoby wtedy przyja¢ jako H1 hipoteze, »e E(X) > 3.
• Ustalamy poziom istotno±ci α. Jak wspomniano powy»ej α dobieramy biorac poduwage skutki odrzucenia prawdziwej hipotezy zerowej. Je»eli nie sa one gro¹ne lubkosztowne to mo»emy zgodzi¢ sie na du»e prawdopodobie«stwo odrzucenia prawdzi-wejH0 np. 0, 1 lub 0, 05. W przeciwnym wypadku przyjmujemy mniejsza warto±¢poziomu istotno±ci α.
• Okre±lamy obszar krytyczny testu.
Obszar krytyczny testu to ten zbiór warto±ci statystyki testowej który jest najmniejprawdopodobny przy prawdziwo±ci H0 a równocze±nie najbardziej prawdopodobnyprzy prawdziwo±ci H1. W rozwa»anym przykªadzie najmniej prawdopodobne przyprawdziwo±ci H0 sa du»e dodatnie i du»e (co do moduªu) ujemne warto±ci Tn. Hi-poteza alternatywna H1 : H0 jest nieprawdziwa faworyzuje dokªadnie te samewarto±ci statystyki, które odrzuca H0 a wiec obszarem krytycznym beda warto±ci:Tn < zα/2 oraz Tn > z1−α/2, gdzie zq oznacza kwantyl rozkªadu N(0, 1) na po-ziomie q. Tu zaªo»one zostaªo, »e odchylenia w dóª i w góre od warto±ci postulowanejprzezH0 sa równie prawdopodobne. Z kolei hipoteza alternatywnaH1 : E(x) > 3faworyzuje tylko du»e dodatnie warto±ci Tn. Wida¢ to ªatwo ze wzoru denicyjnegona Tn. Jedyna wielko±cia zale»na od do±wiadczenia w denicji Tn jest ±rednia aryt-metyczna pomiarów, która dla E(x) > 3 bedzie w przewa»ajacej liczbie pomiarówtak»e wieksza od 3 co jest równowa»ne temu,»e Tn jest wieksze od zera. A wiecobszarem krytycznym jest zbiór warto±ci statystyki testowej speªniajacy nierówno±¢:Tn > z1−α.
• Sprawdzamy, czy warto±¢ statystyki testowej nale»y do obszaru krytycznego.
Je»eli warto±¢ statystyki testowej traa do obszaru krytycznego to odrzucamy H0
(akceptuj¡c równocze±nieH1). W przeciwnym wypadku stwierdzamy, »e nie mamypodstaw do odrzucenia H0. Wnioski te formuªujemy w nast¦puj¡cy sposób:
W pierwszym przypadku: Na poziomie istotno±ci α odrzucamy hipotez¦zerow¡ H0 wzgl¦dem hipotezy alternatywnej H1.
W drugim wypadku: Na poziomie istotno±ci α nie mamy podstaw doodrzucenia hipotezy zerowej H0 wzgl¦dem hipotezy alternatywnej H1.
SMOP-2 B.Kamys: 2016/17 82
9.3 HIPOTEZY DOTYCZACE WARTOCI OCZEKIWANEJ
Zajmujemy sie zmiennymi o rozkªadzie normalnym. Sa dwie podstawowe hipotezy, którebada sie najcze±ciej:
• Porównanie E(X) z liczba:H0 : E(X) = x0, oraz
• Porównanie warto±ci oczekiwanych dwu populacji:H0 : E(X) = E(Y )
Ka»da z tych hipotez mo»e oczywi±cie by¢ formuªowana jako nierówno±¢, np. H0 :E(X) > X0 ale wtedy hipoteza zerowa jest zªo»ona a wiec nie mamy jednoznaczniezdeniowanego rozkªadu X. Z tego powodu wygodniej jest zawsze bra¢ jako hipotezezerowa równo±¢ E(X) z dana liczba lub E(Y) a interesujaca nas hipoteze traktowa¢ jakohipoteze alternatywna.
9.3.1 PORÓWNANIE E(X) Z LICZBA (H0: E(X)=X0)
Musimy rozró»ni¢ dwa przypadki:
• gdy znamy σ(X), wtedy jako statystyke testowa Tn(X) bierzemy poni»sza staty-styke z o rozkªadzie standardowym normalnym N(0,1):
z =(x− E(X))
σ(X)
• gdy nie znamy σ(X), to jako statystyke Tn(X) bierzemy analogiczna funkcje "t",w której σ zastapiona jest estymatorem S(X):
t =(x− E(X))
S(X).
Statystyka t ma rozkªad Studenta o (n-1) stopniach swobody.Oczywi±cie odchylenie standardowe ±redniej arytmetycznej σ(X) podobnie jak jegoestymator S(X) równe sa odpowiednim warto±ciom dla samej zmiennej X podzie-lonym przez
√n:
σ(X) =σ(X)√n
SMOP-2 B.Kamys: 2016/17 83
Tablica 2: Obszar krytyczny dla hipotez dotyczacych E(X)
Hipoteza H1 Obszar krytyczny Obszar krytycznygdy znamy σ(X) gdy nie znamy σ(X)
E(X) 6= X0 | z |> z1−α2
| t |> t1−α2
E(X) > X0 z > z1−α t > t1−α
E(X) < X0 z < zα t < tα
Sposób okre±lenia obszaru krytycznego dla poszczególnych hipotez alternatywnych po-dany jest w tabeli (2).zα oraz tα to odpowiednio fraktyle standardowego rozkªadu normalnego N(0,1) i rozkªaduStudenta o (n-1) stopniach swobody. Oba te rozkªady sa symetryczne wzgledem zera awiec mo»na wykorzysta¢ nastepujaca symetrie kwantyli:
zα = −z1−α
tα = −t1−α
UWAGA:
1. Rozwa»ania tego rozdziaªu odnosz¡ si¦ do zmiennych o rozkªadzie normalnym alewarto zauwa»y¢, »e przy du»ych próbach mog¡ by¢ stosowane tak»e do innych roz-kªadów. Przyczyn¡ tego jest fakt, »e statystyki testowe s¡ funkcjami ±rednich aryt-metycznych z próby. Dzi¦ki centralnemu twierdzeniu granicznemu ±redniaarytmetyczna ma rozkªad zbie»ny do rozkªadu normalnego nawet dla ory-ginalnego rozkªadu rz¡dz¡cego prób¡ silnie ró»ni¡cego si¦ od rozkªadunormalnego. Na przykªad wida¢ to bardzo dobrze dla zmiennych o rozkªadziewykªadniczym, który jest ewidentnie niesymetryczny, prawosko±ny.
2. Testy rozwa»ane w tym i nast¦pnym rozdziale bior¡ pod uwag¦ jedynie poziomistotno±ci a wi¦c tylko mo»liwo±¢ popeªnienia bª¦du pierwszego rodzaju (odrzuceniaprawdziwej H0). Nie rozwa»aj¡ w ogóle mocy testu, tj. prawdopodobie«stwaodrzucenia faªszywej H0. Takie testy nazywane s¡ testami istotno±ci.
SMOP-2 B.Kamys: 2016/17 84
9.3.2 WARTOCI OCZEKIWANEDWUPOPULACJI (H0 : E(X) = E(Y ))
Tutaj trzeba odró»ni¢ trzy sytuacje:
1.) σ(X) i σ(Y ) znane,
2.) σ(X) i σ(Y ) nieznane ale σ(X) = σ(Y ),
3.) σ(X) i σ(Y ) nieznane oraz σ(X) 6= σ(Y ),
ad 1.) Jako statystyke testowa bierze sie zmienna z:
z =X − Y√
σ2(X)
nx+ σ2(Y )
ny
Zmienna ta ma rozkªad standardowy normalny N(0,1).
ad 2.) Po stwierdzeniu (przy pomocy testu Fishera-Snedecora), »e wariancje zmien-nej X i zmiennej Y mo»na uzna¢ za równe, stosujemy test Studenta ze zmienna tzdeniowana nastepujaco:
t =X − Y
S(X,Y ) ·√
nx+nynx·ny
S(X,Y ) =
√(nx − 1) ∗ S2(X) + (ny − 1) ∗ S2(Y )
nx + ny − 2
Zmienna t ma rozkªad Studenta o (nx + ny − 2) stopniach swobody.
ad 3.) Je»eli test F pokazaª, »e wariancje zmiennych X i Y sa istotnie ró»ne to jakostatystyke testowa u»ywa sie zmodykowanej zmiennej t:
SMOP-2 B.Kamys: 2016/17 85
t =X − Y√
S2(X)
nx+ S2(Y )
ny
Zmienna t ma rozkªad, który mo»na przybli»y¢ rozkªadem Studenta o efektywnejliczbie stopni swobody nef :
nef =(S
2(X)
nx+ S2(Y )
ny)2
(S2(X)/nx)2
nx+1+ (S2(Y )/ny)2
ny+1
− 2
Poniewa» efektywna liczba stopni swobody nef zwykle nie jest liczba caªkowita toszukajac w tablicach musimy zaokragla¢ ja do liczby caªkowitej (bezpieczniej zaokragla¢w dóª - wtedy efektywnie zwiekszamy nieco poziom istotno±ci).
W tabeli przytoczonej poni»ej zdeniowane sa obszary krytyczne dla tych trzech przy-padków przy zastosowaniu dwu ró»nych hipotez alternatywnych H1.
Hipoteza H1 Obszar krytyczny Obszar krytyczny Obszar krytycznyσ(X) i σ(Y ) σ(X) = σ(Y ) σ(X) 6= σ(Y )
znane nieznane nieznane
E(X) 6= E(Y ) | z |> z1−α2
| t |> tnx+ny−2(1− α2) | t |> tnef (1− α
2)
E(X) > E(Y ) z > z1−α t > tnx+ny−2(1− α) t > tnef (1− α)
Oczywi±cie statystyki testowe z i t to statystyki zdeniowane powy»ej a fraktyle na-le»y bra¢ odpowiednio dla rozkªadu standardowego normalnego N(0,1) oraz rozkªadówStudenta o odpowiedniej liczbie stopni swobody.
SMOP-2 B.Kamys: 2016/17 86
9.4 HIPOTEZY DOTYCZACE WARIANCJI
Najwa»niejsze to hipotezy porównujace wariancje zmiennej X z liczba oraz hipoteza po-równujaca wariancje dwu populacji. Zakªadamy, podobnie jak w przypadku hipotez od-noszacych sie do warto±ci oczekiwanych, »e zmienne losowe pochodza z populacji normalnych.
9.4.1 PORÓWNANIE WARIANCJI X Z LICZBA (H0 : σ2(X) = σ20)
Dla testowania takiej hipotezy u»ywa sie statystyki testowejQ2 zdeniowanej nastepujaco:
Q2 =(n− 1) · S2(X)
σ20
Przy prawdziwo±ci H0 ta statystyka ma rozkªad χ2n−1, gdzie n to liczba pomiarów w
próbie a S2(X) to estymator wariancji.Obszary krytyczne dla ró»nych hipotez alternatywnych sa wymienione w tabeli poni»ej:
Hipoteza H1 Obszar krytyczny
σ2(X) 6= σ20 Q2 < χ2
α2lub Q2 > χ2
1−α2
σ2(X) > σ20 Q2 > χ2
1−α
σ2(X) < σ20 Q2 < χ2
α
9.4.2 PORÓWNANIE WARIANCJI DWU POPULACJI
Hipoteza zerowa H0 : σ2(X) = σ2(Y )
Dla testowania tej hipotezy u»ywa sie testu F Fishera-Snedecora. Zarówno zmiennajak i rozkªad prawdopodobie«stwa oznacza sie litera F z dwoma wska¹nikami n1, n2:F(n1, n2). Zmienna F(n1, n2) to stosunek dwu zmiennych o rozkªadach chi-kwadrat podzielonych przez ich liczby stopni swobody , przy czym zmienna w licz-niku ma n1 a zmienna w mianowniku n2 stopni swobody:
SMOP-2 B.Kamys: 2016/17 87
F (n1, n2) ≡(χ2n1
n1)
(χ2n2
n2)
Zmienna ta przyjmuje, jako stosunek dwu nieujemnych liczb, tylko warto±ci nieujemnea ksztaªt jej rozkªadu jest podobny do ksztaªtu rozkªadu χ2.
Jako statystyke testowa F bierze sie iloraz estymatora S2(X) i estymatora S2(Y):
F ≡S2(X)
S2(Y )
atwo pokaza¢, »e statystyka F ma rozkªad F(nx − 1, ny − 1):Wiemy z rozwa»a« dotyczacych porównania wariancji z liczba, »e zmienna Q2 obliczonadla próby skªadajacej sie z n elementów ma rozkªad χ2
n−1. Po podzieleniu jej przez
liczbe stopni swobody (n− 1) otrzymujemy iloraz S2
σ2 . Je»eli prawdziwa jest hipoteza ze-rowa gªoszaca, »e wariancje licznika i mianownika sa równe, to stosunek statystyk S2(X)
(licznika) i S2(Y ) (mianownika) jest równy stosunkowi Q2(X)
nx−1i Q
2(Y )
ny−1czyli równy jest
zmiennej F (nx − 1, ny − 1).
Jako hipoteze alternatywna kªadzie sie brak równo±ci obu wariancji lub to, »e wariancjalicznika jest wieksza od wariancji mianownika:
Hipoteza H1 Obszar krytyczny
σ2(X) 6= σ2(Y ) F < Fα2(nx − 1, ny − 1) lub F > F1−α
2(nx − 1, ny − 1)
σ2(X) > σ2(Y ) F > F1−α(nx − 1, ny − 1)
Je»eli w tablicach podane sa tylko kwantyle rozkªadu F na du»ym poziomie lub tylkona maªym poziomie, to korzysta sie z oczywistej równo±ci:
Fα/2(n1, n2) = 1/F1−α/2(n2, n1)
SMOP-2 B.Kamys: 2016/17 88
9.5 MOC TESTU
Przy badaniu prawdziwo±ci hipotez wa»na jest mo»liwo±¢ brania pod uwag¦ nie tylkopoziomu istotno±ci α, tzn. prawdopodobie«stwa odrzucenia prawdziwej H0 ale tak»emocy testu 1−β, tzn. prawdopodobie«stwa odrzucenia faªszywejH0. Przez β oznaczo-no tu prawdopodobie«stwo popeªnienia bª¦du drugiego rodzaju, tzn. przyj¦cia faªszywejH0. Moc testu zale»y zwykle od poziomu istotno±ci ale nie jest przez niego jednoznacznieokre±lona.
- 3 - 2 - 1 0 1 2 3 4 50 , 0
0 , 1
0 , 2
0 , 3
0 , 4
0 , 5
f(X)
X
N ( 0 , 1 ) N ( 1 . 5 , 1 )
1 - β
α
Rysunek 4: Dwa rozkªady Gaussa: N(0,1) i N(1.5,1). Obszar zakreskowany to poziomistotno±ci α, obszar zaznaczony na »óªto to moc testu 1−β. Rysunek ilustruje sytuacj¦,która pojawia si¦ przy testowaniu hipotezy H0 : E(x) = 0 wzgl¦dem prostej hipotezyalternatywnej H1 : E(x) = 1.5 dla rozkªadu normalnego o odchyleniu standardowymσ(x) = 1.
Na rysunku 4 pokazane s¡ dwa rozkªady normalne o odchyleniu standardowym σ(x) =1. Pierwszy z nich to rozkªadN(0, 1) postulowany przezH0 a drugi to rozkªadN(1, 5, 1)postulowany przez H1. Obszar zakreskowany to poziom istotno±ci α = 0.0028 (obszarna prawo od x = 2 a wi¦c oddalony na prawo od warto±ci oczekiwanej wi¦cej ni» 2 ·σ(x),równy 1 − FZ(2)) a obszar zaznaczony na »óªto to moc testu 1 − β = 0.3085 (obszaroddalony na prawo od E(x) = 1.5 o 0.5 ≡ 0.5 ·σ(x) równy 1−FZ(0.5)), gdzie przezFZ(x) oznaczono dystrybuant¦ rozkªadu N(0, 1).
Z tego rysunku wida¢ wyra¹nie, »e zwi¦kszanie ró»nicy pomi¦dzy x0 ≡ E(x|H0) ix1 ≡ E(x|H1), tj. rozsuwanie rozkªadów, b¦dzie powodowa¢ zwi¦kszanie mocy testu.Podobnie b¦dzie dziaªa¢ zmniejszanie odchylenia standardowego σ(x), tj. zw¦»anie roz-kªadów przy tej samej odlegªo±ci mi¦dzy x0 i x1.
Na powy»szym przykªadzie zostan¡ przedstawione typowe problemy, pojawiaj¡ce si¦gdy rozwa»ana jest moc testu:
SMOP-2 B.Kamys: 2016/17 89
1. Okre±lenie mocy testu dla danej próby.
2. Oszacowanie rozmiaru próby aby uzyska¢ po»¡dan¡ moc testu.
Jak to omówili±my w rozdziale dotycz¡cym hipotez odnosz¡cych si¦ do porównaniawarto±ci oczekiwanej z liczb¡:
H0 : E(x) = x0
dla badania tej hipotezy u»ywa si¦ nast¦puj¡cej statystyki:
t ≡x− x0
S(x)/√n
która posiada rozkªad Studenta o n−1 stopniach swobody (bardzo podobny do rozkªadustandardowego normalnego pokazanego na rys. 4. Wtedy speªniona jest relacja:
t ≡ tn−1
Rozwa»my hipotez¦ alternatywn¡:
H1 : E(x) = x1 gdzie x1 > x0.
W takiej sytuacji obszar krytyczny jest obszarem jednostronnym (prawostronnym), takimjak pokazany na rys. 4 (zbiór warto±ci t > (tn−1)1−α pod zakreskowanym polem równymα).
Zgodnie z denicj¡ mocy testu 1 − β b¦dzie to prawdopodobie«stwo, »e statystykatestowa b¦dzie nale»aªa do obszaru krytycznego wtedy, gdy prawdziwa jestH1 (»óªte polena rysunku 4):
1− β = P
(x− x0
S(x)/√n> (tn−1)1−α |H1 : E(x) = x1
)Wtedy oczywi±cie statystyka testowa nie jest zmienn¡ o rozkªadzie Studenta z n − 1stopniami swobody:
x− x0
S(x)/√n6= tn−1
ale mo»emy zawsze napisa¢:
x− x0
S(x)/√n
=x− x1
S(x)/√n
+x1 − x0
S(x)/√n
czylix− x0
S(x)/√n
= tn−1 +x1 − x0
S(x)/√n
co oznacza, »e wzór na moc testu mo»na przepisa¢ nast¦puj¡co:
SMOP-2 B.Kamys: 2016/17 90
1− β = P
(tn−1 +
x1 − x0
S(x)/√n> (tn−1))1−α
)= P
(tn−1 > (tn−1)1−α −
x1 − x0
S(x)/√n
)
Sytuacja nie jest tak prosta, gdy hipoteza alternatywna jest hipotez¡ zªo»on¡, np.
H1 : E(X) > x0
bez okre±lania, jak¡ konkretn¡ warto±¢ ma E(x). Oczywi±cie wtedy tak»e mo»na prze-ksztaªci¢ statystyk¦ testow¡ w sposób analogiczny jak dla prostej hipotezy alternatywnejale wtedy mo»e to wygl¡da¢ nast¦puj¡co:
x− x0
S(x)/√n
=x− x1
S(x)/√n
+x1 − x0
S(x)/√n
=
=x− x1
S(x)/√n
+x1 − x0
σ(x)/√n·σ(x)
S(x)=
=x− x1
S(x)/√n
+x1 − x0
σ(x)/√n·
√σ2(x) · (n− 1)
S2(x) · (n− 1)=
= tn−1 +x1 − x0
σ(x)/√n·√n− 1
χ2n−1
A wi¦c
1− β = P
(tn−1 +
x1 − x0
σ(x)/√n·√n− 1
χ2n−1
> (tn−1)1−α
)
SMOP-2 B.Kamys: 2016/17 91
9.6 TEST NORMALNOCI ROZKADU
Wiekszo±¢ metod statystyki jest dobrze opracowana matematycznie dla zmiennych o roz-kªadzie normalnym natomiast nie jest oczywiste, »e dadza sie zastosowa¢ bez modykacjidla zmiennych o innych rozkªadach. Z tej przyczyny przed rozpoczeciem bardziej za-awansowanych rozwa»a« statystycznych nale»y sie upewni¢, »e badana zmienna podlegarozkªadowi normalnemu. Sprawdzana hipoteza zerowa polega na stwierdzeniu, »e rozkªadbadanej zmiennej jest rozkªadem normalnym. W zale»no±ci od testu zakªada sie znajo-mo±¢ parametrów rozkªadu jak np. w te±cie lambda Koªmogorowa lub te» nie jest toniezbedne jak np. w badaniu wykresu normalnego.
9.6.1 TEST ZEROWANIA SI WSPÓCZYNNIKA ASYMETRII I KUR-TOZY
Test ten polega na sprawdzeniu, czy speªnione sa warunki konieczne do tego aby rozkªadbadanej zmiennej mógª by¢ rozkªadem normalnym. Wiadomo, »e dla rozkªadu normalnegowspóªczynnik asymetrii i kurtoza (wspóªczynnik przewy»szenia) znikaja niezale»nie odtego jaka jest warto±¢ oczekiwana i wariancja rozkªadu. A wiec
• Hipoteza zerowa, H0:
(γ1 = 0) ∧ (γ2 = 0)
• Statystyka testowa:
Q1 =
√n · g1√
6
Q2 =
√n · g2√
24
gdzie g1 i g2 to estymatory wspóªczynnika asymetrii γ1 i kurtozy γ2:
γ1 ≡E ((x− E(x))3)
σ3(x)γ2 ≡
E ((x− E(x))4)
σ4(x)− 3
opisane poni»szymi wzorami:
g1 =M3√M3
2
, g2 =M4
M22
− 3
SMOP-2 B.Kamys: 2016/17 92
UWAGA:Wielko±ci M2, M3 i M4 to nie sa momenty liczone wzgledem poczatku ukªadulecz estymatory momentów centralnych odpowiednio drugiego, trzeciego i czwartegorzedu:
M2 ≡ 1n
n∑i=1
(xi − x)2
M3 ≡ 1n
n∑i=1
(xi − x)3
M4 ≡ 1n
n∑i=1
(xi − x)4
Je»eli hipoteza zerowa jest prawdziwa oraz próba jest bardzo du»a to statystykig1 i g2 maja rozkªady normalne o warto±ciach oczekiwanych
E(g1) ≈ 0 E(g2) ≈ 0
i odchyleniach standardowych:
σ(g1) ≈√
6
nσ(g2) ≈
√24
n
Wtedy estymatory Q1 i Q2 maja standardowe rozkªady normalne N(0,1).
• Hipoteza alternatywna to zaprzeczenie H0:prawdziwe warto±ci γ1 lub γ2 nie sa równe 0.
• Obszar krytyczny dwustronny. Brzegi okre±lone przez kwantyl rozkªadu N(0,1):
| Q1 |> z1−α2
⋃| Q2 |> z1−α
2
Je»eli rozmiary próby nie sa bardzo du»e to rozkªad statystyk Q1 i Q2 nie przyjmujeswej asymptotycznej postaci; N(0,1) ale warto±ci oczekiwane i wariancje tych zmiennychsa bliskie odpowiednio zeru i jedno±ci. Mo»na to wykorzysta¢ do stworzenia obszarukrytycznego w oparciu o nierówno±¢ Czebyszewa . Jako obszar krytyczny przyjmuje siewarto±ci ( | Q1 |> 3
⋃| Q2 |> 3 ) tj. poziom istotno±ci równy α = 1/9.
Nale»y zwróci¢ uwage na fakt, »e powy»szy test pozwala zwykle w uzasadniony sposóbodrzuci¢ hipoteze zerowa (gdy Q1 lub Q2 traa do obszaru krytycznego) natomiast fakt,
SMOP-2 B.Kamys: 2016/17 93
»e warto±ci tych statystyk nie sa sprzeczne z hipoteza zerowa nie wyklucza mo»liwo±ci, »emamy do czynienia z rozkªadem ró»nym od normalnego.
9.6.2 TEST ZGODNOCI λ - KOMOGOROWA
Ten test stosowany jest do porównania rozkªadu prawdopodobie«stwa z próby ze znanym(teoretycznym) rozkªadem. Tu wykorzystujemy go do testowania normalno±ci rozkªadualemo»na go stosowa¢ do dowolnych teoretycznych rozkªadów ciagªej zmiennejlosowej. Parametry rozkªadu powinny by¢ okre±lone w hipotezie zerowej.
Pomiary z próby x1, x2, x3, ...xn porzadkujemy wg wzrastajacej warto±ci otrzymujacnastepujacy ciag:
x∗1 ≤ x∗2 ≤ x∗3 ≤ ... x∗n
Zmienna losowa X∗m, taka, »e jej realizacja x∗m zajmuje w ciagu m − te miejsce nazy-wamy statystyka pozycyjna rzedu m w próbie n-elementowej.
Tworzymy empiryczna dystrybuante Fn(x) obserwowanej w próbie zmiennej losowej X:
Fn(x) =
0 gdy x ≤ x∗1mn
gdy x∗m < x ≤ x∗m+1 , 1 ≤ m ≤ n− 1
1 gdy x > x∗n
Empiryczna dystrybuanta jest zwykªa funkcja argumentu x ale jest równocze±nie sta-tystyka bo jest deniowana przez wszystkie wielko±ci x∗1, ..., x
∗n z próby.
Mo»na pokaza¢, »e warto±¢ oczekiwana empirycznej dystrybuanty jest równa oszacowy-wanej wielko±ci teoretycznej dystrybuanty
E(Fn(x)) = F (x)
a jej wariancja da»y do zera gdy rozmiary próby da»a do niesko«czono±ci
σ2(Fn(x)) =1
n· F (x) · (1− F (x))→ 0.
Stad Fn(x) jest nieobcia»onym i zgodnym estymatorem F(x).
SMOP-2 B.Kamys: 2016/17 94
• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego o parametrach E(x) = x0, σ(x) = σ:
E(Fn(x)) =
∫ x
−∞dx ·
1√
2πσ· exp(−
(x− x0)2
2σ2)
• Statystyka testowa:w oryginalnej wersji - zaproponowanej przez Koªmogorowa:
Dn = supx| Fn(x)− F (x) |
Smirnow zaproponowaª dwie inne denicje statystyki testowej (stad czesto u»ywananazwa test Koªmogorowa-Smirnowa):
D+n = sup
x(Fn(x)− F (x))
D−n = − infx
(Fn(x)− F (x))
Dla praktycznych rachunków wykorzystuje sie nieco inne wzory, które wymagajaznajomo±ci teoretycznej dystrybuanty tylko dla zmierzonych warto±ci zmiennejX:
D+n = max
1≤m≤n(m
n− F (x∗m) )
D−n = max1≤m≤n
( F (x∗m)−m− 1
n)
Dn = max( D+n , D
−n )
a dystrybuante F (x∗m) zastepuje sie dystrybuanta G(z) stablicowanego standar-dowego rozkªadu normalnego N(0,1): F (x∗m)=G(z ≡ (x∗m − E(x))/σ(x)).
• Obszar krytyczny: prawostronny (du»e warto±ci Dn, tzn. Dn > Dn(1− α))
Granice obszaru krytycznego, tj. kwantyl Dn(1 − α) mo»na dla n ≥ 10 orazdla poziomu istotno±ci α ≥ 0, 01 wyliczy¢ z przybli»onego wzoru (dokªadno±¢ niegorsza ni» 3 cyfry znaczace)
SMOP-2 B.Kamys: 2016/17 95
Dn(1− α) ≈
√1
2n· (y −
2y2 − 4y − 1
18n)−
1
6n
y ≡ − ln(0, 5 · α)
SMOP-2 B.Kamys: 2016/17 96
Po wyliczeniu z próby warto±ci statystyki Dn porównujemy ja z kwantylem Dn(1− α)znalezionym z tablic lub wyliczonym z podanego wzoru (W praktyce mo»emy wylicza¢ tenkwantyl wg wzoru poniewa» zarówno typowe poziomy istotno±ci α ≥ 0, 01 jak i liczebno±¢próby n ≥ 10 odpowiadaja warunkom stosowania tego wzoru.)Gdy Dn > Dn(1−α) odrzucamy hipoteze zerowa, tzn. stwierdzamy, »e dane do±wiad-czalne wykluczaja to aby rozkªad prawdopodobie«stwa populacji byª rozkªadem normal-nym z parametrami E(x) = x0 i σ(x) = σ, przy czym nasz wniosek mo»e by¢ bªednyz prawdopodobie«stwem α.
UWAGA:
1. Statystyka Dn powinna by¢ liczona ze szczegóªowego szeregu statystycznego ( tj. zindywidualnych pomiarów ) a nie mo»e by¢ liczona z szeregu rozdzielczego (danychpogrupowanych)!!
2. Statystyka λ ≡√n ·Dn testu Koªmogorowa - Smirnowa ma dla n da»acego do
niesko«czono±ci dystrybuant¦ niezale»n¡ od postaci porównywanych rozkªadów:
K(λ) =∞∑
k=−∞
(−1)k exp[−2k2λ2]
Stad mo»na znale¹¢ kwantyle tego rozkªadu. Przytoczymy tylko trzy najcze±ciejstosowane: λ0,95 = 1, 36, λ0,99 = 1, 63 i λ0,999 = 1, 95. Dla n > 150 mo»nau»ywa¢ tych asymptotycznych kwantyli.
To jest wielka zaleta testu ale jest równie» pewna sªabo±cia bo przez to jest stosun-kowo maªo czuªy na posta¢ ogonów rozkªadu.
3. Dla poprawnego stosowania testu Koªmogorowa - Smirnowa niezbedna jest znajo-mo±¢ warto±ci parametrów teoretycznego rozkªadu. Je»eli nie znamy tych para-metrów - musimy je wcze±niej oszacowa¢, np. przy pomocy metody najwiekszejwiarygodno±ci. Istnieja programy, które dokonuja automatycznie takiego oszacowa-nia (np. w pakiecie STATISTICA ta wersja testu nazywa sietestem Koªmogorowa -Smirnowa z poprawka Lillieforsa .
9.6.3 TEST ZGODNOCI χ2 - PEARSONA
Podobnie jak test λ Koªmogorowa tak i ten test stosowany jest do porównania rozkªaduprawdopodobie«stwa z próby ze znanym (teoretycznym) rozkªadem. Tu wykorzystujemy
SMOP-2 B.Kamys: 2016/17 97
go do testowania normalno±ci rozkªadu ale mo»na go stosowa¢ do dowolnych teore-tycznych rozkªadów ciagªej lub dyskretnej zmiennej losowej alepomiary musza by¢ pogrupowane (szereg rozdzielczy) - wprost przeciwnie ni» w przy-padku testu Koªmogorowa.
• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego:
E(Fn(x)) =
∫ x
−∞dx ·
1√
2πσ· exp(−
(x− x0)2
2σ2)
• Statystyka testowa:
X2 =k∑i=1
(ni − n · πi)2
nπi
gdzie
k to liczba przedziaªów w szeregu rozdzielczym (przynajmniej kilka),
ni to liczebno±¢ i− tego przedziaªu (ni ≥ 5),
πi to prawdopodobie«stwo zaobserwowania pomiarów w przedziale i − tymje»eli prawdziwa jest hipoteza zerowa,
n to liczba wszystkich pomiarów.
Dowodzi sie, »e asymptotycznie (tzn. dla n → ∞) statystyka X2 ma rozkªadχ2k−r−1, gdzie r jest liczba nieznanych parametrów teoretycznego rozkªadu (dla
rozkªadu normalnego r = 2) oszacowywanych wstepnie z próby metoda najwiekszejwiarygodno±ci.
• Obszar krytyczny to du»e warto±ci X2 (X2 > χ2k−r−1(1 − α)), gdzie w naszym
przypadku testowania normalno±ci rozkªadu χ2k−r−1(1− α) jest kwantylem rzedu
1−α rozkªadu χ2k−1 (gdy znamy E(x) i σ(x) rozkªadu normalnego) lub rozkªadu
χ2k−3 (gdy musimy oszacowa¢ przed testowaniem normalno±ci E(x) i σ(x) ).
Test χ2 równie» nie wymaga skomplikowanych oblicze« i dlatego mo»e by¢ przeprowa-dzony bez u»ycia komputera ale kwantyle tego rozkªadu nie dadza sie policzy¢ tak prostojak dla testu Koªmogorowa. Musimy korzysta¢ z tablic statystycznych.
SMOP-2 B.Kamys: 2016/17 98
9.6.4 WYKRES NORMALNY
Wykres ten jest szczególnym przypadkiem wykresu kwantyl - kwantyl, na którym przed-stawia sie estymatory kwantyli dla rozkªadu zmiennej z próby w funkcji kwantyli teoretycz-nego rozkªadu. Jako kwantyle teoretycznego rozkªadu bierze sie kwantyle standardowegorozkªadu normalnego. Jako kwantyle do±wiadczalne bierzemy kolejne warto±ci pozycyj-nej statystyki z próby. Je»eli hipoteza zerowa (normalno±¢ rozkªadu mierzonej wielko±ciX) jest prawdziwa to tak otrzymany wykres powinien by¢ linia prosta. Odstepstwa odprostoliniowo±ci sa argumentem za odrzuceniem hipotezy zerowej.
• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego, przy czym dla tego testu nie jest wymagana znajomo±¢ parametrów rozkªadu.
• Statystyka testowaJako statystyke testowa mo»na wzia¢ estymator wspólczynnika korelacji r pomiedzydo±wiadczalnymi i teoretycznymi kwantylami.
Postepujemy nastepujaco:
1. Porzadkujemy pomiary xk tak aby utworzyªy ciag rosnacy x∗k czyli sta-tystyke pozycyjna. Statystyke pozycyjna rzedu k z n - elementowej próbytraktujemy jako estymator kwantyla na poziomie k/(n+ 1).
2. Szukamy zk, tj. teoretycznego kwantyla standardowego rozkªadu normalnegona poziomie k/(n+ 1) wykorzystujac relacje:
F (zk) =k
n+ 1⇒ zk = F−1
(k
n+ 1
)
gdzie przez F−1(x) nale»y rozumie¢ funkcje odwrotna do dystrybuanty F (y).
3. Rysujemy pary zk, x∗k. Gdy wykres wyra¹nie ró»ni sie od linii prostej toodrzucamy H0, w przeciwnym wypadku liczymy estymator wspóªczynnika ko-relacji r(zk, x∗k) i przeprowadzamy bardziej ilo±ciowe rozwa»ania.
• Obszar krytyczny to maªe warto±ci estymatora r wspóªczynnika korelacji %(zk, x∗k),
tj. mniejsze od odpowiednich warto±ci krytycznych rn(α) zale»nych od poziomuistotno±ci α (test lewostronny). Warto±ci te mo»na znale¹¢ w tablicach lub zasto-sowa¢ przybli»one wzory podane poni»ej:
rn(α = 0.01) ≈ 1−0.5669
n2/3, rn(α = 0.05) ≈ 1−
0.3867
n2/3
SMOP-2 B.Kamys: 2016/17 99
Wzory te daja krytyczne warto±ci wspóªczynnika korelacji rn(α) dla dwupoziomów istotno±ci α z dokªadno±cia nie gorsza ni» 1% je»eli rozmiar próby n le»yw przedziale 5 < n < 1000. (Tablice krytycznych warto±ci estymatora r mo»naznale¹¢ w bardzo bogatym i napisanym w przystepny sposób dla u»ytkownikówstosujacych statystyke w praktyce poradniku statystycznym dostepnym w sieciinternetowej pod adresem: http://www.itl.nist.gov/div898/handbook/ ).
UWAGA:Je»eli linia prosta jest dobrym przybli»eniem, to wspóªczynnik kierunkowy prostejzk, x∗k równy jest parametrowi skali (tj. odchyleniu standardowemu) awspóªrzednaprzeciecia prostej z osia x∗k równa jest wspóªczynnikowi tendencji centralnej (warto±cioczekiwanej X). W ten sposób mo»na oszacowa¢ parametry rozkªadu normalnego, rzadzacegowarto±ciami zmiennej z próby.
SMOP-2 B.Kamys: 2016/17 100
9.7 TESTY NIEPARAMETRYCZNEHIPOTEZ PORÓWNUJACYCH POPULACJE
Do tej pory rozwa»ali±my testy sprawdzajace hipotezy gªoszace równo±¢ warto±ci oczeki-wanych dwu zmiennych a tak»e równo±¢ wariancji dwu zmiennych. Testy te dotyczyªyjedynie zmiennych o rozkªadach normalnych. Teraz omówimy testy odnoszace sie do hi-potez gªoszacych identyczno±¢ dystrybuant dwu populacji; H0 : F (X) = G(X)niezale»nie od postaci rozkªadu . Dystrybuanty oznaczono ró»nymi literami aby pod-kre±li¢, »e odnosza sie do dwu ró»nych populacji ale badamy te sama zmienna losowaX dla obu populacji biorac próbe liczebno±ci n1 z pierwszej populacji i liczebno±ci n2 zdrugiej populacji.
9.7.1 TEST SMIRNOWA
• Hipoteza zerowa H0 : F (X) ≡ G(X) gdzie zmienna X jest zmienna ciagªa.F (X) i G(X) sa odpowiednio dystrybuantami zmiennej X dla pierwszej i drugiejpopulacji.
Inne sformuªowanie toH0 : E(Fn1(X)) = E(Gn2(X)), gdzie Fn1(X) i Gn2(X)to empiryczne dystrybuanty otrzymane na podstawie dwu prób o liczebno±ci n1
i n2 wzietych odpowiednio z pierwszej i drugiej populacji (zdeniowane tak jak dlarozkªadu Koªmogorowa).
• Hipoteza alternatywna H1: zaprzeczenie H0
• Statystyka testowa Dn1,n2 :
Dn1,n2 = supx| Fn1(x)−Gn2(x) |
Nale»y zauwa»y¢, »e obie dystrybuanty sa od tej samej warto±ci argumentu.
Poniewa» speªniona jest relacja:
Dn1,n2 = Dn2,n1
wiec bez ograniczenia ogólno±ci wniosków mo»na rozwa»a¢ tylko
Dn1,n2
SMOP-2 B.Kamys: 2016/17 101
zakªadajac, »en1 ≤ n2.
W praktycznych rachunkach u»ywa sie nastepujacych wzorów na Dn1,n2 , gdzieobliczenia wykonuje sie tylko dla warto±ci argumentów zaobserwowanych w obupróbach i dla rozró»nienia prób stosuje sie symbole x∗1...x
∗n1
i y∗1....y∗n2
na statystykipozycyjne odpowiednio z pierwszej i drugiej próby:
D+n1,n2
= max1≤i≤n1
(in1−Gn2(x
∗i ))
D−n1,n2= max
1≤i≤n1
(Gn2(x
∗i )−
i−1n1
)Dn1,n2 = max
(D+n1,n2
, D−n1,n2
)
lub te»
D+n1,n2
= max1≤j≤n2
(Fn1(y
∗j )−
j−1n2
)D−n1,n2
= max1≤j≤n2
(jn2− Fn1(y
∗j ))
Dn1,n2 = max(D+n1,n2
, D−n1,n2
)
TWIERDZENIE (Smirnow):Gdy H0 jest prawdziwa oraz liczby pomiarów n1 i n2 da»a do niesko«czono±ci torozkªad zmiennej
Dn1,n2 ·√n1 · n2
n1 + n2
d¡»y do rozkªadu λ (Koªmogorowa).♦
Je»eli obie próby sa odpowiednio du»e (ni > 150) to mo»na ju» z rozsadnymprzybli»eniem stosowa¢ asymptotyczne wzory, tj.
Dn1,n2(1− α) ≈
√n1 + n2
n1 · n2
· y1−α
SMOP-2 B.Kamys: 2016/17 102
gdzie y1−α jest kwantylem rozkªadu lambda Koªmogorowa, którego dystrybuantai kwantyle na poziomie 0.95, 0.99 i 0.999 przytoczone s¡ w uwagach ko«cz¡cychrozdziaª dotycz¡cy testowania normalno±ci rozkªadu testem Koªmogorowa.
Gdy n1 i n2 sa maªe, trzeba stosowa¢ dokªadny rozkªad statystykiDn1,n2 znalezionyprzez Masseya (F.J.Massey, AMS 23 (1952) 435-441).
• Obszar krytyczny: prawostronny (du»e warto±ci statystyki testowej)
SMOP-2 B.Kamys: 2016/17 103
9.7.2 TEST ZNAKÓW
Test znaków sªu»y do sprawdzenia hipotezy zerowej gªoszacej, »e dystrybuanty dwuciagªych zmiennych losowych X i Y sa identyczne:
• Hipoteza zerowa H0 : G(X) = F (Y ).
Przy prawdziwo±ciH0 prawdopodobie«stwo P (X > Y ) tego, »e zajdzie zdarze-nie losowe X > Y , jest równe prawdopodobie«stwu P (X < Y ) tego, »e X < Y .Ze wzgledu na zaªo»enie ciagªo±ci zmiennych prawdopodobie«stwo równo±ci X i Yjest równe zero; P (X = Y ) = 0 a poniewa» te trzy zdarzenia sa rozªaczne iwyczerpuja wszystkie mo»liwo±ci wiec ostatecznie:
P (X < Y ) = P (X > Y ) = 1/2
• Hipoteza alternatywna H1 : G(X) 6= F (Y ).
• Statystyka testowa to liczba k takich par, »e xi > yi w±ród n niezale»nych par(xi, yi). Rozkªad prawdopodobie«stwa tej statystyki przy prawdziwo±ci H0 to roz-kªad Bernoulliego z parametrem p = 1/2 :
P (k) = (nk) ·1
2k·
1
2(n−k)= (nk) ·
1
2n
• Obszar krytyczny to bardzo maªa (k ≈ 0) i bardzo du»a (k ≈ n) liczba par (xi, yi),takich »e xi > yi (obszar dwustronny). Je»eli mamy wskazówki, »e prawdopodo-bie«stwo pojawienia sie warto±ci X wiekszych od Y jest wieksze ni» 1/2 to nale»yprzyja¢ prawostronny obszar krytyczny (k > kp) a gdy prawdopodobie«stwo Xwiekszych od Y jest mniejsze od 1/2 to lewostronny obszar krytyczny (k < kl).
Brzeg prawostronnego obszaru krytycznego kp szukamy z warunku:
P (k ≥ kp) = 2−n ·n∑
i=kp
(ni ) = α
SMOP-2 B.Kamys: 2016/17 104
Brzeg lewostronnego obszaru krytycznego kl szukamy z warunku:
P (k ≤ kl) = 2−n ·kl∑i=0
(ni ) = α
a brzegi dwustronnego obszaru krytycznego z obu powy»szych wzorów, w którychzastapi sie α przez α/2.
UWAGA:
1. Tu zakªadali±my milczaco, »e nie beda sie pojawiaªy pary (xi = yi) poniewa»obie zmienne sa ciagªe a wiec prawdopodobie«stwo takich par wynosi zero. Wpraktyce obliczenia wykonywane sa zawsze ze sko«czona dokªadno±cia a to powodujepojawianie sie powy»szych par. Je»eli ich liczba jest niewielka w porównaniu doliczby wszystkich par to mo»na je po prostu pomina¢. W przeciwnym wypadkustosuje sie losowanie , które (z prawdopodobie«stwem 0,5 ) okre±la czy dana parezaliczy¢ do par, w których xi > yi czy odwrotnie.
2. Cz¦sto wygodnie jest obliczy¢ sum¦ prawdopodobie«stw poczynaj¡c od 0 (lub odn, t.j. caªkowitej liczby par - zale»nie od tego czy k jest mniejsze czy wi¦ksze odn/2) do obserwowanej warto±ci liczby par k. Tak¡ sum¦ nazywa si¦ granicznympoziomem istotno±ci (w j¦zyku angielskim p-value) dla testu jednostronnego.Je»eli p-value jest mniejsze od poziomu istotno±ci α to statystyka testowa traa doobszaru krytycznego.
9.7.3 TEST SERII WALDA - WOLFOWITZA
Seria nazywamy ka»dy podciag ciagu zªo»onego z elementów A i B majacy te wªasno±¢,»e nale»a do niego elementy tego samego typu (A lub B).
Liczba serii ns speªnia warunek:
2 ≤ ns ≤ 2 ·min(nA, nB) + 1− δnA,nB
SMOP-2 B.Kamys: 2016/17 105
gdzie nA i nB to odpowiednio liczby elementów typu A i typu B w caªym ciagu.
Test serii Walda-Wolfowitza sªu»y do sprawdzania hipotezy gªoszacej, »e dystrybu-anty dwu zmiennych ciagªych X i Y sa identyczne:
• Hipoteza zerowa H0 : F1(X) = F2(Y ) (dla x=y)
• Hipoteza alternatywna H1 : F1(X) 6= F2(Y )
• Statystyka testowa ns (liczba serii).
Mamy próbe skªadajaca sie z nA warto±ci zmiennej X oraz z nB warto±ci zmiennejY . Zapisujemy te nA + nB warto±ci w jeden niemalejacy ciag i sprawdzamy ilejest serii typu A (tzn. skªadajacych sie z elementów X) i ile jest serii typu B (tzn.skªadajacych sie z elementów Y ). Je»eli zdarzy sie, »e dwie warto±ci sa identyczneto musimy losowa¢ (z prawdopodobie«stwem 0,5), która z nich ma by¢ pierwsza wciagu.
• Obszar krytyczny - lewostronny : ns ≤ ns(α)
Gdy hipoteza zerowa jest sªuszna to mo»emy sie spodziewa¢, »e warto±ci X saprzemieszane z warto±ciami Y a wiec liczba serii bedzie du»a. Je»eli dystrybuantyzmiennych X i Y sa ró»ne to spodziewamy sie, »e systematycznie jedna z tychzmiennych bedzie wieksza od drugiej (przynajmniej na pewnym odcinku warto±ci)a wiec liczba serii bedzie maªa. Stad maªa liczba serii w próbie bedzie ±wiadczy¢przeciw hipotezie zerowej.
Rozkªad liczby serii ns jest znany przy prawdziwo±ci H0 i wyra»a sie analitycz-nym wzorem:
p(ns) =
2
nA − 1
ns2− 1
nB − 1
ns2− 1
nA + nB
nA
dla ns parzystego
nA − 1
ns2− 1
2
nB − 1
ns2− 3
2
+
nA − 1
ns2− 3
2
nB − 1
ns2− 1
2
nA + nB
nA
dla ns nieparzystego
a wiec mo»na znale¹¢ (numerycznie) warto±ci krytyczne statystyki testowej.
SMOP-2 B.Kamys: 2016/17 106
UWAGA:Warto zauwa»y¢, »e w przypadku odrzucenia hipotezy zerowej, tj. zaobserwowania maªejliczby serii, mo»na próbowa¢ uzyska¢ informacje o relacji pomiedzy warto±ciami oczeki-wanymi E(X) i E(Y ) sprawdzajac czy na poczatku caªego ciagu przewa»aja warto±citypu A (tj. warto±ci zmiennej X) czy typu B(warto±ci zmiennej Y ).
Je»eli na poczatku mamy przewage warto±ci typu A a potem typu B to mo»emy uwa»a¢,»e E(X) < E(Y ). W przypadku odwrotnym spodziewamy sie, »e E(X) > E(Y ).
SMOP-2 B.Kamys: 2016/17 107
9.7.4 TEST SUMY RANG WILCOXONA - MANNA - WHITNEYA
Test ten zostaª opracowany przez F. Wilcoxona dla dwu równie licznych prób a pó¹niejuogólniony przez H.B. Manna i D.R. Whitneya na dwie próby o dowolnej liczebno±ci.Mo»na wiec spotka¢ sie z nazwa test Wilcoxona lub test Wilcoxona-Manna-Whitneya.
Przez range obserwacji rozumie sie liczbe naturalna równa numerowi miejsca, który taobserwacja zajmuje w uporzadkowanym ciagu niemalejacym obserwacji w próbie (numerdanej statystyki pozycyjnej). Je»eli dwie lub wiecej obserwacji ma te sama warto±¢ toich rangi sa równe ±redniej arytmetycznej rang, które posiadaªyby gdyby sie minimalnieró»niªy (tzn. ró»niªyby sie tak maªo, »e nie zmieniªyby poªo»enia w ciagu w stosunku doinnych obserwacji).
• Hipoteza zerowa H0 : F1(X) = F2(Y )
• Hipoteza alternatywna H1 : F1(X) 6= F2(Y )
Mo»na jednak postawi¢ inne hipotezy alternatywne:
H1 : P (X > Y ) > 0, 5 lub
H1 : P (X > Y ) < 0, 5
• Statystyka testowa:
w =
nmin∑i=1
ranga(i)
nmin oznacza liczebno±¢ mniejszej próby a ranga(i) to ranga kolejnej obserwacjiz mniej licznej próby ale w ciagu utworzonym z obserwacji obu prób.
• Obszar krytyczny: Dla prostego zaprzeczenia - obustronny, a dla dwu pozostaªychhipotez alternatywnych jest odpowiednio prawo- i lewostronny (przy zaªo»eniu, »epróba mniej liczna jest próba 'X'). Warto±ci krytyczne trzeba bra¢ z odpowiednichtablic.
SMOP-2 B.Kamys: 2016/17 108
9.7.5 WYKRES KWANTYL-KWANTYL
Kwantylem na poziomie q nazywamy tak¡ warto±¢ xq zmiennej losowej x, »e prawdo-podobie«stwo znalezienie mniejszych warto±ci x od xq wynosi q. Dla zmiennej ci¡gªejpoziom kwantyla q mo»e przybiera¢ wszystkie warto±ci z przedziaªu [0, 1] a dla zmiennejdyskretnej tylko dyskretne warto±ci. Dotyczy to równie» warto±ci kwantyla, który dlazmiennej ci¡gªej mo»e przyjmowa¢ dowolne rzeczywiste warto±ci xq z przedziaªu, gdziezmienna jest okre±lona a dla zmiennej dyskretnej tylko dyskretne warto±ci xj :
q =xq∫−∞
f(x) dx
qj =j∑i=1
p(xi)
Mo»na pokaza¢, rozwa»aj¡c zamian¦ zmiennych w powy»szej caªce deniuj¡cej kwan-tyl, »e zamiana zmiennej losowej na inn¡ poprzez monotoniczn¡ tranformacj¦ prowadzido identycznej transformacji kwantyla. W zwi¡zku z tym, je»eli zmienna y jest liniow¡funkcj¡ zmiennej x to kwantyl yq jest tak¡ sam¡ liniow¡ funkcj¡ kwantyla xq. W szcze-gólno±ci gdy zwi¡zek pomi¦dzy y i x jest to»samo±ci¡ y(x) = x to yq = xq dla ka»degopoziomu kwantyla. A wi¦c linia, która b¦dzie utworzona przez punkty o wspóªrz¦dnych(xq, yq) - dla ró»nych warto±ci q) - powinna by¢ lini¡ prost¡ nachylon¡ pod k¡tem 45
do osi odci¦tych, przechodz¡c¡ przez pocz¡tek ukªadu wspóªrz¦dnych.
Dla zbadania hipotezy czy dwie zmienne X i Y , reprezentowane przez dwie próbystatystyczne x1, x2, ...xnx i y1, y2, ...yny maj¡ identyczny rozkªad prawdopodobie«stwapost¦pujemy nast¦puj¡co:
1. Porz¡dkujemy zmierzone warto±ci w ci¡gi niemalej¡ce: x∗1 ≤ x∗2 ≤ ... ≤ x∗nx orazy∗1 ≤ y∗2 ≤ ... ≤ y∗ny
2. Traktujemy statystyk¦ pozycyjn¡ x∗i jako estymator kwantyla xq na poziomieq = i/(nx+1) a statystyk¦ pozycyjn¡ y∗j jako estymator kwantyla yp na poziomiep = j/(ny + 1).
3. Gdy nx = ny to statystyki pozycyjne x∗k i y∗k reprezentuj¡ estymatory kwantyli obu
zmiennych na tym samym poziomie a wi¦c wykres kwantyl-kwantyl b¦dzie wykresemstatystyki pozycyjnej y∗k w funkcji statystyki pozycyjnej x∗k. Gdy jedna z prób jestmniej liczna, np. nx < ny to interpolujemy warto±ci estymatorów kwantyli zbardziej licznej próby (tu y∗k) tak aby uzyska¢ identyczne poziomy kwantyli jak dlamniej licznej próby i rysujemy wykres tylu punktów ile wynosi liczebno±¢ mniejszejpróby.
Interpretacja mo»liwych wyników:
• Je»eli punkty ukªadaj¡ si¦ na linii prostej nachylonej pod k¡tem 45 do osi odci¦tychoraz przechodz¡cej przez pocz¡tek ukªadu odniesienia to akceptujemy hipotez¦ ze-row¡ gªosz¡c¡, »e oba rozkªady s¡ identyczne.
SMOP-2 B.Kamys: 2016/17 109
• Je»eli punkty ukªadaj¡ si¦ na linii prostej przechodz¡cej przez pocz¡tek ukªaduwspóªrz¦dnych ale nachylonej pod innym k¡tem ni» 45 to oznacza, »e zmienna yma rozkªad o takim samym ksztaªcie jak zmienna x ale wyra»ony w innych jed-nostkach (odchylenie standardowe jednej zmiennej jest inne ni» drugiej oraz warto±¢oczekiwana te» zwykle jest inna).
• Je»eli wykres kwantyl-kwantyl jest lini¡ prost¡ nachylon¡ pod k¡tem 45 ale nieprzechodz¡c¡ przez pocz¡tek ukªadu wspóªrz¦dnych to rozkªady prawopodobie«-stwa maj¡ taki sam ksztaªt i identyczne wariancje ale jedna zmienna ma warto±ciprzesuni¦te wzgl¦dem drugiej zmiennej o staª¡ liczb¦ (warto±ci oczekiwane ró»ni¡si¦ o t¦ liczb¦).
• Je»eli wykres kwantyl-kwantyl jest lini¡ prost¡ ale nie jest ona nachylona pod k¡tem45 oraz nie przechodzi przez pocz¡tek ukªadu wspóªrz¦dnych to rozkªady maj¡ takisam ksztaªt ale ró»ne warto±ci oczekiwane i ró»ne wariancje.
• Je»eli wykres nie jest lini¡ prost¡ to zmienne maj¡ rozkªady ró»ni¡ce si¦ ksztaªtem.
Ilo±ciowo mo»emy zdecydowa¢ o tym czy akceptujemy ukªadanie si¦ punktów na li-nii prostej badaj¡c warto±¢ wspóªczynnika korelacji tak jak przy wykresie normalnym(rozdziaª (9.6.4)).
SMOP-2 B.Kamys: 2016/17 110
9.8 HIPOTEZA JEDNORODNOCI WARIANCJI
Zajmujemy sie zmiennymi o rozkªadzie normalnym. Sprawdzamy czy wariancje kilkupopulacji sa takie same (np. czy dokªadno±¢ kilku ró»nych serii pomiarów jest takasama). Ta wªasno±¢ - zwana jednorodno±cia wariancji - mo»e by¢ interesujaca samaw sobie a dodatkowo jest niezbedna je»eli chcemy bada¢ równo±¢ warto±ci oczekiwanychkilku populacji przez zastosowanie tzw. analizy wariancji (ANOVA).
9.8.1 TEST BARTLETTA
Badamy k populacji normalnych . Z ka»dej populacji i = 1, .., k bierzemy ni obserwacji(w sumie n =
∑ni=1 ni wyników).
• Hipoteza zerowa H0: Wszystkie wariancje sa sobie równe:
σ21 = σ2
2 = ·· = σ2k
• Hipoteza alternatywna H1: Przynajmniej jedna wariancja jest wieksza od pozosta-ªych:
σ2j > σ2
1 = · · σ2j−1 = σ2
j+1 = ·· = σ2k
• Statystyka testowa:
M =
−
k∑i=1
(ni − 1) · ln(S2i
S2
)1 + 1
3(k−1)
[k∑i=1
1ni−1− 1
n−k
]
gdzie S2i jest estymatorem wariancji dla i-tej próby:
S2i = 1
ni−1
ni∑j=1
(xji − xi)2 oraz S2 = 1n−k
k∑i=1
(ni − 1) · S2i .
Bartlett pokazaª, »e zmienna M zdeniowana powy»ej ma rozkªad, który bardzoszybko da»y do rozkªadu chi-kwadrat o k-1 stopniach swobody. Wystarcza ju»warunek ni > 3 dla wszystkich prób i.
• Obszar krytyczny: prawostronny.
SMOP-2 B.Kamys: 2016/17 111
9.8.2 TEST COCHRANA
Mo»na go stosowa¢ dla k populacji normalnych je»eli liczebno±¢ wszystkich prób ni,i=1,..,k jest identyczna.
• Hipoteza zerowa H0: Wszystkie wariancje sa sobie równe:
σ21 = σ2
2 = ·· = σ2k
• Hipoteza alternatywna H1: Przynajmniej jedna wariancja jest wieksza od pozosta-ªych:
σ2j > σ2
2 = · · σ2j−1 = σ2
j+1 = ·· = σ2k
• Statystyka testowa:
G =maxiS2i
k∑i=1
S2i
gdzie S2i jest estymatorem wariancji dla i-tej próby.
• Obszar krytyczny: prawostronny. Nale»y korzysta¢ ze specjalnych tablic testu Co-chrana.
9.8.3 TEST Fmax HARTLEYA
Podobnie jak test Cochrana mo»na go stosowa¢ dla k populacji normalnych je»eli liczeb-no±¢ wszystkich prób ni, i=1,..,k jest identyczna.
• Hipoteza zerowa H0: Wszystkie wariancje sa sobie równe:
σ21 = σ2
2 = ·· = σ2k
• Hipoteza alternatywna H1: Przynajmniej jedna wariancja jest wieksza od pozosta-ªych:
σ2j > σ2
2 = · · σ2j−1 = σ2
j+1 = ·· = σ2k
• Statystyka testowa:
Fmax =maxiS2i
miniS2i
gdzie S2i jest estymatorem wariancji dla i-tej próby.
• Obszar krytyczny: prawostronny. Nale»y korzysta¢ ze specjalnych tablic testu Har-tleya.
SMOP-2 B.Kamys: 2016/17 112
9.9 ANALIZA WARIANCJI - klasykacja jednoczynnikowa
Analiza wariancji - zaproponowana przez R. A. Fishera - to metoda sªu»aca w swojejnajprostszej wersji do porównania warto±ci oczekiwanych kilku populacji normal-nych.
Jednoczynnikowa analiza wariancji bierze swa nazwe z faktu podziaªu caªej popu-lacji warto±ci ilo±ciowej zmiennej x na k populacji ró»niacych sie warto±cia lub pozio-mem jednego klasykujacego czynnika . Tym czynnikiem nie jest warto±¢ zmiennejx lecz jaka± inna wielko±¢, która w szczególno±ci mo»e by¢ zmienna jako±ciowa. Przypomocy analizy wariancji sprawdzamy czy warto±ci oczekiwane zmiennej x dla populacjiró»niacych sie warto±cia (poziomem) czynnika klasykujacego sa identyczne. Na przy-kªad, zmienna x mo»e by¢ temperatura pacjentów a czynnikiem klasykujacym - rodzajchoroby (nominalna zmienna jako±ciowa). Wtedy stwierdzenie, »e dla ró»nych poziomówczynnika klasykujacego (ró»nych chorób) ±rednia temperatura ciaªa jest ró»na mo»e po-zwoli¢ na uªatwienie rozpoznania rodzaju choroby.
Analiza wariancji zwana popularnie ANOVA (ANalysis Of VAriance) pozwala, wprzypadku odrzucenia hipotezy zerowej, stwierdzi¢ wpªyw poziomu pewnego jako±ciowegoczynnika na mierzalna charakterystyke badanego obiektu. Dzieki temu ANOVA ma bar-dzo szerokie zastosowanie w naukach biologicznych i medycznych gdzie czesto mamy doczynienia ze zmiennymi jako±ciowymi.
ZAOENIA:
1. Badamy k populacji charakteryzowanych przez zmienna X. Zakªadamy, »e zmienneX1, ..., Xk przypisane populacjom 1, ..., k sa niezale»ne i maja rozkªady normalne.
2. Wszystkie populacje maja równe wariancje,
Je»eli nie mamy z góry zagwarantowanego speªnienia tych zaªo»e« to musimy przepro-wadzi¢ odpowiednie testy statystyczne (np. Test λ-Koªmogorowa, test χ2 Pearsonalub inne dla sprawdzenia normalno±ci populacji oraz test Bartletta lub Cochrana dlasprawdzenia identyczno±ci wariancji - nazywanej jednorodno±cia wariancji - dla ró»nychpopulacji).
• Hipoteza zerowa: H0: E(X1) = E(X2) = ... = E(Xk)
• Hipoteza alternatywna: H1: Niektóre E(Xi) sa ró»ne.
• Statystyka testowa:
Wprowadzamy nastepujace oznaczenia:
xij to j-ty pomiar z i-tej próby (i-tej populacji)
SMOP-2 B.Kamys: 2016/17 113
ni to liczebno±¢ i-tej próby, przy czymk∑i=1
ni = N
xi· to ±rednia arytmetyczna dla i-tej próby:
xi· =1ni
ni∑j=1
xij czylini∑j=1
xij = ni · xi·
x·· to ±rednia arytmetyczna wszystkich pomiarów:
x·· =1N
k∑i=1
ni∑j=1
xij = 1N
k∑i=1
ni · xi·
s2b ≡
1(k−1)
k∑i=1
ni∑j=1
(xi· − x··)2 = 1(k−1)
k∑i=1
ni · (xi· − x··)2
to estymator wariancji caªkowitego zbioru danych liczony z rozrzutu ±rednicharytmetycznych poszczególnych prób i = 1, .., k. Kwadrat odchylenia i-tej±redniej xi· od ogólnej ±redniej wchodzi do wzoru z waga równa liczebno±cii-tej próby. Poniewa» ogólna ±rednia narzuca jeden warunek na zespóª k ±red-nich grupowych to suma s2
b ma (k − 1) stopni swobody .Wska¹nik "b"pochodzi od angielskiego sªowa "between"(pomiedzy) i s2
b na-zywany jest estymatorem "wariancji miedzygrupowej". U»ywa sie równie»okre±lenia wariancja wedªug badanego czynnika".
s2w ≡
1(N−k)
k∑i=1
ni∑j=1
(xij − xi·)2
to estymator wariancji caªkowitego zbioru danych liczony z rozrzutu pomiarówwewnatrz ka»dej próby i = 1, .., k. Liczba stopni swobody dla sumy kwa-dratów wewnatrz j-tej grupy to (ni − 1). Liczba stopni swobody dla sumykwadratów po wszystkich k grupach to:
(n1 − 1) + (n2 − 1) + ..+ (nk − 1) =k∑i=1
ni − k = N − k.
Stad liczba stopni swobody tej sumy wynosi (N − k).Wska¹nik "w" pochodzi od angielskiego sªowa "within" (wewnatrz) i dlategoestymator s2
w nazywany jest estymatorem wariancji wewnatrzgrupowej".U»ywa sie tak»e okre±lenia resztowa wariancja".
TWIERDZENIE:Mo»na pokaza¢, »e przy równo±ci wariancji wszystkich populacji
σ21 = σ2
2 = . . . = σ2k ≡ σ2 zachodza nastepujace relacje:
SMOP-2 B.Kamys: 2016/17 114
Es2w = σ2
Es2b = σ2 +
(k∑i=1
(Exi−Ex)2)
k−1·
(N−
k∑i=1
n2i
N
)k−1
gdzie Exi i Ex to warto±¢ oczekiwana dla i -tej populacji i postulowana przezhipoteze zerowa wspólna warto±¢ oczekiwana wszystkich populacji.
Jak wida¢, estymator s2w jest zawsze nieobcia»onym estymatorem warian-
cji (niezale»nie od prawdziwo±ci H0), natomiast estymator s2b jest nie-
obcia»ony tylko wtedy, gdy H0 jest prawdziwa. W przeciwnym wypadkuma dodatnie obcia»enie (wyra»enie w drugim nawiasie powy»ej zawiera ró»nice
kwadratu sumy dodatnich liczb N2 ≡ (k∑i=1
ni)2 i sumy kwadratów tych liczb
k∑i=1
ni2 wiec jest zawsze dodatnie).
Jako statystyke testowa bierzemy wielko±¢:
s2b/s
2w = F (k − 1, N − k)
Powy»szy wzór przedstawia stosunek dwu nieobcia»onych (przy prawdziwo±ci hipo-tezy zerowej ) estymatorów wariancji, a wiec jest to zmienna o rozkªadzie F Fishera- Snedecora.
• Obszar krytycznyJe»eli hipoteza zerowa nie jest prawdziwa to statystyka testowa powinna by¢ wiekszani» przewiduje to rozkªad F (k − 1, N − k) bo wtedy s2
b jest dodatnio obcia»ony,a wiec obszar krytyczny odpowiada du»ym warto±ciom statystyki testowej (testprawostronny).
9.9.1 INNE SFORMUOWANIE HIPOTEZY ZEROWEJ
Czesto stosuje sie inne przedstawienie hipotezy zerowej, w którym jawnie rozpatruje siemo»liwo±¢ wpªywu czynnika klasykujacego na warto±¢ oczekiwana mierzonej wielko±cix. Wprowadza sie nastepujacy model j-tej warto±ci x dla i-tej populacji:
xij = x0 + αi + ξij
SMOP-2 B.Kamys: 2016/17 115
gdzie x0 i αi sa staªymi a ξij to zmienna o rozkªadzie N(0,σ).Warto±¢ oczekiwana zmiennej xij i jej wariancja wyra»aja sie wzorami:
E (xij) = x0 + αi
σ2 (xij) = σ2 (ξij) = σ2
Stad wida¢, »e parametry αi nale»y interpretowa¢ jako efekty oddziaªywania poszcze-gólnych poziomów "i"klasykujacego czynnika a oryginalna hipoteze zerowa, któragªosi , »e warto±ci oczekiwane zmiennej x sa takie same dla wszystkich populacji tj.E(xij) = x0 mo»na przedstawi¢ nastepujaco:
Ho : α1 = α2 = ... = αk = 0.
Gdy odrzucamy hipoteze zerowa, czyli stwierdzamy »e nie wszystkie populacje majarówne warto±ci oczekiwane badanej wielko±ci x, pojawia sie problem oszacowania tychwarto±ci oczekiwanych. W ten sposób mo»emy zwiaza¢ warto±¢ oczekiwana zmiennejmierzonej x z warto±ciami (poziomami) czynnika klasykujacego.
• Jako nieobcia»ony estymator warto±ci oczekiwanej i-tej populacji przyjmujesie:
Tni(x0 + αi) ≡ xi· = 1ni
ni∑j=1
xij
σ2 (xi·) = σ2
ni
• Jako nieobcia»ony estymator x0 bierze sie ±rednia wa»ona ±rednich arytmetycz-nych dla poszczególnych prób:
TN(x0) ≡ x·· = 1N
k∑i=1
xi·ni
σ2 (x··) = σ2
N
• Jako estymator αi bierze sie ró»nice
αi ≈ Tni(x0 + αi)− TN(x0)
SMOP-2 B.Kamys: 2016/17 116
9.9.2 PRAKTYCZNE RACHUNKI W ANOVA
Rachunki zwiazane z analiza wariancji nale»y prowadzi¢ z mo»liwie du»a do-kªadno±cia , gdy» pozornie niewielkie zaokraglenia moga silnie znieksztaªci¢ wyniki.
Sumy kwadratów wystepujace w denicjach s2b i s2
w zaleca sie liczy¢ wg wzorów przyto-czonych poni»ej:
SSb ≡ (k − 1) · s2b =
k∑i=1
nix2i. −Nx2
..
SSw ≡ (N − k) · s2w =
k∑i=1
ni∑j=1
x2ij −
k∑i=1
nix2i.
SS ≡ (N − 1) ·k∑i=1
ni∑j=1
(xij − x..)2 =k∑i=1
ni∑j=1
x2ij −Nx2
..
gdzie suma kwadratów SS jest obliczana jako sprawdzian bo musi zachodzi¢:
SS = SSb + SSw
Zwykle czastkowe wyniki zapisuje sie w postaci tabeli analizy wariancji jednoczynnikowej:
Rodzaj wariancji SS≡ sum of squares DF≡ degrees of freedom MS≡ mean square F - statystyka
(suma kwadratów) (liczba stopni swobody) (±redni kwadrat) testowa
Pomiedzy grupami SSb k − 1 s2b = SSb/(k − 1)
Wewnatrz grup SSw N − k s2w = SSw/(N − k)
Caªkowita SS N − 1 s2 = SS/(N − 1) F = s2b/s2w
9.9.3 STABILIZACJA WARIANCJI
Warunkiem stosowalno±ci analizy wariancji jest normalno±¢ analizowanej zmiennejoraz jednorodno±¢ wariancji (równo±¢ wariancji) dla wszystkich porównywanych popu-lacji. Z praktyki wiadomo, »e drugi warunek jest znacznie wa»niejszy , tzn. niejed-norodno±¢ wariancji wpªywa silniej na wyniki analizy wariancji ni» niewielkie odstepstwaod normalno±ci rozkªadu zmiennej X.
W przypadku, gdy estymator wariancji zmienia sie regularnie wraz z estymatoremwarto±ci oczekiwanej (±rednia arytmetyczna), co stwierdzamy odkªadajac na wykresie es-tymatory s2 w funkcji ±rednich z poszczególnych prób, mo»na dla tych prób zastosowa¢
SMOP-2 B.Kamys: 2016/17 117
przeksztaªcenie zmiennej wyj±ciowej X, które spowoduje, »e nowa zmienna bedzie miaªaw przybli»eniu te sama wariancje we wszystkich próbach. Dla tej nowej zmiennej mo»naju» przeprowadzi¢ procedure ANOVA. Takie postepowanie, nazywa sie stabilizacja wa-riancji.
Korzysta sie z twierdzenia które gªosi:
TWIERDZENIE:Je»eli S2(x) ≈ f(x) jest funkcja wyra»ajaca zwiazek pomiedzy wariancjami i warto±ciamioczekiwanymi obserwowanej zmiennej losowej x w badanych próbach, to zastosowanietransformacji
z =
∫C · dx√f(x)
prowadzi do przybli»onej stabilizacji wariancji, gdzie staªa C jest przybli»ona warto±ciawariancji nowej zmiennej z.
Czesto nie interesuje nas konkretna warto±¢ wariancji nowej zmiennej lecz tylko to abywariancje byªy jednorodne. Wtedy zamiast staªej C stosuje sie jedynke.
Najcze±ciej spotykane relacje pomiedzy wariancjami i warto±ciami oczekiwanymi to
• Proporcjonalno±¢: S2 ≈ a · x. Wystepuje ona wtedy, gdy dane wyra»aja czesto±¢pewnych zdarze«, np. wypadków drogowych, gdzie nie ma wyra¹nego maximum.Wtedy stosuje sie przeksztaªcenie pierwiastkowe: z =
√x. Oczywi±cie mo»na je
stosowa¢ tylko dla nieujemnych x. Je»eli na dane skªadaja sie maªe liczby i zera tozaleca sie stosowanie wzoru: z =
√x+ 0.5.
• Gdy wariancja proporcjonalna jest do kwadratu ±redniej: S2 ≈ a · x2 to stosujesie przeksztaªcenie logarytmiczne: z = log(x), przy czym dla maªych liczb zalecasie u»ycie wzoru: z = log(x + 1). Oczywi±cie tak»e w tym wypadku zmiennax powinna przyjmowa¢ nieujemne warto±ci. Z taka relacja pomiedzy wariancja i±rednia spotykamy sie przy danych dotyczacych subiektywnych oszacowa« pewnychwielko±ci a tak»e przy badaniu czasu reakcji na bod¹ce.
• W ogólnosci, gdy wariancja proporcjonalna jest do b-tej"potegi ±redniej: S2 ≈ xbgdzie wykªadnik potegi b 6= 2 to u»ywa sie przeksztaªcenia z = x1−b/2. Naprzykªad, gdy do kwadratu ±redniej proporcjonalne jest odchylenie standardowe:√S2 ≈ a · x2 czyli S2 ≈ a2 · x4 to transformacja zapewniajaca jednorodno±¢
wariancji jest wyliczanie odwrotno±ci: z = 1/x. Tak»e pierwszy przytoczony po-wy»ej przypadek, tj. proporcjonalno±¢ wariancji do ±redniej (b = 1) podlega temuprzepisowi.
• W przypadku, gdy zmienna x wyra»a procentowy udziaª lub prawdopodobie«stwojakiego± procesu to pomiedzy wariancja i warto±cia ±rednia mo»na zaobserwowa¢
SMOP-2 B.Kamys: 2016/17 118
zwiazek nastepujacy: S2 ≈ x · (1 − x). Wtedy stosuje sie przeksztaªcenie: z =arcsin(x). Przy tym przeksztaªceniu zmienna x powinna nale»e¢ do przedziaªu(0,1).
Po zastosowaniu transformacji przeprowadza sie procedure ANOVA dla nowej zmiennej iwyciaga sie wnioski tak jakby analizowano oryginalne dane (dla których nie wolno byªostosowa¢ ANOVA ze wzgledu na brak jednorodno±ci wariancji).
SMOP-2 B.Kamys: 2016/17 119
9.10 ANALIZA WARIANCJI (ANOVA) - klasykacja dwuczynni-
kowa
Dwuczynnikowa analiza wariancji mo»e by¢ potraktowana jako automatyczne rozsze-rzenie jednoczynnikowej analizy wariancji. Ró»nica polega na tym, »e wyniki bada« kla-sykujemy (dzielimy na próby) przez zastosowanie dwu czynników a nie jednego czynnika.Wyniki pomiarów zmiennej x przedstawiamy stosujac model analogiczny do tego, którystosowali±my przy jednoczynnikowej klasykacji. Zakªadamy, »e wynik k-tego pomiarudla grupy sklasykowanej przez i-ty poziom pierwszego czynnika i j-ty poziom drugiegoczynnika mo»e by¢ zapisany nastepujaco:
xijk = x0 + αi + βj + γij + ξijk
gdzie x0, αi, βj i γij sa nielosowymi parametrami, ktore interpretujemy nastepujaco:
x0 - wspólna warto±¢ oczekiwana pomiarów gdy wpªyw pierwszego i drugiego klasy-kujacego czynnika na warto±¢ zmiennej x mo»e by¢ zaniedbany,
αi - efekt odziaªywania poziomu pierwszego czynnika na x,
βj - efekt odziaªywania poziomu drugiego czynnika na x,
γij - efekt wspóªdziaªania pierwszego i drugiego czynnika na x.
ξijk - czynnik losowy o rozkªadzie N(0,σ).
Wyró»niamy r poziomów (dla zmiennej jako±ciowej) lub warto±ci (dla zmiennej ilo±cio-wej) pierwszego czynnika klasykujacego (i = 1, 2, ..., r) oraz c poziomów lub warto±cidrugiego czynnika (j = 1, 2, ..., c). Symbole r i c pojawiaja sie jako pierwsze literyangielskich sªów row (wiersz) i column (kolumna). Z ka»dej z tych r · c populacji po-biera sie prosta próbe (tj. niezale»ne pomiary) o tej samej liczebno±ci m, tj. wska¹nik kprzebiega m warto±ci (k = 1, 2, ...,m).
Mo»emy sprawdza¢ trzy rodzaje hipotez zerowych:
H(1)0 : α1 = α2 = . . . = αr = 0
H(2)0 : β1 = β2 = . . . = βc = 0
H(3)0 : γ11 = γ12 = . . . = γrc = 0
SMOP-2 B.Kamys: 2016/17 120
Pierwsza hipoteza oznacza, »e klasykacja ze wzgledu na pierwszy czynnik nie ma wpªywuna warto±ci oczekiwane zmiennej x, druga oznacza, »e klasykacja ze wzgledu na drugiczynnik nie wpªywa na warto±ci oczekiwane zmiennej x a trzecia, »e efekt wspóªdziaªaniaobu czynników jest zaniedbywalny.
Wprowadzamy oznaczenia:
xi·· ≡1
c ·m
c∑j=1
m∑k=1
xijk
x·j· ≡1
r ·m
r∑i=1
m∑k=1
xijk
xij· ≡1
m
m∑k=1
xijk
x··· ≡1
r · c ·m
r∑i=1
c∑j=1
m∑k=1
xijk
Korzystajac z tych denicji mozemy przedstawi¢ dwuczynnikowa analize wariancjiprzy pomocy tabeli:
ródªo SS DF MS F - statystyka
zmienno±ci suma kwadratów stopnie swobody ±redni kwadrat testowa
Czynnik 1 SS1 = c ·mr∑
i=1
(xi·· − x···)2 r − 1 s21 = SS1
(r−1)s21/s
2e
Czynnik 2 SS2 = r ·mc∑
j=1
(x·j· − x···)2 c− 1 s22 = SS2
(c−1)s22/s
2e
Wspóªdz. SS3 = mm∑
k=1
(xij· − xi·· − x·j· + x···)2 (r − 1)(c− 1) s23 = SS3
(r−1)(c−1)s23/s
2e
Resztowe SS4 =r∑
i=1
c∑j=1
m∑k=1
(xijk − xij·)2 rc(m− 1) s2e = SS4
rc(m−1)
Caªkowita SS5 =r∑
i=1
c∑j=1
m∑k=1
(xijk − x···)2 rmc− 1 s2 = SS5
(rmc−1)
Wiersz pierwszy (oznaczony czynnik 1 ) odpowiada testowaniu hipotezyH(1)0 , wiersz drugi
testowaniu hipotezy H(2)0 a wiersz trzeci testowaniu hipotezy H(3)
0 .
W ka»dym przypadku statystyka testowa rzadzona jest rozkªadem F Fishera-Snedecorao liczbie stopni licznika takiej jak liczba stopni swobody podana w danym wierszu a liczbiestopni swobody mianownika takiej jak dla wiersza nr 4 (czyli dla zmienno±ci resztowej).
SMOP-2 B.Kamys: 2016/17 121
W ka»dym z tych trzech przypadków obszar krytyczny jest prawostronny.
Poniewa» w ANOVA bardzo wa»na jest dokªadno±¢ rachunków wiec obliczenia sumkwadratów nie robi sie wg wzorów denicyjnych podanych w tabeli lecz zaleca sie stoso-wanie nastepujacego schematu rachunkowego:
1. Liczymy SS1, SS2, SS4 i SS5 wg wzorów podanych poni»ej a potem
2. Liczymy najbardziej niestabilna numerycznie sume SS3 wg przepisu:
SS3 = SS5 − (SS1 + SS2 + SS4)
ad 1.)
SS1 =r∑i=1
(c∑j=1
m∑k=1
xijk
)2
c ·m−
(r∑i=1
c∑j=1
m∑k=1
xijk
)2
n
SS2 =c∑j=1
(r∑i=1
m∑k=1
xijk
)2
r ·m−
(r∑i=1
c∑j=1
m∑k=1
xijk
)2
n
SS4 =r∑i=1
c∑j=1
m∑k=1
x2ijk −
r∑i=1
c∑j=1
(m∑k=1
xijk
)2
m
SS5 =r∑i=1
c∑j=1
m∑k=1
x2ijk −
(r∑i=1
c∑j=1
m∑k=1
xijk
)2
n
gdzie n = r · c ·m czyli n jest caªkowita liczba pomiarów.
Wydaje sie rozsadnym zaczyna¢ analize od testowania hipotezy H(3)0 , tzn. od sprawdze-
nia, czy mo»na zaniedba¢ wpªyw wspóªdziaªania obu czynników klasykacyjnych na war-to±ci oczekiwane mierzonej zmiennej x.
Je»eli mo»na przyja¢ te hipoteze, tj. nie ma podstaw do jej odrzucenia to mo»na dokªad-niej oszacowa¢ wariancje resztowa, a wiec bardziej precyzyjnie wyznaczy¢ oba sprawdzianytestu dla hipotezy H(1)
0 i H(2)0 . W tym celu sumujemy SS3 + SS4 i po podzieleniu tej
sumy przez nowa liczbe stopni sqobody: (r−1)(c−1)+rc(m−1) ≡ rmc−c−r+1traktujemy ja jako nowa wariancje resztowa s2
e.
SMOP-2 B.Kamys: 2016/17 122
Je»eli stwierdzimy, »e jedna lub wiecej hipotez zerowych jest nieprawdziwa to szacujemyjaki jest wpªyw klasykujacych czynników na warto±¢ oczekiwana mierzonej wielko±ci x.Stosujemy w tym celu nastepujace estymatory:
dla αi: xi·· − x···
dla βj: x·j· − x···
dla γij: xij· − xi·· − x·j· + x···
dla x0: x···
SMOP-2 B.Kamys: 2016/17 123
9.11 TESTWSPÓZALENOCI STATYSTYCZNEJ POMIEDZYCECHAMI JAKOCIOWYMI
DEFINICJA: Zale»no±¢ statystyczna dwu (lub wiecej) zmiennych to taka, którapowoduje, »e ich wspólny rozkªad prawdopodobie«stwa nie daje sie przedstawi¢ jako ilo-czyn rozkªadów brzegowych poszczególnych zmiennych.
Nale»y podkre±li¢, »e fakt istnienia zwiazku statystycznego zwykle nie mo»eby¢ potraktowany jako argument na rzecz istnienia relacji deterministycz-nej tzn. je»eli zmienna losowa Y jest zale»na statystycznie od zmiennej losowej X tonie mo»na wygªosi¢ twierdzenia, »e pojawienie sie danej warto±ci (lub kategorii) zmien-nej X jest przyczyna pojawianie sie konkretnych warto±ci (kategorii) zmiennej Y. Jest tospowodowane przez dwa wa»ne powody:
1.) Dla zwiazku statystycznego zawsze jest speªnione nastepujace wynikanie: je»eliX nie zale»y statystycznie od Y to Y nie zale»y statystycznie od X. Tego niemo»emy powiedzie¢ o relacji zale»no±ci deterministycznej, np. z faktu, »edochody rodziców nie zale»a od dochodów maªoletnich dzieci nie wynika, »e dochodytych dzieci nie zale»a od dochodów rodziców.
2.) fakt zale»no±ci statystycznej zmiennej X od zmiennej Y (i vice versa) mo»e by¢ spo-wodowany zale»no±cia obu tych zmiennych od trzeciej zmiennej (która mo»e nawetnie by¢ rozpatrywana) a nie od siebie wzajemnie.Na przykªad, zakres opanowania materiaªu szkolnego i wzrost sa statystycznie zwiazaneze soba bo obie te cechy zale»a od wieku. Ustalenie wieku badanych osób powoduje,»e znika statystyczna zale»no±¢ miedzy ilo±cia opanowanego materiaªu szkolnegoi wzrostem, która jest oczywista gdy traktowa¢ jako równorzedne obserwacje od-noszace sie do mªodzie»y licealnej, uczniów szkoªy podstawowej i przedszkolakówbez rozró»niania wieku.Te druga mo»liwo±¢ musza zawsze bra¢ pod uwage badacze zajmujacy sie »ywymiorganizmami bo ich badania prawie zawsze odbywaja sie w obecno±ci zmian takichczynników, które nie sa explicite brane pod uwage.
Uwagi podane powy»ej prowadza do wniosku, »e bardziej logiczne jest nazywanie zale»-no±ci statystycznej - wspóªzale»no±cia statystyczna.
Poni»ej omówimy metody stwierdzenia, »e istnieje wspóªzale»no±¢ statystyczna dwu zmien-nych, przy czym jedna lub obie zmienne moga mie¢ charakter jako±ciowy. Taka zale»no±¢nazywa si¦ kontyngencj¡
Przyjeªo sie nazywa¢ zwiazki pomiedzy zmiennymi no-minalnymi asocjacja a wspóªczynniki okre±lajace siªezwiazków wspóªczynnikami asocjacji.
SMOP-2 B.Kamys: 2016/17 124
9.11.1 TEST FISHERA DLA TABLIC KONTYNGENCJI 2x2
Wspóªzale»no±¢ statystyczna miedzy cechami, z których przynajmniej jedna jest cechajako±ciowa nazywana jest kontyngencja. Bardzo czesto klasykacja ze wzgledu na ce-chy jako±ciowe przebiega wg. podziaªu na 2 kategorie, np. : wystepowanie cechy -brak tej cechy. Wtedy wyniki próby badajacej zwiazek statystyczny dwu cech zapisu-jemy w postaci tablicy 2 x 2, w której w ka»dym polu (odpowiadajacym parze kategoriiprzyporzadkowanych do pierwszej i drugiej cechy) umieszcza sie liczebno±¢ obserwacjidanej pary .
Dla ªatwiejszego przedstawienia testu Fishera omówimy go na przykªadzie konkret-nego eksperymentu: Interesuje nas, czy terapia przy zastosowaniu leku A jest bardziejefektywna ni» przy zastosowaniu leku B.Pierwsza zmienna (oznaczmy ja przez X) jest rodzaj stosowanej terapii. Jest to zmiennajako±ciowa przyjmujaca 2 kategorie: 1) stosowanie leku A, 2) stosowanie leku B.Druga zmienna (oznaczona przez Y)jest stan zdrowia pacjentów, który równie» traktu-jemy jako zmienna jako±ciowa przyjmujaca 2 kategorie: 1) poprawa stanu zdrowia, 2) brakpoprawy.Próbe skªadajaca sie z n elementów dzielimy ze wzgledu na ceche X na dwie cze±ci oliczebno±ci n1 i n2 . Pacjentom z pierwszej grupy podajemy lek A a pacjentom z drugiejgrupy lek B.Liczebno±ci n1 i n2 nie sa liczbami losowymi, przy czym n = n1 + n2.
Sprawdzamy ilu pacjentów pierwszej grupy (m1) wykazuje poprawe zdrowia, tzn. ilujest pacjentów odpowiadajacych równoczesnemu zdarzeniu: (X=lek A, Y=poprawa) orazilu pacjentów drugiej grupy (m2) wykazuje poprawe, tzn. (X=lek B, Y=poprawa). Li-czebno±ci m1 i m2 sa zmiennymi losowymi takimi, »e warto±ci oczekiwane stosunkówm1
n1i m2
n2sa odpowiednio równe prawdopodobie«stwom p1 i p2 poprawy zdrowia po za-
stosowaniu leku A i B.
Tablica 3: Czteropolowa (tj. 2x2) tablica kontyngencji
Cecha X
Kategoria X1 X2 Suma
Y Y1 m1 m2 m
Y2 n1 −m1 n2 −m2 n−m
Suma n1 n2 n
Je»eli zaªo»ymy, »e cecha pierwsza (w przykªadzie - rodzaj podanego leku) jest nieza-
SMOP-2 B.Kamys: 2016/17 125
le»na statystycznie od cechy drugiej (poprawa zdrowia lub jej brak) to p1 = p2 i mo»emypoliczy¢ dokªadnie prawdopodobie«stwo zaobserwowaniam1 im2 przypadków wybranejkategorii cechy drugiej przy danych kategoriach cechy pierwszej (patrz ni»ej).
Je»eli liczebno±¢ próby n jest niewielka to stosujemy tzw. dokªadny test Fishera.Termin dokªadny oznacza, »e operuje sie tylko liczbami caªkowitymi i dostaje sie do-kªadne wzory na prawdopodobie«stwo pojawienia sie takiego a nie innego ukªadu liczb wtabeli.
• Hipoteza zerowa gªosi, »e obie klasykacje ze wzgledu na ceche X i na ceche Y sa statystycznie niezale»ne.
• Statystyka testowa jest obserwowana tabela liczebno±ci a konkretnie zespóª liczeb-no±ci czterech pól w tabeli. Zauwa»my jednak, »e przy danych liczebno±ciach brze-gowych przyjecie jakiej± konkretnej warto±ci m1 (w lewym górnym rogu tabeli)jednoznacznie narzuca warto±ci wszystkim pozostaªym liczbom w tabeli. Dlategomo»emy numerowa¢ wszystkie mo»liwe tabele przez warto±¢ m1 i jako statystyketestowa przyja¢ warto±¢ m1.
Prawdopodobie«stwo tej statystyki to prawdopodobie«stwo pojawienia sie w do±-wiadczeniu danych liczebno±ci w czterech polach tabeli (przy ustalonych liczebno-±ciach brzegowych (n1, n2, m, n−m). R. A. Fisher pokazaª, »e prawdopodo-bie«stwo tabeli o danym rozkªadzie liczebno±ci (przy prawdziwo±ci hipotezy zerowej,przy ustalonej liczebno±ci próby n i liczebno±ciach brzegowych) wyra»a sie prostymwzorem:
P =n1!
m1! (n1 −m1)!·
n2!
m2! (n2 −m2)!·m! (n−m)!
n!(89)
• Obszar krytycznyto taki zakres statystyki testowej, który jest najmniej prawdopodobny przy praw-dziwo±ci hipotezy zerowej a najbardziej prawdopodobny przy prawdziwo±ci hipotezyalternatywnej.
Pierwszy warunek mówi, »e w obszarze krytycznym statystyka testowa, tzn.liczebno±¢m1, powinna by¢ mo»liwie daleka od centrum rozkªadu wyliczonego przyzaªo»eniu prawdziwo±ci H0. A wiec powinna mie¢ albo bardzo du»e warto±ci albobardzo maªe , przy czym oczywi±cie nie mo»e by¢ wieksza od m ≡ m1 + m2 animniejsza od zera.
Drugi warunek zale»y od konkretnej hipotezy alternatywnej, która mo»e fa-woryzowa¢ jeden z kierunków zmiany kategorii badanych cech.
H1 : p1 > p2
Je»eli mamy podstawy przypuszcza¢, »e dana para kategorii cechy pierwszej idrugiej odpowiadajaca liczebno±ci m1 powinna by¢ bardziej prawdopodobna
SMOP-2 B.Kamys: 2016/17 126
ni» to wynika z H0 - tj. z niezale»no±ci zmiennych - to obszarem krytycznymjest zbiór najwiekszych warto±ci m1 (oczywi±cie gdy hipoteza gªosi, »e p1 <p2 to jest to zbiór najmniejszych warto±ci m1).
Wtedy liczymy sume prawdopodobie«stw zaobserwowanej w doswiadczeniu li-czebno±ci m1 oraz liczebno±ci wiekszych od niej. Ta suma daje nam warto±¢poziomu istotno±ci, tzn. prawdopodobie«stwa popeªnienia bªedu pierwszego ro-dzaju, polegajacego na odrzuceniu prawdziwej hipotezy zerowej H0 : p1 = p2.Inaczej mówiac, Je»eli to prawdopodobie«stwo jest mniejsze od zaªo»onego po-ziomu istotno±ci to odrzucamy H0 i przyjmujemy H1 : p1 > p2.
H1 : p1 6= p2
Je»eli nie mamy wskazówek ±wiadczacych, »e dany kierunek kategorii jest wy-ró»niony, to stosujemy test dwustronny odpowiadajacy hipotezie alternatywnejgªoszacej, »e zmienne nie sa niezale»ne albo inaczej H1 : p1 6= p2.
Wtedy liczymy sume prawdopodobie«stw liczebno±ci m1 oddalonych od cen-trum rozkªadu w góre i w dóª tyle lub wiecej jednostek jak obserwowana w pró-bie warto±¢m1 (patrz przykªad poni»ej). Ta suma daje nam warto±¢ poziomuistotno±ci, tj. prawdopodobie«stwa odrzucenia prawdziwej H0 (i przyjecia faª-szywej H1). Gdy ta suma jest mniejsza od zaªo»onego poziomu istotno±ci toodrzucamy H0 (przyjmujac H1).
W ten sposób zamieniamy szukanie obszaru krytycznego na sprawdzanie czy prawdo-podobie«stwo pojawienia sie danegom1 jest odpowiednio maªe. Ta procedura zosta-nie poni»ej zilustrowana przykªadem, który powinien wyja±ni¢ ewentualne watpliwo±ci.
Wzór (89) mimo swej prostoty jest niewygodny do rachunków ze wzgledu na wielkieliczby w liczniku i mianowniku. Mo»na sie zabezpieczy¢ przez trudno±ciami numerycznymialbo logarytmujac wzór (zamieniajac dzielenie silni na odejmowanie logarytmów z silni ipowrót do normalnej reprezentacji przez zastosowanie funkcji wykªadniczej) albo stosujacwzory rekurencyjne na prawdopodobie«stwo w nastepujacy sposób: Przyjmujemy m1 =0, a wiec m2 = m oraz n1 − m1 = n1. Wtedy wzór na prawdopodobie«stwo P0
wyglada nastepujaco [2]:
P0 =(n1 + n2 −m)! (m+ n2 −m)!
n! (n2 −m)!
=(n−m)! n2!
n!(n2 −m)!
a wzór rekurencyjny
Pk+1 =(m− k)(n1 − k)
(k + 1)(n2 −m+ k + 1)Pk
SMOP-2 B.Kamys: 2016/17 127
UWAGA:
• Gdy P0 ≈ 0 to nie mo»na stosowa¢ wzorów rekurencyjnych(bo dostaniemy dla wszystkich k; Pk ≈ 0 )
• Dla poprawnego stosowania wzorów rekurencyjnych nale»y tak przegrupowa¢ usta-wienia wierszy i kolumn aby zmienna m1 miaªa najmniejsza warto±¢ z czterech liczbm1, m2, n1-m1, n2-m2 (mo»e by¢ tak»e równa której± z pozostaªych liczb).
Przykªad [12]: Bada sie skuteczno±¢ dwóch leków A i B werykujac hipoteze zerowa,gªoszaca, »e oba leki sa jednakowo skuteczne. Zespóª 23 pacjentów podzielono losowo nadwie grupy o liczebno±ciach 9 i 14 (to klasykacja ze wzgledu na ceche X). Pacjentompierwszej grupy podano lek A, pacjentom drugiej grupy lek B i zaobserwowano 6 wynikówpozytywnych w pierwszej grupie oraz 3 wyniki pozytywne w drugiej grupie (podziaª napozytywne i niepozytywne wyniki to klasykacja ze wzgledu na ceche Y). Wyniki leczeniai teoretyczne przewidywania zestawiono w dwu tabelach przytoczonych poni»ej.
Cecha Lek
Kategoria A B Suma
Wynik + 6 3 9
− 3 11 14
Suma 9 14 23
m1 0 1 2 3 4
P (m1) 2, 449910−3 3, 307310−2 1, 511910−1 3, 086810−1 3, 086810−1
m1 5 6 7 8 9
P (m1) 1, 543410−1 3, 741610−2 4, 008910−3 1, 541910−4 1, 223710−6
H1: Lek A jest lepszy ni» lek B Z tabeli pomiarów widzimy, »e wynik pozytywny po-jawia sie cze±ciej u pacjentów przyjmujacych lek A ni» u pacjentów przyjmujacychlek B, a wiec mo»emy przypuszcza¢, »e lek ten jest lepszy, co w formalizmie staty-stycznego opisu oznaczaªoby H1 : p1 > p2. Aby sprawdzi¢ istotno±¢ tej hipotezy
SMOP-2 B.Kamys: 2016/17 128
wzgledem hipotezy H0 : p1 = p2 analizujemy tabele prawdopodobie«stw sumujacprawdopodobie«stwa dla m1 ≥ 6. Dostajemy w wyniku 0,0416, co interpretu-jemy nastepujaco: Je»eli przyjmiemy H1 (odrzucajac H0) to popeªnimy bªad w4,16% przypadków. Inaczej mówiac mamy prawo odrzuci¢ H0 na poziomie istotno-±ci nie mniejszym ni» 0,0416.
Gdyby±my zaªo»yli, »e prawdopodobie«stwo odrzuceniaH0 ma by¢ jeszcze mniejsze,np. 0,01 to wtedy nie mieliby±my podstaw twierdzi¢, »e lek A jest lepszy ni» lek B.
H1 :Lek B jest lepszy ni» lek A. Nie mamy ilo±ciowych argumentów za taka hipo-teza, ale spróbujmy ja formalnie postawi¢ i zwerykowa¢. Taka hipoteza medycznabedzie zapisana w jezyku statystyki nastepujaco: H1 : p1 < p2. Wtedy obszarkrytyczny to zbiór maªych warto±ci m1, gdy» du»e prawdopodobie«stwo (liczeb-no±¢ wzgledna m2/m) powoduje, »e m1/m ≡ 1 −m2/m musi by¢ maªe. Abyilo±ciowo znale¹¢ poziom istotno±ci sumujemy prawdopodobie«stwa liczebno±ci m1
mniejszych lub równych obserwowanej w próbie warto±ci tj. 6. Dostajemy jako wy-nik tej sumy 0,9958, co oznacza, »e przyjecie takiej H1 (odrzucenie H0 : p1 = p2
na korzy±¢ hipotezy H1 : p1 < p2) bedzie bªedne w 99,58% przypadków.
Jak wida¢ nie mo»emy przeforsowa¢ takiej hipotezy H1.
H1 : Lek A i B nie sa jednakowo skuteczne. Te hipoteze zapisujemy nastepujaco:H1 : p1 6= p2. Aby ja ilo±ciowo przetestowa¢ sumujemy prawdopodobie«stwatakich liczebno±ci m1, które oddalone sa od maksimum rozkªadu (tu ok. 3,5) przy-najmniej tak daleko (w góre i w dóª) jak obserwowana w próbie warto±¢ m1 = 6.Dostajemy poziom istotno±ci równy 0,0771 (sumowane byªy prawdopodobie«stwadla m1 = 6, 7, 8, 9 oraz m1 = 1, 0 bo 6 i 1 sa tak samo odlegªe od maksimumrozkªadu: 6=3,5 + 2,5, 1=3,5 - 2,5). A wiec na takim poziomie istotno±ci (lub oczy-wi±cie wiekszym) mo»emy twierdzi¢, »e nale»y odrzuci¢ H0 i przyja¢ interesujacanas hipoteze H1. Popeªniamy przy tym bªad w ok. 8% przypadków.
Cochran (W.G. Cochran, Biometrics 10 (1954) 417) zaleca u»ywanie dokªadnego testuFishera dla tablic kontyngencji 2 x 2 gdy n < 20 lub gdy 20 < n < 40 i najmniejszawarto±¢ oczekiwana jest mniejsza ni» 5. Przy du»ej liczbie elementów próby stosowanyjest raczej test χ2 Pearsona.
SMOP-2 B.Kamys: 2016/17 129
9.11.2 TEST χ2 DLA TABLIC KONTYNGENCJI 2x2
Tablice 2x2 - zwane równie» czteropolowymi tablicami sa szczególnym przypadkiemtablic rxc (r sªu»y jako skrót angielskiego sªowa row - wiersz, a c jako skrót sªowacolumn - kolumna). Gdy liczebno±¢ odpowiadajaca poszczególnym polom jest du»a tozamiast dokªadnego testu Fishera stosuje sie test χ2, który ju» rozpatrywali±my jako testzgodno±ci przy okazji testowania normalno±ci rozkªadu prawdopodobie«stwa.
• Hipoteza zerowa taka sama jak dla dokªadnego testu Fishera, tj. klasykacja zewzgledu na jedna ceche (kategoriom cechy odpowiadaja wiersze) jest niezale»na sta-tystycznie od klasykacji ze wzgledu na druga ceche (kategoriom cechy odpowiadajakolumny).
• Statystyka testowa X2 - taka jak we wzorze (9.6.3):
X2 =k∑i=1
(ni − n · πi)2
nπi
gdzie tu suma wykonywana jest po 4 polach tablicy (k = 4), ni oznacza obser-wowana liczebno±¢ w danym polu (oznaczana tradycyjnie O od angielskiego sªowaobserved - obserwowana), a nπi oznacza teoretyczna liczebno±¢ w danym polu(oznaczana tradycyjnie E od angielskiego sªowa expected - oczekiwana ). A wiecpowy»szy wzór na statystyke testowa X2 zapisujemy nastepujaco:
X2 =2∑i=1
2∑j=1
(Oij − Eij)2
Eij(90)
Teoretyczna liczebno±¢ wyznaczana jest z liczebno±ci brzegowych (sum po wierszachdla danej kolumny lub sum po kolumnach dla danego wiersza) przy zaªo»eniu, »ebadane zmienne (cechy) sa niezale»ne.
Prawdopodobie«stwo dwu niezale»nych zdarze« A i B wyra»a sie iloczynem ichprawdopodobie«stw P (A ∩ B) = P (A) · P (B). Biorac czesto±ci brzegowe jakoestymatory prawdopodobie«stw, np. T (P (A)) = nA
n, T (P (B)) = nB
noraz
uwzgledniajac, »e szukamy liczebno±ci a nie prawdopodobie«stwa pola A ∩ B do-staniemy na te liczebno±¢ n(A∩B) = T (P (A)) ·T (P (B)) ·n czyli ta liczebno±¢wynosi nA
n· nBn· n = nA·nB
n.
W tabeli (4) podane sa (nieopisane) obserwowane liczebno±ci oraz ich oczekiwaneodpowiedniki (opisane sªowem expected).
Wstawiajac wyra»enia na Oij i Eij wypisane w powy»szej tabeli dostajemy wyra-»enie X2 przez liczebno±ci obserwowane:
SMOP-2 B.Kamys: 2016/17 130
Tablica 4: Czteropolowa (tj. 2x2) tablica kontyngencji - w nawiasach umieszczone saoczekiwane liczebno±ci Eij , powy»ej nich - liczebno±ci obserwowane Oij
Cecha X
Kategoria X1 X2 Suma
Y Y1 m1 m2 m
(expected) (m·n1
n) (m·n2
n)
Y2 n1 −m1 n2 −m2 n−m
(expected) ( (n−m)·n1
n) ( (n−m)·n2
n)
Suma n1 n2 n
X2 =n · [m1 · (n2 −m2)−m2 · (n1 −m1)]2
m · (n−m) · n1 · n2
(91)
atwo zapamieta¢ ten wzór bo w nawiasie kwadratowym licznika mamy ró»niceiloczynów elementów macierzy na gªównej przekatnej i drugiej przekatnej (czyliwyznacznik macierzy) a w mianowniku znajduje sie iloczyn wszystkich brzegowychliczebno±ci.
Wyra»enie to ma asymptotycznie (dla du»ych liczebno±ci) rozkªad χ21.
Mo»na by przypuszcza¢, »e liczba stopni swobody powinna by¢ wieksza ni» jeden(bo sa 4 pola a wiec cztery wyrazy w sumie) ale - jak to pokazano dla dokªadnegotestu Fishera - tylko jedna z czterech liczebno±ci jest niezale»na. Pozostaªe trzy sajednoznacznie okre±lone przez warto±¢ tej wybranej liczebno±ci i liczebno±ci brze-gowe. Taka sytuacja, tzn. mo»liwo±¢ otrzymania zwartego, prostego wzoru (91) naX2, jak i jednoznaczne okre±lenie wszystkich pól tabeli przez liczebno±¢ jednegopola jest cecha jedynie tabeli czteropolowych.
Poprawka Yatesa na nieciagªo±¢ . Zmienna losowa χ2 z denicji jest zmiennaciagªa. Wyliczanie statystyki X2 z ilorazu caªkowitych liczb powoduje, »e jej war-to±ci nie reprezentuja wszystkich liczb rzeczywistych, np. nie moga pojawi¢ sieliczby niewymierne. Co wiecej, ta statystyka mo»e przyja¢ tylko tyle warto±ci ilejest ró»nych tablic czteropolowych przy ustalonych liczebno±ciach brzegowych. Dla-tego, nawet przy stosunkowo du»ych liczebno±ciach nale»aªoby ten efekt wzia¢ poduwage.
SMOP-2 B.Kamys: 2016/17 131
Po uwzglednieniu poprawki zaproponowanej przez Yatesa wzór na X2 dla tablicyczteropolowej wyglada nastepujaco:
X2 =n · (| m1 · (n2 −m2)−m2 · (n1 −m1) | −n
2)2
m · (n−m) · n1 · n2
(92)
• Obszar krytyczny to du»e warto±ci statystyki X2 bo jak wynika ze wzoru (90) przywarto±ciach obserwowanych liczebno±ciOij bliskich warto±ciom oczekiwanym liczeb-no±ci Eij , X2 jest bliskie zera co jest najmniejsza z dozwolonych przez ten wzórwarto±ci.
Przy zaªo»onym poziomie istotno±ci α obszar krytyczny to zbiór warto±ci statystykitestowej wiekszy od kwantyla rozkªadu χ2
1 na poziomie 1− α:
X2 > χ21(1− α)
Przykªad: Rozwa»my zestawienie [1] wyników próby klinicznej, w której stosowanodwa sposoby leczenia (A i B)- wyniki zamieszczone sa w tabeli (5).
Tablica 5: Czteropolowa (tj. 2x2) tablica kontyngencji przedstawiajaca wyniki próbyklinicznej
Cecha Sposób leczenia
Kategoria leczenie A leczenie B Razem
Wynik poprawa 216 180 396
brak poprawy 41 64 105
Razem 257 244 501
Hipoteza zerowa: Wyniki leczenia nie zale»a od sposobu leczenia.Statystyka testowa: Zmienna X2 liczona bez poprawki Yatesa i z poprawka, odpo-
wiednio wg wzorów (91) i (92). Bez poprawki mamy:
X2 =501 · (216 · 64− 180 · 41)2
396 · 105 · 257 · 244= 7, 979
SMOP-2 B.Kamys: 2016/17 132
Z poprawka otrzymujemy:
X2 =501 · (| 216 · 64− 180 · 41 | −501
2)2
396 · 105 · 257 · 244= 7, 371
Warto±ci statystyki testowej porównujemy z warto±cia kwantyla χ21(1− α). Z tablic
znajdujemy, »e ten kwantyl wynosi odpowiednio 3,84 (dla α = 0,05), 5,02 (dla α =0,025), 6,63 (dla α = 0,01) oraz 10,83 (dla α = 0,001). Wyliczona warto±¢ statystykiX2 z próby nale»y do obszaru krytycznego dla poziomu istotno±ci 0,01 ale ju» nie nale»ydo tego obszaru dla poziomu istotno±ci 0,001.
Stad wnioskujemy, »e dwa sposoby leczenia daja istotnie ró»ne wyniki na poziomieistotno±ci mniejszym od 0,01 lecz wiekszym od 0,001 (tzn. nasz wniosek mo»e by¢bªedny w mniej ni» jednym przypadku na sto ale cze±ciej ni» raz na tysiac przypad-ków).
Jak ªatwo zauwa»y¢ ze wzorów naX2 oraz z warto±ci tej statystyki w powy»szym przy-kªadzie, test z poprawka Yatesa jest bardziej konserwatywny, tzn. nie odrzuca hipotezyzerowej w takich przypadkach gdy test bez poprawki odrzuciªby ja.
9.11.3 WSPÓCZYNNIK KORELACJI RANG % SPEARMANA
Przy analizie wspóªzale»no±ci statystycznej dwu zmiennych porzadkowych (asocjacji, kon-gruencji) najcze±ciej stosowana miara tej wspóªzale»no±ci jest wspóªczynnik rang Spear-mana oznaczany zwykle przez % (podobnie jak wspóªczynnik Pearsona korelacji cechmierzalnych) lub rd.
W tym celu obserwacje z obu prób A i B porzadkujemy przypisujac im rangi w tensposób, »e najbardziej korzystnej, po»adanej kategorii cechy przypisujemy range 1 akolejnym gorszym kategoriom rangi 2, 3, itd. Je»eli kilka kategorii odpowiada równiekorzystnej sytuacji to nadajemy im identyczne rangi (równe ±redniej arytmetycznej rang,które otrzymaªyby te obserwacje gdyby sie minimalnie ró»niªy).Takie rangi nazywane sarangami wiazanymi.
Wspóªczynnik korelacji rang % Spearmana deniowany jest nastepujaco:
% = 1−6n∑i=1
(r1i − r2i)2
n(n2 − 1)
Tu r1i i r2i - oznaczaja rangi dla i-tej kategorii tej samej cechy odpowiednio w pierwszeji drugiej próbie, przy czym obie próby maja liczebno±¢ n.
SMOP-2 B.Kamys: 2016/17 133
Wspóªczynnik ten przyjmuje warto±ci z przedziaªu [-1,+1]:
• % = +1 w przypadku idealnej zgodno±ci rang,
• % = −1 w przypadku maksymalnej niezgodno±ci (du»ym r1i odpowiadaja maªer2i i odwrotnie)
• % = 0 w przypadku czysto losowego ustawienia rang, tzn. przy ich niezale»no±ciw obu porównywanych ciagach.
Na przykªad: poproszono dwie osoby o uporzadkowanie ich preferencji kulinarnychdotyczacych kilku zup.
Pierwsza osoba podaªa nastepujace preferencje:Barszcz czerwony, »urek, pomidorowa, ogórkowa, rosóª, chªodnik.
Druga:Chªodnik, ogórkowa, pomidorowa, barszcz czerwony, »urek, rosóª.
Preferencje pierwszej osoby mo»emy uzna¢ za wzorzec i przyporzadkowa¢ im kolejneliczby naturalne: 1, 2, 3, 4, 5, 6. Tym rangom beda odpowiadaªy nastepujace rangiwybrane przez druga osobe: 4, 5, 3, 2, 6, 1.
Suma kwadratów ró»nicy rang bedzie wynosi¢ 9+9+0+4+1+25=48. Poniewa» n=6wiec wspóªczynnik %=1-6*48/[6*(36-1)]= - 0,37.Wniosek: Obie osoby maja niezgodne preferencje kulinarne.
Oczywi±cie dla ilo±ciowego testowania czy odchylenie wspóªczynnika korelacji rang odzera jest istotne trzeba korzysta¢ ze specjalnych tablic. Je»eli liczba obserwacji n jestwieksza od 10 to mo»na posªu»y¢ sie asymptotycznymi wzorami, poniewa» dla du»ychprób wspóªczynnik korelacji rang ma w przybli»eniu rozkªad normalny. W tymcelu korzystamy z twierdzenia:TWIERDZENIE: Je»eli prawdziwa jest hipoteza zerowa gªoszaca, »e rangi dwu serii ob-serwacji sa niezale»ne statystycznie to :
E% = 0
V ar% = 1n−1
A wiec dla n > 10 mo»na u»ywa¢ poni»szego przybli»onego wzoru [4]:
W tym wzorze Φ oznacza dystrybuante standardowego rozkªadu normalnego.
Mo»na równie» dla n ≥ 10 stosowa¢ transformacje [7]:
SMOP-2 B.Kamys: 2016/17 134
t = %
√n− 2
1− %2
Zmienna t ma rozkªad Studenta o (n-2) stopniach swobody. Poniewa» o znaku t decydujeznak % wiec dla t stosuje sie identyczny obszar krytyczny (lewostronny, prawostronny lubdwustronny) jak dla %.
W tabeli poni»ej podane sa kwantyle testu Spearmana %0,95 i %0,99 dla prób o maªej li-czebno±ci. Mozna je zastosowa¢ do sprawdzania testu prawostronnego dla dwu najcze±ciejstosowanych poziomów istotno±ci: α = 0, 05 i α = 0, 01. Dla testu lewostronnego na-le»y wykorzysta¢ fakt, »e %q = −%1−q:
n %0,95 %0,99 n %0,95 %0,99
4 1,000 14 0,456 0,645
5 0,900 1,000 16 0,425 0,601
6 0,829 0,943 18 0,399 0,564
7 0,714 0,893 20 0,377 0,534
8 0,643 0,833 22 0,359 0,508
9 0,600 0,783 24 0,343 0,485
10 0,564 0,746 26 0,329 0,465
12 0,506 0,712 28 0,317 0,448
14 0,456 0,645 30 0,306 0,432
9.11.4 WSPÓCZYNNIK KORELACJI RANG τ KENDALLA
Wspóªczynnik korelacji rang τ Kendalla daje równowa»ne informacje do tych, które mo»nauzyska¢ analizujac wspóªczynnik korelacji rang % Spearmana tzn. równy jest +1, -1 i 0gdy rangi w dwu próbach uszeregowane sa identycznie, odwrotnie i losowo. Wspóªczynnikτ Kendalla m ma dwie zalety w porównaniu do wspólczynnika korelacji rang Spearmana:
SMOP-2 B.Kamys: 2016/17 135
1. ªatwiej mo»na go skorygowa¢, gdy istnieje wiele rang wiazanych,
2. jest szybciej zbie»ny do rozkªadu normalnego ni» wspóªczynnik % Spearmana.
DEFINICJA:
τ =S
12n(n− 1)
S =n∑i=1
n∑j=i+1
sign(rj − ri)
gdzie ri i rj sa rangami w zbiorze kategorii cechy drugiej ( rangi dla cechy pierwszejustawione sa jako rosnacy ciag liczb naturalnych: 1,2, .. z ewentualna modykacjadla cech wiazanych). Przyczynki do sumy deniujacej S liczymy nastepujaco: porównu-jemy piewsza range z druga, z trzecia, itd., nasteepnie druga range z trzecia, czwarta, itd.(ªacznie n(n-1)/2 wyrazów)
• dla naturalnej kolejno±ci rang przyczynek +1,
• dla odwróconej kolejno±ci rang przyczynek -1,
• dla rang wiazanych (identycznych) przyczynek 0.
Je»eli zdarzy sie, »e równie» dla pierwszej cechy wystepuja rangi wiazane to odpowia-dajacym im parom rang cechy drugiej przypisujemy przyczynek 0 niezale»nie od ich uporzadkowania.
Przykªad 1 (rangi wiazane tylko dla cechy drugiej - Y):
Rangi cechy X 1 2 3 4 5 6
Rangi cechy Y 2 3 4.5 4.5 1 6
Przyczynki do S (od 2) +1 +1 +1 -1 +1
Przyczynki do S (od 3) +1 +1 -1 +1
Przyczynki do S (od 4.5) 0 -1 +1
Przyczynki do S (od 4.5) -1 +1
Przyczynki do S (od 1) +1
Suma wszystkich przyczynków daje S=6.
SMOP-2 B.Kamys: 2016/17 136
Rangi cechy X 1.5 1.5 3 5 5 5
Rangi cechy Y 2 3 4.5 4.5 1 6
Przyczynki do S (od 2) 0 +1 +1 -1 +1
Przyczynki do S (od 3) +1 +1 -1 +1
Przyczynki do S (od 4.5) 0 -1 +1
Przyczynki do S (od 4.5) 0 0
Przyczynki do S (od 1) 0
Przykªad 2 (rangi wiazane zarówno dla pierwszej cechy - X jak i dla drugiej cechy -Y):Suma wszystkich przyczynków do S daje S=4 . Gdy wystepuja rangi wiazane musimy
w inny sposób normalizowa¢ sume S aby dosta¢ τ :
τ =S
12
√√√√[n(n− 1)−m∑i=1
ti(ti − 1)
] [n(n− 1)−
r∑j=1
uj(uj − 1)
]
Suma po wska¹niku i to suma po grupach rang wiazanych dla pierwszej zmiennej, tito liczebno±¢ i-tej grupy rang, a suma po wska¹niku j to suma po grupach rang wiazanychdla drugiej zmiennej, uj to liczebno±¢ j-tej grupy rang.
W pierwszym przykªadzie powy»ej wspóªczynnik τ bedzie liczony wg wzoru:
τ = S12
√n(n−1)[n(n−1)−2(2−1)]
= 612
√6(6−1)[6(6−1)−2(2−1)]
= 0, 414
W drugim przykªadzie powy»ej wspóªczynnik τ bedzie liczony wg wzoru:
SMOP-2 B.Kamys: 2016/17 137
τ = S12
√n(n−1)[n(n−1)−2(2−1)]
= 412
√[6(6−1)−2(2−1)−3(3−1)][6(6−1)−2(2−1)]
= 0, 322
Policzenie wspóªczynnika τ i blisko±¢ jego warto±ci do granicznych warto±ci (+1,-1 lub0) pozwalaja wyciagna¢ wnioski jako±ciowo o korelacji rang.
Dla ilo±ciowego testowania hipotezy H0: τ = 0wygodniej jest rozwa»a¢ sama sume S deniowana powy»ej. Suma ta bardzo szybko da»ydo rozkªadu normalnego a wiec dla n≥ 10 mo»na sie posªugiwa¢ tablicami rozkªadu N(0,1)je»eli bedziemy rozwa»a¢ zmienna
z =|S| − 1
σ(S)
przy czym wariancja S σ2(S) liczona jest z poni»szych wzorów (dla przypadku gdy niema rang wiazanych i gdy sa rangi wiazane):
a) bez rang wiazanych:
σ2(S) =n(n− 1)(2n+ 5)
18
b) z rangami wiazanymi:
σ2(S) = 118
[n(n− 1)(2n+ 5)−
m∑i=1
ti(ti − 1)(2ti + 5)−r∑j=1
uj(uj − 1)(2uj + 5)
]
+ 19n(n−1)(n−2)
[m∑i=1
ti(ti − 1)(ti − 2)
] [r∑j=1
uj(uj − 1)(uj − 2)
]
+ 12n(n−1)
[m∑i=1
ti(ti − 1)
] [r∑j=1
uj(uj − 1)
]
SMOP-2 B.Kamys: 2016/17 138
Wzory te a szczególnie ostatni wygladaja skomplikowanie ale liczby w nich wystepujacesa niewielkie, a wiec rachunki nie sa trudne.
Jako przykªad rozwa»my przypadek rozwa»any oryginalnie przez Kendalla: Egzaminzdawaªo o±miu chªopców (C) i siedem dziewczat (D). Pytanie brzmiaªo: Czy wyniki eg-zaminu dla chªopców sa inne ni» dla dziewczat. W tabelce poni»ej w pierwszym wierszupodana jest ranga uzyskana na egzaminie a w drugim kategoria cechy jako±ciowej czylipªci:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
C C D C D D C C C D C D C D D
Ze wzgledu na druga ceche mamy dwie grupy rang wiazanych o liczebno±ci 8 (chªopcy) i7 (dziewczeta). Biorac jako wspólna range dla chªopców ±rednia z rang 1 - 8 = 4,5 a dladziewczat ±rednia z rang 9 - 15 = 12 dostajemy tabelke:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
4,5 4,5 12 4,5 12 12 4,5 4,5 4,5 12 4,5 12 4,5 12 12
Suma S liczona wedªug przepisu podanego wy»ej na podstawie tych rang wynosi:S=7+7-6+6-5-5+4+4+4-2+3-1+2+0=18.
Wspóªczynnik τ :
τ =18
12
√15(15− 1) [15(15− 1)− 8(8− 1)− 7(7− 1)]
= 0, 235
Jest on niewielki co sugeruje, »e H0 jest prawdziwa (przy czym jego znak nie maznaczenia bo zale»y od konwencji, w której mniejsze rangi nadano chªopcom a to byªoarbitralne).
Dla ilo±ciowego testu liczymy wariancje zmiennej S (korzystajac ze skomplikowanegowzoru podanego powy»ej). Poniewa» rangi dla pierwszej cechy (jako±¢ zdawania) nie sapowiazane wiec wzór bardzo sie upraszcza bo sumy, w których wystepuje ti znikaja idostajemy:
σ(S) =√
118
[15(15− 1)(2 · 15 + 5)− 8(8− 1)(2 · 8 + 5)− 7(7− 1)(2 · 7 + 5)] = 17, 28
a standaryzowana zmienna o rozkªadzie normalnym bedzie miaªa warto±¢:
z =|S| − 1
σ(S)=
18− 1
17, 28= 0, 984
Je»eli jako poziom istotno±ci we¹miemy α=0,05 to przy te±cie dwustronnym dosta-niemy obszar krytyczny z > 1, 96 lub z < −1, 96. Poniewa» z z do±wiadczenia nietraa do obszaru krytycznego wiec nie ma podstaw odrzuca¢ hipotezy zerowej.
SMOP-2 B.Kamys: 2016/17 139
9.11.5 ANALIZA ASOCJACYJNA
Analiza korelacyjna cech niemierzalnych sprowadza sie do badania, czy okre±lone kombi-nacje wariantów rozpatrywanych cech maja tendencje do wyra¹nie czestszego lub wyra¹nierzadszego pojawiania sie ni» by to miaªo miejsce w przypadku niezale»no±ci cech X i Y.Taka analize wystepowania skojarze« okre±lonych wariantów cech nazywa sie "analizaasocjacyjna".
Wyró»niamy r wariantów cechy jako±ciowej X (r≥2) oraz c wariantów cechy jako±cio-wej Y (c≥2). Niech n oznacza liczbe obserwacji w próbie, ni· i n·j liczbe obserwacji wktórych zaobserwowano wariant xi cechy X i wariant yj cechy Y oraz nij niech oznaczaliczbe obserwacji w których zaobserwowano zarówno i-ty wariant cechy X jak i j-ty wariantcechy Y.
Wielko±ci te speªniaja relacje:
r∑i=1
c∑j=1
nij =r∑i=1
ni· =c∑j=1
n·j = n
WSPÓCZYNNIK KORELACJI CECH NIEMIERZALNYCH Rxi,yj
Deniujemy go nastepujaco:
Rxiyj =
nijn− ni·
n
n·jn√
ni·n
(1− ni·n
)n·jn
(1− n·jn
)
Wspóªczynnik ten przyjmuje warto±ci z przedziaªu [-1,+1] przy czym
• R=0 dla nieskorelowanych wariantów xi i yj ,
• R=+1 wtedy i tylko wtedy, gdy warianty xi i yj wystepuja w próbie zawsze razem,
• R=-1 wtedy i tylko wtedy, gdy wystepowanie jednego z wariantów wyklucza poja-wienie sie drugiego z nich.
Ten wspóªczynnik korelacji pozwala wnioskowa¢ o niezale»no±ci (lub okre-±lonym typie zale»no±ci) dwu wyró»nionych wariantów cech X i Y.Ujemna warto±¢ empirycznego wsp. korelacji oznacza, »e wzgledna czesto±¢ ªacznegowystepowania wariantów xi i yj jest mniejsza ni» dla niezale»nych cech Xi Y, dodatniaoznacza, »e wzgledna czesto±¢ równoczesnego wystepowania wariantów xi i yj jestwiekszani» dla niezale»nych cech X i Y.
Wzór denicyjny mo»na przepisa¢ w formie wygodniejszej dla oblicze«:
SMOP-2 B.Kamys: 2016/17 140
Rxiyj =n · nij − ni· · n·j√
ni· · (n− ni·) · n·j · (n− n·j)
PRZYKAD (zaczerpniety z [14]):
Dostawcy
Jako±¢ surowców B1 B2 B3 B4 Ogóªem
Dobra A1 35 23 60 31 149
Przecietna A2 17 11 15 20 63
Zªa A3 6 7 10 15 38
Ogóªem 58 41 85 66 250
Macierz wspóªczynników RAi,Bj (to nie jest zwykªa macierz korelacji !!):
Dostawcy
Jako±¢ surowców B1 B2 B3 B4
Dobra A1 0,0083 -0,0316 0,1607 -0,1542
Przecietna A2 0,0520 0,0166 -0,1249 0,0704
Zªa A3 -0,0743 0,0231 -0,0687 0,1256
Przeglad warto±ci wspóªczynników korelacji pokazuje, »e najwieksza dodatnia warto±¢ma wspóªczynnik RA1,B3=0,1607 a najmniejsza (ujemna) wspóªczynnik RA1,B4=-0,1542.Drugi najwiekszy wspóªczynnik korelacji to RA3,B4=0,1256 a drugi najmniejszy (ujemny)to wspóªczynnik RA1,B4=-0,1249. Nale»y to interpretowa¢ w ten sposób, »e:
• Surowce dostarczane przez dostawce B3 maja dobra jako±¢ wyra¹nie cze±ciej ni»gdyby to byªo przypadkowe (RA1,B3=0,1607),
• Surowce dostraczane przez dostawce B4 maja dobra jako±¢ wyra¹nie rzadziej, ni»gdyby to byªo przypadkowe (RA1,B4=-0,1542).
SMOP-2 B.Kamys: 2016/17 141
• Surowce dostarczane przez dostawce B4 maja zªa jako±¢ cze±ciej ni» gdyby to byªoprzypadkowe (RA3,B4=0,1256),
• Surowce dostarczane przez dostawceB3maja przecietna jako±¢ rzadziej ni» gdybyto byªo przypadkowe (RA1,B4=-0,1249).
TEST CHI-KWADRAT NIEZALENOCI CECH X i Y (uogólnienie z przy-padku 2x2)
Hipoteza zerowa:Ka»de zdarzenie losowe xi jest parami niezale»ne od ka»dego ze zdarze« yj .
Statystyka testowa:
X2 =r∑i=1
c∑j=1
(nij−nij)2nij
nij = nni·n
n·jn
K. Pearson udowodniª, »e ta statystyka ma przy prawdziwo±ci hipotezy zerowej asympto-tycznie (tzn. dla n→∞) rozkªad chi-kwadrat o (r-1)(c-1) stopniach swobody.
Obszar krytyczny: prawostronny.
PRZYKAD (zaczerpniety z [14]):Korzystajac z danych umieszczonych w tabeli z poprzedniego przykªadu mo»na wyliczy¢macierz warto±ci
nij =
35, 0 24, 4 50, 7 38, 9
14, 6 20, 3 21, 4 16, 7
8, 4 6, 3 12, 9 10, 4
SMOP-2 B.Kamys: 2016/17 142
wstawiajac te wielko±ci do wzoru na statystyke testowa dostaniemy:
X2 =(35− 35)2
35+
(23− 24, 4)2
24, 4+ . . . +
(15− 10, 4)2
10, 4= 10, 8
Liczba stopni swobody zmiennej χ2 wynosi 6≡ (3− 1) · (4− 1). Obszar krytyczny napoziomie istotno±ci α=0,1 to X2 > χ2
6(1− α) ≡ χ26(0, 9) = 16, 8.
Poniewa» X2 jest mniejsze od tej warto±ci, wiec nie ma podstaw do odrzucenia H0.
9.11.6 MIARY SIY ZWIAZKUNOMINALNYCH CECH JAKOCIOWYCH
W dwu poprzednich rozdziaªach zajmowali±my sie metodami stwierdzenia, »e zmiennejako±ciowe nie sa od siebie niezale»ne. Po zastosowaniu tych metod mogli±my dowiedzie¢sie, »e zwiazek statystyczny istnieje ale nie dostali±my iformacji czy jest to silny zwiazek.
Jak nale»y rozumie¢ okre±lenie sªaby zwiazek lub silny zwiazek ?Dla zmiennych ilo±ciowych jest to ªatwe do zdeniowania - najsilniejszym zwiazkiem
bedzie zwiazek funkcyjny, który polega na tym, »e warto±¢ argumentu (pierwsza rozpa-trywana zmienna) jednoznacznie okre±la warto±¢ funkcji (druga rozpatrywana zmienna) ivice versa (gdy funkcja jest monotoniczna).
Dla zmiennych jako±ciowych mo»emy przez analogie rozumowa¢, »e silny zwiazek totaki, przy którym przyjmowanie przez zmienna jako±ciowa jakiej± kategorii powoduje, »edruga zmienna jako±ciowa te» bedzie nale»e¢ do wybranej kategorii.
Na przykªad, jako jedna zmienna jako±ciowa mo»emy przyja¢ rodzaj podawanego lekua jako druga skuteczno±¢ kuracji. Kategoriami pierwszej zmiennej sa konkretne leki akategoriami drugiej zmiennej jest pozytywny lub negatywny skutek leczenia. Gdy poda-nie leku A zawsze ko«czy sie wyleczeniem pacjenta a podanie leku B zawsze nie przy-nosi skutku to wtedy w sposób oczywisty mamy do czynienia z najsilniejszym mo»liwymzwiazkiem pomiedzy rodzajem leku i skuteczno±cia terapii. Warto zauwa»y¢, »e dla tablickontyngencji 2x2 jest to przypadek odpowiadajacy maksymalnej ró»nicy warto±ci iloczynuelementów na gªównej i drugiej przekatnej. Jak przekonamy sie za chwile, jest to jedna zcech wykorzystywanych do oceniania miary siªy zwiazku.
MIARY SIY ZWIAZKU OPARTE O χ2.
Korzystajac ze wzoru (91) na X2 oraz wzorów na Eij podanych w tabeli (4) widzimy, »eX2 zeruje sie dla niezale»nych zmiennych bo iloczyny wyrazów na przekatnych sa iden-tyczne. Z drugiej strony wiemy z rozwa»a« podanych powy»ej »e najsilniejszy zwiazekodpowiada sytuacji, gdy jest maksymalna ró»nica iloczynów wyrazów na obu przekatnych,
SMOP-2 B.Kamys: 2016/17 143
co wg wzoru (91) oznacza najwieksza warto±¢ statystyki X2. To mogªoby nasuna¢ przy-puszczenie, »e warto±¢ tej statystyki mogªaby by¢ miara siªy zwiazku. Niestety warto±¢X2 zale»y nie tylko od siªy zwiazku ale równie» od liczebno±ci próby - ro±nie proporcjo-nalnie do liczebno±ci próby.
Gdy zwiekszymy N-krotnie liczebno±¢ próby n to wszystkie liczebno±ci Oij i Eij równie» powieksza sie N-krotnie. To spowoduje, »e statystyka X2 tak»e zwiekszy sie N-krotnie (licznikN2-krotnie a mianownik N-krotnie). Dzieje sie tak przy tym samym zwiazkupomiedzy zmiennymi a wiec wida¢, »e musimy sie pozby¢ zale»no±ci od liczebno±ci próbyaby mo»na byªo statystyke X2 u»ywa¢ jako miare siªy zwiazku.
Jako miare siªy zwiazku dla próby o liczebno±ci n wprowadza sie nastepujaca staty-styke (nazywana czasem wspóªczynnikiem Yule'a):
Φ2 ≡X2
n.
Dla tablic 2xk (a wiec i dla tablic 2x2 ) Φ2 przyjmuje warto±ci z przedziaªu[0,1], przy czym niezale»nym zmiennym odpowiada warto±¢ zero a najsilniej-szemu zwiazkowi warto±¢ jeden. W ogólnym przypadku tablic rxc Φ2 mo»eznacznie przekroczy¢ jedno±¢.
Dlatego wprowadzono równie» inne miary siªy zwiazku oparte na statystyce X2 [10].Sa to:
• wspóªczynnik T - Czuprowa,
• wspóªczynnik C - Cramera (nazywany równie» wspóªczynnikiem V - Cramera) i
• wspóªczynnik P - Pearsona (nazywany tak»e wspóªczynnikiem C - Pearsona).
WSPÓCZYNNIK T CZUPROWA:
T ≡
√X2
n ·√
(r − 1)(c− 1)±
σ(X2)
2 · n ·√
(r − 1)(c− 1) · T
Wspóªczynnik T osiaga warto±¢ +1 przy najsilniejszym zwiazku tylko wtedy gdy liczbykolumn (c) i wierszy (r) sa takie same. W przeciwnym wypadku jest mniejszy od jedno±ci.Najwieksza jego warto±¢ to:
SMOP-2 B.Kamys: 2016/17 144
max(T ) =
√min(r − 1, c− 1)
max(r − 1, c− 1)
Gdy zmienne nie sa wspóªzale»ne to wspóªczynnik T zeruje sie.Poniewa» wspóªczynnik T jest statystyka, wiec jest obarczony bªedem. Estymator
bªedu jest równie» podany we wzorze (9.11.6). Oczywi±cie wzór ten jest dany dla T 6= 0.
WSPÓCZYNNIK C CRAMERA
C ≡
√X2
n ·min[(r − 1)(c− 1)]±
σ(X2)
2 · n ·min(r − 1, c− 1) · C
Wspóªczynnik C Cramera zachowuje sie podobnie jak wspóªczynnik Czuprowa, tzn.znika gdy nie ma zale»no±ci pomiedzy zmiennymi a ro±nie gdy zale»no±¢ taka pojawia sieale ma te zalete, »e jego maksymalna warto±¢ jest równa +1 dla dowolnej liczby wierszyi kolumn. Bªad tego wspóªczynnika podany we wzorze (9.11.6) równie» jest okre±lonytylko dla C 6= 0.
WSPÓCZYNNIK P PEARSONA:
P ≡
√X2
X2 + n±
n · σ(X2)
2 ·√X2 · (n+X2)3
Wspóªczynnik P jest zawsze mniejszy od jedno±ci. Dla zmiennych caªkowicie nieza-le»nych ten wspóªczynnik zeruje sie ale przy istnieniu zwiazku miedzy zmiennymi jegowarto±¢ zale»y od liczby wierszy i kolumn tablicy kontyngencji. Na przykªad, dla tablic2x2 przyjmuje warto±¢ 1√
2.
Powy»sze trzy wspóªczynniki wykorzystuja wªasno±ci statystyki X2 a jedynie sa wró»ny sposób normowane. Dzieki jednoznacznej normalizacji (zero dla zmiennych niezale»-nych, jeden dla najsilniejszego zwiazku) najbardziej wygodnym wspóªczynnikiem wydajesie by¢ wspóªczynnik C - Cramera. W literaturze mo»na jednak spotka¢ sie z u»ywaniemwszystkich trzech wspóªczynników.
Poni»ej podamy jeszcze jeden wspóªczynnik u»ywany do okre±lania siªy zwiazku pomiedzynominalnymi zmiennymi jako±ciowymi nie wykorzystujacy statystyki X2. Jest to wiel-ko±¢ nazywana wspóªczynnikiem Q - Kendalla mimo i» Kendall gªosi autorstwo Yule'a[10].
SMOP-2 B.Kamys: 2016/17 145
WSPÓCZYNNIK Q - KENDALLA stosowany tylko dla tablic kontyngencji 2x2 zdeniowany jest nastepujacym wzorem:
Q ≡m1 · (n2 −m2)−m2 · (n1 −m1)
m1 · (n2 −m2) +m2 · (n1 −m1)
Jest to jak wida¢ unormowany wyznacznik tablicy kontyngencji. Dlatego przyj-muje warto±ci z przedziaªu [−1,+1], przy czym dla zmiennych niezale»nych zeruje sie adla najsilniejszego zwiazku Q = ±1.
SMOP-2 B.Kamys: 2016/17 146
9.12 Test istotno±ci dla wspóªczynnika korelacji Pearsona
Wspóªczynnik korelacji %(X,Y ), który omawiali±my przy deniowaniu macierzy kowa-riancji
• mówi o istnieniu zale»no±ci liniowej zmiennych X i Y gdy jego warto±¢ zbli»onajest (co do moduªu) do jedno±ci,
• zeruje si¦, gdy zmienne X i Y s¡ niezale»ne statystycznie (tw. odwrotne nie zawszejest sªuszne, tj. zerowanie si¦ wspóªczynnika korelacji jest warunkiem koniecznym anie wystarczaj¡cym niezale»no±ci zmiennych).
Wa»ne jest wi¦c badanie nast¦puj¡cych hipotez:
1. H0 : % = %0
2. H0 : % = 0
Estymatorem wspóªczynnika korelacji Tn(%) jest
r ≡
n∑i=1
(xi − x) (yi − y)√[n∑i=1
(xi − x)2
] [n∑i=1
(yi − y)2
] .R.A. Fisher pokazaª, »e je»eli zmienne X i Y pochodz¡ z dwuwymiarowego rozkªadu
Gaussa to mo»na poda¢ ±cisªy wzór na rozkªad estymatora r wspóªczynnika korelacji %sªuszny dla wszystkich warto±ci % (z wyj¡tkiem |%| = 1) i dla wszystkich rozmiarówpróby n:
f (r) =n− 2
π
(1− %2
)n−12(1− r2
)n−42
1∫0
tn−2dt
(1− r%t)n−1√1− t2
Rozkªad ten mo»e by¢ u»yty do numerycznego obliczania odpowiednich warto±ci kry-tycznych r(n, α) przy ustalonej warto±ci %. Ze wzgl¦du na to, »e tego typu obliczeniamog¡ by¢ skomplikowane a stosowanie tablic lub procedur obliczania kwantyli rozkªadustandardowego normalnego jest powszechnie znane wi¦c najcz¦±ciej nie korzysta si¦ zpowy»szego wzoru lecz posªuguje si¦ wynikami twierdzenia podanego poni»ej (tak»e udo-wodnionego przez R.A. Fishera).
TWIERDZENIE: Je»eli r jest estymatorem wspóªczynnika korelacji z próby prostej oliczebno±ci n > 3 z populacji o dwuwymiarowym rozkªadzie normalnym i wspóªczynnikukorelacji % to zmienna z zdeniowna poni»ej ma w przybli»eniu standardowy rozkªadnormalny: f(z) = N(0, 1):
z =√n− 3
[1
2ln
(1 + r) (1− %)
(1− r) (1 + %)−
%
2 (n− 1)
]
SMOP-2 B.Kamys: 2016/17 147
ad (1) H0 : % = %0 Stosujemy powy»sze przeksztaªcenie i w zale»no±ci od hipotezyalternatywnej okre±lamy obszar krytyczny dla danego poziomu istotno±ci α.
H1 Obszar krytyczny
% 6= %0 z < zα/2⋃z > z1−α/2
% > %0 z > z1−α
% < %0 z < zα
ad (2) H0 : % = 0 Dla tej szczególnej warto±ci %0 mo»na u»y¢ tej samej metody jakdla innych, rozwa»anych powy»ej warto±ci ale mo»na skorzysta¢ z innego przeksztaª-cenia:
TWIERDZENIE: Je»eli badana próba prosta o liczebno±ci n pochodzi z dwu-wymiarowej populacji normalnej, w której % = 0, to zmienna losowa v zdeniowanaponi»ej ma rozkªad Studenta o n− 2 stopniach swobody.
v =
√n− 2 · r√
1− r2
Korzystamy wówczas z poni»szych reguª okre±lania obszaru krytycznego:
H1 Obszar krytyczny
% 6= 0 v < t(n−2); α/2
⋃v > t(n−2); 1−α/2
% > 0 v > t(n−2); 1−α
% < 0 v < t(n−2); α
SMOP-2 B.Kamys: 2016/17 148
9.13 Test istotno±ci dla stosunku korelacyjnego
W przypadku, gdy badamy nieliniowy zwi¡zek pomi¦dzy zmiennymi X i Y zastosowaniewspóªczynnika korelacji liniowej %(x, y) (Pearsona) nie daje nam peªnej informacji opostulowanym zwi¡zku lub o jego braku. Spowodowane jest to tym, »e zerowanie si¦tego wspóªczynnika korelacji mo»e zachodzi¢ równie» wtedy gdy istnieje ±cisªy zwi¡zeknieliniowy pomi¦dzy zmiennymi.
Dla siªy nieliniowego zwi¡zku statystycznego pomi¦dzy ilo±ciowymi zmiennymi loso-wymi X i Y stosuje si¦ wi¦c inny wielko±ci. S¡ nimi:
1. Wspóªczynnik zgodno±ci ϕ2
2. Wspóªczynnik korelacji krzywoliniowej R ≡√
1− ϕ2
3. Stosunek korelacyjny zmiennej Y wzgl¦dem X: H2X|Y
4. Stosunek korelacyjny zmiennej X wzgl¦dem Y: H2Y |X
ad (1): Wspóªczynnik zgodno±ci deniuje si¦ jako:
ϕ2 =
n∑i=1
[yi − f(xi)]2
n∑i=1
[yi − y]2
gdzie yi i xi to zmierzone pary warto±ci zmiennych Y i X wyst¦puj¡ce w próbie oliczebno±ci n , y to ±rednia arytmetyczna warto±ci zmiennej Y w próbie a f(x) to funkcjaregresji z parametrami dobranymi metod¡ najmniejszych kwadratów.
Zgodnie z podstawow¡ wªasno±ci¡ funkcji regresji i metody najmniejszych kwadratówsuma kwadratów w liczniku musi by¢ nie wi¦ksza od sumy kwadratów w mianowniku awi¦c wspóªczynnik zgodno±ci musi by¢ mniejszy lub równy jedno±ci a jako iloraz nieujem-nych liczb musi by¢ nieujemny:
0 ≤ ϕ2 ≤ 1.
Oczywi±cie im lepiej funkcja regresji odtwarza zwi¡zek Y (X) tym mniejszy jest wspóª-czynnik zgodno±ci.
ad (2): Wspóªczynnik korelacji krzywoliniowej R równie» przyjmuje warto±ci z tegosamego zakresu co wspóªczynnik zgodno±ci przy czym cz¦±ciej u»ywa si¦ kwadratu tegowspóªczynnika:
R2 = 1−
n∑i=1
[yi − f(xi)]2
n∑i=1
[yi − y]2
SMOP-2 B.Kamys: 2016/17 149
Wida¢, »e w przypadku gdy funkcja regresji bardzo dobrze opisuje zale»no±¢ Y (X)to uªamek znika i R2 ≈ 1. Co wi¦cej, mo»na pokaza¢, »e dla liniowego zwi¡zkuY(X) wspóªczynnik R2 jest równy kwadratowi zwykªego wspóªczynnika korelacjiPearsona r2.
ad (3): H2Y |X - stosunek korelacyjny zmiennej Y wzgl¦dem zmiennej X.
Oba powy»sze wspóªczynniki, tj. ϕ2 i R2 mog¡ by¢ zastosowane do okre±lenia jako±ciopisu zale»no±ci Y (X) przez funkcj¦ regresji ale aby to wykona¢ musimy zna¢ parametryfunkcji regresji. Z tego powodu, nie jeste±my w stanie powiedzie¢ bez dopasowania war-to±ci parametrów tej funkcji, czy zmienne X i Y s¡ powi¡zane nieliniowym zwi¡zkiemstatystycznym.
Aby pokona¢ t¦ trudno±¢ K. Pearson zaproponowaª zastosowanie, tzw. stosunkukorelacyjnego:
H2Y |X ≡
E [E(Y |X)− E(Y )]2
σ2(Y ),
którego estymatorem jest
η2Y |X =
l∑i=1
[y(xi)− y]2 ni·
m∑k=1
[yk − y]2 n·k
,
gdzie prób¦ (xj, yj), j = 1, ..., n podzielono na mniejsze próby o liczebno±ciach ni,k, i =1, ...l, k = 1, ...,m, przy czym ka»da grupa ma centrum (xi, yk) a suma liczebno±ciwynosi n:
∑i,k
ni,k = n.
Symbol y(xi) jest ±redni¡ warunkow¡, tj. ±redni¡ ze zmiennej (y|xi) a symboleni· =
∑k
ni,k oraz n·k =∑i
ni,k.
Estymator stosunku korelacyjnego mo»e by¢ policzony tak»e wg nast¦puj¡cego wzoru:
η2Y |X = 1−
l∑i=1
m∑k=1
[yk − y(xi)]2 nik
m∑k=1
[yk − y]2 n·k
Z tego wzoru wida¢, »e η2Y |X = 1 wtedy i tylko wtedy, gdy yk = y(xi) dla ka»dej
niezerowej liczebno±ci ni,k. Zachodzi to tylko wtedy, gdy dla ka»dej warto±ci xi zmienna
SMOP-2 B.Kamys: 2016/17 150
Y przyjmuje tylko jedn¡ warto±¢ a wi¦c istnieje dla caªej próby zwi¡zek funkcyjny yi =y(xi). Z kolei z pierwszego wzoru na stosunek korelacyjny wida¢, »e b¦dzie si¦ on zerowaªwtedy i tylko wtedy gdy y(xi) − y a wi¦c gdy zmienna y przyjmuje t¦ sam¡ warto±¢ ydla wszystkich warto±ci x. Wtedy oczywi±cie zmienne s¡ nieskorelowane.
Z tych rozwa»a« wynika, »e:
0 ≤ η2Y |X ≤ 1.
ad (4.): Analogicznie do stosunku korelacyjnego zmiennej Y wzgl¦dem X mo»nastworzy¢ niezale»ny od niego wspóªczynnik korelacyjny zmiennej X wzgl¦dem zmien-nej Y : H2
X|Y .
H2X|Y ≡
E [E(X|Y )− E(X)]2
σ2(X),
którego estymator liczy si¦ wg poni»szych wzorów:
η2X|Y =
m∑k=1
[x(yk)− x]2 n·k
l∑i=1
[xi − x]2 ni·
= 1−
m∑k=1
l∑i=1
[xi − x(yk)]2 nik
l∑i=1
[xi − x]2 ni·
Mo»na pokaza¢, »e zachodz¡ nast¦puj¡ce relacje pomi¦dzy stosunkami korelacyjnymii wspóªczynnikiem korelacji krzywoliniowej R:
R2 ≤ η2X|Y ∩ R2 ≤ η2
Y |X
Wystarczy wi¦c pokaza¢, »e którykolwiek stosunek korelacyjny zeruje si¦ aby równie»zerowaª si¦ wspóªczynnik korelacji krzywoliniowej.
Hipotez¦: H0 : H2Y |X = 0 testuje si¦ wprowadzaj¡c statystyk¦ testow¡:
F =η2Y |X
1− η2Y |X
n− ll− 1
,
SMOP-2 B.Kamys: 2016/17 151
która ma rozkªad F(l−1),(n−l) tj. rozkªad Fishera-Snedecora o (l− 1), (n− l) stopniach swobody.Obszar krytyczny: prawostronny, tj. F > (F(l−1),(n−l))1−α gdzie α jest poziomem istot-no±ci.
Analogicznie przebiega testowanie hipotezy: H0 : HX|Y = 0.Jako statystyk¦ testow¡ bierze si¦:
F =η2X|Y
1− η2X|Y
n−mm− 1
,
która ma rozkªad F(m−1),(n−m), tj. rozkªad Fishera-Snedecora o (m − 1), (n − m)stopniach swobody. Oczywi±cie obszar krytyczny jest te» prawostronny.
SMOP-2 B.Kamys: 2016/17 152
10 METODA MONTE CARLO
Metoda ta polega na przyporzadkowaniu problemowi matematycznemu lub przyrodni-czemu równowa»nego problemu statystycznego i rozwiazaniu go metodami statystyki.Szczególnie po»yteczna okazaªa sie w przypadkach, gdy szczegóªy badanego problemusa zrozumiaªe i daªyby sie rozwiaza¢ analitycznie ale rachunki takie sa zbyt czasochªonne,np. policzenie caªek wielokrotnych gdy wymiar przestrzeni caªkowania jest du»y czy te»±ledzenie losu neutronów przechodzacych przez niejednorodne ±rodowisko takie jak wreaktorze jadrowym i jego obudowie. Ten ostatni przykªad, tj. ±ledzenie losu neutro-nów przy ªa«cuchowej reakcji rozszczepienia prowadzacej do wybuchu bomby atomowejbyª pierwszym zastosowaniem tej metody zaproponowanej przez J. von Neumanna i S.Ulama.
Zwykle udaje sie zastapi¢ poszukiwanie rozwiazania oryginalnego problemu przez es-tymacje warto±ci oczekiwanej pewnej funkcji na podstawie próby statystycznej skªa-dajacej sie z zespoªu warto±ci tej funkcji obliczonego dla wylosowanych warto±ci argu-mentu. W zwiazku z tym pojawiaja sie nastepujace pytania:
1. Jak sformuªowa¢ problem statystyczny, tzn. jak ma wyglada¢ funkcja dla którejposzukujemy warto±ci oczekiwanej ? Bierzemy przy tym pod uwage:
• Jak zminimalizowa¢ blad estymacji przy ustalonym rozmiarze próby statystycz-nej ?
• Z jakim rozkªadem prawdopodobie«stwa (gesto±ci prawdopodobie«stwa) na-le»y losowa¢ warto±ci argumentu funkcji ?
2. W jaki sposób przeprowadzi¢ generacje liczb losowych ?
Odpowiedzi na te pytania zale»a od rozwiazywanego problemu. Poni»ej beda przedsta-wione przykªady jak mo»na dobiera¢ posta¢ funkcji i jakie pojawiaja sie wtedy rozkªadyprawdopodobie«stwa gdy stosuje sie metode Monte Carlo do liczenia caªek.
10.1 LICZENIE CAEK METODA MONTE CARLO
Caªke
I ≡∫ b
a
f(x)dx
mo»emy zapisa¢ w równowa»nej postaci
I =
b∫a
g(x)
g(x)· f(x) · dx
SMOP-2 B.Kamys: 2016/17 153
gdzie funkcja g(x) > 0 orazb∫a
g(x)dx = 1 - czyli g(x) jest pewna funkcja gesto±ci
prawdopodobie«stwa na odcinku [a,b]).
Porównujac drugi wzór na caªke I ze wzorem na warto±¢ oczekiwana funkcji f(x)
g(x):
E
f(x)
g(x)
≡
b∫a
dx · g(x) ·(f(x)
g(x)
)wida¢, »e caªka jest po prostu warto±cia oczekiwana funkcji f(x)
g(x)dla gesto±ci prawdopo-
dobie«stwa g(x).
W szczególno±ci jako funkcje g(x) mo»emy wzia¢ funkcje gesto±ci prawdopodobie«stwarozkªadu jednorodnego na odcinku [a,b] i dostaniemy:
I =
b∫a
dx ·1
(b− a)· (b− a)f(x)
Estymatorem powy»szej warto±ci oczekiwanej jest ±rednia arytmetyczna
Tn(I) = (b− a) ·1
n
n∑i=1
f(xi)
gdzie argumenty xi sa losowane z rozkªadem jednorodnym (równomiernym) na odcinku[a,b]. Jest to tzw. podstawowa metoda liczenia caªki metoda Monte Carlo.
Dla wygody rozwa»a sie zwykle caªki liczone na odcinku [0,1] bo wtedy nie mu-simy jawnie wypisywa¢ dªugo±ci przedziaªu caªkowania a mo»na zawsze przezliniowa zmiane zmiennych przej±¢ do dowolnego odcinka [a,b]. W poni»szychrozwa»aniach bedziemy stosowa¢ te konwencje.
Wzór na estymator caªki jest wtedy po prostu ±rednia arytmetyczna warto±ci funkcjipodcaªkowej gdzie argumenty xi sa losowane z rozkªadem jednorodnym na przedziale[0,1].
Bªad estymatora caªki to bªad ±redniej arytmetycznej :
SMOP-2 B.Kamys: 2016/17 154
σI =
√√√√σ2
1
n
n∑i=1
f(xi)
=
√√√√ 1
n2
n∑i=1
σ2f(xi)
=
√n · σ2f
n2
=σf√n
Niestety ten wzór nie mo»e by¢ w praktyce stosowany bo liczenie σf wymagaªobyznajomo±ci warto±ci szukanej caªki:
σ2f =
1∫0
f2(x)dx−
1∫0
f(x)dx
2
=
1∫0
f2(x)dx− I2
Dlatego dla liczenia estymatora bªedu caªki S(I) zamiast σf u»ywa sie estymatoraSf liczonego wg wzoru:
S (f) =
√√√√ 1
n− 1
n∑i=1
[f(xi)− Tn(I)]2
S (I) =S (f)√n
gdzie Tn(I) jest równe (ze wzgledu na jednostkowa dªugo±¢ przedziaªu caªkowania) ±red-niej arytmetycznej z warto±ci funkcji f(x).
Poniewa» przy liczeniu caªek chcieliby±my wiedzie¢ nie tylko jakie jest odchylenie stan-dardowe estymatora caªki, lecz chcieliby±my okre±li¢ przedziaª gdzie prawie na pewnobedzie znajdowa¢ sie prawdziwa warto±¢ caªki to przyjeªo sie jako bªad caªki bra¢ po-ªowe przedziaªu ufno±ci na poziomie ufno±ci 0,9545, który równy jest podwojonej warto±ciodchylenia standardowego przy zaªo»eniu, »e ±rednia arytmetyczna ma rozkªad normalny.
A wiec jako bªad caªki bierzemy wielko±¢:
SMOP-2 B.Kamys: 2016/17 155
2S(f)√n
Z powy»szego wzoru wida¢, »e bªad liczenia caªki metoda Monte Carlo maleje propor-cjonalnie do odwrotno±ci pierwiastka z liczby obliczanych warto±ci funkcji podcaªkowej1/√n. Dzieje sie tak niezale»nie od tego czy caªka jest liczona w przestrzeni
jedno- czy wielowymiarowej . Na tym, przede wszystkim, polega przewaga me-tody Monte Carlo nad innymi metodami liczenia caªki.
W przypadku caªki jednokrotnej taka przewaga nie ujawnia sie bo istnieje wiele in-nych metod numerycznych takich jak np. metoda Simpsona, Romberga czy Gaussa,które sa bardziej precyzyjne od metody Monte Carlo przy tej samej liczbie wyliczonychwarto±ci funkcji podcaªkowej. Jednak»e gdyby±my chcieli zastosowa¢ która± z tych me-tod do caªki wielokrotnej to oka»e sie, »e otrzymanie maªego bªedu caªki wymaga przyzwiekszaniu wymiaru przestrzeni argumentów zwiekszania liczby oblicze« funkcji podcaª-kowej w sposób proporcjonalny do nw, gdzie n jest liczba warto±ci jednego argumentua w jest wymiarem przestrzeni argumentów. W odró»nieniu od tych metod wielko±¢bªedu estymatora caªki uzyskanego metoda Monte Carlo maleje tak jak bªad ±redniejarytmetycznej czyli proporcjonalnie do 1/
√n niezale»nie od wymiaru przestrzeni
argumentów . A wiec zwiekszanie wymiaru przestrzeni argumentów funkcji podcaªkowejnie musi przedªu»a¢ czasu obliczenia caªki.
Rozwa»my prosty przykªad: do obliczenia caªki 10 krotnej, wyliczajac funkcje podcaª-kowa 10 razy dla ka»dego wymiaru musieliby±my obliczy¢ funkcje podcaªkowa 1010 razy.Je»eli potramy w ciagu sekundy obliczy¢ funkcje podcaªkowa 10 000 razy to znalezieniewarto±ci caªki wymagaªoby 1000 000 sekund czyli okoªo 12 dni i nocy. Tymczasem sto-sujac metode Monte Carlo, mo»emy oszacowa¢ warto±¢ caªki z dobr¡ dokªadno±cia (równ¡σ(f)/1000) wyliczajac 1000 000 razy funkcje podcaªkowa, tzn. skracajac czas oblicze«do 100 sekund.
10.2 ZMNIEJSZANIE BEDU CAKI
Podstawowa metoda stosowana w tym celu jest tzw. metoda ±redniej wa»onej (zwanapo angielsku importance sampling). Polega ona na tym, »e zamiast losowa¢ argumentfunkcji podcaªkowej z rozkªadem jednorodnym losuje sie go z rozkªadem g(x) mo»li-wie podobnym do funkcji podcaªkowej . Wtedy estymatorem caªki na przedziale [0,1]z funkcji f(x) jest ±rednia wa»ona:
Tn(I) =1
n
n∑i=1
f(xi)
g(xi)
SMOP-2 B.Kamys: 2016/17 156
gdzie argumenty xi losowane sa cze±ciej tam gdzie funkcja f(x) jest du»a a wiec przy-czynki do caªki sa znaczace stad angielska nazwa losowanie istotne.
Mo»na pokaza¢, »e zastosowanie tej metody zawsze daje mniejszy bªad caªki ni» otrzymy-wany w metodzie podstawowej.
Inna metoda jest tzw. losowanie warstwowe polegajace na rozbiciu przedziaªucaªkowania na mniejsze przedziaªy, w których funkcja podcaªkowa zmienia sie mo»liwiemaªo jest prawie staªa. Wtedy u»ycie najprostszej metody podstawowej w ka»dymz przedziaªów zdecydowanie zmniejsza wariancje (bªad) caªki. Wida¢ to ewidentnie dlafunkcji przedziaªami staªej. Tam metoda warstwowa daje bªad równy zeru (!).
Tu tak»e mo»na pokaza¢, »e bªad caªki jest zawsze mniejszy lub równy od bªedu metodypodstawowej.
Metoda zmiennych kontrolnych to szukanie funkcji h(x) podobnej do f(x) aletakiej, »e caªka z h(x) na przedziale [0,1] jest znana. Wtedy mo»emy liczy¢ podstawowametoda Monte Carlo caªke z ró»nicy f(x) − h(x). Jest to opªacalne je»eli liczeniefunkcji h(x) nie jest zbyt pracochªonne. Zwykle przyjmuje sie, »e wspóªczynnik korelacji
pomiedzy funkcjami f(x) i h(x) powinien speªnia¢ relacje: ρ(f(x), h(x)) ≥√
1− 1k
gdzie k oznacza ile razy bardziej pracochªonne jest policzenie ró»nicy f(x)− h(x) odpoliczenia samej funkcji f(x).
Metoda zmiennych antytetycznychJe»eli f1(ξ) i f2(η) sa dwoma estymatorami liczonej powy»ej caªki to ich ±rednia
arytmetyczna g2 te» bedzie estymatorem caªki:
g2 ≡1
2(f1 + f2),
przy czym je»eli oba estymatory f1 i f2 sa nieobcia»one to i estymator g2 jest nieobcia»ony.
Z drugiej strony wariancja estymatora g2 bedzie zale»e¢ nie tylko od wariancji esty-matorów f1 i f2 ale tak»e od ich kowariancji:
σ2 (g2) ≡1
4(σ2 (f1) + σ2(f2)) +
1
2cov(f1, f2).
Je»eli kowariancja estymatorów bedzie ujemna i du»a co do moduªu, to wariancja esty-matora g2 mo»e by¢ mniejsza od wariancji ka»dego z estymatorów f1 i f2. Powy»szerozumowanie mo»na oczywi±cie rozszerzy¢ na ±rednia m estymatorów caªki.
PRZYKAD:
Je»eli funkcja podcaªkowa f(x) jest monotoniczna to jako dwa wy»ej omawiane es-tymatory mo»emy wzia¢ nastepujace funkcje: f1 = f(x) i f2 = f(1 − x). Wtedyestymator g2 bedzie bardziej zbli»ony do staªej na odcinku [0,1] ni» ka»dy z dwu skªadni-ków. To spowoduje, »e jego wariancja bedzie mniejsza od wariancji ka»dego ze skªadników
SMOP-2 B.Kamys: 2016/17 157
a o to nam chodzi.
Dla funkcji monotonicznej na caªym przedziale caªkowania mo»na dobra¢ inny wy-godny estymator g2, który bedzie ±rednia wa»ona a nie ±rednia arytmetyczna a wagidobierze sie tak aby najbardziej zmniejszy¢ wariancje estymatora g2:
g2 ≡ α · f(αx) + (1− α) · f(1− (1− α)x) gdzie 0 < α < 1.
Znalezienie optymalnej warto±ci wspóªczynnika α mo»e by¢ bardzo trudne, wiec czestozadawalamy sie zastosowaniem nastepujacego, prostszego przepisu, który zwykle daje po-równywalnie maªa wariancje caªki jak optymalna warto±¢ α. Jest to rozwiazanie równania:
f(α) = (1− α) · f(1) + α · f(0)
Powy»sze przykªady liczenia caªki metoda Monte Carlo nie wyczerpuja wszystkichstosowanych wariantów tej metody lecz sªu»a raczej do ilustracji na czym polega problemdoboru funkcji, dla której szukamy warto±ci oczekiwanej.
SMOP-2 B.Kamys: 2016/17 158
10.3 GENERACJA LICZB LOSOWYCH
Przy obliczeniach metoda Monte Carlo konieczna jest generacja liczb losowych o po»adanymrozkªadzie (gesto±ci) prawdopodobie«stwa. Liczby te w praktyce znajduje sie przy pomocyodpowiednich programów komputerowych co powoduje, »e ciagi liczb losowych otrzymanez tych samych startowych parametrów sa powtarzalne a wiec nie sa naprawde losowe. Ztej przyczyny u»ywa sie czesto okre±lenia liczby pseudolosowe.
Najwa»niejszym ze stosowanych rozkªadów jest rozkªad jednorodny(równomierny,jednostajny), gdy» przy jego u»yciu mo»na wygenerowa¢ liczby pseudolosowe o innychpo»adanych rozkªadach prawdopodobie«stwa. Jak bedzie pokazane poni»ej istnieja me-tody pozwalajace na stworzenie prostych i krótkich programów komputerowych do ge-neracji liczb pseudolosowych o rozkªadzie jednorodnym. Mo»na wiec samemu napisa¢taki program. Okazuje sie jednak, »e bezpieczniej jest korzysta¢ z gotowych, o-pracowanych przez specjalistów procedur , gdy» speªniaja one nie tylko podstawowewymagania narzucane na liczby pseudolosowe ale uwzgledniaja tak»e bardziej zaawanso-wane warunki, które musza by¢ zapewnione przy niektórych obliczeniach. Takimi godnymipolecenia generatorami liczb losowych sa na przykªad procedury RANLUX i RAN-MAR z biblioteki procedur CERN. Pierwszy z tych generatorów zostaª napisany przezF. Jamesa (Comp. Phys. Comm. 79 (1994) 111) i oznaczony jest symbolem V115 w bi-bliotece procedur CERN a drugi (stworzony w oparciu o raport G. Marsaglia, A. Zaman,and W.W. Tsang, Towards a Universal Random Number Generator, Supercomputer Com-putations Research Institute, Florida State University technical report FSU-SCRI-87-50(1987)) przez F. Carminati i F. Jamesa i wystepuje jako procedura V113 w biblioteceprocedur CERN.
10.3.1 Generacja liczb o rozkªadzie równomiernym
W olbrzymiej wiekszo±ci przypadków ciagi liczb pseudolosowych tworzone sa przy pomocyzwiazków rekurencyjnych. Najlepiej zbadanym algorytmem jest tzw. metoda kongru-encyjna, która generuje kolejna liczbe pseudolosowa w oparciu o k + 1 poprzednich wgwzoru:
xn+1 = (a0xn + a1xn−1 + . . .+ akxn−k)(modM),
gdzie zapis a(modb) nale»y rozumie¢ jako reszte z dzielenia liczby a przez liczbe b.LiczbaM a tak»e wszystkie liczby ai oraz xi sa liczbami caªkowitymi z przedziaªu [0,M).
Generatory stanowiace szczególne przypadki powy»szego wzoru maja swoje specjalnenazwy. Generatory stosujace wzór:
xn+1 = xn + xn−1(modM)
nazywane sa generatorami Fibonacciego,te, które u»ywaja relacji:
xn+1 = a0xn(modM)
SMOP-2 B.Kamys: 2016/17 159
okre±la sie mianem generatorów multiplikatywnych a oparte o wyra»enie:
xn+1 = a0xn + a1(modM)
nosza nazwe generatorów mieszanych.Wszystkie ciagi liczb pseudolosowych sa ciagami okresowymi. Dobry generator powi-
nien mie¢ mo»liwie dªugi okres, tak dªugi aby w czasie wykonywania prac obliczeniowychwykorzystywa¢ tylko niewielka cze±¢ okresu. Maksymalny mo»liwy okres ciagu liczb lo-sowych otrzymanych ogólna metoda kongruencyjna nie mo»e przekroczy¢Mk+1. A wiecmaksymalny okres generatora Fibonacciego toM2 a generatora multiplikatywnego i mie-szanego nie przekraczaM . Te maksymalne warto±ci sa osiagane tylko przy odpowiednimdoborze wspóªczynników formuªy rekurencyjnej. Na przykªad, mo»na pokaza¢, »e dªugo±¢okresu ciagu liczb losowych generatora mieszanego wynosi M wtedy i tylko wtedy, gdyspeªnione sa nastepujace warunki:
• a1 i M nie maja wspólnych dzielników,
• (a0 − 1) jest wielokrotno±cia liczby pierwszej, która jest dzielnikiem liczby M ,
• (a0 − 1) jest wielokrotno±cia liczby 4, o ile M jest te» wielokrotno±cia liczby 4.
Od dobrego generatora, »adamy równie» aby mo»na byªo kolejne liczby pseudolosoweuwa»a¢ za niezale»ne. W szczególno±ci powinny by¢ niezale»ne liniowo. Mo»emy tosprawdzi¢ liczac wspóªczynniki korelacji pomiedzy parami liczb:
%j ≡ %(xi, xi+j).
Wspóªczynniki korelacji %j ,j=1,2,... powinny by¢ równe zero.Zamiast liczy¢ wspóªczynniki korelacji mo»na niezale»no±¢ liniowa generowanych liczb
sprawdza¢ przez wykonanie pewnych kontrolnych zada« rachunkowych. Jednym znajprostszych zada« jest liczenie metoda Monte Carlo (np. podstawowa metoda szukaniacaªki) objeto±ci kuli o jednostkowym promieniu w przestrzeni N-wymiarowej. Objeto±¢kuli wynosi:
VN =2
N
πN/2
Γ(N/2),
gdzie Γ(N/2) to funkcja gamma Eulera. Funkcja ta przyjmuje warto±¢√π dla argu-
mentu 1/2 i mo»e by¢ liczona rekurencyjnie wg wzoru Γ(z + 1) = z · Γ(z). Nawetniewielka korelacja pomiedzy generowanymi liczbami pseudolosowymi odbija sie wyra¹niena wynikach oblicze« dyskredytujac stosowany generator.
Inna, bardzo wa»na cecha generatora liczb pseudolosowych jest aby te liczby pokrywaªyprzedziaª (0,1) odpowiednio gesto.Aby to prosto wyja±ni¢ we¹my pod uwage rekurencyjny algorytm, w którym nastepnaliczba generowana jest przy pomocy poprzedniej: xn+1 = f(xn). Je»eli wykre±limy napowierzchni jednostkowego kwadratu (czyli kwadratu o wierzchoªkach (0,0),(1,0),(1,1) i(0,1) poªo»enia punktów o wspóªrzednych (x = xn, y = xn+1) to w przypadku praw-dziwych losowych liczb xn i xn+1 powinny one pokrywa¢ równomiernie powierzchnie
SMOP-2 B.Kamys: 2016/17 160
kwadratu. Natomiast dla pseudolosowych liczb dostaniemy punkty le»ace na krzywejy = f(x). A wiec krzywa y = f(x) musi wielokrotnie i to w maªych odlegªo±ciachprzechodzi¢ przez powierzchnie kwadratu aby zapewni¢ w miare równomierne pokryciepowierzchni kwadratu. Ten warunek podobnie jak i inne powy»ej wymienione jest jedy-nie warunkiem koniecznym aby generator mógª by¢ uznany za zadawalajacy generator.
Dla surowego testowania generatorów wymy±lono caªy zestaw testów, które powinnyby¢ speªniane przez dobre generatory (np. G. Marsaglia, A Current View of RandomNumber Generators, Computer Science and Statistics: 16th Symposium on the Interface,Elsevier (1985)). Wspomniane na wstepie generatory RANLUX, RANMAR przeszªy po-my±lnie ten zestaw testów.
10.3.2 Generacja liczb losowych o dowolnych rozkªadach prawdopodobie«-stwa
Je»eli dysponujemy ju» dobrym generatorem liczb pseudolosowych o rozkªadzie równo-miernym na odcinku [0,1] to mo»emy przystapi¢ do generacji liczb o dowolnych rozkªa-dach prawdopodobie«stwa. Zacznijmy od generacji zmiennej dyskretnej przyjmujacejn warto±ci z zadanym rozkªadem prawdopodobie«stwa:
P (x = xi) = pi, dla i = 1, 2, ...n
W tym celu podzielmy przedziaª [0,1] na n przedziaªów o dªugo±ci ∆i = pi. Litera γoznacza¢ bedziemy wygenerowana zmienna o rozkªadzie równomiernym w przedziale [0,1].Wtedy ªatwo udowodni¢ nastepujace twierdzenie:
TWIERDZENIELosowa wielko±¢ x okre±lona formuªa
x = xi gdy γ ∈ ∆i
ma poszukiwany rozkªad dyskretny.
DOWÓD:
P (x = xi) = P (γ ∈ ∆i) = ∆i = pi
♦
UWAGA 1: Powy»sze twierdzenie mo»na uogólni¢ na przypadek zmiennej dyskretnejprzyjmujacej niesko«czenie wiele warto±ci. Wtedy zarówno warto±ci zmiennej xi jaki prawdopodobie«stwa pi okre±lone sa wzorami okre±lajacymi ich zale»no±¢ od wska¹nikai. Dla efektywnego losowania wybiera sie pewne nmax tak du»e, »e suma prawdopodo-bie«stw
nmax∑i=1
pi = 1− ε
SMOP-2 B.Kamys: 2016/17 161
jest bliska jedno±ci (tj. ε > 0 jest odpowiednio maªe) i dla wska¹ników i = 1, ..., nmaxwylicza sie przed generacja xi i pi (przechowujac je nastepnie w pamieci komputera) aobliczenia wg zadanych wzorów wykonuje sie tylko przy generacji maªo prawdopodobnychwarto±ci xi (dla i > nmax).♦
UWAGA 2: Czesto przy symulacji zjawisk przyrodniczych spotykamy sie z sytuacja, wktórej musimy zdecydowa¢ jakie zdarzenie spo±ród wszystkich mo»liwych i wyklu-czajacych sie zdarze« (A1, A2, ..., An) zachodzi w danym momencie je»eli znamyprawdopodobie«stwa tych zdarze«. Taka sytuacja dokªadnie odpowiada schematowiwyboru warto±ci zmiennej dyskretnej to»samej ze wska¹nikiem i danego zdarzenia Ai oznanym rozkªadzie prawdopodobie«stw pi, i = 1, ..., n.♦
Generacja zmiennej ciagªej z zadana funkcja gesto±ci prawdopodobie«stwa f(x).Zaªó»my, »e zmienna losowa x ma funkcje gesto±ci prawdopodobie«stwa f(x) > 0 w sko«-czonym lub niesko«czonym przedziale [a,b]. Wtedy dystrybuanta zmiennej x opisywanajest wzorem:
F (x) =
x∫a
f(t)dt
i jest silnie rosnaca funkcja.
TWIERDZENIEPrzy tych zaªo»eniach losowa wielko±¢ x okre±lona formuªa
F (x) = γ
ma funkcje gesto±ci prawdopodobie«stwa f(x).
DOWÓD:Dla silnie rosnacej dystrybuanty F (x) mo»emy napisa¢ nastepujacy zespóª równa« (przezY oznaczamy dystrybuante traktowana jako zmienna losowa):
P (y < Y < y + dy) = P (x < X < x+ dx)
P (y < Y < y + dy) ≡ g(y)dy
P (x < X < x+ dx) ≡ f(x)dx
g(y)dy = f(x)dx
skad wynika, »e
g(F (x))dF (x) = f(x)dx.
SMOP-2 B.Kamys: 2016/17 162
Z denicji dystrybuanty wiadomo, »e:
dF (x) = f(x)dx,
a wiec
g(F (x)) = 1,
czyli dystrybuanta ma rozkªad równomierny w przedziale [0,1].Stad generujac warto±¢ liczby losowej γ okre±lamy jednoznacznie warto±¢ dystrybuantyF(x) a co za tym idzie warto±¢ zmiennej x o funkcji gesto±ci prawdopodobie«stwa f(x):
x = F−1(γ),
gdzie F−1(x) oznacza funkcje odwrotna do dystrybuanty.♦
UWAGA 1: Je»eli funkcja gesto±ci prawdopodobie«stwa f(x) zeruje sie na pewnych od-cinkach warto±ci argumentu to dystrybuanta F(x) nie jest funkcja silnie rosnaca i wtedyrozwiazanie równania F (x) = γ nie jest jednoznaczne (F(x) nie ma funkcji odwrotnej).Mo»na temu jednak zapobiec zastepujac funkcje odwrotna do dystrybuanty F−1(x) przezfunkcje G(y) zdeniowana nastepujaco:
G(y) ≡ inf xx|y<F (x)
.
A wiec generujemy liczbe losowa o rozkªadzie gesto±ci prawdopodobie«stwa f(x) przypomocy równo±ci:
x = G(γ).
♦
UWAGA 2: Przedstawiona powy»ej metode generacji liczb pseudolosowych nazywa sienajcze±ciej metoda funkcji odwrotnych ( inverse functions method). Nale»y podkre±li¢,»e zamiast wzorów x = F−1(γ) lub x = G(γ) ze specjalnym wyborem funkcji G po-danym powy»ej mo»na stosowa¢ wzór x = g(γ) , gdzie g nie jest monotoniczna, bylebytylko speªniaªa relacje P (g(γ) < x) = F (x).♦
SMOP-2 B.Kamys: 2016/17 163
PRZYKAD: Generacja zmiennej losowej x o rozkªadzie wykªadniczym dla x ≥ x0.
f(x) =
C · exp[−C(x− x0)] dla x ≥ x0
0 dla x < 0
Dystrybuanta:
F (x) =
x∫x0
C · exp[−C(t− x0)] · dt = 1− exp[−C(x− x0)].
Rozwiazujemy ze wzgledu na x równanie F (x) = γ, gdzie γ jest pseudolosowa liczbao rozkªadzie równomiernym w [0,1]. Wstawiajac jawna posta¢ dystrybuanty dostajemy:1− exp[−C(x− x0)] = γ. Rozwiazanie równania to:
x = x0 −1
C· ln(1− γ).
♦
Szukanie funkcji odwrotnej do dystrybuanty mo»e by¢ trudne ze wzgledów numerycznych.Wtedy czesto daje sie upro±ci¢ generacje stosujac tzw. metode superpozycji. U»ywasie jej wtedy gdy dystrybuante zmiennej, która chcemy generowa¢ udaje sie przedstawi¢w postaci kombinacji liniowej dystrybuant o prostszej postaci, takich dla których ªatwoznale¹¢ funkcje odwrotne. Istotne jest, »e wspóªczynniki kombinacji liniowej (o sko«czonejlub niesko«czonej liczbie wyrazów) powinny mie¢ warto±ci nale»ace do przedziaªu (0,1)a ich suma ma by¢ równa jedno±ci, tak aby mo»na je byªo interpretowa¢ jako prawdo-podobie«stwa. Wtedy kombinacje liniowa mo»na interpretowa¢ jako formuªe peªnegoprawdopodobie«stwa:
F (x) =N∑k=1
ck · Fk(x)
N∑k=1
ck = 1, 0 < ck < 1
Wmetodzie superpozycji generujemy dwie niezale»ne liczby losowe o rozkªadzie jednorod-nym w [0,1]: γ1 i γ2. Pierwsza z nich stosujemy do losowego wyboru warto±ci wska¹nika k(zgodnie z przepisem podanym wy»ej dla generacji warto±ci dyskretnej zmiennej) a drugado generacji warto±ci zmiennej x posiadajacej dystrybuante Fk(x).
PRZYKAD:Chcemy generowa¢ warto±ci zmiennej x o funkcji gesto±ci prawdopodobie«stwa:
f(x) =5
12· [1 + (x− 1)4] dla x ∈ (0, 2).
SMOP-2 B.Kamys: 2016/17 164
Dystrybuanta zmiennej x ma posta¢:
F (x) =5x
12+
1
12· [(x− 1)5 + 1] dla x ∈ (0, 2)
co powoduje, »e dla generacji metoda funkcji odwrotnych musieliby±my rozwiaza¢ równa-nie piatego stopnia:
1
12
((x− 1)5 + 5x+ 1
)= γ.
Gdy przedstawimy funkcje gesto±ci prawdopodobie«stwa jako kombinacje liniowa owspóªczynnikach c1 = (5/6) i c2 = (1/6) dwu funkcji gesto±ci prawdopodobie«stwa:
f(x) =
(5
6
)·
1
2+
(1
6
)·
5
2(x− 1)4
to dystrybuanta te» bedzie kombinacja liniowa postaci:
F (x) =
(5
6
)·x
2+
(1
6
)·
1
2[(x− 1)5 + 1].
Wtedy generacja metoda funkcji odwrotnej dla obu prostszych dystrybuant daje jawnewzory na funkcje odwrotne i dostajemy nastepujacy przepis na wyliczenie x:
x = 2γ2 gdy γ1 < 5/6
= 1 + 5√
2γ2 − 1 gdy γ1 ≥ 5/6.
♦
Obok metody funkcji odwrotnych u»ywa sie dla generacji liczb losowych równie» innemetody, spo±ród których najbardziej popularna jest metoda eliminacji zaproponowanaprzez J. von Neumanna lub metody wykorzystujace wzory typu: x = g(γ1, γ2, ..., γn).Omówimy je poni»ej.
Metode eliminacji stosuje sie gdy zmienna x ma rozkªad o gesto±ci prawdopodobie«-stwa opisany funkcja f(x) w przedziale [a,b] i równy zero poza przedziaªem, oraz f(x) jestograniczona od góry: f(x) ≤ c. Postepuje sie wtedy wg nastepujacej procedury:
1. Generujemy warto±¢ zmiennej x wg wzoru: x = (b − a)γ1 + a z rozkªademjednorodnym w przedziale [a,b].
2. Generujemy warto±¢ zmiennej y wg wzoru: y = cγ2 z rozkªadem jednorodnym wprzedziale [0,c].
SMOP-2 B.Kamys: 2016/17 165
3. Sprawdzamy, czy y ≤ f(x). Je»eli tak, to akceptujemy warto±¢ x, w przeciwnymprzypadku para (x,y) jest eliminowana i generacje powtarza sie od nowa.
Metody wykorzystujace przeksztaªcenie x = g(γ1, γ2, ..., γn)Sa to metody, wykorzystujace ró»norodne wªasno±ci statystyczne funkcji wielu nieza-
le»nych zmiennych losowych o rozkªadzie jednorodnym. Nie ma wiec ogólnego przepisuna szukanie funkcji g. Poni»ej zostana podane wybrane przykªady zastosowania takiegoprzeksztaªcenia.
PRZYKAD 1 (jednowymiarowy rozkªad normalny).Centralne twierdzenie graniczne gªosi, »e suma niezale»nych zmiennych losowych da»ydo rozkªadu normalnego, gdy liczba skªadników w sumie da»y do niesko«czono±ci. Roz-kªady skªadników sumy powinny przy tym speªnia¢ bardzo ogólne warunki, które sa dobrzespeªnione przez rozkªad jednorodny na odcinku [0,1] jaki maja generowane liczby pseudo-losowe.
We¹my wiec
g(γ1, . . . , γn) ≡n∑i=1
γi
Wiadomo, »e
E γi = 12
σ2 γi = 112
skad wynika, »e
E g(γ1, . . . , γn) = E
n∑i=1
γi
=
n∑i=1
E γi = n2
σ2 g(γ1, . . . , γn) = σ2
n∑i=1
γi
=
n∑i=1
σ2 γi = n12.
Wykorzystali±my fakt, »e warto±¢ oczekiwana sumy jest (zawsze) równa sumie warto-±ci oczekiwanych skªadników oraz to »e wariancja sumy niezale»nych zmiennych losowychjest suma wariancji skªadników.
Dla du»ych n powy»sza suma bedzie (bardzo szybko) zbli»a¢ sie do zmiennej losowej orozkªadzie normalnym a po standaryzacji (tj. odjeciu jej warto±ci oczekiwanej i podziele-niu przez odchylenie standardowe) bedzie miaªa rozkªad standardowy normalny N(0,1).
Ostatecznie stosujemy nastepujacy przepis na generacje zmiennej o rozkªadzie N(0,1):
g(γ1, . . . , γn) =
√12
n
n∑i=1
(γi −
1
2
)
SMOP-2 B.Kamys: 2016/17 166
UWAGA: Najcze±ciej stosuje sie powy»szy wzór biorac n = 12, gdy» wtedy wzór przyj-muje najprostsza posta¢.
UWAGA: W przypadku gdy potrzebne sa warto±ci standaryzowanej zmiennej losowejwieksze od 6 lub mniejsze od -6 to musimy zwiekszy¢ liczbe skªadników w sumie booczywi±cie suma dwunastu powy»szych skªadników nigdy nie osiagnie takich warto±ci.
PRZYKAD 2 (jednowymiarowy rozkªad normalny).Rozkªad wspólny dwu niezale»nych zmiennych losowych x, y o rozkªadach N(0,1) jest ichiloczynem i mo»e by¢ zapisany nastepujaco:
f(x, y) =1
2πexp
[−x2 + y2
2
]Przechodzac do wspóªrzednych biegunowych (r, ϕ) dostajemy:
x = r cosϕ
y = r sinϕ
gdzie rozkªad h zmiennych (r, ϕ) wyra»a sie poni»szym wzorem:
h(r, ϕ) = f(r cosϕ, r sinϕ) |r| ,
w którym |r| jest moduªem jakobianu transformacji. Wida¢, »e rozkªad zmiennych (r, ϕ)jest tak»e iloczynem dwu rozkªadów:
h(r, ϕ) =
(1
2π
)·(r exp
[−r2
2
]).
Sa to; jednorodny rozkªad dla zmiennej ϕ w przedziale [0, 2π] oraz rozkªad o gesto±cire−r
2/2 dla nieujemnych r (stad mo»na opu±ci¢ moduª przy r). Oczywi±cie faktoryzacjarozkªadu h(r, ϕ) oznacza, »e zmienne r i ϕ sa niezale»ne.
Poniewa» zmienna ϕma rozkªad równomierny wiec mo»na ja ªatwo generowa¢ stosujacwzór:
ϕ = 2πγ1
a zmienna r tak»e generuje sie prosto przez odwracanie dystrybuanty co daje:
r =√−2 ln γ2.
Po takiej generacji mo»na powróci¢ do startowych zmiennych x, y i otrzyma¢ pare zmien-nych niezale»nych o rozkªadzie N(0,1) wg wzorów (x = g1(γ1, γ2) i y = g2(γ1, γ2)):
x =√−2 ln γ2 cos 2πγ1
y =√−2 ln γ2 sin 2πγ1
SMOP-2 B.Kamys: 2016/17 167
PRZYKAD 3 (rozkªad chi-kwadrat o n stopniach swobody)Jak wiadomo suma kwadratów n niezale»nych zmiennych losowych o rozkªadzie standar-dowym normalnym ma rozkªad chi-kwadrat o n stopniach swobody:
χ2n ≡
n∑i=1
X2i .
Generujac n niezale»nych zmiennych losowych o rozkªadzie N(0,1) jednym z powy»ejomówionych sposobów mo»emy wstawi¢ je do sumy kwadratów i otrzymamy zmiennao rozkªadzie chi-kwadrat. Warto rozwa»y¢ dokªadniej przypadek, gdy do generacji zmien-nych N(0,1) zastosuje sie ostatnia z podanych metod. Wtedy dla przypadku, gdy njest parzyste wystarczy doda¢ n/2 par kwadratów zmiennych N(0,1) i dostaniemy zde-cydowane uproszczenie wzoru gdy» suma kwadratów sinusa i cosinusa tego samego katajest równa jedno±ci a suma kwadratów pierwiastków bedzie równa sumie logarytmów(ze znakiem minus) stanowiacych wyra»enia podpierwiastkowe a wiec bedzie logarytmemiloczynu. Gdy n jest nieparzyste mamy n/2 − 1 par zachowujacych sie tak jak dlan parzystego a dodatkowo musimy doda¢ jedna warto±¢ zmiennej o rozkªadzie N(0,1).Ostatecznie dostaniemy:
χ2n =
−2 ln
(γ1 . . . γn/2
)n parzyste
−2 ln(γ1 . . . γ(n−1)/2
)− 2 ln(γ(n+1)/2) cos2 2πγ(n+3)/2 n nieparzyste
PRZYKAD 4Poka»emy, »e zmienna o rozkªadzie gesto±ci prawdopodobie«stwa:
f(x) = n · xn−1 dla x ∈ [0, 1]
czyli o dystrybuancie
F (x) = xn dla x ∈ [0, 1]
mo»na generowa¢ stosujac wzór: x = max(γ1, ..., γn).
Dowód:Wprowad¹my funkcje schodkowa zdeniowana nastepujaco:
θ(z) =
0 dla z ≤ 0
1 dla z > 0.
SMOP-2 B.Kamys: 2016/17 168
Zmienna losowa g(γ1, ..., γn) bedzie miaªa dystrybuante F (x) wtedy i tylko wtedy gdy
1∫0
. . .
1∫0
dy1 . . . dyn θ(x− g(γ1, ..., γn)) = F (x).
Jest oczywiste, »e θ(x − max1≤i≤n
yi) nie równa jest zero wtedy i tylko wtedy gdy równo-
cze±nie y1 < x, y2 < x , ..., yn < x. A wiec caªka
1∫0
. . .
1∫0
dy1 . . . dyn θ(x− max1≤i≤n
yi)
mo»e by¢ zapisana jako:
x∫0
. . .
x∫0
dy1 . . . dyn = xn
a to jest wªa±nie taka dystrybuanta zmiennej x jaka chcieliby±my uzyska¢.♦
UWAGAZmienna losowa o dystrybuancie F (x) = xn dla x ∈ [0, 1] mo»na generowa¢ metodafunkcji odwrotnych, z której dostajemy:
x = n√γ.
Porównujac ten wynik z poprzednim dostajemy zaskakujacy wniosek, »e mo»nazastapi¢ obliczanie pierwiastka n-tego stopnia z liczby losowej o rozkªadzierównomiernym w [0,1] przez obliczanie maksimum n liczb losowych o takimrozkªadzie .
10.3.3 Generacja wielowymiarowych zmiennych losowych
Metoda eliminacji mo»e by¢ ªatwo uogólniona na przypadek zmiennych wielowymia-rowych. Je»eli f(x1, x2, ..., xn) jest gesto±cia prawdopodobie«stwa dla n-wymiarowejzmiennej losowej (x1, x2, ...xn), która znika poza kostka n-wymiarowa: ai ≤ bi, i =1, 2, .., n i ograniczona przez liczbe c to przeprowadzamy generacje w nastepujacy sposób:
SMOP-2 B.Kamys: 2016/17 169
1. Generujemy warto±¢ zmiennej x1, x2, ...xn+1 wg wzoru:
xi = (bi − ai)γi + ai, i = 1, 2, ..., n oraz xn+1 = cγn+1
z rozkªadem równomiernym w przedziale (a1 ≤ x1 ≤ b1, ..., an ≤ xn ≤ bn) iograniczona przez liczbe c: (0 ≤ xn+1 ≤ c)
2. Sprawdzamy, czy xn+1 ≤ f(x1, x2, ..., xn). Je»eli tak, to akceptujemy punktx1, x2, ..., xn, w przeciwnym przypadku punkt ten jest eliminowany i generacjepowtarza sie od nowa.
Wielowymiarowe zmienne losowe mo»emy równie» generowa¢ metoda funkcji odwrot-nych. Nale»y rozwa»y¢ oddzielnie dwa przypadki:
1. Gdy poszczególne skªadowe wielowymiarowej zmiennej sa niezale»ne to ka»da z nichgeneruje sie niezale»nie jedna z metod omawianych dla jednowymiarowych zmien-nych losowych.
2. Gdy skªadowe sa zale»ne to korzystamy z poni»szego twierdzenia:
TWIERDZENIEGdy γ1, γ2, ..., γn sa niezale»nymi liczbami losowymi o rozkªadzie równomiernym w prze-dziale [0,1) to zbiór liczb x1, x2, ..., xn otrzymanych jako rozwiazania nastepujacegoukªadu równa«:
F1(x1) = γ1
F2(x2|x1) = γ2
· · ·Fn(xn|x1, ..., xn−1) = γn
ma po»adana gesto±¢ prawdopodobie«stwa f(x1, x2, ..., xn).♦
SMOP-2 B.Kamys: 2016/17 170
10.4 MODELOWANIE KOMPUTEROWE
Zjawiska przyrodnicze, zadania techniczne czy ekonomiczne maja czesto charakter pro-babilistyczny . Jest to spowodowane faktem, »e same prawa przyrody maja takicharakter (mechanika kwantowa) a tak»e tym, »e w danym zagadnieniu uczestniczytak wielka liczba obiektów (np. atomów), i» ±cisªy opis nawet w ramach klasycznej(niekwantowej) teorii jest niemo»liwy. Wtedy logicznym staje sie wprowadzenie pojecialosowych funkcji czyli takich funkcji rzeczywistego argumentu, »e dla ustalonej warto±ciargumentu warto±¢ funkcji jest zmienna losowa.
Modelowanie komputerowe polega na szacowaniu przy zastosowaniu komputerów±rednich charakterystyk funkcji losowych pojawiajacych sie w badanym problemie. Sato zwykle warto±ci oczekiwane wielko±ci charakteryzujacych problem, ich wariancje ikowariancje lub te» rozkªady prawdopodobie«stwa tych wielko±ci.
Czesto zjawiska przyrodnicze, zadania techniczne czy matematyczne opisywane funk-cjami losowymi sa tak skomplikowane, »e modelowanie musi rozpocza¢ sie od stworzeniauproszczonego modelu badanego zagadnienia a dopiero potem rozwiazuje sie go meto-dami probabilistycznymi przy wykorzystaniu komputera. Naturalna metoda, która sªu»ydo tego celu jest metoda Monte Carlo.
Charakterystyczna cecha tej metody jest to, »e czesto wygodniej jest stworzy¢ odpoczatku pewien schemat komputerowych losowa« odpowiadajacych badanym zjawiskomni» szuka¢ równa« nimi rzadzacych, a dopiero pó¹niej tworzy¢ uproszczony model proba-bilistyczny dla rozwiazania tych równa«. Dzieje sie tak, gdy» czesto potramy przewidzie¢mo»liwe zdarzenia zachodzace w realnym, badanym problemie oraz wiemy gdzie wystepujaczynniki losowe, których efekt mo»emy odtworzy¢ przeprowadzajac odpowiednie losowa-nia. Taki sposób postepowania, tzn. imitacja lub symulacja badanego problemu jestnajprostszym, narzucajacym sie sposobem rozwiazania i tak wªa±nie byªy formuªowanepierwsze zastosowania metody Monte Carlo.
10.4.1 MODELOWANIE PRZECHODZENIA NEUTRONÓWPRZEZ ORO-DEK SYMULACJA
Jest to jedno z pierwszych zastosowa« metody Monte Carlo do modelowania realnegoprocesu zycznego. Dla ustalenia uwagi rozwa»my przechodzenie neutronów przez osªonereaktora jadrowego. Osªone te traktujemy jako jednorodny o±rodek materialny otoczonypró»nia (obszarem pozbawionym obiektów z którymi neutrony mogªyby oddziaªywa¢).Chcemy bada¢ proces przechodzenia neutronów przez materiaª osªony aby zaprojektowa¢niezawodne i bezpieczne osªony.
Na poczatku nale»y zrobi¢ pewne zaªo»enia, które musza mie¢ uzasadnienie zyczneale przede wszystkim sªu»a do tego aby upro±ci¢ badane zagadnienie.
1. Liczba neutronów przechodzacych przez o±rodek jest na tyle niewielka, »e mo»nazaniedba¢ ich wzajemne oddziaªywanie.
2. Gesto±¢ o±rodka i jego skªad nie zmienia sie w czasie.
SMOP-2 B.Kamys: 2016/17 171
3. Prawdopodobie«stwo ró»nych sposobów oddziaªywania neutronu z o±rodkiem niezale»y od tego jaka jest historia ruchu neutronu przez o±rodek.
Te zaªo»enia powoduja, »e badane zjawisko mo»e by¢ traktowane jako zbiórniezale»nych historii ruchu poszczególnych neutronów .
Neutron charakteryzowany jest wspóªrzedna przestrzenna ~r ≡ (x, y, z) i czasowa t, kie-runkiem ruchu okre±lonym przez jednostkowy wektor ~ω ≡ (ωx, ωy, ωz) oraz energia E.
Modelujemy historie neutronu w nastepujacy sposób:
a) Historia neutronu rozpoczyna sie od jego pojawienia w ¹ródle neutronów (reakto-rze). Zakªadajac pewien rozkªad gesto±ci prawdopodobie«stwa f(~r, t, ~ω, E) generujemypoczatkowe warto±ci wspóªrzednych neutronu: (~r0, t0, ~ω0, E0).
b) Neutron wylatuje ze ¹ródªa i porusza sie ruchem jednostajnym po prostej do chwili zde-rzenia z jadrem atomu o±rodka. Generujemy dªugo±¢ drogi swobodnego ruchu.
c) Neutron mo»e oddziaªywa¢ na kilka sposobów z jadrem atomu o±rodka (mo»e ulec roz-proszeniu , pochªonieciu np. wychwyt radiacyjny lub rozmno»eniu jak w przypadkurozszczepienia jadra). Generujemy rodzaj oddziaªywania oraz ewentualnie kierunek(kierunki) dalszego ruchu i energie neutronu (neutronów).
d) Powracamy do punktu b) lub ko«czymy symulacje gdy neutron zostaª pochªoniety alboopu±ciª badany o±rodek.
ad a) W chwili t0 rozkªad poªo»e« i energii neutronów zale»y od konkretnego problemu- ksztaªtu reaktora i reakcji w nim zachodzacych. Natomiast generacja kierunkówlotu przeprowadzana jest zwykle izotropowo a wiec omówimy tu sposób genera-cji izotropowego wektora w przestrzeni trójwymiarowej: Idea algorytmu polega nawylosowaniu punktów jednorodnie rozmieszczonych w kuli o jednostkowym promie-niu a wektor o izotropowym rozkªadzie kierunków to wektor poprowadzony ze±rodka kuli do wylosowanych jednorodnie punktów.
1. Losujemy trzy niezale»ne liczby losowe o rozkªadzie jednorodnym na odcinku[0,1]: γ1, γ2 i γ3. Przeksztaªcamy je tak aby odpowiadaªy wspólrzednymkartezja«skim jednorodnie rozªo»onych punktów w sze±cianie o ±rodku w po-czatku ukªadu i boku równym dwu jednostkom: α1 = 1 − 2 · γ1, α2 =1− 2 · γ2, α3 = 1− 2 · γ3 .
2. Obliczamy
d2 =3∑i=1
α2i
SMOP-2 B.Kamys: 2016/17 172
i sprawdzamy warunekd2 ≤ 1.
Je»eli warunek jest speªniony to wyliczamy skªadowe wersora kierunku lotu:
ωx = α1/d,
ωy = α2/d,
ωz = α3/d.
w przeciwnym wypadku powtarzamy caªa procedure od generacji γ1, γ2 i γ3.
Inny, najcze±ciej stosowany sposób losowania izotropowych kierunków to wy-korzystanie wspólrzednych sferycznych. Wiadomo, »e kierunek w przestrzeni bedziemiaª izotropowy rozkªad, gdy rozkªad elementu kata bryªowego dΩ bedzie rozkªa-dem równomiernym:
f(dΩ) = 1/4π dla dΩ ∈ [0, 4π]
czyli wszystkie kierunki ~ω beda równie prawdopodobne.
Element kata bryªowego we wspóªrzednych sferycznych wyra»a sie nastepujacymwzorem:
dΩ = sin θdθ · dϕ
co oznacza, »e niezale»ne zmienne dϕ i dcosθ te» maja rozkªady równomierne:
f(d cos θ) ≡ f(sin θdθ) = 1/2 dla d cos θ ∈ [−1, 1]
g(dϕ) = 1/2π dla dϕ ∈ [0, 2π].
Stad otrzymujemy nastepujacy schemat losowania kierunku izotropowego:
cos θ = 2γ1 − 1
ϕ = 2πγ2.
Wtedy wspóªrzedne kartezja«skie jednostkowego wektora okre±lajacego kierunekmoga by¢ wyra»one przez wspóªrzedne sferyczne:
SMOP-2 B.Kamys: 2016/17 173
ωx = cosϕ ·√
1− cos2θ
ωy = sinϕ ·√
1− cos2θ
ωz = cosθ
ad b) Generacja drogi swobodnej: Zakªadamy, »e prawdopodobie«stwo warunkowe(pod warunkiem, »e neutron przebyª droge l) i» na drodze od l do l + dl nastapizderzenie jest proporcjonalne do drogi dl a wspóªczynnikiem proporcjonalno±ci jesttzw. makroskopowy przekrój czynny deniowany nastepujaco:
Σ(~r, E) ≡m∑i=1
%i(~r)σi(E)
gdzie %i(~r) jest liczba jader typu i w 1 cm3, σi(E) jest przekrojem czynnym naoddziaªywanie neutronu o energii E z jadrem atomowym typu i a m jest liczbarodzajów jader atomowych w materiale osªony. Mo»emy wiec prawdopodobie«stwoiloczynu zdarze« polegajacych na tym, »e
• A ≡ neutron nie oddziaªuje na odcinku od zera do l,
• B ≡ neutron oddziaªuje na odcinku od l do l + dl
zapisa¢ nastepujaco:
P (A ·B) = P (A) · P (B|A) =
= [1− F (l)] · [Σ(l) dl]
gdzie F (l) jest dystrybuanta dªugo±ci swobodnego lotu neutronu, tj.
F (l) = P (droga < l)
a1− F (l) = P (droga ≥ l).
Z drugiej strony to samo prawdopodobie«stwo, »e oddziaªywanie nastapi na odcinkuod l do l + dl mo»na wyrazi¢ przez dystrybuante F (l) jako:
F (l + dl)− F (l) ≡ dF.
SMOP-2 B.Kamys: 2016/17 174
Porównujac te dwa wzory dostaniemy:
dF
1− F (l)= Σ(l) · dl.
Caªkujac obie strony otrzymujemy:
− ln(1− F (l)) =l∫
0
Σ(x) · dx
1− F (l) = exp
[−
l∫0
Σ(x) · dx].
Ostatecznie dystrybuanta drogi swobodnego ruchu wynosi:
F (l) = 1− exp
− l∫0
Σ(x) · dx
Poniewa» energia neutronu nie zmienia sie w czasie lotu pomiedzy zderzeniami wiecmakroskopowy przekrój czynny Σ(~r, E) = Σ(~r) mo»e zmienia¢ sie tylko jakojawna funkcja poªo»enia. Jest to istotne wtedy gdy zmienia sie skªad materiaªu przezktóry przechodzi neutron. Przy jednorodnym skªadzie materiaªu znika caªkowiciezale»no±¢ od ~r czyli w powy»szym wzorze na dystrybuante makroskopowy przekrójczynny jest staªa wielko±cia: Σ(~r, E) = Σ. Wtedy mo»na ªatwo losowa¢ drogeswobodnego ruchu metoda funkcji odwrotnej do dystrybuanty:
l = −(1/Σ) lnγ
gdzie γ jest liczba pseudolosowa z przedziaªu [0,1].
Co zrobi¢, gdy materiaª nie jest jednorodny? Wydawaªoby sie, »e wtedy koniecznebedzie znaczne skomplikowanie procesu losowania drogi swobodnej. Znaleziono jed-nak»e bardzo zreczny sposób obej±cia trudno±ci. Sposób ten omówimy poni»ej pod-czas dyskusji nastepnego problemu tzn. losowania rodzaju zderzenia.
SMOP-2 B.Kamys: 2016/17 175
ad c) Losowanie rodzaju oddziaªywania wymaga okre±lenia makroskopowych przekro-jów czynnych na trzy gªówne procesy:
• Rozpraszanie (scattering) Σs(~r, E),
• Absorpcje czyli wychwyt (absorption, capture) Σa(~r, E) i
• Rozmno»enie dzieki reakcji rozszczepienia (ssion) Σf(~r, E).
Je»eli wiemy, »e w danej chwili musi zaj±¢ jeden z tych trzech procesów, to prawdo-podobie«stwo ka»dego z nich mo»na zapisa¢ nastepujaco:
Pi =Σi
3∑j=1
Σj
a losowanie mo»e polega¢ na tym, »e po wygenerowaniu liczby pseudolosowej γ zprzedziaªu [0,1] sprawdzamy czy:
• γ < P1, (je»eli tak, to zachodzi proces nr 1),
• P1 ≤ γ ≤ P2, (je»eli tak, to zachodzi proces nr 2), oraz
• γ > P2, (je»eli tak, to zachodzi proces nr 3).
Omówimy teraz wspomniany powy»ej efektywny sposób losowania drogi swo-bodnego lotu neutronu w niejednorodnym materiale. Dla tego celu zaªó»my,»e oprócz tych trzech procesów mo»e zaj±¢ jeszcze kcyjne rozproszenie, które niezmienia ani energii ani kierunku lotu neutronu a tak»e nie powoduje znikania neu-tronu czy te» jego rozmno»enia". Wprowad¹my staªy (niezale»ny od ~r i od energii)przekrój czynny α, który speªnia warunek:
α ≥ sup(Σs + Σa + Σf) .
Wtedy deniujemy makroskopowy przekrój na kcyjne rozproszenie ΣF jako:
ΣF ≡ α− Σs − Σa − Σf
a prawdopodobie«stwo kcyjnego rozproszenia równe jest:
P (F ) = ΣF/α ,
podobnie jak prawdopodobie«stwa pozostaªych procesów:
P (s) = Σs/α
P (a) = Σa/α i
P (f) = Σf/α.
SMOP-2 B.Kamys: 2016/17 176
Nale»y podkre±li¢, »e ka»dy z przekrojów ΣF ,Σs,Σa, i Σf mo»e sie zmienia¢ wrazz ~r oraz z energia ale ich suma α jest staªa. Mo»na wiec do losowania drogi swo-bodnego lotu neutronu w niejednorodnym materiale zastosowa¢ prosty wzór po-dany powy»ej dla jednorodnego materiaªu zastepujac przekrój Σ przekrojem α iuwzgledniajac kcyjne rozpraszania w losowaniu rodzaju procesu:
l = −(1/α) lnγ .
W ten sposób losowanie kolejnych odcinków drogi odbywa sie bardzo ªatwo aleoczywi±cie trzeba za to zapªaci¢ zwiekszona liczba losowa«, które beda sie ko«czy¢kcyjnym rozpraszaniem. Inaczej mówiac zamiast losowa¢ w skomplikowany sposóbw jednym kroku dªugo±¢ swobodnego przebiegu neutronu robimy to w ªatwy spo-sób w kilku kolejnych krokach, w których neutron porusza sie bez zderze« ruchemjednostajnym po tej samej prostej.
Poprawno±¢ powy»szej intuicyjnej metody postepowania zostaªa ±ci±le udowodniona(W.A. Coleman, Nucl. Sci. Engng. 32 (1968) 76).
Dla oszacowania prawdopodobie«stwa konkretnego losu neutronu, tzn. prawdopodo-bie«stwa absorpcji w o±rodku, prawdopodobie«stwa zaj±cia rozszczepienia lub te» prawdo-podobie«stwa opuszczenia o±rodka przez neutron tworzymy estymator prawdopodobie«-stwa danego zdarzenia A korzystajac z twierdzenia Bernoulliego (Cantellego):
TN(pA) =NA
N
gdzie NA to liczba tych historii neutronu, w których zaszªo zdarzenie A a N to liczbawszystkich neutronów rozwa»anych w symulacji.
UWAGA:Mo»na uwa»a¢, »e ka»dej historii losowanego neutronu przypisujemy zmienna XA przyj-mujaca warto±¢ 1 gdy zdarzenie A zachodzi i warto±¢ 0 gdy to zdarzenie nie zachodzi.Wtedy prawdopodobie«stwo zaj±cia zdarzenia A jest oczywi±cie równe prawdopodobie«-stwu tego, »e zmienna XA przyjmie warto±¢ 1:
P (XA = 1) = pA
P (XA = 0) = 1− pA
Postepujemy tak miedzy innymi wtedy, gdy rejestrujemy zdarzenia i tworzymy histogramwarto±ci obserwowanej zmiennej dodajac do histogramu jedynke dla wyró»nionego prze-dziaªu warto±ci mierzonej zmiennej lub nie dodajac jedynki (tzn. dodajac zero) do tego
SMOP-2 B.Kamys: 2016/17 177
przedziaªu.
Prawdopodobie«stwo traenia warto±ci mierzonej zmiennej do wybranego przedziaªuwynosi pA i jest równe warto±ci oczekiwanej zmiennej losowej XA:
E(XA) = 1 · pA + 0 · (1− pA) = pA
a wiec jako estymator prawdopodobie«stwa, »e zaszªo zdarzenie A bierzemy
TN(pA) =1
N
N∑i=1
(XA)i
Wariancja zmiennej XA tak»e jest ªatwa do policzenia:
var(XA) ≡ E(X2A)− E2(XA) = [12 · pA + 02 · (1− pA)]− p2
A = pA − p2A.
10.4.2 MODELOWANIE PRZEZ ZASTOSOWANIE WAG STATYSTYCZ-NYCH
Modelowanie przez zastosowanie symulacji jest najbardziej intuicyjna i naturalna metodaale nie jest najbardziej efektywne. Okazuje sie, »e mo»na przy tym samym wysiªku obli-czeniowym uzyska¢ znacznie mniejsza wariancje wyników (czyli znacznie mniejszy bªad)gdy zastosuje sie modelowanie z u»yciem wag statystycznych rozwa»anych zdarze«.Metoda ta opiera sie na twierdzeniu omówionym poni»ej:
TWIERDZENIE:Je»eli zmienna losowa X ma warto±¢ oczekiwana równa E(X) = pA oraz speªnia nie-równo±¢ 0 ≤ X ≤ 1, to wariancja X jest mniejsza lub równa wariancji zmiennej zero-jedynkowej XA.
DOWÓD:Poniewa» 0 ≤ X ≤ 1 to zawsze X2 ≤ X, a wiec
E(X2) ≤ E(X) ≡ pAstad wariancja X
var(X) ≡ E(X2)− E2(X) ≤ pA − E2(X) = pA − p2A ≡ var(XA). c.b.d.o.
SMOP-2 B.Kamys: 2016/17 178
WNIOSEK: zamiast przyporzadkowywa¢ zdarzeniom zmienna zero-jedynkowa XA jestbardziej efektywne przyporzadkowa¢ wage o wªasno±ciach zmiennej X z omawianegotwierdzenia.
PRZYKAD:
Badamy ±redni czas »ycia τ promieniotwórczej substancji rejestrujac liczbe rozpadówna jednostke czasu, np. na minue, przez godzine od chwili wytworzenia tej substancji.Chcemy znale¹¢ ±redni czas »ycia rozpadajacych sie jader metoda najwiekszej wiarygod-no±ci lub najmniejszych kwadratów. W tym celu generujemy histogramy liczby rejestro-wanych zdarze« przy ró»nych zaªo»onych warto±ciach czasu »ycia. Okazuje sie, »e czas»ycia jest tak krótki, »e w ciagu godziny liczba rejestrowanych zdarze« maleje 106 razy.Rozpatrzmy jak beda sie ró»ni¢ dwie metody modelowania: 1) symulacja ka»dego zda-rzenia i 2) losowanie zdarze« i przypisywanie im wag:
ad 1.W takiej sytuacji modelowanie rozkªadu przez symulacje, tzn. losowanie czasu zgodnie zrozkªadem wykªadniczym i dodawanie jedno±ci do odpowiedniego przedziaªu histogramudawaªoby bardzo ró»na statystyke rejestrowanych zdarze« dla krótkich i dªugich czasów»ycia. Na przykªad, gdy dla pierwszej minuty wylosowano by 106 zdarze« to dla ostatniejtylko jedno zdarzenie. A wiec bªad wzgledny liczby rozpadów po krótkim czasie byªbyrzedu 0.001 podczas gdy dla ostatniej minuty bªad wgledny byªby rzedu jedno±ci. Abywiec dosta¢ bªad wzgledny ∼ 0.1 dla dªugich czasów nale»aªoby losowa¢ 100 razy wiecejzdarze« dla caªego histogramu. Byªoby to ªacznie ponad 108 losowa«.
ad 2.Wylosujemy liczby z rozkªadu równomiernego tak aby na ka»da minute wypadaªo 100 zda-rze«, czyli na caªy histogram 60 · 100 = 6000 zdarze«. Ka»demu zdarzeniu przypiszemywage ∼ exp(− t
τ). Histogram tworzymy dodajac wagi zdarze« odpowiadajacych odpo-
wiednim przedziaªom (minutom) czasu obserwacji. Wtedy dostaniemy histogram, którybedzie miaª dla ka»dego przedziaªu taka sama warto±¢ oczekiwana wysoko±ci sªupka jakprzy losowaniu wg pierwszej metody ale wzgledny bªad wysoko±ci wszystkich sªupkówbedzie taki sam równy 0.1.
Wida¢, »e zastosowanie wag ma nastepujace zalety:
• Pozwala na otrzymanie takich samych warto±ci wzglednych bªedów dla ka»dego prze-dziaªu histogramu co jest wa»ne gdy chcemy odtworzy¢ ksztaªt rozkªadu.
• Pozwala poprawi¢ statystyke rzadkich zdarze«.
• Mo»e znacznie skróci¢ rachunki, co czesto jest bardzo wa»ne szczególnie gdy ra-chunki musza by¢ wykonywane wielokrotnie.
SMOP-2 B.Kamys: 2016/17 179
10.4.3 MODELOWANIE PRZECHODZENIA NEUTRONÓWPRZEZ ORO-DEK WAGI STATYSTYCZNE
Przy zastosowaniu wag statystycznych rezygnujemy z imitacji jeden do jeden realnegoprocesu. Wybieramy wagi statystyczne, tak aby otrzyma¢ informacje o tych aspektachprocesu, które nas interesuja. Stad wybór wag zale»y od celu jaki chcemy osiagna¢. Naprzykªadzie badania prawdopodobie«stwa absorpcji neutronów w danym o±rodku poka-»emy ró»ne sposoby wyboru wag:
1. Wagi zastepujace losowanie absorpcja inny rodzaj oddziaªywania.
2. Wagi uwzgledniajace wylot neutronu z o±rodka
3. Wagi uwzgledniajace oba efekty
ad 1.) Wagi zastepujace losowanie absorpcja inny rodzaj oddziaªywania Przypu±¢-my, »e ze ¹ródªa emitujacego neutrony wylatuje nie jeden neutron lecz du»a grupan0 neutronów o tych samych charakterystykach (energia, kierunek lotu). Po wylo-sowaniu dªugo±ci drogi swobodnego lotu (do pierwszego zderzenia) rozpatrujemy codzieje sie w chwili zderzenia neutronu z jadrem atomowym. Zakªadajac, »e wynikiemzderzenia jest rozproszenie neutronu lub jego absorpcja oraz znajac makroskopoweprzekroje czynne Σs i Σa, odpowiednio na rozproszenie (scattering), i absorpcje(absorption) mo»emy stwierdzi¢, »e prawdopodobie«stwo rozproszenia (si) i praw-dopodobie«stwo absorpcji (ai) w punkcie ~ri wyra»aja sie wzorami:
si ≡ Σs(~ri)/ [Σs(~ri) + Σa(~ri)]
ai ≡ Σa(~ri)/ [Σs(~ri) + Σa(~ri)]
czyli ±rednio (a1 ·n0) neutronów dozna absorpcji w punkcie r1 a (s1 ·n0) neutronówbedzie kontynuowaªo lot. Od tego momentu procedura losowania powtarza sie, tzn.losuje sie kierunek i dªugo±¢ drogi swobodnego lotu grupy rozproszonych neutronówa» do nastepnego zderzenia. A wiec przy drugim zderzeniu (s1 ·a2 ·n0) neutronówzostanie zaabsorbowane a (s1 · s2 ·n0) rozproszy sie. Rachunki te powtarza sie takdªugo a» neutrony opuszcza badany o±rodek. Ostatecznie liczba neutronów, którezostana zaabsorbowane podczas takiej serii zderze« mo»e by¢ zapisana nastepujaco:
n =
(j−1∑i=0
s1 · s2 . . . si · ai+1
)n0 =
(j−1∑i=0
s1 · s2 . . . si · (1− si+1)
)n0
Prosze zwróci¢ uwage, »e zamiast bra¢ du»a grupe neutronów mo»emy przyja¢n0 ≡ 1, ale musimy wtedy zmieni¢ interpretacje wielko±ci n w powy»szym wzorze.Otó» po przyjeciu n0 = 1 nale»y interpretowa¢ n jako prawdopodobie«stwo, »e po-jedynczy neutron wysªany ze ¹ródªa zostanie zaabsorbowany podczas przebywania
SMOP-2 B.Kamys: 2016/17 180
wylosowanej drogi w o±rodku. A wiec prawdopodobie«stwo absorpcji pa neu-tronu w o±rodku jest warto±cia oczekiwana z tego prawdopodobie«stwa dla ró»nychdróg neutronu przez o±rodek :
pa = E(n)
a estymatorem prawdopodobie«stwa absorpcji jest ±rednia arytmetyczna z prawdo-podobie«stw absorpcji neutronów poruszajacych sie po ró»nych drogach w o±rodku:
TN(pa) =1
N
N∑k=1
nk.
Poniewa» prawdopodobie«stwo n absorpcji neutronu na ró»nych drogach speªniawarunki twierdzenia omawianego poprzednio dla wag zdarze« ( E(n) = pa i0 ≤ n ≤ 1), wiec mo»emy uzna¢ je za wage neutronu i dostajemy, »e wariancjan jest mniejsza od wariancji zmiennej Xa przyjmujacej warto±¢ jeden (gdy nastapiabsorpcja) i zero (gdy absorpcji nie ma), która u»ywa sie w zwykªej symulacji.
Nale»y podkre±li¢, »e wysiªek rachunkowy przy losowaniu historii N neutronów jestpraktycznie taki sam, gdy do oszacowania pa bierzemy zmiennaXa i wage n mimo,»e w drugim wypadku otrzymujemy oszacowanie z mniejszym bªedem .
ad 2.) Wagi uwzgledniajace wylot neutronu z o±rodka Omówimy teraz jak przy po-mocy wag mo»na uwzgledni¢ fakt, »e cze±¢ neutronów wydostaje sie z o±rodka a wiecnie moga by¢ zaabsorbowane. Zacznijmy od analogicznego rozumowania jak powy-»ej: Grupa n0 neutronów wylatuje ze ¹ródªa poªo»onego w ~r0 w tym samym kie-runku ~ω0. Odlegªo±¢ od ¹ródªa do granicy o±rodka w tym kierunku wynosi l0. Je»elioznaczymy przez F0(l0) warto±¢ dystrybuanty dªugo±ci swobodnej drogi neutronuto prawdopodobie«stwo tego, »e nukleon bedzie na tej drodze zderzaª sie z jadramiatomowymi o±rodka wynosi P (l < l0) ≡ F0(l0). Poniewa» chcemy rozpatrywa¢tylko te neutrony, które nie opu±ciªy badanego o±rodka wiec:
1. Wiemy, »e ±rednio w punkcie ~r1 bedzie oddziaªywaªo n1 = n0 · F0(l0).
2. Poniewa» chcemy, aby dla tych neutronów oddziaªywanie nastapiªo z pewno±ciawiec odlegªo±¢ l′ od ~r0 do ~r1 losujemy z rozkªadu odlegªo±ci obcietego doodcinka 0 < l′ < l0, czyli:
F (l′) = F0(l′)/F0(l0).
Omówimy to bardziej szczegóªowo poni»ej.
3. Losujemy (ze znajomo±ci makroskopowych przekrojów Σs(~r1) na rozproszeniei Σa(~r1) na absorpcje) czy nastapi rozproszenie i wtedy grupa wylatujacychz punktu ~r1 neutronów bedzie zawieraªa n1 neutronów lub zostanie ona za-absorbowana w tym punkcie i wtedy przestajemy ±ledzi¢ los grupy neutronówwiedzac, »e n1 neutronów zostaªo zaabsorbowane.
SMOP-2 B.Kamys: 2016/17 181
Powtarzajac powy»sze kroki postepowania dostajemy, »e liczba neutronów zaabsor-bowanych po i zderzeniach wynosi:
n = F0(l0) · F1(l1) . . . Fi−1(li−1) · n0
a postepujac tak jak poprzednio, tzn. kªadac n0 = 1 dostajemy jako wage neu-tronu wyra»enie:
n = F0(l0) · F1(l1) . . . Fi−1(li−1)
a estymatorem prawdopodobie«stwa absorpcji bedzie ±rednia arytmetyczna z po-wy»szych wag otrzymanych dla ró»nych dróg neutronu w o±rodku:
TN(pa) =1
N
N∑k=1
nk
UWAGA:Powracajac do losowania odlegªo±ci pomiedzy zderzeniami, nale»y sobie u±wiadomi¢,»e w tej metodzie »adamy aby neutron zostaª pochªoniety czyli nie mo»e on opu±-
ci¢ o±rodka . adanie to prowadziªoby do niezycznych wyników ale kompensujemyto wªa±nie przez dobór wag i przez to, »e losowanie swobodnej drogi pomiedzyzderzeniami wykonywane jest przy wykorzystaniu obcietego rozkªadu dªugo±ci drogiswobodnej. Przez rozkªad uciety rozumiemy rozkªad ograniczony do sko«czonegoodcinka zmiennej losowej. Je»eli oryginalna funkcja gesto±ci prawdopodobie«stwadªugo±ci drogi swobodnej f(x) byªa wieksza od zera dla nieujemnych warto±ci drogi toobcieta funkcja gesto±ci g(x) jest wieksza od zera tylko dla argumentów z przedziaªu[0, l], gdzie l jest odlegªo±cia od danego punktu do brzegu o±rodka. Ucieta funkcjagesto±ci prawdopodobie«stwa jest równa zero poza tym odcinkiem a ma warto±ciproporcjonalne do f(x) na tym odcinku. Wspóªczynnikiem proporcjonalno±ci jest:
1
F (l)− F (0)
ale poniewa» droga musi by¢ nieujemna wiec F (0) = 0 i wspóªczynnikiem propor-cjonalno±ci jest
1
F (l)
jak to podali±my powy»ej.
SMOP-2 B.Kamys: 2016/17 182
ad 3.) Wagi uwzgledniajace oba efekty Przeprowadzajac analogiczne rozumowanie jakw dwu poprzednich punktach i uwzgledniajac w wagach zarówno mo»liwo±¢ absorp-cji jak i »adanie aby neutron nie opu±ciª o±rodka dostajemy, »e dla danej trajektoriineutronu po i zderzeniach prawdopodobie«stwo rozproszenia w punkcie ~ri+1 bedzierówne:
ni+1(s) = F0(l0)s1 · F1(l1)s2 . . . Fi−1(li−1)si · Fi(li)si+1
a prawdopodobie«stwo absorpcji:
ni+1(a) = F0(l0)s1 · F1(l1)s2 . . . Fi−1(li−1)si · Fi(li)ai+1
Jak wida¢ oba prawdopodobie«stwa sa niezerowe a wiec trajektorie zawieraªybyniesko«czenie wiele zderze«. W praktyce przerywamy losowanie gdy prawdopodo-bie«stwa powy»sze ró»nia sie zaniedbywalnie maªo od zera.
Caªkowite prawdopodobie«stwo pochªoniecia neutronu na danej trajektorii (czyliinaczej waga neutronu wynosi w tym przypadku:
n =∞∑i=0
ni+1(a)
a estymator prawdopodobie«stwa absorpcji:
TN(pa) =1
N
N∑k=1
nk
gdzie sumowanie odbywa sie po N trajektoriach (historiach) neutronu.
SMOP-2 B.Kamys: 2016/17 183
Literatura
[1] P. Armitage, Metody statystyczne w badaniach medycznych", Pa«stwowy ZakªadWydawnictw Lekarskich, Warszawa 1978
[2] Hubert M. Blalock, Statystyka dla socjologów", Pa«stwowe Wydawnictwo Naukowe,Warszawa 1977
[3] Zdzisªaw Bogucki, Elementy statystyki dla biologów", Wydawnictwo Naukowe Uni-wersytetu im. Adama Mickiewicza w Poznaniu, Pozna« 1979
[4] L.N. Bolszew, N.W. Smirnow, "Tablicy matiematiczieskoj statistiki", Nauka, Moskwa1983
[5] Siegmund Brandt, Analiza danych", PWN, Warszawa 1998
[6] W.T. Eadie, D. Drijard, F.E. James, M. Roos, B. Sadoulet, Metody statystyczne wzyce do±wiadczalnej", Pa«stwowe Wydawnictwo Naukowe, Warszawa 1989
[7] George A. Ferguson, Yoshio Takane, Analiza statystyczna w psychologii i pedago-gice", Wydawnictwo Naukowe PWN, Warszawa 1999
[8] M.Fisz, Rachunek prawdopodobie«stwa i statystyka matematyczna", PWN War-szawa 1967)
[9] "High Energy and Nuclear Physics Data Handbook", ed. by W. Galbraith, W.S.C.Williams, Chilton 1963
[10] Maurice G. Kendall, Alan Stuart, "The Advanced Theory of Statistics", CharlesGrin & Company Limited, London 1966
[11] G.A. Korn, T.M. Korn, "Mathematical Handbook for Scientists and Engineers",McGraw-Hill Book Company, Inc., New York - Toronto - London 1961
[12] R. Zieli«ski, "Tablice statystyczne", Warszawa 1972
[13] R. E. Parker, Wprowadzenie do statystyki dla biologów", Pa«stwowe WydawnictwoNaukowe, Warszawa 1978
[14] Zbigniew Pawªowski, Statystyka matematyczna",PWN, Warszawa 1976
[15] Arkadiusz Piekara, Mechanika ogólna", Pa«stwowe Wydawnictwo Naukowe, War-szawa 1975
[16] Bogusªaw Kamys, Statystyczne Metody Opracowania Pomiarów - 1", Wykªad dlastudentów I roku zyki
[17] Andrzej Stanisz, Przystepny kurs statystyki w oparciu o program STATISTICA PLna przykªadach z medycyny", Kraków 1998
[18] NIST/SEMATECH e-Handbook of Statistical Methods,http://www.itl.nist.gov/div898/handbook/