9. TESTIRANJE PARAMETARSKIH HIPOTEZA (SI)milanmerkle.etf.rs/wp-content/uploads/2019/05/9-Testiranje_hipoteza-1.pdf9. TESTIRANJE PARAMETARSKIH HIPOTEZA (SI) Profesor Milan Merkle [email protected]

9. TESTIRANJE PARAMETARSKIH

HIPOTEZA (SI)

Profesor Milan [email protected] milanmerkle.etf.rs

Verovatnoca i Statistika-prolece 2019

Milan Merkle Testiranje hipoteza ETF Beograd 1 / 16

Primer

Primer: Bacamo novcic 100 puta i dobijemo 60 pisama. Da li je novcicfer?

P(S = 60) = 0.0108, ali P(S = 50) = 0.0796

Racuna se verovatnoca celog ekstremnog dogadaja, tj. P(S ≥ 60).Preko Cebiseva?

P(|S − 50| ≥ 10) ≤ 0.25 =⇒ P(S ≥ 60) ≤ 0.125

Tacna vrednost je P(S ≥ 60) = 0.028. U hiljadu ponavljanja eksperimentasa 100 bacanja dobili bismo 60 ili vise pisama 28 puta.Da li je to dovoljan dokaz da novcic nije fer?


Testiranje hipoteza

Testovi hipoteza formulisu se u kontekstu dve hipoteze: H0 i H1:

H0- nulta hipoteza (neutralno ili ocekivano stanje).

H1 - alternativna hipoteza je obicno ona koju zelimo da dokazemo.

Cilj testa je da se nadu dokazi protiv hipoteze H0, a u korist hipoteze H1.Za testiranje treba statistika testa S i oblast odbacivanja C .

Zakljucak testa moze biti jedan od sledeca dva:

Ako je S ∈ C , odbacujemo H0 u korist H1

Ako je S 6∈ C , ne odbacujemo H0.


Testiranje hipoteza









Testiranje hipoteza









Testiranje hipoteza









Testiranje hipoteza









Testiranje hipoteza









Testiranje hipoteza









Testiranje parametarskih hipoteza

Ako je θ ∈ Θ, hipoteze se definisu kao H0 : θ ∈ Θ0 i H1 : θ ∈ Θ1. Uprimeru sa novcicem:

Θ = (0, 1), Θ0 = {1/2}, Θ1 = (1/2, 1).

Za hipoteze se kaze da su komplementarne ako je Θ0 ∪Θ1 = Θ.Ako hipoteze nisu komplementarne, moze se dogoditi da nijedna odhipoteza H0,H1 nije tacna.


Dve vrste gresaka

Moc testa je verovatnoca da se H0 odbaci kao funkcija od θ ∈ Θ:

γ(θ) = P(S ∈ C | θ), θ ∈ Θ.

Greska prve vrste nastaje ako se H0 odbaci kada je H0 tacna, tj.stvarno θ je u Θ0. Verovatnoca greske prve vrste je

α(θ) = P(S ∈ C | θ) = γ(θ) za θ ∈ Θ0.

Greska druge vrste nastaje ako se H0 ne odbaci kada je H1 tacna, tj.kad θ ∈ Θ1.Verovatnoca ove greske u funkciji od θ ∈ Θ1 je

β(θ) = P(S ∈ C | θ) = 1− γ(θ) za θ ∈ Θ1.

Supremum verovatnoce greske prve vrste je nivo znacajnosti testa:

α = supθ∈Θ0

α(θ).


Dve vrste gresaka


γ(θ) = P(S ∈ C | θ), θ ∈ Θ.


α(θ) = P(S ∈ C | θ) = γ(θ) za θ ∈ Θ0.


β(θ) = P(S ∈ C | θ) = 1− γ(θ) za θ ∈ Θ1.


α = supθ∈Θ0

α(θ).


Dve vrste gresaka


γ(θ) = P(S ∈ C | θ), θ ∈ Θ.


α(θ) = P(S ∈ C | θ) = γ(θ) za θ ∈ Θ0.


β(θ) = P(S ∈ C | θ) = 1− γ(θ) za θ ∈ Θ1.


α = supθ∈Θ0

α(θ).


Dve vrste gresaka


γ(θ) = P(S ∈ C | θ), θ ∈ Θ.


α(θ) = P(S ∈ C | θ) = γ(θ) za θ ∈ Θ0.


β(θ) = P(S ∈ C | θ) = 1− γ(θ) za θ ∈ Θ1.


α = supθ∈Θ0

α(θ).


Dve vrste gresaka


γ(θ) = P(S ∈ C | θ), θ ∈ Θ.


α(θ) = P(S ∈ C | θ) = γ(θ) za θ ∈ Θ0.


β(θ) = P(S ∈ C | θ) = 1− γ(θ) za θ ∈ Θ1.


α = supθ∈Θ0

α(θ).


Kriticna vrednost za oblast odbacivanja

Primer sa novcicima: Oblast odbacivanja je C = [c , 100] (c je kriticnavrednost). Kako se ponasaju α(0.5) i β(0.6) za razne c?

c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131

Za dato n ne mogu se istovremeno kontrolisati greske prve i druge vrste.U vecini slucajeva je vaznije ne odbaciti H0 ako je tacna.

Za izabrani nivo znacajnosti α nalazimo c iz

P(S ≥ c | µ = 0.5) = α.

Standardne vrednosti su α = 0.1, 0.05, 0.01.




c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131



P(S ≥ c | µ = 0.5) = α.





c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131



P(S ≥ c | µ = 0.5) = α.





c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131



P(S ≥ c | µ = 0.5) = α.





c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131



P(S ≥ c | µ = 0.5) = α.





c = 60 : α = 0.028, β(0.6) = 0.457.

c = 65 : α = 0.00176, β(0.6) = 0.821

c = 55 : α = 0.184, β(0.6) = 0.131



P(S ≥ c | µ = 0.5) = α.



Primer sa novcicima-nastavakZa α = 0.05:

Izracunavanjem preko binomnih verovatnoca:

P(S ≥ 59 | µ = 0.5) = 0.0443

P(S ≥ 58 | µ = 0.5) = 0.0666

Usvajamo c = 59. Ako je broj pisama S ≥ 59 odbacujemo H0, uprotivnom ne odbacujemo.

Izracunavanjem aproksimativne verovatnoce iz normalne raspodele:

Za p = 0.5: ES = 50,VarS = 25: Z = S−505 ∼ N (0, 1)

P(S ≥ c) = P

(Z ≥ c − 50

5

)= 0.5 =⇒ c = 58.25

Usvajamo c = 59. Problemi kod diskretnih raspodela!




P(S ≥ 59 | µ = 0.5) = 0.0443

P(S ≥ 58 | µ = 0.5) = 0.0666



Za p = 0.5: ES = 50,VarS = 25: Z = S−505 ∼ N (0, 1)

P(S ≥ c) = P

(Z ≥ c − 50

5

)= 0.5 =⇒ c = 58.25





P(S ≥ 59 | µ = 0.5) = 0.0443

P(S ≥ 58 | µ = 0.5) = 0.0666



Za p = 0.5: ES = 50,VarS = 25: Z = S−505 ∼ N (0, 1)

P(S ≥ c) = P

(Z ≥ c − 50

5

)= 0.5 =⇒ c = 58.25





P(S ≥ 59 | µ = 0.5) = 0.0443

P(S ≥ 58 | µ = 0.5) = 0.0666



Za p = 0.5: ES = 50,VarS = 25: Z = S−505 ∼ N (0, 1)

P(S ≥ c) = P

(Z ≥ c − 50

5

)= 0.5 =⇒ c = 58.25



Testiranje preko intervala poverenja

U primeru sa novcicima, oblast odbacivanja je oblika [c , 100].Aproksimativni interval oblika [A,+∞) preko CGT (p = S/100):

I1−α =

(p − ε1−α

σ√n,+∞

).

Za α = 0.05, σ = 12 (najgori slucaj),n = 100, dobijamo interval

I1−α =

(S

100− 1.65

20,+∞

),

Odbacujemo H0 sa nivoom znacajnosti 0.05, ako i samo ako I1−α ne sadrzi1/2, odnosno ako S

100 −1.6520 > 1/2 =⇒ S > 58.25


Testiranje preko intervala poverenja - opsti slucaj

Za Θ = [a, b] (−∞ ≤ a < b ≤ +∞):

Neka su H0 i H1 hipoteze kojima odgovaraju oblasti Θ0 i Θ1 vrednostiparametra θ. Konstruisimo interval poverenja I1−α sa nivoom poverenja1− α po sledecem pravilu

Ako je H1 oblika tada je I1−α oblika

θ < θ0 (a,B)θ > θ0 (A, b)θ 6= θ0 (A,B)

(A i B su slucajne promenljive)

Test sa pravilom odlucivanja

Hipoteza H0 se odbacuje ako i samo ako I1−α ∩Θ0 = ∅

ima nivo znacajnosti jednak α.


Testiranje preko znacajnosti (p-vrednosti)

Neka je S = s realizovana vrednost statistike testa. Najmanji nivoznacajnosti na kome bismo hipotezu H0 odbacili pri S = s je znacajnostili p-vrednost.

√

Sto je znacajnost manja, utoliko su jaci dokazi protiv H0 u korist H1.√

Ako je oblast odbacivanja oblika {S ≥ c}, znacajnost vrednosti S = sdobija se kao sup

θ∈Θ0

P(S ≥ s). Analogno se postupa u slucajevima kada je

oblast odbacivanja oblika {S > c}, {S ≤ c} ili {S < c}.Primer sa novcicima!


Primer sa slozenom hipotezom H0

Primer 159. Uzorak (X1, . . . ,X100) iz normalne raspodele N (µ, 1), gde jeµ nepoznato. Testiramo

H0 : µ > 1 protiv H1 : µ ≤ 1 .

Statistika testa: µ.

Male vrednosti µ su dokazi protiv H0 a u korist H1. Oblastodbacivanja je (−∞, c].

p-vrednost za realizovano µ = t je

supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).

Na primer, za µ = 0.8 dobijamo p-vrednost 0.023.

p-vrednost daje potpunu informaciju o jacini dokaza protiv H0.




H0 : µ > 1 protiv H1 : µ ≤ 1 .




supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).






H0 : µ > 1 protiv H1 : µ ≤ 1 .




supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).






H0 : µ > 1 protiv H1 : µ ≤ 1 .




supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).






H0 : µ > 1 protiv H1 : µ ≤ 1 .




supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).






H0 : µ > 1 protiv H1 : µ ≤ 1 .




supµ>1

P(µ ≤ t | µ) = P(µ ≤ t | µ = 1) = P

(Z ≤ t − 1

1/10

).




Treba znati da . . .

Kriticna oblast zavisi od H1 (dokazi protiv H0 a u korist H1 !)

U slucaju kad se H0 ne odbacuje, to ne znaci da je potvrdena, vecsamo da nema dokaza protiv H0 u korist H1. U primeru novcica, usvakom slucaju u kome nije odbacena hipoteza p = 0.5, nece bitiodbacena nijedna hipoteza p = p0 sa p0 > 0.5. Takode moze sedogoditi da sa istim podacima ne bude odbacena ni hipoteza sap0 = 0.49 i slicno.

Ako koristimo statisticki softver za testiranje hipoteza, dobicemo kaoodgovor samo znacajnost (p-value).

Sa dovoljno velikim uzorkom moze se kontrolisati verovatnoca gresakaobe vrste.




















Kako se dobijaju ocene parametra?

(Ovo je odeljak 8.6 na stranicama 188-192 udzbenika)

Metod momenata:

Uzorak obima n: X1, . . . ,Xn.

Moment reda k: µk = EX k , µn = 1n

∑ni=1 X

ki

Ako se parametar θ moze izraziti preko momenata kaoθ = g(µ1, . . . , µk), k << n, ocena parametra θ po metodi momenataje θ = g(µ1, . . . , µk)

Primer: σ2 = E (X 2)− (EX )2 = µ2 − µ21 =⇒ σ2 = µ2 − (µ1)2 = s2

0

.




Metod momenata:



∑ni=1 X

ki



0

.




Metod momenata:



∑ni=1 X

ki



0

.




Metod momenata:



∑ni=1 X

ki



0

.




Metod momenata:



∑ni=1 X

ki



0

.


Metod maksimalne verodostojnosti

Raspodela Pθ, nepoznati parametar θ - skalar ili visedimenzionalni.

Uzorak obima n: X1 = x1, . . . ,Xn = xn.

Funkcija verodostojnosti:- diskretna raspodela

L(θ) = Pθ(X1 = x1, . . . ,Xn = xn) = Pθ(x1) · · ·Pθ(xn)

Funkcija verodostojnosti:- neprekidna raspodela

L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)

Ocena po metodi maksimalne verodostojnosti: L(θ) = maxθ∈Θ L(θ).








L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)









L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)









L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)









L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)









L(θ) = fθ(x1, . . . , xn) = fθ(x1) · · · fθ(xn)



Metod maksimalne verodostojnosti-primeri

Primer 149. Ocena verovatnoce, parametar p u Bernulijevoj raspodeli:Neka je X1 + · · ·+ Xn = k .

L(p) = pk(1− p)n−k .

Maksimum za p = k/n

Primer 150. Za normalnu raspodelu N (µ, σ2), θ = (µ, σ2),

L(µ, σ2) =1

(2π)n/2· 1

(σ2)n/2exp

(−∑n

k=1(Xi − µ)2

2σ2

)


Metod maksimalne verodostojnosti-primeri

Primer 149. Ocena verovatnoce, parametar p u Bernulijevoj raspodeli:Neka je X1 + · · ·+ Xn = k .

L(p) = pk(1− p)n−k .

Maksimum za p = k/n

Primer 150. Za normalnu raspodelu N (µ, σ2), θ = (µ, σ2),

L(µ, σ2) =1

(2π)n/2· 1

(σ2)n/2exp

(−∑n

k=1(Xi − µ)2

2σ2

)


Za vezbu: Primeri 152, 153, 156, 157, 158, 162-164; Zadaci: 162-167,171.


Documents

9. TESTIRANJE PARAMETARSKIH HIPOTEZA (SI)milanmerkle.etf.rs/wp-content/uploads/2019/05/9-Testiranje_hipoteza-1.pdf9. TESTIRANJE PARAMETARSKIH HIPOTEZA (SI) Profesor Milan Merkle [email protected]