14
16/11/2018 1 KORELACIONA I REGRESIONA ANALIZA Novembar 2018 Decembar 2012 Istraživanje tržišta Ekonomski fakultet , Beograd 2 Tehnike za analizu podataka Univarijacione tehnike Multivarijacione tehnike Posmatra se samo jedna promenljiva Posmatra se više promenljivih istovremeno Novembar 2018 Istraživanje tržišta Ekonomski fakultet , Beograd 3 Multivarijacione tehnike Tehnike zavisnosti Fokus na vari- jablama Fokus na predmetima posmatranja - Faktorska analiza - Analiza skupina - Višedimen- zionalno skaliranje Jedna zavisna varijabla Više zavisnih varijabli - ANOVA i ANCOVA - Višestruka regresija - Diskriminaciona anal. - Analiza združenih efekata - MANOVA i MANCOVA - Kanonička korelacija Tehnike međuzavisnosti Novembar 2018 Istraživanje tržišta Ekonomski fakultet , Beograd 4 Korelaciona analiza Pirsonov koeficijent korelacije Test značajnosti koeficijenta korelacije Koeficijent parcijalne korelacije

Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

  • Upload
    others

  • View
    17

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

1

KORELACIONA I REGRESIONA ANALIZA

• Novembar 2018

Decembar 2012 Istraživanje tržištaEkonomski fakultet, Beograd

2

Tehnike za analizu podataka

Univarijacione tehnike

Multivarijacione tehnike

Posmatra se samo jedna promenljiva

Posmatra se više promenljivih istovremeno

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

3

Multivarijacione tehnike

Tehnike zavisnosti

Fokus na vari-jablama

Fokus na predmetima posmatranja

- Faktorska analiza

- Analiza skupina

- Višedimen-zionalno skaliranje

Jedna zavisna varijabla

Više zavisnih varijabli

- ANOVA i ANCOVA- Višestruka regresija- Diskriminaciona anal.- Analiza združenih

efekata

- MANOVA i MANCOVA

- Kanonička korelacija

Tehnike međuzavisnosti

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

4

Korelaciona analiza

• Pirsonov koeficijent korelacije• Test značajnosti koeficijenta korelacije• Koeficijent parcijalne korelacije

Page 2: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

2

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

5

Pirsonov koeficijent korelacije (1)• Meri stepen linearne povezanosti između dve metričke

varijable (date na intervalnoj ili na skali odnosa)• Populacijska korelacija r, uzoračka korelacija r• Ima vrednosti u intervalu (-1,+1)

– Vrednost 1 ukazuje na postojanje savršene pozitivne linearne povezanosti između dve varijable

– Vrednost –1 ukazuje na savršenu negativnu linearnu povezanost

– Vrednost nula pokazuje da ne postoji linearna povezanost

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

6

• Meru povezanosti dve varijable daje kovarijansa:

• Za uzoračku korelaciju se prvo neutrališe uticaj veličine uzorka:

• Zatim se neutrališe uticaj jedinice mere tako što se deli sa uzoračkom standardnom devijacijom za X i Y:

= PIRSONOV KOEFICIJENT KORELACIJE

Cov(X,Y ) =1

n −1(xi∑ − x )⋅ (yi − y )

1n −1

⋅ (xi∑ − x )⋅ (yi∑ − y )

rxy =1

n −1⋅

(xi − x )sX

∑ ⋅(yi − y )

sY

=CovXY

sX ⋅ sY

Pirsonov koeficijent korelacije (2)

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

7

Test značajnosti koeficijenta korelacije

• Testira se:H0: r = 0Ha: r ¹ 0

– Uvek se koristi t-test– t-statistika se računa po obrascu:

– Čita se tablična t-vrednost za (n-2) stepena slobode

– Nulta hipoteza se odbacuje ako je t-statistika veća od tablične t-vrednosti za a/2

t = r⋅ n − 21− r2

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

8

Koeficijent parcijalne korelacije• Pirsonov koeficijent se odnosi samo na dve

varijable• Koeficijent parcijalne korelacije pruža meru

povezanosti dve varijable pošto se izoluje uticaj ostalih varijabli:

rXY ,Z =rXY − rXZ ⋅ rYZ

1− rXZ2( ) ⋅ 1− rYZ

2( )

Page 3: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

3

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

9

Ograničenja korelacione analize• Meri samo linearnu povezanost• Postojanje korelacione veze, pozitivne i

negativne, ne znači da postoji uzročno-posledična veza

• Koeficijent korelacije može biti samo indikacijaza postojanje uzročno-posledične povezanosti

• Govori o odnosu dve varijable, pa se ne stiče ukupna slika ako postoji veći broj varijabli

• Daje samo jačinu povezanosti između dve varijable, ali ne i prirodu te veze.

Primer:• Tabela koja sledi prikazuje izlazni rezultat SPSS

analize podataka na uzorku 224 redovna studenta EF. Na osnovu priložene izlazne tabele, proveriti da li postoji linearna povezanost između varijabli poeni sa vežbi i broj dolazaka na predavanja, na nivou značajnosti od 0,01.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

10

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

11

➔p=0,68 > 0,05, nećemo odbaciti nultu hipotezu, odnosno:➔Linearna povezanost između varijable ”poeni sa kolokvijuma” i varijable

“koji put polaže” nije statistički značajna;➔Ne možemo zaključiti da između posmatranih varijabli ne postoji nikakva

veza, već samo da ne postoji linearna veza.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

12

➔p=0 < a=0,05, odbacićemo nultu hipotezu:➔ Postoji statistički značajna linearna povezanost između

varijabli broj dolazaka na predavanja i poeni sa vežbi.

Page 4: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

4

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

13

Regresiona analiza

• Model proste linearne regresije• Model višestruke linearne regresije

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

14

Šta je regresiona analiza?• Statistička tehnika koja se koristi da bi se dve ili više

varijabli dovelo u vezu:– zavisna ili rezultujuća varijabla (Y), u odnosu na– jednu ili više nezavisnih ili varijabli prediktora (X).

• Cilj je formulisanje regresionog modela, jednačine predviđanja, koji povezuje zavisnu varijablu sa jednom ili više nezavisnih varijabli

• Model se koristi za opis, predviđanje i kontroluposmatrane varijable na osnovu nezavisnih varijabli.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

15

Model proste linearne regresije• Model se zasniva na pretpostavci da postoji linearna

povezanost tipa:yi = b0 + b1xi + ei,

Y ® zavisna ili rezultujuća varijabla X ® nezavisna varijabla (prediktor) b0 ® parametar modela koji predstavlja srednju vrednost ykada je vrednost x jednaka nuli (y-odsečak)b1 ® parametar modela koji predstavlja nagib, i meri promenu vrednosti y kada se x promeni za 1ei ® greška koja opisuje uticaj na yi svih faktora koji nisu uključeni u model.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

16

Pretpostavke regresionog modela1. Greška je normalno raspoređena (tj. za svaku vrednost X,

raspodela Y je normalna)2. Srednja vrednost greške jednaka je nuli [E(ei) = 0]3. Varijansa greške je konstantna i nezavisna je od X4. Greške su međusobno nezavisne (opservacije se dešavaju

nezavisno)5. Vrednosti nezavisne varijable X su date (na primer, od

strane onoga koji sprovodi eksperiment).

Neispunjenost ovih pretpostavki može da izazove ozbiljne probleme u primeni i interpretaciji modela.

Page 5: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

5

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

17

Ocena parametara modela• Na slučajnom uzorku se ocenjuje vrednost yi:

• Primenom metoda najmanjih kvadrata ocenjuju se parametri ove jednačine na sledeći način

• Vrednost b0 je ocena parametra b0, a vrednost b1 je ocena b1. To su regresioni koeficijenti.

ˆ y i = b0 + b1xi,

b1 =n xiyi − xi∑( ) yi∑( )∑

n xi2 − xi∑( )

2

b0 = y − b1x

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

18

Tačkaste ocene parametara• Razlika između stvarne i ocenjene vrednosti yi, je rezidual koji

je ocena greške modela

• U metodu najmanjih kvadrata tačkaste ocene se dobijaju minimiziranjem sume kvadarata grešaka (t.j. odstupanja ocenjene od realizovane vrednosti):€

ei = yi − ˆ y i =

= yi − (b0 + b1xi)

minSSE = ei2∑ = (yi − ˆ y i)∑

2= yi − (b0 + b1xi)[ ]2∑

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

19

Standardna greška ocene regresionog modela

sY / X2 =

SSEn − 2

=ei

2∑n − 2

=yi − ˆ y i( )2∑n − 2

• Ocena varijacija osnovnog skupa u odnosu na regresionu pravu, srednja kvadratna greška, MSE:

• Kvadratni koren ove mere, sY/X, ili samo s, predstavlja standardnu grešku ocene– Za bilo koju datu vrednost nezavisne varijable xi, zavisna

varijabla će težiti da bude raspoređena oko predviđene (ocenjene) vrednosti, , sa standardnom devijacijom koja je jednaka standardnoj grešci ocene.

iy

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

20

Interpretacija ocena parametarab1 (čija je ocena b1)

– Pokazuje da, ako se varijabla X promeni za jednu jedinicu, varijabla Y će se promeniti za b1 jedinica

– Standardna greška ocene b1 je data sa:

b0 (sa ocenom b0)– Pokazuje prosečnu vrednost Y kada je X nula– Standardna greška ocene b0 je data sa:

sb1=

s(xi − x )2∑

=1

n − 2⋅

yi − ˆ y i( )2∑xi − x ( )2∑

sb0= s⋅

1n

+x 2

xi − x ( )2∑

Page 6: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

6

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

21

Testiranje značajnosti

• Testom statističke hipoteze se proverava da li postoji povezanost između varijabli, odnosno da li je vrednost koeficijenta b1 ¹ 0

H0: b1 = 0Ha: b1 ¹ 0

– Primenjuje se t-testt-statistika se računa kao:

i poredi sa tabličnom t-vrednošću za (n-2) stepena slobode (i odgovarajući nivo značajnosti, a)

t =b1 − β1sb1

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

22

Koeficijent determinacije (1)• Osnovni kvalitet modela se meri njegovom sposobnošću da

daje dobra predviđanja

• Ako bi se Y ocenjivalo svojom srednjom vrednošću,greška predviđanja bi iznosila:

• Ako se za predviđanje koristi ocena regresionim modelom, onda bi se greška predviđanja umanjila za:

,odnosno toliko bi model, potencijalno, pružao preciznija predviđanja u odnosu na srednju vrednost...

nyy iå=

)( yyi -

(yi − y ) − (yi − ˆ y i) = ( ˆ y i − y )

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

23

Koeficijent determinacije (2)• Može se pokazati da je:• Odnosno:

• Ukupan varijabilitet (SST) = zbir kvadrata greške predviđanja koja bi se dobila kada ne bismo koristili X za predviđanje Y

• Neobjašnjen varijabilitet (SSE) = zbir kvadrata greške predviđanja koja se dobija kada koristimo X za predviđanje Y.

• Objašnjen varijabilitet (SSM) = smanjenje zbira kvadrata greške predviđanja koja je postignuta korišćenjem modela.

• Objašnjeni varijabilitet meri deo ukupnog varijabiliteta koji je objašnjen prostim linearnim regresionim modelom.

ååå -=--- 222 )ˆ()ˆ()( yyyyyy iiii

ååå -+-=- 222 )ˆ()ˆ()( iiii yyyyyy

Ukupan varijabilitet

Objašnjen varijabilitet

Neobjašnjen varijabilitet

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

24

Koeficijent determinacije (3)• Mera mogućnosti regresionog modela da predvidi

(ili oceni) naziva se koeficijent determinacije (r2): r2 = (SST - SSE )/ SST = SSM / SST

• On predstavlja odnos objašnjenog varijabiliteta i ukupnog varijabiliteta, odnosno:

Objašnjen varijabilitet

Ukupan varijabilitet

Koeficijent determinacije pokazuje koji procenat ukupnog varijabiliteta je objašnjen

primenom regresionog modela

Page 7: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

7

Višestruka regresiona analiza

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

25 Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

26

Model višestruke linearne regresije• Kada u regresionom modelu ima više od jedne

nezavisne varijable, time se• Povećava prediktivna snaga modela• Smanjuje neobjašnjen varijabilitet• Uključuje uticaj drugih varijabli• Razrađuju i pojašnjavaju povezanosti

• Opšti oblik modela višestruke linearne regresije:Y = b0 + b1X1 + b2X2 + .........+ bkXk + e

gde b1, b2, . . . , bk predstavljaju regresione koeficijente pridružene nezavisnim varijablama X1, X2, . . . , Xk, a epredstavlja grešku ili rezidual.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

27

• Pretpostavke su iste kao kod prostog linearnog modela:

1. Greška je normalno raspoređena (tj. za svaku vrednost X, raspodela Y je normalna);

2. Srednja vrednost greške jednaka je nuli;

3. Varijansa greške je konstantna i nezavisna je od Xij;4. Greške su međusobno nezavisne (opservacije se

dešavaju nezavisno);

5. Vrednosti nezavisnih varijabli Xij su poznate za svako i=1, 2, . . . , n i za svako j=1, 2, . . . , k.

Pretpostavke modela višestruke linearne regresije

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

28

• Isto kao kod proste linearne regresije, traže se vrednosti za konstante (bi , i=0, . . . , k) takve da je zbir kvadrata grešaka predviđanja (åe2) minimalna.

• Važno je naglasiti da se normalne jednačine ne mogu rešiti ako je:(1) veličina uzorka, n, manja ili jednaka broju nezavisnih

varijabli, k; ili (2) ako je jedna nezavisna varijabla savršeno korelirana

sa drugom nezavisnom varijablom.

Ocena modela višestruke linearne regresije

Page 8: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

8

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

29

• Jednačina predviđanja u višestrukoj regresionoj analizi glasi:

• Odnosno za dve varijable:

• Koeficijent parcijalne regresije, b1, će biti različit od koeficijenta regresije, b1, koji bi se dobio prostom regresijom Y na X1

• Ovo obično nastaje stoga što su X1 i X2 najčešće korelirani, a kod proste regresije varijabilitet Y koji je zajednički za X1 i X2 bi bio pripisan samo varijabli X1.

Značenje ocena parametara u višestrukoj regresiji

ˆ Y = b0 + b1X1 + b2X2 +⋅ ⋅ ⋅ +bk Xk

greškaXbXbbY +++= 22110

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

30

• Ili koeficijent višestruke determinacije

– Pokazuje koliki udeo varijacija zavisne promenljive je objašnjenih regresionim modelom

– Neminovno raste sa porastom broja nezavisnih varijabli u modelu, pa se koristi prilagođeni R2:

Koeficijent determinacije kod višestruke regresije, R2

2

22

)(

)ˆ(

åå

-

-==

ii

ii

yy

yySSTSSMR

Objašnjen varijabilitet

Ukupan varijabilitet

1)1(

11)1(1

222

----

=--

-×--=

knkRn

knnRAdjR

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

31

• Nekoliko testova značajnosti može da se primeni na rezultate višestruke regresione analize, konkretno:

(1) Testiranje značajnosti R2, (2) Testiranje regresionih koeficijenata, i (3) Testiranje povećanja proporcije objašnjene

varijanse koja se odnosi na određenu varijablu ili skup varijabli.

Testiranje značajnosti kod višestrukih regresija

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

32

• Predstavlja test značajnosti regresione jednačine, odnosno testiranje da li je populacijski koeficijent višestruke determinacije značajan:

H0: R2pop = 0Ha: R2

pop ¹ 0odnosno:

H0: b1 = b2 = b3 = . . . = bk = 0Ha: nisu svi b jednaki nuli

– Za testiranje se koristi F-statistika:sa k i (n – k – 1) stepeni slobode.

Testiranje značajnosti za R2

F =R2 k

1− R2( )⋅ n − k −1( )

Page 9: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

9

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

33

Testiranje regresionih koeficijenata• Ako se prethodnim testom ustanovi da postoji

značajnost, treba proveriti koji su od bi značajni:H0: bi = 0Ha: bi ¹ 0

– Primenjuje se t-testt-statistika se računa kao:

i poredi sa tabličnom t-vrednošću za (n-k-1) stepen slobode (i odgovarajući nivo značajnosti, a)

ib

i

sbt =

Nestandardizovani regresioni koeficijenti

• Nestandardizovane regresione koeficijente, bj , dobijamo primenom regresione analize nad originalnim vrednostima nezavisnih varijabli i zavisne varijable

• Pokazuju za koliko će se promeniti zavisna varijabla, ako se varijabla Xj poveća za 1, pod uslovom da su ostale nezavisne varijable konstantne

• Osetljivi su na jedinice mere• Pokazuju apsolutni uticaj određene nezavisne

varijable na zavisnu varijablu

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

34

Standardizovani regresioni koeficijenti

• Standardizovani regresioni koeificijenti se dobijaju kada se regresiona analiza primeni na standardizovanom varijablama, tj.

• Standardizacija varijabli podrazumeva njihovu respecifikaciju tako da sve varijable imaju očekivanu vrednost 0 i varijansu 1

• Nisu osetljivi na jedinice mere • Pokazuju koliki je relativni uticaj koji svaka nezavisna

varijabla ima na zavisnu varijablu

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

35 Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

36

Testiranje povećanja objašnjene varijanse dodavanjem varijabli

• Ispituje se značajnost razlike objašnjene varijanse za širi model (sa više varijabli), Rš2 i uži model, Ru2 i

H0: Rš2 = Ru2

Ha: Rš2 ¹ Ru2

– Koristi se F-statistika:

gde su dš i du su stepeni slobode za širi i uži model, respektivno

– Ova vrednost se poredi sa tabličnom F-vrednosti sa dš i dustepeni slobode

šu

š

š

ddd

RRRF

--

= 2

22

1

Page 10: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

10

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

37

Regresija sa veštačkim varijablama• Nominalne (nemetričke) varijable mogu da se koriste kao

nezavisne varijable ako se kodiraju kao veštačke varijable

• Npr. Y = b0 + b1X1 + b2X2 + b3V + greška• Opšte pravilo je da ako postoji m nivoa kvalitativne

varijable, koristi se m-1 kategorija veštačke varijable da se oni specifikuju

• Predviđa se referenta kategorija (za koju je V=0) • Kod dihotomnih se koriste 0 i 1, što je čest slučaj;

nazivaju se i binarnim varijablama

Ocenićemo kako na Y=ukupan broj poena osvojen na ispituutiču 3 nezavisne varijable (prediktori) kroz tri modela uticaja, gdesu nezavisne varijable, redom:

Model 1:1. poeni sa kolokvijuma, X1;Model 2:1. poeni sa kolokvijuma, X1, i2. broj dolazaka na predavanja, X2;Model 3:1. poeni sa kolokvijuma, X1, 2. broj dolazaka na predavanja, X2, i3. položio iz prve, V, što je veštačka varijabla.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

38

Primer

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

39

• X1 su poeni sa kolokvijuma, Y su poeni na ispitu;

• X2 je broj dolazaka na predavanja;

• V je veštačka varijabla, dihotomna (binarna) čija je referentna kategorija položio je iz prve⇒ V=0 ako je student položio ispit iz prvog pokušaja⇒ V=1 ako student nije položio ispit iz prvog pokušaja

Model 1: Y = 37,897+0,491⋅ X1.

Model 2: Y = 36,284+0,458 ⋅ X1 +0,771⋅ X 2 ,

Model 3: Y = 36,55+0,470 ⋅ X1 +0,716 ⋅ X 2 −5,007 ⋅V .

Značajnost R2

• Prvo proveravamo značajnost regresione jednačine za svaki model, odnosno R2.

• Za svaki od tri modela se testira:H0: R2

pop = 0;Ha: R2

pop¹ 0,

• Što je ekvivalentno sa: H0: b1 = b2 = b3 = . . . = bk = 0;Ha: nisu svi bj, j = 1, . . . , k, jednaki nuli.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

40

Page 11: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

11

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

41

Suma kvadrataObjašnjena regresijom

“Srednja” suma kvadrata Vrednost F-statistike

Prediktori

Zavisna varijabla

Šta zaključujemo ovde o značajnosti?

➔Kako su sve p-vrednosti 0, sledi da odbacujemo nultu hipotezu u sva tri modela, izaključujemo da:

SVA TRI MODELA

SVOJIM NEZAVISNIM VARIJABLAMA

STATISTIČKI ZNAČAJNO OPISUJU

ZAVISNU VARIJABLU

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

42

Značajnost regresionih koeficijenata

• Za svaki model i za svaki regresioni koeficijent (islobodan član) testira se sledeća hipoteza:

H0: bj = 0;Ha: bj ¹ 0, gde je j = 0, 1, …

• Koristi se t-test.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

43 Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

44

• X1 su poeni sa kolokvijuma, Y su poeni na ispitu

• X2 je broj dolazaka na predavanja

• V je veštačka varijabla, dihotomna (binarna) čija je referentna kategorija položio je iz prve⇒V=0 ako je student položio ispit iz prvog pokušaja ⇒V=1 ako student nije položio ispit iz prvog pokušaja

Model 1: Y = 37,897+0,491⋅ X1.

Model 2: Y = 36,284+0,458 ⋅ X1 +0,771⋅ X 2 ,

Model 3: Y = 36,55+0,470 ⋅ X1 +0,716 ⋅ X 2 −5,007 ⋅V .

Page 12: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

12

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

45

Nestandardizovanikoeficijenti

Standardizovanikoeficijenti

Vrednost t-statistike

Standardna greška

Zavisna varijabla

Rezultat testiranja značajnosti regresionih koeficijenata

• p-vrednosti za sve regresione koeficijente u svimmodelima su manje od 0,5⇒ Odbacuje se nulta hipoteza i

zaključujemo da su⇒ Svi regresioni koeficijenti u sva tri

modela statistički značajno različiti od 0.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

46

Testiranje značajnosti razlike R2

• Testira se statistička značajnost razlike između koeficijenata determinacije Modela 2 i Modela 1:H0: R2

2pop - R21pop = 0;

Ha: R22pop - R21pop¹ 0.• Zatim se testira statistička značajnost razlike

između koeficijenta determinacije Modela 3 iModela 2H0: R2

3pop-R22pop = 0;

Ha: R23pop-R2

2pop ¹ 0.Novembar 2018 Istraživanje tržišta

Ekonomski fakultet, Beograd47 Novembar 2018 Istraživanje tržišta

Ekonomski fakultet, Beograd

48

R2 Prilagođeno R2 Standardna greškaocene

Prirast R2

Prediktori

Zavisna varijabla

Vrednost F-statistikeza prirast R2

p-vrednost za F-statistiku prirasta

Page 13: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

13

Rezultat testiranja značajnosti prirasta vrednosti R2

• Pošto je p<0,05 u oba slučaja• Odbacujemo nultu hipotezu u oba slučaja:

⇒ Zaključujemo da Model 2 statistički značajnopovećava objašnjeni varijabilitet u poređenju saModelom 1, i

⇒ Model 3 statistički značajno povećavaobjašnjeni varijabilitet u poređenju sa Modelom2.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

49 Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

50

Ocenjivanje uticaja nezavisnih

varijabli (1)

• Traži se koja nezavisna varijabla ima najveći uticaj

na zavisnu varijablu, kako bi se baš ona uključila u

regresiju, itd.

• Kriterijum izbora može biti:

1. Ubaciti varijablu čiji koeficijent ima najvišu t-vrednost

2. Ubaciti varijablu koja ima višu vrednost „beta-koeficijenta”:

to su koeficijenti regresije pomnoženi sa odnosom stand.

devijacija odgovarajuće nezavisne i zavisne varijable.

÷÷ø

öççè

æ=

YXb i

i za devijacija standardna za devijacija standardna

ovaniStandardiz ib

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

51

Ocenjivanje uticaja nezavisnih

varijabli (2)

• Korisno je upotrebiti tehniku regresije korak-po-korak da bi se

od većeg broja nezavisnih varijabli izabrao mali podskup

varijabli koje bi objašnjavale najveći deo varijabiliteta zavisne

varijable. Postoji nekoliko pristupa:

– Dodavanje unapred. Počinje se bez nezavisnih varijabli. Zatim u

jednačinu ulazi varijabla koja najviše doprinosi objašnjenju varijabiliteta

nezavisne varijable i to samo ako ispunjava unapred određen kriterijum

zasnovan na F-odnosu.

– Eliminacija unazad. Na početku su sve nezavisne varijable uključene u

regresionu jednačinu. One se zatim eliminišu jedna po jedna, na osnovu

F-odnosa za eliminaciju.

– Puni korak-po-korak. U svakom koraku, dodavanje unapred je

kombinovano sa izbacivanjem nezavisnih varijabli koje više ne

zadovoljavaju unpared određen kriterijum.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

52

Interakcije• Postavlja se pitanje da li postoji interakcija

između nezavisnih varijabli• Ako postoji interakcija dve varijable, npr. X1 i X2,

skupu nezavisnih varijabli može da se doda i varijabla X1 × X2

• Tom varijablom se, onda, ocenjuje interakcija između X1 i X2

• Model bi tada mogao da glasi:Y = b0 + b1 X1 + b2 X2 + b3 X1 × X2+ greška

Page 14: Istrazivanje trzista 13, nov 2018 - ekof.bg.ac.rs · 16/11/2018 2 Novembar2018 Istraživanje tržišta Ekonomski fakultet, Beograd 5 Pirsonov koeficijent korelacije (1) •Meri stepen

16/11/2018

14

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

53

Analiza reziduala• I ako model daje visoke vrednosti koeficijenta

determinacine i regresioni koeficijenti su statistički značajni, ipak se efikasnost modela mora oceniti ispitivanjem reziduala

• Cilj je otkriti da li postoji:– Heteroskedastičnost – reziduali rastu sa porastom

vrednosti. Ovaj problem se može rešiti primenom ponderisanog MNK

– Nelinearni obrazac u kretanju reziduala– Autokorelacija - kršenje pretpostavke o nezavisnosti

reziduala. Ovo se rešava primenom procedura kao što je Kohran-Orkatova.

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

54

Validnost predviđanja• Multivarijacione procedure potpuno zavise od

pretpostavke slučajnosti varijacija u podacima• U suprotnom je ocena previše osetljiva na

uzorak• Validnost predviđanja (ocenjivanja)

omogućava da se ispita da li je model ocenjen jednim skupom podataka, održiv kad se primeni na drugi skup podataka

• Mogu se koristiti sledeće metode validacije:

Novembar 2018 Istraživanje tržištaEkonomski fakultet, Beograd

55

Metode validacije1. Podaci iz uzorka se dele na dva poduzorka, jedan se koristi za

ocenu parametara modela, a drugi za validaciju. Porede se koeficijenti izračunati na bazi oba uzorka.

2. Koeficijenti ocenjeni na bazi prvog poduzorka se primenjuju na vrednostima nezavisnih varijabli iz drugog poduzorka, kako bi se dobile ocene vrednosti zavisne promenljive. One se porede sa realizovanim vrednostima iz drugog uzorka i ocenjuje prilagođenost modela.

3. Unakrsna validacija. Uzorak se isto podeli na dva poduzorka. Obavi se analiza kao pod 1 i 2, pa se poduzorci zamene i ponovi procedura...