ÇOKLU DOĞRUSAL BAĞLANTI

ÇOKLU DOĞRUSAL BAĞLANTI

1

ÇOKLU DOĞRUSALLIĞIN ANLAMIÇoklu doğrusal bağlantı; Bağımsız değişkenler arasında doğrusal (yada doğrusala yakın) ilişki olmasıdır.

1.i jx xr 1 parametreler belirlenemez hale gelir. Her bir parametre için

ayrı ayrı sayısal değerler bulmak zorlaşır.

i jx xr 02. ise bu değişkenlere ortogonal değişkenler denir ve katsayıların

tahmininde çoklu doğrusal bağlantı açısından hiçbir sorun yoktur.

i jx xr 13. ise tam çoklu doğrusal bağlantı yoktur.

2

ÇOKLU DOĞRUSAL BAĞLANTI

0

5

10

15

0 2 4 6 8

X3

X2

rX2X3= 1 Tam Çoklu Doğrusal Bağlantı

ÇOKLU DOĞRUSALLIĞIN NEDENLERİ

İktisadi değişkenlerin zaman içerisinde birlikte değişme eğiliminde olmaları

Bazı açıklayıcı değişkenlerin gecikmeli değerlerinin ilişkide ayrı birer etmen olarak kullanılmasıdır.

Genellikle zaman serilerinde görülür.

4

ÇOKLU DOĞRUSAL BAĞLANTININ ORTAYA ÇIKARDIĞI SONUÇLAR

•Regresyon Katsayılarının Değerleri Belirsiz Olur,

•Regresyon Katsayılarının Varyansları Büyür,

•t-istatistikleri azalır,

•Güven Aralıkları Büyür,

•R2 Olduğundan Büyük Çıkar,

•Katsayı Tahmincileri ve Standart Hataları Verilerdeki Küçük

değişmelerden Önemli Ölçüde Etkilenirler,

ÇOKLU DOĞRUSALLIĞIN DOĞURDUĞU SONUÇLAR

i jx xr 1a) Katsayıları tahminleri belirlenemez.

b)Tahminlerin standart hataları sonsuz büyük olur.

0 1 1 2 2Y b b X b X u

2 1X kX

21 2 2 1 2

1 22 21 2 1 2

x y x x y x xb

x x x x

22 1 1 1 2

2 22 21 2 1 2

x y x x y x xb

x x x x

2 2 21 2 2 1 2

1 22 2 2 21 2 1 2

k x y x k x y x x 0b0k x x k x x

22 1 1 1 2

2 22 2 2 21 2 1 2

k x y x k x y x x 0b0k x x k x x

6

0 1 1 2 2Y b b X b X u

2 1X kX

21 2 2 1 2

1 22 21 2 1 2

x y x x y x xb

x x x x

22 1 1 1 2

2 22 21 2 1 2

x y x x y x xb

x x x x

2 2 21 2 2 1 2

1 22 2 2 21 2 1 2

k x y x k x y x x 0b0k x x k x x

22 1 1 1 2

2 22 2 2 21 2 1 2

k x y x k x y x x 0b0k x x k x x

İspat a)

7

8

İspat b)

222

1 u 22 21 2 1 2

xvar b

x x x x

212

2 u 22 21 2 1 2

xvar b

x x x x

X2 yerine kX1 konursa

2 2 2 2

2 u 121 u 22 2 2 2

1 2 1 2

k x xvar b

0k x x k x x

9

Varyans Büyütme Modeli

Yardımcı Regresyon Modelleri için F testi

Klein – Kriteri

Şartlı Sayı KriteriTheil-m Ölçüsü

ÇOKLU DOĞRUSAL BAĞLANTININ VARLIĞININ BELİRLENMESİ

10

ÇOKLU DOĞRUSAL BAĞLANTININ BELİRLENMESİ

1.Varyans Büyütme Modeli:

Varyans büyütme faktörü; parametre tahminlerinin ve varyanslarının çoklu doğrusal bağlantı nedeni ile gerçek değerlerinden ne derece uzaklaştığını belirlenir.

2u

1 2 2i i

Var bX X 1 R

2i

1VIF1 R

VIF kriteri

11

1 2 k

1 2X ,X ...X

1VIF1 R

i 0 1 1t 2 2t k kt tY b b X b X ..... b X 1 2 k

2Y.X X ...XR

Çoklu doğrusal bağlantı etkisini araştırabilmek için k tane VIF eğeri

2 1 3 k

2 2X ,X ,X ...X

1VIF1 R

.

.

k 1 2 k 1

k 2X ,X ,X ...X

1VIF1 R

5

Çoklu doğrusal bağlantı önemlidir.

12

1 2 k

1 2X ,X ...X

1VIF1 R

i 0 1 1t 2 2t k kt tY b b X b X ..... b X 1 2 k

2Y.X X ...XR

Çoklu doğrusal bağlantı etkisini araştırabilmek için k tane VIF eğeri

2 1 3 k

2 2X ,X ,X ...X

1VIF1 R

.

.

k 1 2 k 1

k 2X ,X ,X ...X

1VIF1 R

5 Çoklu doğrusal bağlantı önemlisizdir.

13

Yıllar GSMH PA DT TEFE1990 0.397178 0.072425 -0.0244 425.61991 0.634393 0.117118 -0.03118 661.61992 1.103605 0.190736 -0.05618 1072.51993 1.997323 0.282442 -0.15573 1701.61994 3.887903 0.630348 -0.15414 3757.41995 7.854887 1.256632 -0.64664 7065.21996 14.97807 2.924893 -1.66881 12335.41997 29.39326 5.6588 -3.40719 22366.11998 53.51833 11.4232 -4.96864 38067.21999 78.28297 22.40182 -5.94562 58599.12000 125.5961 31.9121 -16.7507 89239.72001 179.4801 47.24108 -12.3931 144862.22002 265.4756 61.87976 -23.4451 216711.5

ÖRNEK: 1990-2002 dönemi için Türkiye’nin GSMH(milyar TL), Para Arzı(PA, milyar TL), Dış Ticaret Açığı (DT, milyar TL) ve Toptan Eşya Fiyat Endeksi (TEFE,1987=100) değerleri verilmiştir.

Varyans Büyütme Faktörü ile çoklu doğrusal bağlantı sorununu araştırınız.

14

Bu verilerden elde edilen model;

t t t tGSMH 0.6708 1.0473PA 1.3636DT 0.00078TEFE 2R 0.9997

Bağımsız değişkenleri sırası ile bağımlı değişken yaparak diğer bağımsız değişkenlerle regresyon modeli tahmin edilir.

t t tPA 0.191 0.304DT 0.000272TEFE 2R 0.987

11VIF 76.92

1 0.987

5 çoklu doğrusal bağlılık önemlidir

t t tDT 0.3421 0.259PA 0.000028TEFE 2R 0.918

21VIF 12.195

1 0.918

5 çoklu doğrusal bağlılık önemlidir

t t tTEFE 517.59 379.96DT 3102.99PA 2R 0.986

31VIF 71.429

1 0.986

5 çoklu doğrusal bağlılık önemlidir

15

2.Yardımcı Regresyon Modelleri için F testi Bu yöntemde varyans büyütme faktöründe hesapladığımız belirlilik katsayılarından hesaplanır.

Sırası ile incelenen modelde yer alan her bir bağımsız değişken ayrı ayrı bağımlı değişken olmak üzere kalan diğer bağımsız değişkenlerle regresyona tabi tutulur.

Oluşturulan söz konusu yeni regresyon modellerine yardımcı regresyon modelleri denir.

Oluşturulan yardımcı regresyon modellerinin belirlilik katsayıları hesaplanarak F test istatistiği hesaplanır.

Bu yöntem için temel hipotez bağımsız değişkenler arasında ilişki yoktur şeklindedir.

16

i 0 1 1t 2 2t k kt tY b b X b X ..... b X

1t 2t, 3t ktX f X X ,.....,X

2t 1t, 3t ktX f X X ,.....,X

kt 1t, 2t (k 1)tX f X X ,.....,X

.

.

i 1 2 k

i 1 2 k

2X ,X X ...X

i 2X ,X X ...X

R /(k 2)F

(1 R ) /(n k 1)

k: incelenen modelin tahmin edilen katsayı sayısı

Test istatistiği yukarıdaki her denklem için hesaplanır.

17

UYGULAMA: Aynı örnek için yardımcı regresyon modeli ile çoklu doğrusal bağlantı sorununu inceleyiniz.

H0: Çoklu doğrusal bağlantı yoktur.

H1: Çoklu doğrusal bağlantı yoktur.

t t tPA 0.191 0.304DT 0.000272TEFE 2R 0.987

i0.987 /(4 2)F 379.62

(1 0.987) /(13 4 1)

F0.05,(k-2),(n-k+1) =4.10

1.Aşama:

2.Aşama:

3.Aşama:

4.Aşama: Fhes > Ftab H0 reddedilir.

18

t t tDT 0.3421 0.259PA 0.000028TEFE 2R 0.918

i0.918 /(4 2)F 55.98

(1 0.918) /(13 4 1)

Fhes > Ftab H0 reddedilir.

t t tTEFE 517.59 379.96DT 3102.99PA 2R 0.986

i0.986 /(4 2)F 352.14

(1 0.986) /(13 4 1)

Fhes > Ftab H0 reddedilir.

19

Klein – Kriteri:

Klein, bağımsız değişkenler arasındaki basit korelasyon katsayılarının modelin genel belirlilik katsayısından büyük olmadığı sürece çoklu doğrusallığın zararlı olmadığını savunmaktadır.

Modelde k-1 bağımsız değişken var ise bunlardan herhangi ikisi arasındaki basit korelasyon katsayısı modelin yine belirlilik katsayısı ile karşılaştırılır.

i j 1 2 k

2X X Y,X X ...Xr R Çoklu doğrusal bağlılık zararlıdır.

Klein yukarıdaki kriterine göre küçük bir çoklu doğrusal bağlantı bile parametre tahminlerinde anlamsızlığa yol açabilir.

2

Bu durumda

basit korelasyon katsayısı yerine yardımcı regresyon modelleri için F

testinde açıklandığı gibi, yardımcı regresyon modelleri tahmin edilir

ve bunlardan elde edilecek çoklu belirlilik katsayısı ile

karşılaştırılarak karar verilebilir.

21

UYGULAMA: Aynı örnek için Klein kriteri ile çoklu doğrusal bağlantı sorununu inceleyiniz.

t t t tGSMH 0.6708 1.0473PA 1.3636DT 0.00078TEFE 2R 0.9997

t t tPA 0.191 0.304DT 0.000272TEFE 2R 0.987

t t tDT 0.3421 0.259PA 0.000028TEFE 2R 0.918

t t tTEFE 517.59 379.96DT 3102.99PA 2R 0.986

Elde edilen yardımcı regresyon modelleri

2 2R 0.987 R 0.9997

2 2R 0.918 R 0.9997

2 2R 0.986 R 0.9997

1.

2.

3.

Çoklu doğrusal bağlantı zararlı değildir.

Çoklu doğrusal bağlantı zararlı değildir.

Çoklu doğrusal bağlantı zararlı değildir.

22

Şartlı Sayı Kriteri: Bu kriterin hesaplanması için bu (X’X) matrisinin birim köklerinden (özdeğerlerinden) yararlanılır.

(X’X) matrisinin en büyük birim kökü (1) ve en küçük birim kökü (2) ise şartlı sayı

1

2

Şartlı Sayı=

1

2

10 Şartlı Sayı= 30

KARAR:

1. Çoklu doğrusal bağlantı orta derecedir.

2. 1

2

Şartlı Sayı= 30

Çoklu doğrusal bağlantı yüksek derecedir.

23

Örnek: 12 ailenin aylık gıda harcamaları (Y), gelirleri(X2) ve fert sayısı (X3) verileri aşağıdaki gibidir:

Aile Y X2 X3

1 2.2 2.8 32 3,0 3.5 63 4.1 12.5 44 4.7 6.4 25 4.2 5.9 56 6.3 8,0 87 4.6 9.7 38 8.8 20.6 79 7.3 15.9 4

10 4.4 6.7 111 6.9 11.3 212 3.5 4.7 3

i 2 3Y 1.8490 0.30939X 0.09161X

24

Ortalamadan farklar ile bağımsız değişkenler katsayı matrisi;

2 2 32 2 3'

2 3 32 3 3

(X X ) (X X ) (X X )X X

(X X ) (X X ) (X X )

' 310.04 34X X

34 50

' 310.04 34X X

34 50

2310.04 50 (34) 0

2 360.04 14346 0

1 314.41

2 91.26

25

1

2

314.41Şartlı Sayı= 1.856 1091.26

Çoklu doğrusal bağlantı düşük derecededir.

KARAR:

26

Theil-m Ölçüsü Bağımlı değişkenle bağımsız değişkenler arasındaki ilişkiye dayanan bir ölçüdür.

Bu ölçü için, modelin genel belirlilik katsayısı ile modelden sırası ile bir tane bağımsız değişkenin çıkarılması ile elde edilecek modellerin çoklu korelasyon katsayıları kullanılır.

t 0 1 t1 2 t2 k tk tY X X ... X

Modelde yer alan tüm bağımsız değişkenler sırası ile modelden çıkarılarak

t t 2 t3 tk

t t1 t3 tk

t t1 t2 t (k 1)

Y f (X , X ,..., X )Y f (X ,X ,..., X )::Y f (X ,X ,...,X )

Regresyon modelleri tahmin edilir ve her

model için çoklu belirlilik katsayıları

elde edilir.

27

Theil-m Ölçüsük

2 2 2i

i t

m R (R R )

Olarak hesaplanır. Burada bağımsız değişkenlerden biri çıkartıldıktan sonra bağımlı değişken ile diğer bağımsız değişkenlerin regresyonu sonucunda tahmin edilen çoklu belirlilik katsayısını ifade eder.

2iR

Theil-m ölçüsü çoklu doğrusal bağlılığın önemli olup olmadığı hakkında bilgi vermediğinden, varyans büyütme faktörü ile şartlı sayı daha çok kullanılan ve daha yarar sağlayan kriterlerdir.

28

“m” ölçüsü her regresyon için ayrı ayrı hesaplanmayan genel bir ölçüdür.

m ölçüsü negatif çıkabileceği gibi çok yüksek pozitif değer de olabilmektedir.

Hesaplanan m ölçüsü sıfıra eşitse bağımsız değişkenler ilişkisizdir.

Theil-m Ölçüsü

m = 0 bağımsız değişkenler ilişkisizdir

29

Örnek: Slayt 11 de incelediğimiz model için Theil-m ölçüsünü uygulayalım.

t t t tGSMH 0.671 1.047PA 1.364DT 0.00078TEFE 2R 0.9997

Yardımcı regresyon modellerini oluşturalım.

t t tGSMH 0.268 3.460PA 1.659DT 2R 0.994

t t tGSMH 1.137 1.396PA 0.818TEFE 2R 0.998

t t tGSMH 0.871 1.682DT 1.062TEFE 2R 0.9988

2 2 2 2 2 2 21 2 3m R R R R R R R

0.9997 0.9997 0.994 0.9997 0.998 0.9997 0.9988

0.9914

m sıfıra yakın bir değer değildir, çoklu doğrusal bağlılık söz konusudur.

30

ÇOKLU DĞRUSAL BAĞLANTI PROBLEMİNİ ORTADAN KALDIRMA YOLLARI

1. Ön Bilgi Yöntemi ile;

2. Kesit ve Zaman Serisi Verilerinin Birleştirme Yöntemi ile;

3. Bazı değişkenlerin Modelden Çıkarılması Yöntemi ile;

4. Değişkenleri Dönüştürme Yöntemi ile;

5. Ek veya Yeni Örnek Verisi Temini Yöntemi ile;

Çoklu Doğrusal Bağlantı Problemini Ortadan Kaldırma Yolları

1.Ön Bilgi Yöntemi

Y = b1 + b2 X2 + b3 X3 +b4 X4+ u b3 = 0.2b2

Y = b1 + b2 X2 + 0.2b2 X3 +b4 X4+ u

Y = b1 + b2 (X2 + 0.2 X3 )+b4 X4+ u

Y = b1 + b2 X*+ b4 X4+ uYukarıdaki hesaplama bağımsız değişkenler arasında çoklu doğrusal bağlantıdan etkilenmemektedir. Katsayılara sınır koyarak iki değişken arasında çoklu doğrusal bağlantı problemi ortadan kaldırılmış oluyor.

2.Kesit ve Zaman Serilerinin Birleştirilmesi

lnY = b1 + b2 lnPt+ b3 lnIt + u

Y:Talep P:Malın fiyatı I:Tüketici geliri t:Yıl

b2 ve b3 fiyat ve gelir elastikiyetidir. Zaman serisi P ve I (fiyat ve gelir) değişkenleri arasında genellikle yüksek dereceli ilişki vardır. Çoklu doğrusal bağlantı var.

b3 gelir elastikiyeti (eğer varsa) anket verilerinden ayrıca tahmin edilir. 3̂b

lnY - b3 lnIt = b1 + b2 lnPt+ u

lnY* = b1 + b2 lnPt + u

Yukarıdaki regresyon modelinden aşağıdaki gibi yararlanırız:

Burada

IbYYt lnˆln 3*

Gelir değişkeninin etkisi giderildikten sonraki Y değeridir.

Bu yöntemde katsayı tahminlerinin yorumu sorundur.

Zaman serisi verisi ve kesit serisi verisindeki gelir elastikiyetinin aynı olduğunu kabul ediyoruz.

3.Bazı Değişkenlerin Modelden Çıkarılması

Modelden bir bağımsız değişken çıkarılırsa spesifikasyon hatası yapma olasılığı artar:

Katsayı tahminleri gerçek değerinin üstünde veya altında tahmin edilebilir.

4.Değişkenleri Dönüştürme Yöntemi,

Fark denklemi yaratılır:

ttttt uXbXbXbbY 4433221

11,441,331,2211 ttttt uXbXbXbbY

6.Diğer Yöntemler.

ttttttt vXXbXXbbYY ...)()( 1,3331,22211

Dönüşümlü modelde çoklu doğrusal bağlantı önemli ölçüde azalmış olur.

5.Ek veya Yeni Örnek Verisi Temin etme,

Örnekler:Otomobil Bakım Harcamaları Model Tahminleri

Değişkenler Model A Model B Model C

Sabit

Yas

Km

s.d.Düzeltilmiş-R2

-626.24(-5.98)7.35(22.16)

55

0.897

-796.07(-5.91)

53.45(18.27)

55

0.856

-151.15(-7.06)

27.58(9.58)

7.29(0.06)

54

0.946

Ev Talebi Model TahminleriDeğişkenler Model A Model B Model C

s.d.

Sabit

Faiz

Nüfus

GSMH

Düzeltilmiş-R2

200.371

-3812.93(-2.40)

-198.40(-3.87)33.82(3.61)

0.37520

687.90(1.80)-169.66(-3.87)

0.91(3.64)

0.34819

14.90(0.41)

-184.75(-3.18)

-1315.75(-0.27)

0.52(0.54)

r(GSMH,Nüfus)=0.99 r(GSMH,faiz)=0.88 r(Nüfus,faiz)= 0.91