1

6. EN KÜÇÜK KARELER TAHMİNLERİNİN ÖZELLİKLERİ

6.1 TAHMİN EDİCİLERDE ARANAN ÖZELLİKLER

Genellikle bir tahminin ana kütle parametresinin gerçek değerine yakın olmasını ve bu

gerçek parametre yakınlarında dar bir aralıkta değişmesini isteriz. Ana kütle parametresine

‘yakınlık’ çeşitli ekonometri tahmin yöntemleri ile bulunmuş tahminlerin örnekteki

dağılımların ortalaması ve varyansıyla ölçülür. Burada her zamanki varsayımsal yenilemeli

örnekleme sürecini kullanacak, yani her biri n gözlemli çok sayıda örnek aldığımızı

varsayacağız. Ekonometri yöntemlerinin her birini kullanarak her örnekten b̂ tahminlerini

hesaplayıp dağılımlarını oluşturacağız.

Küçük örnekten bulunmuş iyi bir tahmin edici için temel ölçütler

Sapmasızlık, En küçük varyans, Etkinlik, Doğrusal, en iyi, sapmasızlık (DES), En küçük

ortalama hata karesi (OHK), Yeterlilik.

1) Sapmasız Tahmin Edici

Bir tahmin edicinin sapması, beklenen değeriyle gerçek parametre arasındaki fark

olarak tanımlanır.

Sapma= )ˆ(bE -b

Eğer sapma sıfırsa yani )ˆ(bE =b ise, bir tahmin edici sapmasız olur. Bu da örneklerin

sayısı artıkça, sapmasız tahmin edicinin, parametrenin gerçek değerlerine yaklaştığı

anlamına gelir. Sapmasız bir tahmin edici ‘ortalama olarak’ parametrenin gerçek değerini

verir.

(a) b̂ , b nin sapmasız tahmin edicisidir (b) b̂ , b nin sapmalı tahmin edicisidir.

2

Aranan bir özellik olmasına karşın, sapmasızlık kendi başına çok önemli değildir. Ancak

küçük bir varyansla birleşirse önemli olur.

2) En Küçük Varyanslı tahmin edici (ya da en iyi tahmin edici)

Bir tahmin, başka ekonometri yöntemleriyle bulunmuş başka herhangi bir tahminle

karşılaştırıldığında en küçük varyansa sahip olduğu görülürse en iyi tahmindir. b̂ nin en

iyi olma koşulu:

2)]ˆ(ˆ[ bEbE < 2)]~

(~

[ bEbE

Ya da

Var( b̂ )< var(b~

) burada b~

, gerçek parametre b nin (sapmasız olması gerekmeyen)

herhangi bir başka tahminidir.

Varyansı küçük olduğu halde sapması büyük olan bir tahmin edici, b gerçek

parametresinden oldukça uzak bir değer etrafında toplanabilmektedir.

b̂ , b nin büyük varyanslı sapmasız tahmin edicisidir.

b~

, b nin küçük varyanslı sapmalı bir tahmin edicisidir.

b̂ sapmasızdır ama büyük bir varyansı vardır. b~

ise sapmalıdır fakat varyansı küçüktür. Bu

iki almaşık tahmin edici arasındaki seçim, aşağıda açıklanan ortalama hata karesi (OHK)

ölçütüne bakılarak yapılabilir.

3) Etkin Tahmin Edici

Bir tahmin edici, yukarıdaki özelliklerin ikisini de üstünde toplamışsa etkin sayılır.

3

Yani sapmasızdır ve başka herhangi sapmasız tahmin ediciyle karşılaştırıldığında daha

düşük varyansa sahiptir. Aşağıdaki iki koşul yerine getirilse b̂ etkindir.

(a) bbE )ˆ(

ve

(b) 2**2 )]([)]ˆ(ˆ[ bEbEbEbE

Burada *b , gerçek b nin başka bir sapmasız tahmin edicisidir. Başka bir deyişle, etkin tahmin

edici, bütün tahmin sapmasız ediciler sınıfı içinde en düşük (en iyi) varyansa sahip olan

tahmin edicidir.

4) Doğrusal Tahmin Edici

Bir tahmin edici, örnekteki gözlemlerin doğrusal bir fonksiyonuysa doğrusal sayılır.

Örnek gözlemleri veriyken, doğrusal bir tahmin edici şu biçimi alır.

nnYkYkYk ...2211

Burada ki ler sabit değerlerdir.

Öreğin k1 = k2=…= kn=n

1 olduğundan Y örnek ortalaması doğrusal bir tahmin edicidir.

Çünkü

Y = ni

iYYY

nY

nn

Y

...

1121

nYn

Yn

Yn

1...

1121

Y , örnek ortalaması hesaplanırken her gözleme, 1/n ye eşit olan aynı k ağırlık verilmiştir.

5) Doğrusal en iyi Sapmasız Tahmin Edici (DEST)

Bir Tahmin edici, doğrusalsa sapmasızsa ve gerçek b nin öteki doğrusal sapmasız tahmin

edicileriyle karşılaştırıldığında en küçük varyansa sahipse, DEST olur.

4

6) En küçük Ortalama Hata Kareli(OHK) Tahmin Edici

Ortalama hata karesi ölçütü, sapmasızlık ve en küçük varyans özelliklerinin bir tahmincisidir.

Burada OHK, tahmin edicinin, ana kütledeki gerçek parametre b ile olan farkının karelerinin

beklenen değeri olarak tanımlanır:

OHK b̂ 2ˆ bbE

OHK nin, tahmin edicinin varyansıyla sapma karesinin toplamına eşit olduğu

gösterilebilir.

OHK b̂ =Var b̂ +sapma2 b̂

İspat:

OHK= 2ˆ bbE

= 2ˆˆˆ bbEbEbE

= ]ˆ][ˆˆ[2ˆˆˆ22

bbEbEbEbbEbEbE

bEbE ˆˆ = Var b̂2 2ˆ bbE =sapma

2(b)

Ve ]ˆ][ˆˆ[ bbEbEbE =0 çünkü

]ˆ][ˆˆ[ bbEbEbE = bbEbbbEbEbE ˆˆˆˆˆ2

= 0ˆˆˆˆ22

bbEbbEbEbE

Dolayısıyla

OHK= Var b̂ +sapma2 b̂

7) Yeteli Tahmin Edici

Yeterli bir tahmin edici, gerçek parametre hakkında bir örneğin içerdiği bütün bilgileri

kullanıma koyan bir tahmin edicidir. Bu başka hiçbir tahmin edicinin, tahmin edilmekte

olan gerçek ana kütle parametresi hakkında daha fazla bilgi sunamayacağı anlamına gelir.

5

TAHMİN EDİCİLERİN BÜYÜK ÖRNEK ÖZELLİKLERİ:

ASİMTOTİK ÖZELLİKLER

Büyük örneklerden elde edilen tahminlere ilişkindir. Buradaki özelliklerin bir tahminin

iyiliğini belirleme ölçütü olarak kullanılması, örneğin sonsuz büyük )( n olmasını

gerektirir. İşte bu nedenle özelliklere asimtotik özellik denir. Örnek büyük olduğu zaman

bu özelliklerin yaklaşık olarak sağlandığı varsayılır. Özellikler ise şunlardır: Asimtotik

sapmazlık, tutarlılık ve Asimtotik etkinlik.

1) Asimtotik Sapmazlık

Bir dizi rassal değişken düşünüldüğünde

{X(n)}= X(nt).X(n2)…X(nT)

Bunlardan her birinin kendi dağılımı, ortalaması ve varyansı var. Dağılımlar gitgide artan

örnek büyüklüklerinden oluşturulmuş bulunuyor. nT sonsuza giderken bu dağılımlar da belli

bir dağılıma doğru yaklaşıyor olabilirler. İşte bu dağılıma {X(n)} dizisinin asimtotik dağılımı

denir.

Asimtotik Beklenti

Bir rassal değişkenler dizisinin asimtotik beklentisi, asimtotik dağılımın aritmetik

ortalamasıdır.

nTnnn XXXX ,..., 21 rassal değişkenler dizisi ele alalım. Tek tek bütün dağılımların

beklenen değerlerinin varlığını kabul edelim. Böylece aşağıdaki beklenen değer dizisi elde

edilir.

)(),...(),()( 21 nTnnn XEXEXEXE

Örnek büyüklüğü sonsuza giderken beklenen değer sonlu sabitine yaklaşıyorsa, bu sabite,

başlangıçtaki rassal değişkenler dizisinin Asimtotik ortalaması denir.

6

{X(n) } nin

asimtotik =

nn

XElim

beklentisi

2) Asimtotik Varyans

nTnnn XXXX ,..., 21 dizisinin asimtotik dağılımı şöyledir.

nlim )( nXE =

Dağılımların varyansı şöyle bulunur.

2)(( nn XEXE = 2

11 )(( nn XEXE , 2

22 )(( nn XEXE ,…

Başlangıçtaki dizinin asimtotik varyansı n giderken varyanslar dizisinin sınırdaki değeri

değildir, çünkü çoğu zaman sınırdaki değer sıfırdır.

nnn

nn

XEXEVarX

limlim =0

İse X(n) dağılımı tek bir noktaya iner ve buna yaz dağılımı denir. Çünkü artık bir dağılım

kalmamıştır.( bir noktaya yoğunlaşan ve varyansı sıfır olan dağılıma yoz dağılım denir.)

Yoz dağılımlara sahip tahmin ediciler arasından seçim yapmanın güçlüklerinden kurtulmak

için asimtotik dağılımın varyansını (ya da asimtotik varyansı) şöyle yazabiliriz. Terimleri

)(( nn XEX ile n nin çarpımlarının beklenen değerlerinden oluşan yeni bir dizi

belirleriz.

2

))(( nn XEXnE = 2

111 ))(( nn XEXnE , 2

222 ))(( nn XEXnE ,…

Eğer n sonsuza giderken bu yeni dizi 'v' sonlu sabitine doğru yaklaşırsa, yani eğer

vXEXnE nnn

2

)(lim ise başlangıçtaki nX dizisinin asimtotik dağılımının

varyansı şöyle olacaktır.

yansı

asimtotik

ninX n

var

nn

vn

lim1

.1

2)( nn XEXnE

Yukarıdaki asimtotik momentlerin (ortalama ve varyansın) n terimli herhangi bir sonlu

örneğin ortalama varyansının yaklaşığı olduğuna dikkat edelim. Bu yüzden n büyüdükçe

yaklaşıklık artacaktır.

7

3) Asimtotik Sapmasızlık

Eğer b̂ tahmin edicisinin asimtotik ortalaması, ana kütlenin gerçek b parametresine eşit ise,

bu tahmin edici, bu parametrenin asimtotik sapmasız tahmin edicisidir.

Yani

bbE nn

ˆlim dir.

Bir tahmincinin asimtotik sapması, asimtotik ortalaması ile gerçek parametre arsındaki farka

eşittir.

bbE

sapmsı

asimtotik

ninb

nn

ˆlim

'ˆ

Eğer bir tahmin edici (sonlu küçük örneklerde) sapmasızsa aynı zamanda asimtotik

sapmasızdır, ama bunun tersi doğru değildir.

4) Tutarlılık

Bir b̂ tahmin edicisi, aşağıdaki iki koşulla, ana kütlenin b gerçek parametresinin tutarlı bir

tahmin edicisidir:

(1) b̂ asimtotik sapmasız olmalıdır.

nn

bE ˆlim

=b

(2) n sonsuza giderken b̂ 'nın varyansı sıfıra yaklaşmalıdır:

0ˆlim

bVarn

Eğer varyans sıfırsa, dağılım ana kütlenin gerçek parametresinin üstünde bir noktada toplanır

(yoz).

Bir tahmin edicinin tutarlı olup olmadığını anlamak için, n arttıkça sapmanın ve varyansının

ne olduğuna bakılmalıdır. (n) büyüdükçe hem sapma hem varyans azalmalı ve limitte ( n

iken) sıfır olmalıdır. Tutarlılık kavaramı aşağıda çizilmiştir. Örnek büyüklüğü artıkça hem

sapma hem varyans azalmaktadır.

8

5) Asimtotik Etkinlik

Eğer (1) bir b̂ tahmin edicisi tutarlıysa

(2) başka herhangi bir tutarlı tahmin ediciye göre daha küçük bir asimtotik varyansı

varsa

Bu tahmin edici ana kütlenin gerçek b parametresinin asimtotik etkin bir tahmincisidir.

Eğer,

2ˆlim

1bbnE

nn

n<

2*lim1

bbEn

nn

ise b̂ asimtotik etkindir. Burada *b , b

nin başka bir tutarlı tahmin edicisidir. Eğer tutarlı tahmin ediciler karşılaştırıldığında

hangisinin varyansı daha hızla sıfıra yaklaşıyorsa o, asimtotik etkendir. Örneğin b̂ veb~

gibi

iki tahmini ele alalım. Bunların dağılımlarının ortalama ve varyansları şöyle olsun:

bn

nbE

1ˆ 2

ˆvarn

kb (k sabit bir sayı)

bn

nbE

1~

n

kb ~

var

Her iki tahmin edicinin de sapmalı ama tutarlı oldukları görülmektedir, çünkü n iken

sapmaları ve varyansları sıfır olmaktadır.

bbEn

ˆlim 0ˆvarlim

bn

bbEn

~lim 0

~varlim

b

n

Ancak b'nın varyansı, n iken sıfıra daha fazla yaklaşmaktadır, dolayısıyla b̂ 'nın ,

almaşık b~

tutarlı tahmin edicisinden daha etkin olduğunu söyleyebiliriz.

9

EN KÜÇÜK KARELER TAHMİN EDİCİLERİNİN ÖZELLİKLERİ

Rassal terim u'nun bazı genel varsayımları yerine getirmesi, yani ortalamasının sıfır ve

varyansının sabit olması koşuluyla, en küçük kareler tahmincilerinin DES ( doğrusal, en iyi,

sapmasız) özelliklerini sağlamasına Gauss-Markow en küçük kareler teoremi denmektedir.

1) Doğrusallık Özelliği

En küçük kareler tahminleri 0b̂ ve 1b̂ gözlenen örnekteki Yi değerlerinin doğrusal

fonksiyonlarıdır. Varsayım gereğince Xi ler hep aynı değerlerle göründüklerine göre en küçük

kareler tahminlerinin yalnız Y değerlerine bağlı olduğu gösterilebilir.

0b̂ =f(Y) ve 1b̂ =f(Y).

1b̂ = i

i

i Yx

x

2= iiYk

2

i

ii

x

yx= iiYk =

222

i

i

i

ii

i

ii

x

xY

x

Yx

x

YYx

ki=

2

i

i

x

x NOT: tanım gereği bir değişkenin kendi ortalamasından

sapmalarının toplamı her zaman sıfırdır 0 XXx ii

Varsayım gereği X değerleri sabit sayılar kümesidir. Öyleyse ki ler de örnekten örneğe

değişmezler ve tek tek Y değerlerine atanmış sabit ağırlıklar olarak düşünülebilirler.

Bu durumda şunu yazabiliriz:

)(...ˆ22111 YfYkYkYkYkb nnii

1b̂ tahmini, Y lerin doğrusal bir fonksiyonudur, bağımlı değişken değerlerinin doğrusal bir

bileşimidir.

2) Sapmasızlık Özelliği

0b̂ ve 1b̂ in sapmasızlık özelliği 00ˆ bbE ve 11

ˆˆ bbE bu özelliğin anlamı, örneklerin

sayısı artıkça tahminlerde parametrelerin gerçek değerine yaklaşır.

10

3) En Küçük Varyans Özelliği

Gauss-Markow teoremi ispatı: Bu teoreme göre en küçük kareler tahminleri, başka

ekonometri yöntemleriyle bulunmuş herhangi bir başka doğrusal sapmasız tahmin ediciler

arasında en iyisidir ( varyansı en küçük olandır). SEK yönteminin tutulmasının temel nedeni

de bu özelliktir.

1b̂ varyansının bulunuşu

Var( 1b̂ )=

2

22 1ˆ

1

i

ub

x var(Yi)= 222

)( uiii uEyEYE

Var( 1b̂ )= )var(var 2

iiii YkYk

Var( 1b̂ )= 22

uik = 22

iu k

=

2

2

2

2

2

2

2 1

i

u

i

i

u

i

iu

xx

x

x

x

Gerçek parametrenin herhangi bir ekonometri yöntemiyle bulunmuş doğrusal sapmasız bir

tahminin, örneğin 1

~b in, en küçük kareler tahmini olan 1b̂ den daha büyük varyansa sahip

olduğunu kanıtlamak istiyoruz. Yani,

Var( 1b̂ )<Var( 1

~b )

İlk olarak yeni tahmin edici 1b̂ , iY lerin doğrusal bileşimi, örnekteki Y değerlerinin tartılı

toplamıdır, buradaki tartılar, en küçük kareler tahminlerindeki 2/ iii xxk tartılarından

farklıdır. Örneğin diyelim ki,

1

~b = iiYc burada ci=ki+di , ki SEK tahminleri için yukarıda tanımlanan tartılar ve di ise ki

lere benzeyen ama aynı olmayan isteğe bağlı bir tartılar kümesidir. iY yerine uXbb 10

İfadesini geçirirsek

)(~

1011 ii uXbbcb = 1110 ucXcbcb iii

İkinci olarak yeni tahmin 1

~b in aynı zamanda gerçek b1 in sapmasız bir tahmincisi olduğu

varsayılmaktadır. Yani 11ˆ bbE ve beklenen değerini alırsak

11101 )(~

ucXcbcbEbE iii

Yalnızca aşağıdaki koşulların sağlanması halinde 1

~bE b1 olacaktır.

0ic 1ii Xc ve 0iiue

11

Ama 0ic ifadesi 0id sonucunu doğurur çünkü

11 dkdkc iii ve ifadesinin sıfıra eşitliği için 1k =0 ve 1d =0

olmalı 1k =

2

i

i

x

x=

0

022

ii

i

xx

XX

Benzer biçimde 1ii Xc eşitliğinde 0 ii Xd olmasını gerektirir. Çünkü

iiiiii XdXkXc ve 1 ii Xk

Sonuç olarak 1

~b b1 in doğrusal sapmasız bir tahmini olarak tanımladığımıza göre ve tartılarda

ci=ki+di olduğuna göre şunları tanımlamış oluruz:

0ic 1d =0 1ii Xc 0 ii Xd

Üçüncü olarak yeni tahmin edici 1

~b in varyansı şöyle olacaktır.

22

11ˆvar

~var iu dbb

İspat: 1

~var b in çıkarılması işlemleri, en küçük kareler tahmini 1b̂ in varyansının

çıkarılmasıyla aynıdır.

iYkb 11ˆ ve

22222

11 varvarvarˆvar iuuiiiii kkYkYkYkb

b'nin varyansını da bunlara benzeterek yeniden yazabiliriz:

1

~b = iiYc

1

~var b = iiii YcYc varvar 2

Burada ci ler Yi lerden bağımsız sabit tartılardır. Öte yandan

2var uiy dolayısıyla

22

1

~var iu cb

öyleyse

222

1

2

1

222 iiiiiii dkdkdkdkc

Burada

0

222

i

iii

i

ii

i

i

iii

x

dXXd

x

dXXd

x

xdk

(yukarıda belirtilen i id X =0 ve 0id koşullarından)

12

Yerine koyarak şunu buluruz:

2 2 2 2 2 2 2var i u i i u i u ib k d k d

Öte yandan

2 2

1ˆvaru ik b

Dolayısıyla

22

11ˆvar

~var iu dbb

di ler hepsi sıfır olmayan isteğe bağlı sabit tartılar olduğuna göre, ikinci terim artıdır.

2 2 0u id

ci=ki+di olduğundan, eğer bütün di ler sıfırsa o zaman ci=ki olur, bu da 1b in 1b̂ den farklı yeni

bir tahmin edici olduğuna ilişkin varsayımımıza ters düşen 1b = 1b̂ sonucunu verir.

dolayısıyla

var( 1b )>var( 1b̂ )

böylelikle gerçek b1 in doğrusal sapmasız tahminleri içinde, en küçük kareler tahmini en

düşük varyanslıdır.

PARAMETERE TAHMİNLERİNİN VARYANS FORMÜLLERİNİN

GENELLEŞTİRİLMESİ

1. Tek açıklayıcı değişkenli model 0 1 1Y b b X

2

1 2

1ˆvar ubx

2. İki açıklayıcı değişkenli model 0 1 1 2 2Y b b X b X

2

22

1 22 2

1 2 1 2

ˆvar u

xb

x x x x

2

12

2 22 2

1 2 1 2

ˆvar u

xb

x x x x

Yukarıdaki ifadeler determinantla şöyle yazılabilir.

Sapmalar biçiminde yazılmış iki açıklayıcı değişkenli modelin normal denklemleri şöyledir.

2

1 1 1 2 1 2ˆ ˆ( ) ( )x y b x b x x

2

2 1 1 2 2 2ˆ ˆ( ) ( )x y b x x b x

13

Parantez içindeki terimler, örnek gözlemlerinden hesaplanmış determinantlardır1b̂ ve

2b̂ ise

bilinmeyenlerdir. Sağ tarafta yer alan bilinenler, determinant kalıbında yazılabilir.

2

1 1 2

2

1 2 2

x x xA

x x x

her bir parametrenin varyansı, bu parametreye ilişkin minör

determinantının bütün determinanta bölümünün 2

u ile çarpımıdır.

Öyleyse,

2

1 1 2

2

1 2 22

1 2

1 1 2

2

1 2 2

ˆvar u

x x x

x x xb

x x x

x x x

=

2

22

2

1 1 2

2

1 2 2

u

x

x x x

x x x

=

2

22

u

x

A

2

1 1 2

2

1 2 22

2 2

1 1 2

2

1 2 2

ˆvar u

x x x

x x xb

x x x

x x x

=

2

12

2

1 1 2

2

1 2 2

u

x

x x x

x x x

=

2

12

u

x

A

3. Üç açıklayıcı değişkenli model 0 1 1 2 2 3 3Y b b X b X b X

Normal denklemin sağ tarafında görülen bilinen terimlerin determinantı şöyledir:

2

1 1 2 1 3

2

1 2 2 2 3

2

1 3 2 3 3

x x x x x

x x x x x

x x x x x

= B

2

1 1 2 1 3

2

1 2 2 2 3

2

1 3 2 3 32

1ˆvar u

x x x x x

x x x x x

x x x x xb

B

=

2

2 2 3

2

2 3 32

u

x x x

x x x

B

2

1 1 2 1 3

2

1 2 2 2 3

2

1 3 2 3 32

2ˆvar u

x x x x x

x x x x x

x x x x xb

B

=

2

1 1 3

2

1 3 32

u

x x x

x x x

B

14

2

1 1 2 1 3

2

1 2 2 2 3

2

1 3 2 3 32

3ˆvar u

x x x x x

x x x x x

x x x x xb

B

=

2

1 1 2

2

1 2 32

u

x x x

x x x

B

Katsayı tahminlerinin varyanslarını gösteren yukarıdaki ifadeler incelenecek olursa, şu

genelleme yapılabilir. k sayıda açıklayıcı değişken içeren bir modelin tahminlerinin varyansı

iki determinantın bir birine oranından hesaplanabilir. Örneğin ˆkb nın varyansı aşağıdaki

ifadedir.

2

1 1 2 1

1 2 1 2 2

2

1 22

2

1 1 2 1

1 2 1 2 2

2

1 2

ˆvar

k

k

k k k

k u

k

k

k k k

x x x x x

x x x x x x

x x x x xb

x x x x x

x x x x x x

x x x x x