Click here to load reader

Regresi Terboboti (Weighted Regression / Weighted Least Square)

  • View
    306

  • Download
    21

Embed Size (px)

Text of Regresi Terboboti (Weighted Regression / Weighted Least Square)

Regresi Terboboti (Weighted Regression / Weighted Least Square)

Regresi Terboboti (Weighted Regression / Weighted Least Square)http://oc.its.ac.id/jurusan.php?fid=1&jid=3

Wiwiek Setya Winahju

[email protected] metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan va-riansi bernilai tertentu, yaitu (2; dinotasikan (i ~ iidn(0, (2). Secara visual kondisi (i ~ iidn(0, (2) dide-teksi menggunakan empat macam plot, yaitu : residual terhadap fit, residual terhadap urutan pelaksana-an eksperimen, histogram residual, dan kenormalan residual. Pada mulanya untuk penaksiran parameter koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square, disingkat OLS). A-pabila plot residual terhadap fit membentuk titik-titik yang tidak random, tetapi membentuk pola, misal berbentuk corong atau bando lengkung, ini menunjukkan asumsi identik tidak terpenuhi. Kondisi ini dinamai juga heteroskedastisitas (lawannya adalah homoskedastisitas). Metode penaksiran parameter yang sesuai adalah kuadrat terkecil terboboti (Weighted Least Square, disingkat WLS). Berikut ini akan diuraikan secara singkat lebih dulu tentang OLS sebagai review, baru kemudian WLS.

Review O L SModel regresi linier umum dalam matrik ialah : Y = X ( + (. Apabila untuk membangun model re-gresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :

Yi = Xi ( + (i atau Yi = (0 + (1 X1i + (2 X2i + L

+ (k Xki + (i , i = 1, 2, ... , n.Bila asumsi (i ~ iidn(0, (2) terpenuhi, artinya :

- (i identik, dinotasikan var((i) = (2 untuk setiap i, dapat pula diartikan cov((i,(j) = (2 bila i = j,

atau cov((i,(i) = (2 ,

- (i independen, dinotasikan cov((i,(j) = 0 untuk i ( j, akibatnya E((i(j) = E((i) E((j),

- (i ~ n(0, (2), E((i ) = 0 untuk setiap i dan var((i ) = (2 untuk setiap i;

karena (i juga bersifat independen, maka berakibat E((i(j) = E((i) E((j) = 0,

maka menjadikan matrik varian kovarian vektor (, dinotasikan var((), adalah sebagai berikut :

var(() = 1121

2122

12

var()cov(,)cov(,)

cov(,)var()cov(,)

cov(,)cov(,)var()

n

n

nnn

eeeee

eeeee

eeeee

L

L

MMOM

L

= 2

2

2

00

00

00

s

s

s

L

L

MMOM

L

= I (2Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus berikut :

b = 0

1

k

b

b

b

M

= (XTX)-1 XTY dan var(b) = 0010k

1011k

k0k1k

var(b)cov(b,b)cov(b,b)

cov(b,b)var(b)cov(b,b)

cov(b,b)cov(b,b)var(b)

L

L

MMOM

L

= (XTX)-1(2Penaksir nilai respon, yaitu 0

Y

, pada nilai prediktor ditentukan X0, beserta variansinya adalah sebagai berikut :

0

Y

= T

0

X

b var(0

Y

) = var(T

0

X

b) = T

0

X

var(b) X0 = T

0

X

(XTX)-1(2 X0 = T

0

X

(XTX)-1X0 (2,

dengan : X0 = 10

0

20

0

k0

1

X

1

X

X

X

atau

=

X

M

Regresi WL SResidual tidak identik mengakibatkan var((i) tidak sama untuk setiap i, dinotasikan var((i) = 2

i

s

(Pada OLS var((i) = (2). Agar (i memenuhi asumsi identik maka dilakukan transformasi, dengan cara menga-likan (i dengan 0,5

i

w

, atau vektor ( dengan matrik P-1 dari sisi kiri. P adalah matrik diagonal dengan ele-men5

,

0

-

i

w

, dan wi komponen kolom W. Matrik diagonal yang elemennya terdiri dari komponen vektor W dinamai Matrik Pembobot, misal dinotasikan Wp (Proses mendapatkan Pembobot banyak didiskusi-di buku-buku teks tentang Ekonometrika). Sekarang, vektor residual menjadi f ,

f = P-1 (.

Matrik P ditentukan sedemikian rupa sehingga memenuhi : PTP = PP = P2 = V.

Residual baru ini, yaitu fi , sudah memenuhi segala asumsi, dinotasikan fi ~ iidn(0, (2). Persamaan regresi baru :

P-1 Y = P-1 X ( + P-1 (,dengan notasi baru :

Yw = Q (w + f atau Ywi = (w0 Q0i + (w1 Q1i + fi (khusus regresi dengan satu prediktor).

Ini merupakan persamaan regresi OLS, dengan:

variabel respon Yw = P-1 Y,

variabel prediktor Q0 dan Q1, yang terhimpun di dalam matrik Q = P-1 X ,

parameter : (w0 dan (w1 (khusus regresi dengan satu prediktor).

residual f.

Regresi ini, kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti kolom pertama matrik X pada regresi OLS, yang setiap elemen kolom pertamanya bernilai 1. Berikut ini ditampilkan kolom-kolom matrik X dan Q, dengan Q = P-1 X :

X = 1

2

1

1

1

n

x

x

atau

x

MM

X = 111

122

1

1

1

1

k

k

nkn

xx

xx

xx

L

L

MMOM

L

Q = 0111

0212

01

nn

qq

qq

qq

MM

atau Q = 01111

02122

01

k

k

nnkn

qqq

qqq

qqq

L

L

MMOM

L

X untuk satu prediktor X untuk k prediktor Q untuk satu prediktor Q untuk k prediktor

Varian residual atau error sebelum dilakukan transformasi ialah :

var(() = 1121

2122

12

var()cov(,)cov(,)

cov(,)var()cov(,)

cov(,)cov(,)var()

n

n

nnn

eeeee

eeeee

eeeee

L

L

MMOM

L

= 2

1

2

2

2

00

00

00

n

s

s

s

L

L

MMOM

L

= V(2Matrik V bukan matrik identitas, tetapi seperti ketentuan di atas, yaitu : V = PTP = PP = P2 . Sebelum ditransformasi, elemen diagonal utama matrik varian-kovarian, yaitu var((), tidak sama; kondisi ini dinamai tidak identik atau heteroskedastisitas. Agar identik, variansi error yang dinotasikan 2

i

s

, i = 1, 2, ... , n, dikalikan dengan pembobot seperti yang telah diuraikan di halaman 2. Pembobot ini dihim-pun di dalam matrik P-1, kalau dikaitkan dengan matrik V, maka yang dimaksud dengan matrik pembo-bot ialah V-1 yang berelemenkan w, bukan 0,5

i

w

. Setelah dilakukan transformasi f = P-1 (, maka error menjadi f, dengan sifat seperti error pada regresi OLS, yaitu var(f) = I(2 . Penjabaran var(f) secara rinci adalah sebagai berikut :

var(f) = E(f E(f))(f E(f))T = E(f 0)(f 0)T = E(f fT )

= E(P-1 ( (P-1 ()T) = E(P-1 ( (T P-1) = P-1 E(( (T) P-1 = P-1 V(2 P-1 = P-1 P P (2 P-1 = P-1 P P P-1 (2 = I (2Penentuan Pembobot

Penentuan pembobot ini tidak sederhana, harus disesuaikan kasus per kasus, tidak dapat ditentukan formula untuk semua kasus. Secara rinci penentuan pembobot ditelaah pada metode Ekonometrika. Pa-da materi ini hanya akan dibahas satu macam kasus, yang akan dipaparkan dalam contoh. Penaksiran Parameter Koefisien Regresi WL S Dan VariannyaDengan menggunakan/mengadopsi regresi OLS dalam notasi matrik; bila variabel bebas dihimpun di dalam matrik Q, variabel respon Yw, maka penaksir parameter koefisien regresi dan variansinya dida-patkan dengan rumus berikut :

bw = 0w

1w

kw

b

b

b

M

= (QTQ)-1 QTYw = ((P-1 X)T P-1X)-1 (X P-1)T (P-1 Y) = (XT P-1 P-1X)-1 XT P-1 P-1 Y = (XT V-1X)-1 XT V-1 Y var(bw) = 0w0w1w0wkw

1w0w1w1wkw

kw0wkw1wkw

var(b)cov(b,b)cov(b,b)

cov(b,b)var(b)cov(b,b)

cov(b,b)cov(b,b)var(b)

L

L

MMOM

L

= (QTQ)-1(2 = (XT V-1 X)-1 (2bw = (XT V-1X)-1 XT V-1 Y dan var(bw) = (XT V-1 X)-1 (2Selang KepercayaanSelang Kepercayaan 100(1(() untuk parameter (w secara bersama :(bw( (w)T QTQ (bw( (w) = p p

n

)

Y

Q

b

Y

Y

(

W

T

T

w

w

T

w

-

-

Fp,n-p,1-(,dengan bw = (bw0 , bw1)T atau bw = (bw0 , bw1, ... , bwk)T, dan (w = ((w0 , (w1)Tatau (w = ((w0 , (w1, ... , (wk)T. Bentuk p

n

)

Y

Q

b

Y

Y

(

W

T

T

w

w

T

w

-

-

merupakan Kuadrat Tengan Error atau Mean Square Error (MSE) yang tercantum pada tabel ANOVA regresi WLS.Selang Kepercayaan 100(1(() untuk parameter (wi secara partial :

Bila pemodelan regresi menggunakan k prediktor, maka terdapat k+1 koefisien regresi, sehingga i = 0, 1, ... , k. Formula selang kepercayaan menjadi sebagai berikut :

bwi ( 2

1

,

1

k

n

t

a

-

-

-

penaksir simpangan baku (bwi)Tabel ANOVATerdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai berikut :

Formula 1 Formula 2SumberDerajat BebasJumlah KuadratKuadrat TengahSu