Regresi Terboboti,Teori,Rinci

Regresi Terboboti (Weighted Regression / Weighted Least Square)http://oc.its.ac.id/jurusan.php?fid=1&jid=3

Wiwiek Setya [email protected]

Penggunaan metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan va-riansi bernilai tertentu, yaitu 2; dinotasikan i ~ iidn(0, 2). Secara visual kondisi i ~ iidn(0, 2) dide-teksi menggunakan empat macam plot, yaitu : residual terhadap fit, residual terhadap urutan pelaksana-an eksperimen, histogram residual, dan kenormalan residual. Pada mulanya untuk penaksiran parameter koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square, disingkat OLS). A-

F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci

Regresi Terboboti (Weighted Regression / Weighted Least Square)

Oleh:

Wiwiek Setya Winahju

Penggunaan metode analisis regresi untuk membentuk model regresi didasari oleh asumsi error atau residual yang bersifat identik, independen, dan berdistribusi normal, dengan mean bernilai nol dan va-riansi bernilai tertentu, yaitu 2; dinotasikan i ~ iidn(0, 2). Secara visual kondisi i ~ iidn(0, 2) dide-teksi menggunakan empat macam plot, yaitu : residual terhadap fit, residual terhadap urutan pelaksana-an eksperimen, histogram residual, dan kenormalan residual. Pada mulanya untuk penaksiran parameter koefisien regresi digunakan metode kuadrat terkecil biasa (Ordinary Least Square, disingkat OLS). A-pabila plot residual terhadap fit membentuk titik-titik yang tidak random, tetapi membentuk pola, misal berbentuk corong atau bando lengkung, ini menunjukkan asumsi identik tidak terpenuhi. Kondisi ini dinamai juga heteroskedastisitas (lawannya adalah homoskedastisitas). Metode penaksiran parameter yang sesuai adalah kuadrat terkecil terboboti (Weighted Least Square, disingkat WLS). Berikut ini akan diuraikan secara singkat tentang OLS sebagai review dan WLS.

Review O L S Model regresi linier umum dalam matrik ialah : Y = X + . Apabila untuk membangun model regresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :

Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i + + k Xki + i

Bila asumsi i ~ iidn(0, 2) terpenuhi, artinya : - i identik, dinotasikan var(i) = 2 untuk setiap i, dapat pula diartikan cov(i,j) = 2 bila i = j, atau cov(i,i) = 2 , - i independen, dinotasikan cov(i,j) = 0 untuk i j, akibatnya E(ij) = E(i) E(j), - i ~ n(0, 2), E(i ) = 0 untuk setiap i dan var(i ) = 2 untuk setiap i; karena i juga bersifat independen, maka berakibat E(ij) = E(i) E(j) = 0,

maka menjadikan matrik varian kovarian vektor , dinotasikan var(), adalah sebagai berikut :

var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2

Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus berikut :

b =

0

1

k

b

b

b

= (XTX)-1 XTY dan var(b) =

0 0 1 0 k

1 0 1 1 k

k 0 k 1 k

var(b ) cov(b ,b ) cov(b ,b )

cov(b ,b ) var(b ) cov(b ,b )

cov(b ,b ) cov(b ,b ) var(b )

= (XTX)-12

1

mailto:[email protected]

pabila plot residual terhadap fit membentuk titik-titik yang tidak random, tetapi membentuk pola, misal berbentuk corong atau bando lengkung, ini menunjukkan asumsi identik tidak terpenuhi. Kondisi ini dinamai juga heteroskedastisitas (lawannya adalah homoskedastisitas). Metode penaksiran parameter yang sesuai adalah kuadrat terkecil terboboti (Weighted Least Square, disingkat WLS). Berikut ini akan diuraikan secara singkat lebih dulu tentang OLS sebagai review, baru kemudian WLS.

Review O L SModel regresi linier umum dalam matrik ialah : Y = X + . Apabila untuk membangun model re-gresi ini digunakan n eksperimen, maka model untuk setiap eksperimen ialah :

Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i + + k Xki + i , i = 1, 2, ... , n.Bila asumsi i ~ iidn(0, 2) terpenuhi, artinya :F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci


Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

2

- i identik, dinotasikan var(i) = 2 untuk setiap i, dapat pula diartikan cov(i,j) = 2 bila i = j, atau cov(i,i) = 2 , - i independen, dinotasikan cov(i,j) = 0 untuk i j, akibatnya E(ij) = E(i) E(j),- i ~ n(0, 2), E(i ) = 0 untuk setiap i dan var(i ) = 2 untuk setiap i; karena i juga bersifat independen, maka berakibat E(ij) = E(i) E(j) = 0,


var() = = = I 2



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

3


b = = (XTX)-1 XTY dan var(b) = = (XTX)-12

Penaksir nilai respon, yaitu , pada nilai prediktor ditentukan X0, beserta variansinya adalah sebagai

berikut :



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

4

= b var( ) = var( b) = var(b) X0 = (XTX)-12 X0 = (XTX)-1X0 2,

dengan : X0 =

Regresi WL S



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

5

Residual tidak identik mengakibatkan var(i) tidak sama untuk setiap i, dinotasikan var(i) = (Pada OLS var(i) = 2). Agar i memenuhi asumsi identik maka dilakukan transformasi, dengan cara menga-likan i dengan , atau vektor dengan matrik P-1 dari sisi kiri. P adalah matrik diagonal dengan ele-

men , dan wi komponen kolom W. Matrik diagonal yang elemennya terdiri dari komponen vektor W dinamai Matrik Pembobot, misal dinotasikan Wp (Proses mendapatkan Pembobot banyak didiskusi-di buku-buku teks tentang Ekonometrika). Sekarang, vektor residual menjadi f ,

f = P-1 .

Matrik P ditentukan sedemikian rupa sehingga memenuhi : PTP = PP = P2 = V.



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

6

Residual baru ini, yaitu fi , sudah memenuhi segala asumsi, dinotasikan fi ~ iidn(0, 2). Persamaan regresi baru :

P-1 Y = P-1 X + P-1 ,

dengan notasi baru :

Yw = Q w + f atau Ywi = w0 Q0i + w1 Q1i + fi (khusus regresi dengan satu prediktor).

Ini merupakan persamaan regresi OLS, dengan: - variabel respon Yw = P-1 Y, - variabel prediktor Q0 dan Q1, yang terhimpun di dalam matrik Q = P-1 X ,- parameter : w0 dan w1 (khusus regresi dengan satu prediktor).



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

7

- residual f.

Regresi ini, kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti kolom pertama matrik X pada regresi OLS, yang setiap elemen kolom pertamanya bernilai 1. Berikut ini ditampilkan kolom-kolom matrik X dan Q, dengan Q = P-1 X :

X = X = Q = atau Q =

X untuk satu prediktor X untuk k prediktor Q untuk satu prediktor Q untuk k prediktor



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

8

Varian residual atau error sebelum dilakukan transformasi ialah :

var() = = = V2

Matrik V bukan matrik identitas, tetapi seperti ketentuan di atas, yaitu : V = PTP = PP = P2 . Sebelum ditransformasi, elemen diagonal utama matrik varian-kovarian, yaitu var(), tidak sama; kondisi ini



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

9

dinamai tidak identik atau heteroskedastisitas. Agar identik, variansi error yang dinotasikan , i = 1, 2, ... , n, dikalikan dengan pembobot seperti yang telah diuraikan di halaman 2. Pembobot ini dihim-pun di dalam matrik P-1, kalau dikaitkan dengan matrik V, maka yang dimaksud dengan matrik pembo-bot ialah V-1 yang berelemenkan w, bukan .

Setelah dilakukan transformasi f = P-1 , maka error menjadi f, dengan sifat seperti error pada regresi OLS, yaitu var(f) = I2 . Penjabaran var(f) secara rinci adalah sebagai berikut :

var(f) = E(f – E(f))(f – E(f))T = E(f – 0)(f – 0)T = E(f fT ) = E(P-1 (P-1 )T) = E(P-1 T P-1) = P-1 E( T) P-1 = P-1 V2 P-1 = P-1 P P 2 P-1

= P-1 P P P-1 2 = I 2

Penentuan PembobotF:\Ibu\materiregresi\RegresiTerboboti,teori,rinci


Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

10

Penentuan pembobot ini tidak sederhana, harus disesuaikan kasus per kasus, tidak dapat ditentukan formula untuk semua kasus. Secara rinci penentuan pembobot ditelaah pada metode Ekonometrika. Pa-da materi ini hanya akan dibahas satu macam kasus, yang akan dipaparkan dalam contoh.

Penaksiran Parameter Koefisien Regresi WL S Dan Variannya

Dengan menggunakan/mengadopsi regresi OLS dalam notasi matrik; bila variabel bebas dihimpun di dalam matrik Q, variabel respon Yw, maka penaksir parameter koefisien regresi dan variansinya dida-patkan dengan rumus berikut :



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

11

bw = = (QTQ)-1 QTYw = ((P-1 X)T P-1X)-1 (X P-1)T (P-1 Y)

= (XT P-1 P-1X)-1 XT P-1 P-1 Y = (XT V-1X)-1 XT V-1 Y



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

12

var(bw) =

= (QTQ)-12 = (XT V-1 X)-1 2

bw = (XT V-1X)-1 XT V-1 Y dan var(bw) = (XT V-1 X)-1 2

Selang Kepercayaan



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

13

Selang Kepercayaan 100(1) untuk parameter w secara bersama :

(bw w)T QTQ (bw w) = p Fp,n-p,1-,

dengan bw = (bw0 , bw1)T atau bw = (bw0 , bw1, ... , bwk)T, dan w = (w0 , w1)Tatau w = (w0 , w1, ... , wk)T.

Bentuk merupakan Kuadrat Tengan Error atau Mean Square Error (MSE) yang

tercantum pada tabel ANOVA regresi WLS.

Selang Kepercayaan 100(1) untuk parameter wi secara partial :



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

14

Bila pemodelan regresi menggunakan k prediktor, maka terdapat k+1 koefisien regresi, sehingga i = 0, 1, ... , k. Formula selang kepercayaan menjadi sebagai berikut :

bwi penaksir simpangan baku (bwi)

Tabel ANOVA

Terdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai berikut :Formula 1 Formula 2

SumberDerajat Bebas Jumlah Kuadrat

Kuadrat Tengah

SumberDerajat Bebas Jumlah Kuadrat

Kuadrat Tengah

Regresi k+1 bwTQTYw Regresi k bw

TQTYw F:\Ibu\materiregresi\RegresiTerboboti,teori,rinci


Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

15

Sisa/Re-sidual nk1 Yw

TYw bwTQTYw

Sisa/Re-sidual nk1 Yw

TYw bwTQTYw

Total n YwT Yw

Total, terkoreksi

n 1 YwT Yw

Formula 3 Formula 4

Sumber Derajat Bebas

Jumlah KuadratKuadrat Tengah Sumber Derajat

BebasJumlah Kuadrat

Kuadrat Tengah

b0 1 Regresi|b0 k bwT QTYw

Regresi|b0k bw

TQTYw Lack of fitn-k-1-

nPE

YwTYwbw

TQTYw JKPE

KTLoF

Lack of fitn-k-1-

nPE

YwTYwbw

TQTYwJKPE

KTLoF Pure Error nPE JKPE



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

16

Pure Error nPE JKPETotal, ter-koreksi n-1 Yw

T Yw

Total n YwT Yw

Pengujian HipotesisPada bagian ini akan diuraikan pengujian hipo-tesis secara lengkap, untuk mendeteksi kemak-naan pengaruh prediktor, baik secara parsial maupun bersama.

Pengujian Hipotesis Untuk Kemaknaan Satu Prediktor Secara Parsial

Ini berarti, model menggunakan k prediktor, kemudian dideteksi pengaruh prediktor ke i terhadap respon; ini disebut pengaruh secara parsial.



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

17

- Perumusan Hipotesis H0 : i = 0, artinya pengaruh prediktor ke i pada respon tidak bermakna. H1 : i 0, artinya pengaruh respon bermakna. - = 0,05

- Statistik Uji :

Nilai adalah akar elemen diagonal utama ke i matrik var(bw), dengan var(bw) = (XT V-1 X)-1 2. Bila H0 benar T~

- Titik Kritis : dan

- Kesimpulan :

H0 diterima bila T ,



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

18

H0 ditolak bila T < atau T >

.- Interpretasi : ...

Pengujian Hipotesis Untuk Kemaknaan k Prediktor Secara Bersama

Tipe 1- Perumusan Hipotesis H0 : i = 0, i = 1, 2, ... , k, artinya pengaruh

prediktor ke i sampai ke k secara bersama-sama tidak bermakna.

H1 : Paling tidak terdapat satu i yang penga- ruhnya terhadap respon bermakna.

- = 0,05

- Statistik Uji : Menggunakan ANOVA formula 2,



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

19

F =

Bila H0 benar, F ~ Fk,n-k-1

- Titik Kritis : Fk,n-k-1,1-

- Kesimpulan : H0 diterima bila nilai F Fk,n-k-1,1-

H0 ditolak bila F > Fk,n-k-1,1- .

Tipe 2- Perumusan Hipotesis H0 : i = 0, i = 0, 1, 2, ... , k, artinya perbedaan setiap i dengan 0 tidak bermakna.

H1 : Paling tidak terdapat satu i yang perbe- daannya dengan nol bermakna.

- = 0,05

- Statistik Uji :



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

20

Menggunakan ANOVA formula 1,

F =

Bila H0 benar, F ~ Fk+1,n-k-1

- Titik Kritis : Fk+1,n-k-1,1-

- Kesimpulan : H0 diterima bila nilai F Fk+1,n-k-1,1-

H0 ditolak bila F > Fk+1,n-k-1,1- .

- Interpretasi : ...

Contoh 1X1 X2 Y Varian W = var 1

60 50 87,5

1,88989

0,5291

60 50 88,1 0,5291

60 50 89,5 0,5291

60 50 86,2 0,5291

60 50 90 0,5291



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

21

60 50 88,2 0,5291

60 50 87,3 0,5291

60 50 89,2 0,5291

60 50 85,9 0,5291

60 50 87 0,5291

60 70 77,4

54,3204

0,0184

60 70 70,7 0,0184

60 70 67 0,0184

60 70 71,7 0,0184

60 70 79,2 0,0184

60 70 68,1 0,0184

60 70 65,3 0,0184

60 70 61 0,0184

60 70 81,7 0,0184

60 70 60,3 0,0184

120 50 82,5

2,50178

0,3997

120 50 81,6 0,3997

120 50 77,4 0,3997

120 50 81,5 0,3997

120 50 79,7 0,3997

120 50 81,3 0,3997

120 50 80,7 0,3997

120 50 79,3 0,3997

120 50 82 0,3997

120 50 79,2 0,3997

120 70 61,2 0,0165



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

22

60,6933

120 70 67,2 0,0165

120 70 55,9 0,0165

120 70 52 0,0165

120 70 63,5 0,0165

120 70 50,7 0,0165

120 70 52,3 0,0165

120 70 68,6 0,0165

120 70 69,5 0,0165

120 70 70,1 0,0165

Sumber : Classical And Modern Regression with Ap- plications, oleh Raymond H. Myers, halaman 281.

Regression Analysis: Y versus X1; X2

The regression equation isY = 143 - 0,138 X1 - 0,927 X2

Predictor Coef SE Coef T PConstant 142,925 5,800 24,64 0,000X1 -0,13758 0,02851 -4,83 0,000X2 -0,92675 0,08552 -10,84 0,000

S = 5,40890 R-Sq = 79,2% R-Sq(adj) = 78,1%

Analysis of Variance

Source DF SS MS F P



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

23

Regression 2 4116,9 2058,5 70,36 0,000Residual Error 37 1082,5 29,3 Lack of Fit 1 7,8 7,8 0,26 0,612 Pure Error 36 1074,6 29,9Total 39 5199,4

Residual Plots for Y



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

24

Plot Residual terhadap Fitted Value menunjukkan pola corong, yaitu makin tinggi Fitted Value, makin kecil nilai residual; ini berarti asumsi eror identik ti-dak terpenuhi, atau terjadi kondisi heteroskedastisi-tas. Disimpulkan, model ini kurang baik, meskipun semua prediktor berpengaruh bermakna ditunjukkan oleh nilai P = 0, koefisien determinasi, R2 cukup tinggi, yaitu sebesar 78,1%; serta lack of fit tidak bermakna, ditunjukkan oleh nilai P = 0,612. Untuk menanggulangi kondisi tersebut dilakukan pembo-botan.

Penentuan Pembobot :Tujuan pembobotan ialah mendapatkan variansi er-ror identik, yaitu var() = I2 . Karena variansi er-ror tidak diketahui, dan secara teori variansi error sama dengan variansi respon, maka yang direkayasa ialah variansi respon, yaitu var(Y). Agar lebih mudah mengevaluasi var(Y), organisasi data di atas diubah kebentuk berikut :

X2

50 7087,5 88,2 77,4 68,1



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

25

X1

60

88,1 87,3 70,7 65,389,5 89,2 67 6186,2 85,9 71,7 81,790 87 79,2 60,3

120

82,5 81,3 61,2 50,781,6 80,7 67,2 52,377,4 79,3 55,9 68,681,5 82 52 69,579,7 79,2 63,5 70,1

Tampak terdapat empat kondisi, masing-masing ter-diri dari 10 eksperimen. Kalau diamati, nilai-nilai respon setiap kondisi hampir homogen, tetapi pada kondisi yang berbeda tampak heterogen. Empat kondisi tersebut adalah :

X1 X2 Varian Pembobot, W

Jumlah Kuadrat

DerajatBebas

60 50 1,88989 0,5291 17,009 960 70 54,3204 0,0184 488,884 9120 50 2,50178 0,3997 22,516 9120 70 60,6933 0,0165 546,24 9

1074,65 36

Perbedaan var(Y) cukup tinggi; agar nilai variansi identik, maka setiap variansi dikalikan suatu bila-ngan yang nilainya tergantung nilai var(Y). Makin kecil nilai var(Y), makin tinggi bilangan pengali-



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

26

nya. Bilangan pengali tersebut disebut pembobot. Dalam kasus ini penbobot dinotasikan W sebesar 1/var(Y), dicantumkan pada kolom sesudah kolom yang memuat varian. Adapun kolom selanjutnya, yaitu yang memuat jumlah kuadrat dan derajat be-bas, digunakan untuk pengujian kemaknaan Lack of fit.

Lebih lanjut, dapat dinyatakan matrik yang berka-itan dengan pembobot sebagai berikut : - Matrik V1 berupa matrik diagonal yang berelemenkan nilai-nilai pembobot, yaitu wi; matrik ini disebut Matrik Pembobot.

V1 =

- Matrik P1 juga matrik diagonal, elemennya merupakan akar elemen V1, yaitu .



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

27

P1 =

Setelah didapatkan matrik pembobot, dilakukan proses pemodelan regresi terboboti, dengan meng-gunakan berbagai rumus atau formula yang sudah diuraikan pada halaman sebelum ini.

Kembali ke Contoh 1, lakukan proses pemodelan regresi terboboti atau regresi WLS dengan mengi-kuti langkah berikut :

1. Tulislah matrik X dan matrik Q.2. Hitunglah : bw dan penaksir Yw , yaitu .3. Hitunglah f , fTf , dan penaksir var(bw). 4. Gambarlah Plot terhadap fi . Bandingkan dengan plot sejenis sebelun dilakukan pembobotan. 5. Dapatkan selang kepercayaan 95% untuk i secara parsial, dan secara bersama.



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

28

6. Lakukan pengujian hipotesis untuk mendeteksi pengaruh variabel prediktor secara parsial dan bersama. Uji pula kemaknaan lack of Fit.

Proses penggunaan WLS pada MINITAB dilakukan dengan mengisikan kolom yang memuat pembobot, yaitu W, pada Weights, yang muncul pada window setelah menekan Option. Jawablah pertanyaan soal no 2 sampai 6. Pada output muncul peringatan; tu-lislah peringatan tsb, dan artikan. Adanya peringa-tan menunjukkan bahwa menjalankan WLS tidak cukup hanya mengandalkan MINITAB.

Contoh 2Berikut ini adalah data hasil eksperimen,

Pengamatan ke X Y W1 1.15 0,99 1.24032 1.9 0,98 2.18243 3 2,60 7.84934 3 2,67 7.84935 3 2,66 7.84936 3 2,78 7.8493



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

29

7 3 2,80 7.84938 5.34 5,92 7.43659 5.38 5,35 6.9931

10 5.4 4,33 6.785711 5.4 4,89 6.785712 5.45 5,21 6.305113 7.7 7,68 0.89214 7.8 9,81 0.844215 7.81 6,52 0.839616 7.85 9,71 0.821717 7.87 9,82 0.813

18 7.91 9,81 0.795919 7.94 8,50 0.7834220 9.03 9,47 0.4738521 9.07 11,45 0.4662122 9.11 12,14 0.4587523 9.14 11,50 0.4532724 9.16 10,65 0.4496825 9.37 10.64 0.4143526 10.17 9,78 0.3118227 10.18 12,39 0.3107928 10.22 11,03 0.30672



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

30

29 10.22 8 0.3067230 10.22 11,90 0.3067231 10.18 8,68 0.3107932 10.5 7,25 0.2803333 10.23 13,46 0.3057134 10.03 10,19 0.326835 10.23 9,93 0.30571

Sumber : Applied Regression Analysis, Second Edition oleh Norman Draper dan Harry Smith, halaman 113.

Aktifkan Enable Command. Setiap jawaban yang memer-lukan perhitungan agar dilengkapi dengan : rumus dan rangkaian command.

1. Dapatkan model regresi Y fungsi X . Uraikan inter-pretasi model yang saudara dapatkan (interpretasi meli-puti Sign dan Size). Apakah model cukup baik?

2. Berapakah b = (b0, b1)T dan penaksir var(b)?

3. Lakukan prediksi Y0 bila biaya promosi X0 sebesar 10,5. Dapatkan pula selang kepercayaan 95% untuk Y0

(confidence interval atau prediction interval ?) Mana yang tepat ? Jelaskan.



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

31

4. Turunkan rumus penaksir var(b0), dan penaksir var(Y0) bila X0 titik prediktor yang digunakan untuk membentuk model (bukan dalam notasi matrik).

5. Dengan asumsi residual iidn(0,2) terpenuhi, maka da-lam bentuk rumus :

b0 ~ N( … , … )b1 ~ N( … , … )Y0 ~N( … , … ).

Tuliskan transformasi terhadap : b0 , b1, dan Y0, agar ma-sing-masing atau setiap hasil transformasi menjadi ber-distribusi normal standar.

6. Karena 2 tidak diketahui, 2 ditaksir dengan s2, maka masing-masing hasil transformasi pada soal no 5 di atas menjadi berdistribusi apa ? Tuliskan setiap hasil trans-formasi beserta distribusinya.

Tuliskan selang kepercayaan 95% untuk setiap hasil tran-formasi, selanjutnya dapatkan pula selang kepercayaan 95% untuk masing-masing 0, 1, dan Y0 pada prediktor bernilai X0.

7. Tulislah rumus statistik uji untuk pengujian hipotesis masing-masing 0, 1, dan Y0 pada prediktor bernilai X0.Lakukan uji hipotesis, apakah perbedaan antara 0 dengan -1 bermakna ? Perbedaan antara 1 dengan 1,5 bermak-



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

32

na ? Perbedaan antara Y0 pada X0 = 10,5 dengan 9,5 ber-makna ?

8. Gambarlah plot Residual terhadap YFIT. Artikan plot tersebut. Lengkapilah analisis, apakah model baik ? Serangkaian perhitungan yang telah anda lakukan adalah berdasarkan metode Ordinary Least Square (OLS).

Pada plot Residual terhadap YFIT tampak bahwa titik-titik tidak random, tetapi membentuk corong. Ini menunjuk-kan model belum baik, sehingga model perlu diperbaiki dengan meggunakan Weighted Least Square (WLS).

Penerapan WLS pada MINITAB dilakukan dengan me-ngisikan kolom yang memuat pembobot, yaitu W, pada Weights, yang muncul pada window setelah menekan Option. Jawablah terapan pertanyaan soal no 1, 2, 3, dan 7, pada kondisi melibatkan pembobot (namailah dengan jawaban no 9 sampai dengan 12). Bandingkan kedua model yang terbentuk (13). Pada output muncul peringa-tan; tulislah peringatan tsb, dan artikan. Adanya peringa-tan menunjukkan bahwa menjalankan WLS tidak cukup hanya dengan menggunakan MINITAB.



Oleh:







var() =

1 1 2 1

2 1 2 2

1 2

var( ) cov( , ) cov( , )

cov( , ) var( ) cov( , )

cov( , ) cov( , ) var( )

n

n

n n n

=

2

2

2

0 0

0 0

0 0

= I 2


b =

0

1

k

b

b

b


0 0 1 0 k

1 0 1 1 k

k 0 k 1 k




= (XTX)-12

33

Documents

Regresi Terboboti,Teori,Rinci