Data berikut diambil dari skripsi mahasiswa Universitas Sumatera UtaraJudul : Metode Regresi Ridge untuk Mengatasi Model Regresi

Linier Berganda yang Mengandung MultikolinieritasNama : Nanang PradiptaJurusan : MatematikaFakultas : Matematika dan Ilmu Pengetahuan Alam

Tahun Y X1 X2 X31949 15.9 149.3 4.2 108.11950 16.4 161.2 4.2 114.81951 19 171.5 3.1 123.21952 19.1 175.5 3.1 126.91953 18.8 180.8 1.1 132.11954 20.4 190.7 2.2 137.71955 22.7 202.1 2.1 1461956 26.5 212.4 5.6 154.11957 28.1 226.1 5 162.31958 27.6 231.9 5.1 164.31959 26.3 239 0.7 167.61960 31.3 258 5.6 176.81961 33.3 269.8 3.9 186.61962 37 288.4 31 199.71963 43.3 304.5 4.6 213.91964 49.3 323.4 7 223.81965 50.3 336.8 1.2 2321966 56.6 353.9 4.5 242.9

Y : barang import (milliard Franc Prancis)X1 : barang yang dipesan (milliard Franc Prancis)X2 : persediaan barang (milliard Franc Prancis)X3 : barang yang dikonsumsi (milliard Franc Prancis)

1

1. Lakukan Pengujian Asumsi Regresi Linier Klasik! Jika terjadi pelanggaran asumsi maka lakukan pengujian untuk mengatasi pelanggaran tersebut

Coefficientsa

Model

Unstandardized Coefficients

Standardized

Coefficients

B Std. Error Beta t Sig.

1 (Constant)

-18.215 4.185 -4.353 .001

X1 .077 .195 .390 .394 .700

X2 -.080 .089 -.042 -.902 .383

X3 .182 .297 .606 .614 .549

a. Dependent Variable: Y

Dari hasil di atas didapatkan persamaan regresinya adalah

y = -18.215 + 0.077 X1 – 0.080 X2 + 0.182X3

X1 : ketika jumlah barang yang dipesan bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.077 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX2 : : ketika jumlah persediaan barang meningkat sebesar 1 satuan (milliard france Prancis) maka akan menurunkan jumlah barang yang diimpor sebesar 0.080 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX3: ketika jumlah barang yang dikonsumsi bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.182 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetap

Setelah mendapatkan model regresi kita lakukan uji asumsi. Asumsi regresi linier berganda yang pertama adalah normalitas galat. Dalam software SPSS ini uji normalitas dapat menggunakan uji kolmorgorov smirnov dengan hipotesisHipotesis :

2

H0 : Galat menyebar secara normal H1 : Galat tidak menyebar secara normalα = 0.05Berikut merupakan hasil analisis menggunakan software SPSS

One-Sample Kolmogorov-Smirnov Test

Unstandardized Residual

N 18

Normal Parametersa,,b Mean .0000000

Std. Deviation 2.11489406

Most Extreme Differences Absolute .100

Positive .100

Negative -.089

Kolmogorov-Smirnov Z .423

Asymp. Sig. (2-tailed) .994

a. Test distribution is Normal.

b. Calculated from data.

Dari hasil analisis di atas dapat dilihat bahwa nilai signifikansi sebesar 0.994 > α = 0.05. Jadi keputusannya terima H0. Galat menyebar secara normal. Apabila galat menyebar normal maka sampel tersebut pasti juga berasal dari populasi yang berdistribusi normal.

Uji asumsi yang kedua adalah uji homogenitas. Uji ini dimaksudkan untuk memperlihatkan bahwa dua atau lebih kelompok data sampel berasal dari populasi yang memiliki variansi yang sama. Atau ragam galat homogen. Ada beberapa macam uji yang digunakan untuk melihat kehomogenan ragam galat. Antara lain uji park, uji glesjer dan scatter plot. Namun pada analisis kali ini yang digunakan adalah uji glesjer. Dengan hipotesisH0 : ragam galat homogenH1 : ragam galat tidak homogen

3

Coefficientsa

Model

Unstandardized Coefficients

Standardized

Coefficients

t Sig.B Std. Error Beta

1 (Constant)

5.500 1.875 2.933 .011

X1 .242 .087 12.742 2.774 .015

X2 -.052 .040 -.287 -1.312 .210

X3 -.365 .133 -12.566 -2.740 .016

a. Dependent Variable: abresid

Dapat dilihat pada nilai signifikansi untuk keempat variabel ini masing-masing sebesar 0.011, 0.015, 0.210 dan 0.016. Terdapat tiga variabel yang p value < α = 0.05. Jadi tolak H0, yang berarti ragam galat tidak homogen atau terjadi kasus heterokesdastisitas. Dan terjadi pellanggaran terhadap asumsi homokesdastisitas

Selain dengan cara di atas untuk menguji kehomogenan galat juga dapat dilakukan dengan cara membuat plot antara residual dan nilai prediksi. Dapat dilihat dari plot, memiliki pola tertentu. Jadi terjadi heterokesdastisitas.

4

Uji asumsi berikutnya adalah uji autokorelasi, autokorelasi ini digunakan untuk menguji apakah dalam sebuah model regresi linier terdapat korelasi antara kesalahan pengganggu pada periode t dengan kesalahan pada periode t-1 (sebelumnya). Untuk menguji Autokorelasi dapat dilihat dari nilai Durbin Waston (DW), yaitu jika nilai DW terletak antara du dan (4 – dU) atau du ≤ DW ≤ (4 – dU), berarti bebas dari Autokorelasi. Jika nilai DW lebih kecil dari dL atau DW lebih besar dari (4 – dL) berarti terdapat Autokorelasi. Nilai dL dan dU dapat dilihat pada tabel Durbin Waston, yaitu nilai dL ; dU = α ; n ; (k – 1) . Hipotesis untuk uji autokorelasi ini adalahH0 : Tidak terjadi autokorelasiH1 : Terjadi autokorelasi

Model Summaryb

Model R R Square

Adjusted R

Square

Std. Error of

the Estimate

Durbin-

Watson

1 .986a .971 .965 2.33050 .709

a. Predictors: (Constant), X3, X2, X1

b. Dependent Variable: Y

5

Nilai Durbin Watson sebesar 0.709. Dengan n=18 k = 3 didapatkan nilai tabel durbin Watson dL = 0.9331 dan dU = 1.69661. Karena nilai DW = 0.709 < dL = 0.9331 maka tolak H0 terjadi kasus autokorelasi

Langkah selanjutnya adalah uji multikolinieritas. Multikolinieritas dapat dideteksi dengan menghitung koefisien korelasi ganda dan membandingkannya dengan koefisien korelasi antar variabel bebas. Uji multikolonieritas dengan SPSS dilakukan dengan uji regresi, dengan patokan nilai VIF (variance inflation factor) dan koefisien korelasi antar variabel bebas. Apabila VIF > 10 maka diindikasikan terjadi multikolinieritas.

Coefficientsa

Model

Unstandardized Coefficients

Standardized

Coefficients

t Sig.

Collinearity Statistics

BStd. Error Beta

Tolerance VIF

1 (Constant)

-18.215

4.185 -4.35

3

.001

X1 .077 .195 .390 .394 .700 .002 479.364

X2 -.080 .089 -.042 -.902 .383 .919 1.088

X3 .182 .297 .606 .614 .549 .002 477.742

a. Dependent Variable: Y

Dari nilai VIF di atas berturut-turut sebesar 479.364 , 1.088 dan 477.742. Terdapat dua variabel yang VIF > 10 maka terjadi kasus multikolinieritas

6

Yang terakhir adalah uji linieritas. Uji linieritas ini menggunakan ramsey test yang dikembangkan oleh Ramsey (1969) yang menyarankan suatu uji yang disebut general test of specification atau RESET. Uji ini bertujuan untuk meghasilkan F hitung, caranya: F = (R2 new – R2 old)/m

(1 - R2 new)/(n-k) Dimana: m = jumlah variable independent yang baru masuk n = jumlah data observasi k = banyaknya parameter dalam persamaan yang baru.

R2 new = nilai R2 dari persamaan regresi baru

R2 old = nilai R2 dari persamaan regresi lama.

Model Summaryb

Model R R SquareAdjusted R

SquareStd. Error of the

Estimate

1 .986a .971 .965 2.33050

a. Predictors: (Constant), X3, X2, X1

b. Dependent Variable: Y

Model Summary

Model R R Square

Adjusted R

Square

Std. Error of the

Estimate

1 .994a .988 .985 1.54994

a. Predictors: (Constant), DFFIT, X3, X2, X1

7

Hipotesis:

H0 : Model Linier

H1 : Model Tidak Linier

F = (0.988 – 0.971)/1 (1 – 0.988)/(18-4) = 19.8333

Nilai Fα=0.05 (1,14) sebesar 4.60 jadi keputusannya tolak H0 model tidak linier.

Pada data di atas, penangangan pelanggaran asumsi hanya dilakukan untuk menangani kasus multikolinieritas. Berikut merupakan penanganan multikolinieritas menggunakan Principal Component Analysis.

Regression Analysis: Y versus X1, X2, X3

The regression equation isY = - 18.2 + 0.077 X1 - 0.0798 X2 + 0.182 X3

Predictor Coef SE Coef T P VIFConstant -18.215 4.185 -4.35 0.001X1 0.0767 0.1948 0.39 0.700 479.364X2 -0.07981 0.08853 -0.90 0.383 1.088X3 0.1823 0.2971 0.61 0.549 477.742

S = 2.33050 R-Sq = 97.1% R-Sq(adj) = 96.5%

Dari hasil di atas dapat diketahui bahwa model regresi yang terbentuk adalah y = -18.2 + 0.077 X1 – 0.0798 X2 + 0.182 X3

8

Interpretasi :X1 : ketika jumlah barang yang dipesan bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.077 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX2 : : ketika jumlah persediaan barang meningkat sebesar 1 satuan (milliard france Prancis) maka akan menurunkan jumlah barang yang diimpor sebesar 0.07981 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX3: ketika jumlah barang yang dikonsumsi bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.1823 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapLangkah selanjutnya adalah menguji ada tidaknya multikolinieritas. Dengan hipotesis:H0 : tidak terjadi multikolinieritas di antara variabel penjelasH1 : terjadi multikolinieritas di antara variabel H0. Apabila nilai VIF >10 maka diindikasikan terjadi multikolinieritas. Dari hasil VIF di atas dapat dilihat bahwa nilai VIF untuk variabel X1 dan X3 sebesar 479.364 dan 477.742, yang mengindikasikan adanya multikolinieritas. Selanjutnya karena ada multikolinieritas kita menangani masalah ini menggunakan analisis komponen utana atau Principal Component Analysis.

Principal Component Analysis: z1, z2, z3

Eigenanalysis of the Covariance Matrix

Eigenvalue 2.1110 0.8880 0.0010Proportion 0.704 0.296 0.000Cumulative 0.704 1.000 1.000

Variable PC1 PC2 PC3z1 0.674 -0.211 -0.708z2 0.303 0.953 0.005z3 0.673 -0.217 0.706

Untuk menentukan variabel mana yang direduksi. Kita dapat melihat dari nilai eigen value dan cumulative. Komponen yang digunakan

9

adalah yang memiliki nilai eigen value lebih dari 1. Jadi hanya komponen pertama yang memiliki eigen value lebih dari 1. Lalu bila dilihat dari nilai cumulative cari yang lebih dari 75%. Dalam kasus di atas apabila hanya melibatkan komponen yang pertama nilai cumulative sebesar 0.704 namun bila kita memakai komponen yang kedua juga nilai cumulative nya sudah 1. Jadi disini diputuskan menggunakan satu komponen saja, yaitu komponen yang pertama. Karena apabila dilihat dari segi eigen value komponen ke dua kurang dari 1. Lalu nilai cumulative pada komponen pertama sudah 70.4 % hampir mendekati 75%. Karena yang digunakan adalah w1. Maka kita memiliki persamaanW1 = 0.674 z1 + 0.303 z2 + 0.673 z3

Selanjutnya setelah diputuskan hanya satu komponen yang kita gunakan, komponen tersebut diregresikan berdsama variabel y.

Regression Analysis: Y versus w1

The regression equation isY = 30.1 + 8.23 w1

Predictor Coef SE Coef T PConstant 30.1056 0.8915 33.77 0.000w1 8.2311 0.6314 13.04 0.000

S = 3.78219 R-Sq = 91.4% R-Sq(adj) = 90.9%

Hasil regresi yang didapatkan dari model y dengan w1 adalahY = 30.1 + 8.23 w1

Lalu persamaan w1 di atas kita subtitusikan ke dalam persamaan ini.

10

Y = 30.1 + 8.23 (0.674 z1 + 0.303 z2 + 0.673 z3)Y = 30.1 + 5.547 z1 + 2.494 z2 + 5.539 z3

Descriptive Statistics: X1, X2, X3

Variable Mean StDev VarianceX1 237.5 63.5 4034.4X2 5.23 6.66 44.37X3 167.38 41.58 1728.98

Selanjutnya kita lakukan pendugaan parameter dengan rumus

β0= β0 (w )−β1 (w ) X1

S11

−β2 (w ) X2

S22

−β3 (w ) X3

S33

Dan

β j=β j (w )

S jj

Nilai rata-rata dan ragam itulah yang dimasukkan ke dalam rumus pendugaan parameter

β0=30.1−5.547 × 237.54034.4

−2.494 ×5.2344.37

−5.539× 167.381728.98

=28.943

β1=5.547

4034.4=0.001375

β2=2.49444.37

=0.0562

β3=5.539

1728.98=0.003204

11

Jadi persamaan yang baru adalah

Y = 28.943 + 0.001375 X1 + 0.0562 X2 + 0.003204 X3

Interpretasi :X1 : ketika jumlah barang yang dipesan bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.001375 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX2 : : ketika jumlah persediaan barang meningkat sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.0562 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX3: ketika jumlah barang yang dikonsumsi bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.003204 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetap

Cara kedua melakukan penanganan multikolinieritas dengan menggunakan regresi ridge. Kita akan mencari nilai penduga ridge βR (L) adalah

βR (L) = (Z ' Z+ L I )−1 Z ' YNilai matriks Z adalah

1 -1.38887 -0.15513 -1.425601 -1.20152 -0.15513 -1.264461 -1.03936 -0.32027 -1.062451 -0.97638 -0.32027 -0.973471 -0.89294 -0.62053 -0.848411 -0.73708 -0.45539 -0.71373

12

1 -0.55760 -0.47040 -0.514121 -0.39543 0.05505 -0.319321 -0.17974 -0.03503 -0.122121 -0.08843 -0.02002 -0.074021 0.02335 -0.68058 0.005341 0.32249 0.05505 0.226601 0.50826 -0.20017 0.462281 0.80110 3.86832 0.777331 1.05458 -0.09508 1.118831 1.35214 0.26523 1.356921 1.56310 -0.60552 1.554131 1.83233 -0.11009 1.81627

Hasil perkalian Z’Z adalahMatrix M6

18 -0.0000 -0.0000 0.0000-0 17.0000 4.2950 16.9819-0 4.2950 17.0000 4.1866 0 16.9819 4.1866 17.0000

L merupakan konstanta yang dicari dengan rumus

L= p σ2

β ' β

keterangan : p = banyaknya prediktor

σ 2 = kuadrat tengah galat

β ' β = perkalian matriks penduga parameter

L= 3∗5.983897.127

=0.0490911

Selanjutnya matriks LIMatrix Copy_2

0.0490911 0.0000000 0.0000000 0.00000000.0000000 0.0490911 0.0000000 0.00000000.0000000 0.0000000 0.0490911 0.00000000.0000000 0.0000000 0.0000000 0.0490911

13

(Z ' Z+ L I )Matrix M8

18.0491 -0.0000 -0.0000 0.0000-0.0000 17.0491 4.2950 16.9819-0.0000 4.2950 17.0491 4.1866 0.0000 16.9819 4.1866 17.0491

(Z ' Z+ L I )−1

Matrix M9

0.0554045 0.00000 -0.0000000 -0.00000 0.0000000 7.50614 -0.0584813 -7.46218-0.0000000 -0.05848 0.0628737 0.04281-0.0000000 -7.46218 0.0428111 7.48090

Y

Matrix Copy_3

15.916.419.019.118.820.422.726.528.1k27.626.331.333.337.043.349.350.356.6

Z ' Y

Matrix M11

541.900209.295 43.630

14

209.402

βR (L)=(Z ' Z+ LI )−1 Z ' Y

Matrix M12

30.0237 5.8528-0.5319 6.5832

Didapatkan penduga ridge

β0=30.0273 β1=5.8528 β2=−0.5319 β3=6.5832

Berdasarkan perhitungan di atas , maka diperoleh persamaan

ridge regression :

Y = 30.0273 + 5.8528 Z1 – 0.5319 Z2 + 6.5832 Z3 Descriptive Statistics: X1, X2, X3

Variable Mean StDev VarianceX1 237.5 63.5 4034.4X2 5.23 6.66 44.37X3 167.38 41.58 1728.98

Kemudian mengembalikan data Z ke X. Berikut ini

perhitungan untuk mengembalikan data Z ke X :

Selanjutnya kita lakukan pendugaan parameter dengan rumus

β0= β0 (w )−β1 (w ) X1

S11

−β2 (w ) X2

S22

−β3 (w ) X3

S33

Dan

15

β j=β j (w )

S jj

Nilai rata-rata dan ragam itulah yang dimasukkan ke dalam rumus pendugaan parameter

β0=30.0237−5.8528× 237.54034.4

−−0.5319 ×5.2344.37

−6.5832× 167.381728.98

=29.104

β1=5.85284034.4

=0.001451

β2=−0.5319

44.37=−0.01199

β3=6.5832

1728.98=0.003808

Jadi persamaan yang baru adalah

Y = 29.104 + 0.001451 X1 - 0.01199 X2 + 0.003808 X

Interpretasi :X1 : ketika jumlah barang yang dipesan bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.001451 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX2 : ketika jumlah persediaan barang meningkat sebesar 1 satuan (milliard france Prancis) maka akan menurunkan jumlah barang yang diimpor sebesar 0.01199 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetapX3: ketika jumlah barang yang dikonsumsi bertambah sebesar 1 satuan (milliard france Prancis) maka akan meningkatkan jumlah barang yang diimpor sebesar 0.003808 satuan (milliard france Prancis) dengan variabel yang lainnya dianggap tetap2. Apa yang Anda gunakan untuk mengatasi pelanggaran asumsi

tersebut? Mengapa?

16

Pada data di atas terjadi banyak kasus pelanggaran asumsi regresi linier berganda antara lain terjadi kasus heterokesdastisitas, autokorelasi, multikoinieritas dan model tidak linier. Untuk pelanggaran kasus heterokesdastisitas dapat ditangani dengan dua

cara. Jika σ i2 diketahui atau dapat ditaksir, metode yang paling jelas

dan berkaitan dengan heterokesdastisitas adalah dengan menggunakan kuadrat terkecil tertimbang (weighted least squares).

Jika σ i2 tidak diketahui metode kuadrat terkecil tertimbang yang

dibahas sebelumnya tadi tidak dapat digunakan. Oleh karena itu, dalam praktek, bisa terpaksa digunakan suatu asumsi ad hoc

mengenai σ i2, sekalipun cukup masuk akal, dan mentransformasikan

model regresi asli dengan cara sedemikian rupa sehingga model yang telah ditransformasikan akan memenuhi asumsi homoskedastisitas. Untuk kasus autokorelasi juga menggunkan transformasi. Ada model transformasinya sendiri bila ρ diketahui dan ρ tidak diketahui. Untuk mutikolinieritas dapat di atasi dengan analisis komponen utama dan regresi ridge.

Yt Xt10.00 6.0013.00 8.0015.00 11.0017.00 13.0021.00 16.0024.00 18.0027.00 21.0029.00 23.00

17

32.00 25.0035.00 28.00

Untuk memudahkan interpretasi dimisalkan Yt merupakan plant expenditure dan Xt merupakan sales

3. Data table 2 harus menggunakan analisis apa? Mengapa?

Data di atas menggunakan analisis model distribusi lag. Model regresi linier yang biasanya ditemui tidak memperihatkan pengaruh waktu karena pada umumnya model regresi linier cenderung mengasumsikan bahwa pengaruh variabel bebas terhadap variabel tak bebas terjadi dalam kurun waktu yang sama. Namun dalam model regresi inier juga terdapat model regresi yang memperhatikan pengaruh waktu. Waktu yang diperlukan bagi variabel X dalam mempengaruhi variabel tak bebas Y disebut bedakala atau a time lag. Seperti pada data di atas variabel tak bebas dipengaruhi oleh variabel bebas pada waktu t serta dipengaruhi juga oeh variabel bebas pada waktu t-1, t-2 dan seterusnya.

4. Lakukan pengujian terhadap data tersebut!

Berikut merupakan hasil analisis distribusi lagRegression Analysis: Yt versus Xt, Yt-1

The regression equation isYt = 2.76 + 0.795 Xt + 0.312 Yt-1

9 cases used, 1 cases contain missing values

18

Predictor Coef SE Coef T PConstant 2.7620 0.5955 4.64 0.004Xt 0.7948 0.3727 2.13 0.077Yt-1 0.3116 0.3277 0.95 0.378

S = 0.578121 R-Sq = 99.6% R-Sq(adj) = 99.4%

Analysis of Variance

Source DF SS MS F PRegression 2 475.99 238.00 712.09 0.000Residual Error 6 2.01 0.33Total 8 478.00

Source DF Seq SSXt 1 475.69Yt-1 1 0.30

Untuk menyelesaikan model distribusi lag menggunakan metode Koyck . Model transformasinya adalah

Ct=α 0¿+β0 Yt+τCt−1+Vt

Jadi dari hasil perhitungan minitab didapatkan model transformasi Koyck

Y = 2.760 + 0.7948 X1 + 0.3116 Yt-1

Interpretasi :

Plant expenditure sekarang dipengaruhi oleh sales sebesar 0.7948, oleh plant expenditure tahun kemarin sebesar 0.3116. Dari persamaan di atas didapatkanα 0∗¿¿ = 2.760β0=0.7948τ=0.3116

19

Selanjutnya hasil yang didapat ditransformasi menjadi persamaan regresi dengan rumus

α 0=α 0∗¿1− τ

= 2.7601−0.3116

=4.01163¿

β0=(τ ¿¿0) β0=(0.272¿¿0)× 0.7948=0. 7948¿¿

β1=( τ ¿¿1)β0=(0.272¿¿1)× 0.7948=0. 24804¿¿

Sehingga didapatkan persamaan regresi yang baru Yt = 4.01163 + 0.7948 Xt + 0.24804 Xt-1

InterpretasinyaPlant expenditure sekarang dipengaruhi oleh sales sebesar 0.7948, dan dipengaruhi oleh plant expenditure tahun kemarin sebesar 0.24804

20

21