70
Agung Priyo Utomo (STIS Jakarta) 1 ANALISIS REGRESI (REGRESSION ANALYSIS) Oleh: Agung Priyo Utomo, S.Si., MT. ([email protected]) Sekolah Tinggi Ilmu Statistik (STIS)

ANALISIS REGRESI ( REGRESSION ANALYSIS )

Embed Size (px)

DESCRIPTION

ANALISIS REGRESI ( REGRESSION ANALYSIS ). Oleh: Agung Priyo Utomo, S.Si., MT.([email protected]) Sekolah Tinggi Ilmu Statistik (STIS). HUBUNGAN ANTAR VARIABEL. REGRESI DAN KORELASI (Keduanya mempelajari hubungan antar variabel). REGRESI - PowerPoint PPT Presentation

Citation preview

Page 1: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 1

ANALISIS REGRESI (REGRESSION ANALYSIS)

Oleh:Agung Priyo Utomo, S.Si., MT.([email protected])Sekolah Tinggi Ilmu Statistik (STIS)

Page 2: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 2

HUBUNGAN ANTAR VARIABEL

HUBUNGAN ANTAR VARIABEL

HUB. FUNGSIONAL/MATEMATIS, y = f(x)

HUB. SECARASTATISTIK, y = f(x) +

MODEL LINIER MODEL NON LINIER

INTRINSIK NON INTRINSIKMODEL REGRESI

MODEL EXP. DESIGN

DLL

Transformasi

Page 3: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 3

REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar

variabel)

REGRESI Mempelajari bentuk hubungan antar variabel

melalui suatu persamaan (RLS, RLB, Regresi non Linear). Hubungan bisa berupa hubungan sebab akibat.

Dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain

Dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan variabel lain

Page 4: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 4

REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar

variabel)

KORELASI Mempelajari keeratan hubungan antar 2 variabel

kuantitatif yang bisa dilihat dari besarnya angka, bukan tandanya

Dapat mengetahui arah hubungan yang terjadi (berbanding lurus jika tandanya positif, dan berbanding terbalik jika tandanya negatif)

Nilainya berkisar -1 sampai dengan 1 Tidak bisa menyatakan hubungan sebab akibat

Page 5: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 5

Contoh: (1) # kematian karena kekeringan di musim panas

# soft drink yang dikonsumsi di musin panasHigh positive correlationApakah soft drink menyebabkan kematian?

(2)Gaji guru dan jumlah $ yang diperoleh dalam penjualan minuman keras.High positive correlationApakah guru membelanjakan uangnya untuk membeli minuman keras?

Korelasi yang tinggi tidak selalu berarti bahwa suatu variabel

menyebabkan/mempengaruhi variabel yang lain

Page 6: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 6

DEPENDENT AND INDEPENDENT VARIABLE

Dependent Variable/Variabel Tak Bebas (Y): Variabel yang nilainya ditentukan oleh variabel lain. Diasumsikan bersifat random/stochastic

Independent Variable/Variabel Bebas (X): Variabel yang nilainya ditentukan secara bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non stochastic.

Syarat :Y: Berjenis data kuantitatifX: Berjenis data kuantitatif atau kualitatif/kategorik

Page 7: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 7

JENIS DATA UNTUK Y

Data Observasi diperoleh tanpa melakukan kontrol thd var. X

tdk kuat menyatakan cause-effect relationships

Data Eksperimendiperoleh dengan melakukan kontrol thd var. X dapat menyatakan cause-effect relationships

Page 8: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 8

Examples

Effect of Car Age on its Price (to what degree can Car Age predict Its Price)

Effect of Woman Age on Her Fertility (to what degree can Woman Age predict Her Fertility level)

Effect of A Person Height on His/Her Weight (to what degree can A Person Height predict His/Her Weight)

Effect of Household Income to Their Consumption Expenditure (to what degree can Household Income predict Their Consumption Expenditure)

Effect of Dow Jones Performance on Darts performance (to what degree can Dow Jones predict Dart performance)

Page 9: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 9

KONSEP DASAR

Pada suatu nilai X tertentu akan tdp banyak kemungkinan nilai-nilai Y (Y akan terdistribusi mengikuti suatu fungsi peluang tertentu Distribusi Normal) dengan Nilai rata-rata E(Y) dan Nilai varians 2 tertentu

Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X, yg digambarkan dalam bentuk garis linier

Nilai varians 2 pada setiap nilai X akan sama

Page 10: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 10

PROSEDUR DALAM ANALISIS REGRESI

1. Identifikasi dan pembentukan model2. Pendugaan parameter model3. Pengujian keberartian parameter 4. Penilaian ketepatan model (goodness of fit)

dan pemeriksaan asumsi

Page 11: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 11

Relationship can be represented by line of best fit

IDENTIFIKASI MODELContoh Ploting Data Car Age vs PriceScatter plot (diagram pencar)

Berguna utk mengidentifikasi model hubungan antara variabel X dan Y.

Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend) yang linier, maka model regresi linier layak digunakan.

0

20

40

60

80

100

120

140

160

180

0 1 2 3 4 5 6 7 8

X

Y

Page 12: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 12

KETERANGAN

Ternyata titik-titik (plotting data) tersebut terlihat mengelompok di sekitar garis lurus

Pada scatter plot tersebut, sebenarnya bisa ditarik beberapa garis yang dekat terhadap titik-titik tersebut

Tujuan kita di sini adalah 1. Mencari garis yang paling tepat2. Melakukan Peramalan3. Ingin mengetahui hubungan yang terjadi (seberapa besar pengaruh usia keendaraan terhadap harga jualnya)

Page 13: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 13

Beberapa Contoh Model Regresi Linear

First-Order Model with One Predictor Variable

Second-Order Model with One Predictor Variable

Second-Order Model with Two Predictor Variables with Interaction

etc.

y x x x x x x 0 1 1 2 2 3 12

4 22

5 1 2y x x x x x x 0 1 1 2 2 3 12

4 22

5 1 2

y x x 0 1 1 2 12y x x 0 1 1 2 12

y x 0 1 1y x 0 1 1

Page 14: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 14

Model Regresi Linear Sederhana

Yi = 0 + 1Xi + i (i = 1, 2, …, n)dimana :

Yi merupakan nilai dari variabel dependent pada observasi ke-i

0 dan 1 merupakan parameter model i merupakan komponen error

(pengaruh variabel bebas lain selain variabel X)Xi adalah nilai variabel bebas X pada observasi ke-in adalah banyaknya data observasi (sampel)

Note: 0 dan 1 disebut juga koefisien regresi, 0 merupakan intercept dan 1 merupakan

slope (gradien garis) yang menyatakan perubahan nilai Y untuk setiap kenaikan satu satuan X

Page 15: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 15

Beberapa Asumsi

Yi (Variabel Tak Bebas/Dependent Variable)

merupakan random variable/bersifat stochastic

Xi (Variabel bebas/Independent Variable) bersifat fixed/non stochastic (bukan merupakan random variable)

E(i) = 0

E(i j) = E(εi2) = 2 untuk i = j (Homoscedastic)

E(i j) = 0 untuk i j (Non autocorrelation)

Page 16: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 16

Beberapa Asumsi (Lanjutan)

i merupakan random variable yang terdistribusi secara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian 2 atau biasa dituliskan sebagai

i ~ NID(0, 2)iid

BAGAIMANA JIKA ADA ASUMSI YANG TIDAK TERPENUHI? BAGAIMANA

MENDETEKSINYA? BAGAIMANA MENGUJI? BAGAIMANA ALTERNATIF SOLUSINYA?

Page 17: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Sifat penting dari Yi = 0 + 1Xi + i

Nilai Y berisi penjumlahan 2 komponen, yaitu suku konstan (0 + 1Xi) dan suku random (i)

Karena E(i)=0, maka E(Yi) = 0 + 1Xi

Nilai observasi Y akan berada di sekitar garis regresi (bisa dibawah atau diatas garis), simpangan ini yang disebut dengan error

Suku i diasumsikan memiliki varian yg konstan, yaitu 2, sehingga Var(Yi) juga konstan (2).

Suku i diasumsikan tidak saling berkorelasi dg j, shg Yi jg tdk saling berkorelasi Yj.

Yi berasal dari suatu distribusi peluang dengan rata-rata 0 + 1Xi dan varian 2.

Agung Priyo Utomo (STIS Jakarta) 17

Page 18: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 18

PENDUGAAN/ESTIMASI PARAMETER

METODE ESTIMASI PADA REGRESI LINIER

MAXIMUM LIKELIHOODMETHOD

LEAST SQUARESMETHOD

Ordinary Least Squares (OLS)

Generalized LeastSquares (GLS)

Page 19: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 19

Least Squares Criterion

Prinsipnya: Min Pada model regresi linear sederhana dengan

asumsi yang telah diberlakukan, maka dipakai Metode OLS untuk mengestimasi parameter model

Estimasi Parameter

Prediksi/estimasi untuk Y jika nilai X diketahui

i

2i

xˆyˆ10

i

2i

iii

xx

xy1 )xx(

)yy)(xx(

S

i10i xˆˆY

Page 20: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 20

CONTOH: REED AUTO SALES

Sebagai bagian dari kampanyenya, Reed Auto menggunakan media televisi untuk iklan selama akhir pekan yang lalu. Berikut adalah data dari 5 sampel penjualan.

Banyaknya iklan TV Jumlah Mobil Terjual1 143 242 181 173 27

Page 21: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 21

Kemiringan Persamaan Regresi Estimasi b1 = 220 - (10)(100)/5 = 5

24 - (10)2/5 Intercept Persamaan Regresi Estimasi

b0 = 20 - 5(2) = 10 Estimasi Persamaan Regresi

y = 10 + 5x Interpretasi: Jika banyaknya iklan bertambah 1

kali, maka dapat meningkatkan banyak penjualan mobil sebanyak 5.

^

CONTOH: REED AUTO SALES

Page 22: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 22

Scatter Diagram

y = 5x + 10

0

5

10

15

20

25

30

0 1 2 3 4Banyaknya Iklan TV

Jum

lah M

obil

Terj

ual

CONTOH: REED AUTO SALES

Page 23: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 23

Example: Relationship between Car Age (X) and its Price (Y)

0

20

40

60

80

100

120

140

160

180

0 1 2 3 4 5 6 7 8

X

Y

Page 24: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 24

Prosedur Penghitungan untuk Estimasi Parameter

Page 25: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 25

2026 $by decreases price the age in increase yearsingle a For

decreases. price the increases age the As

X26.2047.195Y

:uationgressionEqRe

47.195))58)(26.20(975(10

1)XbY(

n

1b

26.20182.20

909.408

S

Sb

909.40810/)975)(58(4732n / Y))(X(XYS

182.2010/(58) - 326 n/)X(XS

326X and 4732XY 975, Y ,58X

10

XX

XY1

XY

22XX

2

2

Page 26: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 26

Regression line and data points for

Car Age and Price Data

Page 27: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 27

Sifat-sifat Estimator Least Squares

Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifat BLUE (Best Linear Unbiased Estimator).

Best = Terbaik, mempunyai varian yang minimum Linear = Linear dalam Variabel Random Y Unbiased = Tak bias Artinya estimator tersebut akan unbiased, linier

dan mempunyai varian yang minimum diantara semua estimator unbiased & linier yang lain.

Page 28: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 28

Age (yrs)

Price ($100s)

Estimated Mean

Response Residual

Squared Residual

Xi Yi iY iii YYe

2ii

2i )YY(e

5 85 94 -9 84 4 103 114 -11 131 6 70 74 -4 15 5 82 94 -12 148 5 89 94 -5 27 5 98 94 4 15 6 66 74 -8 63 6 95 74 21 445 2 169 155 14 197 7 70 54 16 267 7 48 54 -6 32

58 975 975 0 1424

Residual

Page 29: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 29

Inferensi dalam Analisis Regresi

Model Regresi Linear Sederhana

Yi = 0 + 1Xi + i

Dimana i merupakan random variabel yang

terdistribusi NID(0,2) Contoh:

Sebuah Perusahaan, Westwood Company, sedang meneliti tentang hubungan antara jumlah sparepart yang diproduksi (X) dengan jumlah jam kerja yang diperlukan (Y) dari 10 proses produksi terakhir.

(Data ada di buku Neter and Wasserman, halaman 40)

Page 30: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 30

INFERENSI TENTANG MODELConfidence Interval dan Uji Hipotesis

Confidence Interval (1-)100% untuk 1

Pada contoh Westwood Company, diperoleh n = 10SSE = 60 MSE = 7.5

Sehingga CI 95 % untuk 1 adalah P(1.89 ≤ 1 ≤ 2.11) = 95 %

%100)1())ˆ(ˆ)ˆ(ˆ( )2,1(111)2,1(11 22 nn tstsP

0.2ˆ1 0.10ˆ

0

0.2X284002 iX 3400)( 2 XX i

13660)( 2 YYi

Page 31: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 31

Uji Hipotesis Tentang 1

a. H0: 1 = 0 b.H0: 1 ≤ 0 c. H0: 1 ≥ 0H1: 1 ≠ 0 H1: 1 > 0 H1: 1 < 0

Statistik Uji:

Keputusan pada tingkat sign. : Tolak H0 jika a. b. c.

Kesimpulan :Jika H0 ditolak, maka dengan tingkat kepercayaan (1- ) 100 %, terdapat hubungan yang linier antara variabel X dan variabel Y (terdapat pengaruh yg signifikan dari variabel X thd variabel Y)

)ˆ(

ˆ

1

1*

s

t

|||*| )2,1( 2 ntt )2,1(* ntt )2,1(* ntt

INFERENSI TENTANG MODELConfidence Interval dan Uji Hipotesis

Page 32: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 32

Pada contoh Westwood Co., diperoleh t* = 42.58t(0.975,8) = 2.306 dan t(0.95,8) = 1.860

Keputusan? Kesimpulan?

INFERENSI TENTANG MODELConfidence Interval dan Uji Hipotesis

Statistik Uji-t setara dengan Statistik Uji-F

Page 33: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 33

PENDEKATAN ANOVA DALAM ANALISIS REGRESI

YYYYYY iiii ˆˆ

Dasar: Partisi dari Sum Squares Total (SST) dan derajat bebas

SST SSE SSR

Total Sum of Squares Error SS Regression SSdf n – 1 n – 2 1

Rumus untuk penghitungan

222)ˆ()ˆ()( YYYYYY iiii

n

YYSST i

i

22 )(

n

XiXSSR i

222

1

)(ˆ

Page 34: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 34

ILUSTRASI GEOMETRIS PARTISI JUMLAH KUADRAT

Y

iY

Yi

ii YY ˆ

YYi ˆ

Page 35: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 35

PENDEKATAN ANOVA DALAM ANALISIS REGRESI

Mean Squares (MS): SS dibagi dengan derajat bebasnya

Tabel ANOVA untuk Regresi Linear Sederhana

21

n

SSEMSEdanSSR

SSRMSR

Source of Variation

SS df MS E{MS} F*

Regression

1 MSR

Error n–2 MSE

Total n–1

2)ˆ( YYi

2)ˆ( ii YY

2)( YYi

221

2 )( XX i

2MSE

MSR

Page 36: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 36

PENDEKATAN ANOVA DALAM ANALISIS REGRESI

5.78

6013600

1

13600 MSEdanMSR

Anova tersebut dapat digunakan untuk menguji H0: 1 = 0 vs H1: 1 ≠ 0

Tabel ANOVA untuk Kasus Westwood CompanyPada Westwood Co., diperoleh SSR = 13600 dan SSE = 60, sehingga

Page 37: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 37

Tabel ANOVA untuk Kasus Westwood Company

Keputusan: Tolak H0 jika F* > F(1-;1, n-2)

Dari tabel F, diperoleh F(0.95;1, 8) = 5,32 Kesimpulan?

Source of Variation

SS df MS F*

Regression 13600 1 136001813

Error 60 8 7.5

Total 13660 9

PENDEKATAN ANOVA DALAM ANALISIS REGRESI

Page 38: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 38

Koefisien Determinasi (R2)Mengukur proporsi keragaman total dari nilai observasi Y di sekitar rataannya yang dapat diterangkan oleh garis regresinya atau variabel bebas yg digunakan.

Nilainya: 0 ≤ R2 ≤ 1, makin mendekati 1 berarti model regresi yg digunakan makin tepat/baik

SST

SSE

SST

SSRR 12

PENILAIAN KETEPATAN MODEL (GOODNESS OF FIT)

Page 39: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 39

PERAMALAN NILAI RATA-RATA Y (Y|X) PADA X=X0

E(y) = y|x = 0 + 1x

y = b0 + b1x

Var(y) = var[y+b1(x-x)]

Confidence Interval (1-)100% untuk rata-rata y pada x=x0 adalah

^

^__

]x[)xx(

n)yvar(

n

)x(2

22

2

2

%100)1(]s.tys.ty[P y2n,xx|yy2n, 202

]x[

s)xx(

n

ss)yvar(.est

n

)x(2

22

22y 2

Page 40: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 40

PERAMALAN NILAI INDIVIDU Y (Yi) PADA X=X0

yi = 0+ 1xi + i

Berdasarkan n pengamatan, maka yi = b0+ b1xi + i = yi + i

Confidence Interval (1-)100% untuk rata-rata y pada x=x0 adalah

^

2

n

)x(2

22

2

i]x[

)xx(n

)yvar( 2

%100)1(]s.tyys.ty[Pi20i2

y2n,ixx|iy2n,i

2

n

)x(2i

22

i

22yi s

]x[

s)xx(

n

ss)yvar(.est 2

ii

Page 41: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 41

KOEFISIEN KORELASILinear Correlation Coefficient

suatu ukuran yang menyatakan erat tidaknya hubungan linier yang ada antara variable X dan Y,

nilai korelasi dirumuskan sebagai

Nilai koefisien korelasi berkisar -1 sampai 1 (-1 ≤ r ≤ 1)

tanda positif atau negatif dari R sesuai dengan tanda positif atau negatif pada parameter 1

22

2

)()(

))((

yyxx

yyxxRr

ii

ii

Page 42: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 42

Various degrees of linear correlation

Page 43: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 43

Various degrees of linear correlation

Page 44: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 44

CONTOH: REED AUTO SALES

KOEFISIEN DETERMINASIR2 = SSR/SST = 100/114 = 0,8772

Artinya:Hubungan regresi sangat kuat karena 88% variasi mobil yang terjual dapat dijelaskan oleh banyaknya iklan TV.

KOEFISIEN KORELASI9366,08772,0rxy

Page 45: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 45

KESETARAAN UJI KOEFISIEN REGRESI DAN KOEFISIEN KORELASI rXY = rYX

Hipotesis H0: β1 = 0 setara dengan H0: ρ = 0

H1: β1 0 H1: ρ 0

Tolak H0 berarti ada hubungan linier antara variabel X dan Y

i

2i

i

2i

x

y1

i

2i

i

2i

x

y1

)xx(

)yy(

S

S;

)xx(

)yy(

rS

Srˆ

Page 46: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 46

KESETARAAN UJI KOEFISIEN REGRESI DAN KOEFISIEN KORELASI (L) Statistik Uji:

Tolak H0 jika

2n22hitung t~r1

2nr

2nr1

0rt

2n;2

hitung tt

Page 47: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 47

Example: linear correlation coefficient for Car Age and Price Data

Page 48: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 48

Model Summary

.924a .853 .837 12.577Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), Car Age (years)a.

SPSS Printout for one PredictorVariables Entered/Removedb

Car Age(years)

a . Enter

Model1

VariablesEntered

VariablesRemoved Method

All requested variables entered.a.

Dependent Variable: Price ($)b.

R2, Percentage of Variance

Page 49: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 49

Coefficientsa

195.468 15.240 12.826 .000

-20.261 2.800 -.924 -7.237 .000

(Constant)

Car Age (years)

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Price ($)a.

ANOVAb

8285.014 1 8285.014 52.380 .000a

1423.532 9 158.170

9708.545 10

Regression

Residual

Total

Model1

Sum ofSquares df Mean Square F Sig.

Predictors: (Constant), Car Age (years)a.

Dependent Variable: Price ($)b.

InterceptSlope

Is regression Significant?

Error of prediction

Page 50: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 50

MODEL REGRESI LINIER BERGANDA

Model Regresi Linier Berganda

yi = 0 + 1xi1 + 2xi2 + … + pxip + i

Persamaan Regresi Linier BergandaE(yi) = 0 + 1xi1 + 2xi2 + … + pxip

Estimasi Persamaan Regresi Linier Bergandayi = b0 + b1xi1 + b2xi2 + … + bpxip

dimanayi = variabel tak bebas (response/dependent variable)xi = variabel bebas (predictor/independent variable) ke-ii = suku sisaan (error/residual)i = koefisien regresi dari variabel bebas ke-i

^

Page 51: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 51

METODE KUADRAT TERKECIL

Kriteria Kuadrat TerkecilPrinsip: Meminimalkan jumlah kuadrat error

Pencarian estimasi koefisien regresi dapat diperoleh melalui aljabar matriks, namun dalam kuliah ini akan menggunakan hasil penghitungan menggunakan komputer

bi menyatakan estimasi perubahan y yang disebabkan oleh berubahnya nilai xi sebesar satu satuan, dengan asumsi variabel bebas yang lain konstan

2ii )yy( min 2ii )yy( min

Page 52: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 52

SURVEI GAJI PROGRAMER

Perusahaan perangkat lunak mengumpulkan data dengan jumlah sampel 20 programer komputer. Suatu anggapan dibuat bahwa analisis regresi dapat digunakan untuk menghitung/mengetahui apakah gaji dipengaruhi oleh pengalaman kerja (tahun) dan skor kecerdasan para programer.Pengalaman, skor kecerdasan, dan gaji ($1000s) dari 20 sampel programer komputer terdapat pada slide berikutnya.

Page 53: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 53

Pengalaman Skor Gaji Pengalaman SkorGaji4 78 24 9 88 387 100 43 2 73 26.61 86 23.7 10 75 36.25 82 34.3 5 81 31.68 86 35.8 6 74 2910 84 38 8 87 340 75 22.2 4 79 30.11 80 23.1 6 94 33.96 83 30 3 70 28.26 91 33 3 89 30

SURVEI GAJI PROGRAMER

Page 54: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 54

SPSS Computer OutputPersamaan regresinya adalahGaji = 3,17 + 1,40 pengalaman + 0,251 skor

Var. Bebas Coef Stdev t-ratio p Konstanta 3,174 6,156 0,52 0,613Pengalaman 1,4039 0,1986 7,07 0,000Skor 0,25089 0,07735 3,24 0,005

s = 2,419 R-sq = 83,4% R-sq(adj) = 81,5%

SURVEI GAJI PROGRAMER

Page 55: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 55

SPSS Computer Output

Analysis of Variance

SOURCE DF SS MS F PRegression 2 500,33 250,16 42,760,000Error 17 99,46 5,85Total 19 599,79

SURVEI GAJI PROGRAMER

Page 56: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 56

PEMERIKSAAN ASUMSI:

Linieritas, Plot antara nilai-nilai residual (ei) dengan nilai-nilai Xi , Jika pencaran titik yang terbentuk tersebar secara acak di sekitar nol, maka asumsi linieritas terpenuhi.

Umur Mobil (tahun)

87654321

Uns

tand

ardi

zed

Res

idua

l

30

20

10

0

-10

-20

Page 57: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 57

PEMERIKSAAN ASUMSI:

Normalitas, Plot antara residual yang diurutkan e(i) dengan nilai harapannya E(e(i)) (Normal Probability Plot) Jika pencaran titik-titik nya membentuk atau mendekati suatu garis linier maka asumsi kenormalan terpenuhi.

Page 58: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 58

PEMERIKSAAN ASUMSI:

Homoskedastisitas, Sama halnya seperti pada linieritas jika plot antara ei dengan Xi

menunjukkan pola yang acak, atau plot antara ei dengan Yi menunjukkan pola acak, maka asumsi kesamaan varians (homoskedastisitas) terpenuhi Unstandardized Predicted Value

160140120100806040

Uns

tand

ardi

zed

Res

idua

l

30

20

10

0

-10

-20

^

Page 59: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 59

PEMERIKSAAN ASUMSI:

Independensi/Autokorelasi, sering terjadi terutama jika data yang

digunakan untuk analisis regresi merupakan data time series.

Autokorelasi dapat menimbulkan masalah serius terutama pada nilai penduga dari varians sample (MSE).

Pemeriksaan dengan membuat plot antara et

(residual pada waktu ke t) dengan waktu (t), atau dengan statistik Durbin Watson

Page 60: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 60

PEMERIKSAAN ASUMSI:

Multikollinieritas, adalah korelasi antar variabel bebas pada model regresi

berganda Pemeriksaan awal dengan mencari nilai korelasi antar

peubah bebas atau dengan melihat nilai VIF (Variance Inflaction Factor). Nilai VIF yang besar (>10) mengindikasikan adanya multikollinieritas (Neter & Wasserman).

Jika variabel bebas berkorelasi kuat (misal, |r| > 0,7), maka tidak dapat diketahui efek variabel bebas tertentu terhadap variabel tak bebas secara terpisah.

Jika estimasi persamaan regresi digunakan hanya untuk keperluan prediksi, maka multikolinearitas umumnya bukan masalah serius.

Page 61: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 61

PEMILIHAN MODEL REGRESI TERBAIK

1. Backward Elimination Tahap pertama akan memasukkan semua variable bebas X, kemudian secara bertahap akan mengeluarkan satu-persatu X yang tidak potensial. Prosedur seleksi akan terhenti bila dikeluarkannya suatu variable bebas tidak lagi secara significant mereduksi SSE atau menambah nilai R2

.

Page 62: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 62

PEMILIHAN MODEL REGRESI TERBAIK 2. Forward Elimination,

Metoda ini bekerja berkebalikan dari metoda backward dan dimulai dengan memasukkan variabel bebas yang memiliki korelasi paling erat dengan variabel tak bebasnya (variabel yang paling potensial untuk memiliki hubungan linier dengan Y ). Kemudian secara bertahap memasukkan variabel bebas yang petensial berikutnya. Prosedur seleksi akan terhenti sampai tidak ada lagi variabel bebas yang potensial

Page 63: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 63

PEMILIHAN MODEL REGRESI TERBAIK

3. Stepwise EliminationMetoda stepwise memiliki prosedur yang hampir sama dengan metoda forward, hanya saja bila suatu variabel bebas telah masuk pada satu tahapan, dapat saja pada tahapan berikutnya variabel tersebut dikeluarkan karena menjadi tidak potensial lagi dibandingkan dengan variabel yang masuk model setelahnya.

Page 64: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 64

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Variabel Kualitatif/Kategorik sebagai variabel bebas Jenjang Pendidikan: SD, SLTP, SLTA, SLTA+ Jenis kelamin: Laki-laki, Perempuan Status daerah: Kota, Desa Status bekerja: Bekerja, Tidak Bekerja

Page 65: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 65

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Dibuat Indicator variable/Dummy variabel yaitu meng”kuantitatifkan” data kualitatif, dengan kode 0 atau 1

Bila satu variabel bebas memiliki k kategori, maka akan dibuat sebanyak (k-1) variabel indikator, yg masing2 bernilai 0 atau 1

Selanjutnya pendugaan dan pengujian parameter ekivalen dengan regresi berganda

Page 66: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 66

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Coefficientsa

402,376 629,562 ,639 ,532

140,655 20,041 ,743 7,018 ,000

23,478 8,042 ,318 2,919 ,010

93,870 112,731 ,086 ,833 ,417

(Constant)

Pengalaman Kerja(Tahun)

Skor Ujian

Dummy Jenis Kelamin

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Gaji Programer (000 Rp)a.

d = 1, untuk Laki-laki

0, untuk Perempuan Est. yi = 402,376+140,655Xi1+23,478Xi2+93,87d

Page 67: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 67

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Est. yi = 402,376+140,655Xi1+23,478Xi2+93,87d Interpretasi: 140,655 ketika pengalaman kerja bertambah 1 tahun maka

gaji akan bertambah sebesar Rp 140.655,- dengan asumsi skor ujian dan jenis kelamin sama.

23,478 ketika skor ujian bertambah 1 point, maka gaji akan bertambah sebesar Rp 23.478,- dengan asumsi pengalaman kerja dan jenis kelamin sama

93,87 secara rata-rata pegawai berjenis kelamin laki-laki memiliki gaji Rp 93.870,- lebih besar dibandingkan pegawai perempuan (selisih rata-rata gaji pegawai laki-laki dan perempuan gaji laki-laki lebih besar)

Page 68: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 68

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Est. yi = 402,376+140,655Xi1+23,478Xi2+93,87d Interpretasi: Laki-laki:

Est. yi = 402,376+140,655Xi1+23,478Xi2+93,87.(1) Est. yi = (402,376+93,87)+140,655Xi1+23,478Xi2

Perempuan: Est. yi = 402,376+140,655Xi1+23,478Xi2+93,87.(0) Est. yi = 402,376+140,655Xi1+23,478Xi2

93,87 secara rata-rata pegawai berjenis kelamin laki-laki memiliki gaji Rp 93.870,- lebih besar dibandingkan pegawai perempuan (selisih antara gaji pegawai laki-laki dibandingkan dengan perempuan adalah sebesar Rp 93.870,- laki-laki lebih besar)

Page 69: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 69

Regresi dengan Variabel Bebas Kualitatif/Kategorik

Y = gaji (000rp), X1 = pengalaman kerja, X2 = skor ujian, X3 = jenis kelamin (L & P), X4 = tingkat pendidikan (SMA, Sarjana, Pascasarjana)

d1 = 1, L0, P

d21 = 1, sarjana d22 = 1, Pascasarjana0, lainnya (SMA) 0, lainnya (SMA)

Coefficientsa

587,639 641,663 ,916 ,375

114,047 26,930 ,602 4,235 ,001

20,668 8,213 ,280 2,516 ,025

57,699 131,972 ,053 ,437 ,669

240,612 176,646 ,215 1,362 ,195

306,909 220,655 ,267 1,391 ,186

(Constant)

Pengalaman Kerja(Tahun)

Skor Ujian

Dummy Jenis Kelamin

Sarjana

Pasca Sarjana

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Gaji Programer (000 Rp)a.

Page 70: ANALISIS REGRESI ( REGRESSION ANALYSIS )

Agung Priyo Utomo (STIS Jakarta) 70

Regresi dengan Variabel Bebas Kualitatif/Kategorik dan Suku Interaksi

Est. yi = 2258+149,4Xi1+34,771d+26,383Xi1d Laki-laki: Est. yi = 2258+149,4Xi1+34,771.(1)+26,383Xi1

= (2258+34,771)+(149,4+26,383)Xi1 Perempuan: Est. yi = 2258+149,4Xi1+34,771.(0)+26,383Xi1.(0)

= 2258+149,4Xi1

Coefficientsa

2258,000 177,065 12,752 ,000

149,400 29,929 ,789 4,992 ,000

34,771 282,220 ,032 ,123 ,903

26,383 47,380 ,157 ,557 ,585

(Constant)

Pengalaman Kerja(Tahun)

Dummy Jenis Kelamin

x1d

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Gaji Programer (000 Rp)a.