Diagram Venn

5/11/2018 Diagram Venn - slidepdf.com

http://slidepdf.com/reader/full/diagram-venn-55a230e826851 1/12

VISUALISASI DIAGRAM VENN UNTUK ANALISIS REGRESI

1. Parameter Regresi Linier Sederhana

Pada analisis regresi linear sederhana, dibangun model linear demikian

hingga nilai-nilai variabel tak bebas dapat diprediksi dari nilai-nilai dari variabel

bebas. Untuk membangun model linear ini, dimisalkan terdapat n pasangan

observasi yang independen (X 1 ,Y 1), (X 2 ,Y 2), (X 3 ,Y 3), .... , (X n ,Y n), dengan X i adalah

nilai ke-i dari variabel bebas dan Y i adalah nilai ke-i dari variabel tak bebas.

Secara matematik model regresi linier sederhana dapat ditulis sebagai :

Y i = α + β X i + ε I

Dari model tersebut variabel tak bebas (Y ) yang merupakan fungsi linier dari

variabel bebas ( X ) ditambah sisaan (ε ) dimana ε ~NID(0,σ 2).

Untuk tujuan pembelajaran, variabel tak bebas (Y) dan variabel bebas ( X)

dapat dijelaskan melalui Visualisasi Diagram Venn sebagaimana digambarkan

dalam gambar 1. Pada visualisasi tersebut lingkaran yang diberi label Y

menunjukkan “variasi” dalam variabel tak bebas (Y), lingkaran yang diberi label

X menunjukkan “variasi” dalam variabel bebas (X) dan lingkaran yang

merupakan irisan antara Y dan X (daerah hijau) menunjukkan “variasi” dalam

variabel tak bebas (Y) dan variabel bebas (X) secara bersama. Dengan kata lain

daerah hijau dapat diinterpretasikan sebagai “variasi” variabel tak bebas (Y) yang

dapat dijelaskan oleh variabel bebas (X). Yang menjadi catatan disini, bahwa kata

“variasi” tidak dapat secara tegas didifinikan akan tetapi secara intuisi dapat

dijelaskan dalam pemahaman konsep.

Berdasarkan Visualisasi Diagram Venn sebagaimana digambarkan dalam

gambar 1, ada tiga hal yang dapat dijelaskan dalam proses pembelajaran yaitu :

1. Daerah hijau merupakan informasi yang digunakan metode kuadrat terkecil

(MKT) dalam mengestimasi parameter regresi ( β ). Jika informasi ini

berhubungan dengan “variasi” dalam Y semata-mata hanya dijelaskan oleh

“variasi dalam X maka hasil estimasi dari β adalah tak bias.



2. Jika daerah hijau semakin besar maka menunjukkan informasi yang digunakan

MKT untuk mengestimasi β semakin banyak, sehingga mengakibatkan

variansi dari β semakin kecil.

3. Daerah kuning merupakan “variasi” dalam Y yang tidak dapat dijelaskan oleh

X. Daerah tersebut dinamakan suku sisaan regresi, dimana melalui MKT

estimasi darinya adalah σ2.

Gambar 1 : Diagram Venn untuk regresi linier sederhana

2. Parameter Regresi Linier Ganda

Model matematika dalam bentuk matriks dari regresi linier ganda disajikan

sebagai berikut :

iik k iii X X X Y ε β β β β +++++= .....22110

Dari model tersebut variabel tak bebas (Y ) yang merupakan fungsi linier dari

beberapa variabel bebas ( X j ; j=1,2,3,…,k ) ditambah sisaan (ε ) dimana

ε ~NID(0,σ 2).

Untuk tujuan pembelajaran, akan diberikan contoh untuk satu variabel

tak bebas (Y) dan dua variabel bebas ( X dan W) yang dapat dijelaskan melaluiVisualisasi Diagram Venn sebagaimana digambarkan dalam gambar 2. Kennedy

(1981) memberi nama ketiga irisan lingkaran dalam diagram venn tersebut dengan

sebutan “Ballantine” karena adanya kemiripan dengan logo merk bir. Para

pengajar diharapkan sangat berhati-hati dalam menjelaskan interpretasi dari

“Ballantine” yang dihubungkan dengan parameter regresi, karena dalam

X

Y



visualisasi tersebut menggambarkan irisan dari tiga lingkaran sekaligus sehingga

muncul daerah kuning yang tentunya mendapat perhatian serius.

Gambar 2 : Diagram Venn “Ballantine” untuk regresi linier ganda

Berdasarkan visualisasi “Ballantine”, seandainya Y diregresikan pada X

tanpa mempertimbangkan W maka MKT akan menggunakan informasi pada

daerah biru ditambah kuning dalam menentukan mengestimasi β X . Begitu juga

seandainya Y diregresikan pada W tanpa mempertimbangkan X maka MKT akan

menggunakan informasi pada daerah hijau ditambah kuning dalam menentukan

mengestimasi β W . Bagaimana jika Y diregresikan pada X dan W secara bersama ?

Ada tiga pilihan yang dapat ditawarkan kepada mahasiswa untuk didiskusikan,

yaitu :

1. Tetap menggunakan daerah biru ditambah kuning untuk mengestimasi β X dan

daerah hijau ditambah kuning untuk mengestimasi β W .

2. Membuang daerah kuning, sehingga hanya menggunakan daerah biru untuk

mengestimasi β X dan daerah hijau untuk mengestimasi β W .

3. Membagi daerah kuning menjadi dua bagian yang selanjutnya menggunakan

daerah biru ditambah satu bagian kuning untuk mengestimasi β X dan daerah

hijau ditambah kuning pada bagian lain untuk mengestimasi β W .

Y

X W



Berdasarkan alternatif dersebut dimungkinkan mahasiswa dapat membuat suatu

pilihan dengan disertai alasannya. Kemungkinan jawaban mahasiswa akan sangat

bervariatif, misalnya :

• memilih alternatif (1), karena daerah kuning merupakan “variasi” Y yang

dijelaskan secara bersama oleh X dan W, sehingga daerah tersebut merupakan

hak dari X dan sekaligus hak dari W.

• memilih alternatif (2), dengan alasan daerah kuning merupakan informasi yang

tidak baik karena “variasi” Y yang dijelaskan secara bersama oleh X dan W,

sehingga daerah tersebut menjadi tidak jelas merupakan hak dari X atau W.,

sehingga lebih aman jika membuang daerah tersebut untuk kepentingan

estimasi parameter.

• memilih alternatif (3) karena berdasarkan sifat gabungan dari dua himpunan,

yaitu : )()()()( W X nW n X nW X n ∩−+=∪

maka )()()()]()[( W X Y nW Y n X Y nW Y X Y n ∩∩−∩+∩=∩∪∩

Dari sifat tersebut sebenarnya daerah kuning hanya muncul sekali, sehingga

dalam menentukan estimasi β X dapat digunakan daerah biru ditambah kuning

dan menggunakan daerah hijau untuk mengestimasi β W atau sebaliknya. Hal

tersebut berlaku juga jika daerah kuning dibagi menjadi dua bagian dimanayang satu menjadi hak dari X dan yang lain menjadi hak dari W.

Cukup menarik kemungkinan beberapa alternatif jawaban mahasiswa yang

sangat bervariatif. Untuk selanjutnya pengajar dapat mulai menjelaskan

permasahan yang telah didiskusikan. Secara aljabar dalam menentukan estimasi

parameter β dengan menggunakan metode kuadrat terkecil diperoleh :

Y X X X '1')( −= β . Jika diinginkan hanya mengestimasi parameter regresi yang

berhubungan dengan X maka diperoleh :

*'*1*'*

)( Y X X X X

−

= β dimana

Y M Y W =*, X M X W =*

dan'1' )( W W W W I M W

−−= . Dari visualisasi Diagram

Venn ( gambar 2), *Y ditunjukkan sebagai daerah biru ditambah orange

sedangkan*

X ditunjukkan sebagai daerah biru dan biru muda. Akibatnya dalam

menentukan estimasi dari β X , MKT memanfaatkan informasi yang merupakan



irisan dari*

Y dan*

X yaitu daerah biru. Selanjutnya dapat dijelaskan bahwa

daerah biru muda merupakan “Variasi” X yang tidak dapat menjelaskan “variasi”

Y, sedangkan daerah orange merupakan “variasi” dalam Y yang tidak dapat

dijelaskan oleh X maupun W. Daerah tersebut dinamakan suku sisaan regresi,

dimana melalui MKT estimasi darinya adalah σ 2.

3. Multikolinieritas

Multikolinieritas merupakan “ ill condition “ dalam analisis regresi dimana

pada kasus ini terjadi korelasi yang tinggi antar variabel bebas. Konsekwensi

adanya multikolinieritas, meskipun penduga kuadrat terkecil dapat diperoleh akan

tetapi standar errornya akan cenderung meningkat seiring meningkatnya tingkat

kolinieritas.

Melalui visualisasi diagram venn, dapat dibuat manifestasi tentang adanya

multikolinieritas. Visualisasi sebagaimana ditunjukkan pada gambar 3a dan

gambar 3b memberikan gambaran bahwa multikolinieritas dapat diketahui dari

adanya daerah kuning yang cukup besar. Semakin besar daerah kuning yang

terbentuk makin besar pula tingkat kolinieritas yang terjadi. Hal menarik yang

dapat disampaikan kepada mahasiswa adalah apakah adanya kasus

multikolinieritas dapat menyebabkan bias dan dapat memperbesar variansi dari

estimasi parameter? Para pengajar diharapkan memberi kesempatan kepada

mahasiswa untuk menjawab (ya, tidak atau tidak tahu) dengan berbagai alasannya.

Dapat dijelaskan bahwa melalui visualisasi diagram Venn dalam

menentukan estimasi dari parameter regresi, MKT menggunakan informasi dari

daerah biru untuk estimasi tak bias βX dan daerah hijau untuk estimasi tak bias

βW. Padahal jika kolinieritas terjadi berdampak pada semakin besarnya daerah

kuning dan berakibat semakin menciutnya daerah biru dan hijau, sehingga jika

kolinieritas terjadi tidak berdampak pada ketakbiasan dari estimasi parameter

atau dengan kata lain masih dapat diperoleh estimasi βX dan βW yang tak bias,

akan tetapi karena menciutnya daerah biru dan daerah hijau maka informasi yang

digunakan untuk menentukan estimasi βX dan βW semakin kecil sehingga

berdampak pada semakin besarnya variansi estimasi parameter βX dan βW.



Gambar 3a : Diagram Venn untuk kasus multikolinieritas sedang

Gambar 3b : Diagram Venn untuk kasus multikolinieritas kuat

Kesimpulan yang dapat diambil dari uraian di atas adalah semakin

tingginya tingkat kolinieritas akan menyebabkan semakin tingginya variansi akan

tetapi estimasi parameter yang terjadi tetap tak bias. Selanjutnya para pengajardiharapkan memperagakan pergerakan dari visualisasi diagram Venn dengan

memperbesar irisan dari X dan W atau memperbesar tingkat kolinieritas sampai

akhirnya diperoleh kolinieritas sempurna. Ternyata daerah biru dan daerah hijau

menjadi hilang, sehingga estimasi parameter βX dan βW tidak dapat ditemukan.

Y

WX

Y

X W



4. Penghapusan Variabel bebas

Seperti yang diuraikan di atas bahwa multikolinieritas merupakan “ill

condition” karena memang berdampak yang kurang baik dalam analisis regresi.

Salah satu cara untuk mengatasi adanya multikolinierita adalah dengan

menghapus variabel bebas yang yang mempunyai korelasi yang tinggi dengan

variabel bebas yang lain. Akan tetapi bagaimana sebenarnya dampak dari

penghapusan variabel bebas tersebut?

Ada pertanyaan menarik untuk menjadi bahan diskusi mahasiswa saat proses

belajar mengajar, yaitu :

1. Apakah dalam mengestimasi parameter akan menyebabkan bias jika ada

variabel bebas yang di hapus ?

2. Bagaimana variansi dari estimasi parameter regresi jika ada variabel bebas

yang di hapus ?

Berdasarkan visualisasi diagram Venn sebagaimana ditunjukkan dalam

gambar 2 di atas , seandainya variabel bebas W dibuang maka untuk menentukan

estimasi parameter βX, MKT akan memanfaatkan informasi dari daerah biru

ditambah daerah kuning, sehingga hasil estimasi akan bias karena daerah kuning

sudah terkontaminasi. Selanjutnya jika tidak ada irisan antara X dan W (daerah

kuning tidak ada) maka penghapusan variabel sebagaimana dijelaskan di atas

tidak akan menyebabkan bias untuk estimasi parameter.

Dalam menentukan variansi dari estimasi parameter, jika variabel bebas W

tetap dalam model maka informasi yang digunakan adalah daerah biru, akan tetapi

jika variabel bebas W dibuang maka informasi yang digunakan adalah daerah biru

ditambah daerah kuning. Dari hal tersebut dapat dimaknai penghapusan variabel

tentunya akan menyebabkan informasi yang digunakan semakin banyak, sehingga

variansi dari estimasi parameter akan semakin kecil. Selanjutnya jika tidak ada

irisan antara X dan W (daerah kuning tidak ada) maka penghapusan variabel tidak

akan memberikan dampak apapun bagi variansi dari estimasi parameter.

Dari uraian tersebut dapat disimpulkan bahwa penghapusan variabel bebas

akan menyebabkan bias pada estimasi parameter (sesuatu yang tidak baik), tetapi

dapat memperkecil variansi dari estimasi parameter (sesuatu yang baik). Dari



kontradiksi tersebut dapat di buat kriteria rata-rata kuadrat sisaan yang dapat

memberikan jalan tengah tentang penghapusan variabel bebas. Karena rata-rata

kuadrat sisaan merupakan penjumlahan dari variansi dan bias yang terjadi.

Untuk meyakinkan mahasiswa tentang masalah penghapusan variabel

bebas melalui visualisasi diagram Venn, maka pengajar dapat membuat turunan

secara matematis tentang dampak dari penghapusan variabel bebas, sebagai

berikut :

Misalkan diinginkan memilih diantara dua model regresi, yaitu :

iiii X X Y ε β β β +++= 22110 ( 1)

dan

iii X Y ε β β ++= 110 (2)

Diasumsikan bahwa model (1) merupakan gambaran yang benar dari

ketergantungan variabel tak bebas Y terhadap variabel bebas X 1 dan X 2 .

Dari model (1) dapat ditunjukkan bahwa penduga kuadrat terkecil dari β adalah

tak bias, yaitu :

E(b) = β dan2

12

2

11

)(r

bVar −

=σ

Dari model (2) dapat ditunjukkan bahwa penduga kuadrat terkecil dari β 1 adalah

bias, yaitu :

E(b1) = β 1+ r 12 β 2 dan 21)( σ =bVar

Dengan mempertimbangkan dugaan dan variansi parameter β 1 dari kedua model

maka model (2) akan lebih baik dari model (1) jika :

RKS ( b1 / model (2) ) < Var ( b1 / model (1) )

Var ( b1 / model (2) ) + (bias)2

< Var ( b1 / model (1) )

212

22212

2

1)(

r r

−<+ σ β σ

212

2

1

1

r −<

σ

β (3)



Hasil (3), memberikan arti jika 212r mendekati 1 maka penghapusan variabel akan

berdanpak yang baik. Sedangkan untuk sembarang nilai 2

12

r , maka penghapusan

variabel bebas akan baik jika :

212

21 r −

<σ

β (4)

5. Koefisien Determinasi (R2)

Koefisien determinasi ( R2) atau sering disebut kuadrat koefisien korelasi

ganda didefinisikan sebagai berikut :

222

Y Y'Y - n

Y b'X'Y - n R = (5)

yang merupakan kuadrat korelasi antara X dengan Y untuk melihat pengaruh

semua variabel bebas secara serentak terhadap variabel tak bebas.

Untuk memperjelas pemahaman tentang hal tersebut dapat dibuat suatu

visualisasi diagram Venn sebagaimana ditunjukkan dalam gambar 2. Jika dalam

regresi Y hanya berhubungan dangan X maka koefisien determinasi (2. X Y R )

dilukiskan sebagai daerah biru ditambah kuning. Jika dalam model tersebut

ditambahkan satu variabel bebas (W) maka koefisien determinasi (2. XW Y R )

dilukiskan sebagai daerah biru ditambah kuning ditambah hijau. Yang menjadi

perhatian disini bahwa daerah kuning hanya dihitung sekali, sehingga dapat

dipastikan bahwa2.

2.

2. W Y X Y XW Y R R R +< . Sedangkan pada kasus tertentu jika

antara X dan W ortogonal maka koefisien determinasi sebagaimana ditunjukkan

dalam gambar 4 adalah daerah biru ditambah hijau atau dapat ditulis

2.

2.

2. W Y X Y XW Y R R R += .

Berdasarkan ilustrasi diagram Venn gambar 4 dengan tegas dapat

dituliskan bahwa penambahan variabel bebas pada model regresi akan menaikkan

nilai dari koefisien determinasinya. Akan tetapi jika terjadi kasus bahwa variabel

yang ditambahkan tidak memberikan informasi apapun terhadap variabel tak

bebas atau telah secara lengkap diinformasikan oleh variabel bebas yang sudah



ada dalam model maka penambahan variabel tersebut tidak akan menaikkan nilai

dari koefisien determinasinya. Hal tersebut dapat ditunjukkan pada gambar 5.

Gambar 4 : Diagram Venn untuk kasus dua variabel ortogonal

Gambar 5 : Diagram Venn untuk variabel yang redundan

Dari visualisasi di atas jika dalam regresi Y hanya berhubungan dangan X

dan W maka koefisien determinasi (2. XW Y R ) dilukiskan sebagai daerah (biru+

biru muda+kuning+hijau+orange+merah). Jika dalam model tersebut ditambahkan

satu variabel bebas (Z) maka koefisien determinasi ( 2. XWZ Y R ) dilukiskan sebagai

daerah yang sama seperti di atas karena daerah2. Z Y R yaitu (kuning+merah+biru

muda) sudah menjadi bagian dari daerah2. XW Y R .

Y

XW

Y

X

W

Z



Sementara itu, oefisien determinasi parsial digunakan untuk mengukur

kontribusi marginal dari satu variabel bebas pada variabel tak bebas jika variabel

bebas yang lain sudah ada dalam model. Koefisien determinasi parsial dihitung

dengan pendekatan analisa variansi. Misalnya Koefisien determinasi parsial

antara variabel bebas W dengan Y dengan variabel bebas X sudah ada dalam

model disajikan sebagai berikut :

2.

2.

2.2

1 X Y

X Y XW Y YW.X

R

R R R

−

−= (6)

Visualisasi diagram Venn dari koefisien determinasi parsial tersebut

ditunjukkan seperti dalam dalam gambar 2, dimana pembilang dari ruas kanan

merupakan daerah biru sementara penyebut adalah daerah orange ditambah biru.

Beberapa kejadian dapat saja terjadi pada nilai koefisien determinasi parsial, jika

W ortogonal ( gambar 4 ) dengan X maka seperti yang diuraikan diatas maka

2.

2.

2. W Y X Y XW Y R R R += sehingga

2.

2.2

1 X Y

W Y YW.X

R

R R−

= . Sementara itu jika W tidak

memberikan informasi apapun terhadap Y atau telah secara lengkap

diinformasikan oleh X maka2.

2. X Y XW Y R R = akibatnya 02 RYW.X = .

DAFTAR PUSTAKA

Draper, N.R. and H. Smith (1981). Applied Regression Analysis. 2nd ed., John

Wiley & Sons, New York.

Ip E.H.S. (2001). “ Visualizing Multiple Regression “. Jurnal of Statistics

Education. Vol. 9 No. 1

Kennedy P.E. (1981), "The 'Ballentine': A Graphical Aid for Econometrics,"

Australian Economic Papers. Vol. 20.

_________ (2002) “ More on Venn Diagrams for Regression”. Jurnal of Statistics

Education. Vol. 10 No. 1

Montgomery, D.C. and E.A. Peck (1992). Introduction to Linear Regression

Analysis. John Wiley & Sons Inc. New York.



Documents

Diagram Venn