21
PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA UNTUK PREDIKSI DATA SERIES HerlinaJusuf Jurusan Kesehatan Masyarakat FIKK Universitas NegeriGorontalo ABSTRAK: Penelitian mengkaji secara teoritis model hibrid MARS ARIMA untuk prediksi data series karena pemodelan data deret waktu biasanya pada kondisi data dengan fluktuasi yang stasioner dan linier adalah cukup memadai dengan menerapkan metode Autoregressive Integrated Moving Average (ARIMA) guna peramalan. Pemodelan deret waktu tak linier, salah satu adalah Multivariate Adaptive Regression Splines (MARS), Model hibrid MARS dengan ARIMA digabungkan karena setiap metode peramalan memiliki keunggulan dan kelemahan dalam menganalisis data, sehingga dapat diperoleh bentuk model terbaik dengan tingkat kesalahan (error) terkecil dalam meramalkan suatu kasus. Kata Kunci: Multivariate Adaptive Regression Splines (MARS, Autoregressive Integrated Moving Average PENDAHULUAN Model MARS prediksi adalah model MARS pada variabel respon yang kontinu. MARS merupakan kombinasi yang kompleks dari spline dan rekursif partisi. Model regresi spline memberikan sebuah bentuk persamaan yang merepresentasikan bentuk parametrik polinomial piecewise. Ide dasar dari pemodelan parametrik piecewise (terbagi beberapa region) ini adalah fungsi () fy yang didekati oleh beberapa fungsi parametrik (biasanya berbentuk polinomial orderendah) yang didefinisikan pada setiap region di dalam domain D. Setiap region dipisahkan oleh titik-titik knots, dan fungsi parametrik yang didefinisikan pada tiap region biasanya disebut sebagai fungsi basis. Knots merupakan akhir dari sebuah region dan awal bagi region yang lain. Pemodelan regresi splinedi implementasikan dengan membentuk kumpulan fungsi basis yang dapat mencapai pendekatan spline orde ke-q dan mengestimasi koefisien fungsi-fungsi basis tersebut menggunakan least-squares. Model MARS menghasilkan model yang kontinu pada knots dengan basis fungsi: () ( )( , ) 1 ( ) ( ) m K q q m t km t p km km k B y s y Estimasi dari kurva regresi () fy secara umum didapatkan melalui penalized least- squares (PLS) yakni meminimumkan persamaan berikut:

PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

  • Upload
    others

  • View
    74

  • Download
    0

Embed Size (px)

Citation preview

Page 1: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION

SPLINES (MARS) ARIMA UNTUK PREDIKSI DATA SERIES

HerlinaJusuf

Jurusan Kesehatan Masyarakat FIKK

Universitas NegeriGorontalo

ABSTRAK: Penelitian mengkaji secara teoritis model hibrid MARS ARIMA untuk prediksi data

series karena pemodelan data deret waktu biasanya pada kondisi data dengan fluktuasi yang stasioner

dan linier adalah cukup memadai dengan menerapkan metode Autoregressive Integrated Moving

Average (ARIMA) guna peramalan. Pemodelan deret waktu tak linier, salah satu adalah Multivariate

Adaptive Regression Splines (MARS), Model hibrid MARS dengan ARIMA digabungkan karena

setiap metode peramalan memiliki keunggulan dan kelemahan dalam menganalisis data, sehingga

dapat diperoleh bentuk model terbaik dengan tingkat kesalahan (error) terkecil dalam meramalkan

suatu kasus.

Kata Kunci: Multivariate Adaptive Regression Splines (MARS, Autoregressive Integrated Moving

Average

PENDAHULUAN

Model MARS prediksi adalah model MARS pada variabel respon yang kontinu. MARS

merupakan kombinasi yang kompleks dari spline dan rekursif partisi. Model regresi spline

memberikan sebuah bentuk persamaan yang merepresentasikan bentuk parametrik polinomial

piecewise. Ide dasar dari pemodelan parametrik piecewise (terbagi beberapa region) ini adalah

fungsi ( )f y yang didekati oleh beberapa fungsi parametrik (biasanya berbentuk polinomial

orderendah) yang didefinisikan pada setiap region di dalam domain D. Setiap region dipisahkan

oleh titik-titik knots, dan fungsi parametrik yang didefinisikan pada tiap region biasanya disebut

sebagai fungsi basis. Knots merupakan akhir dari sebuah region dan awal bagi region yang lain.

Pemodelan regresi splinedi implementasikan dengan membentuk kumpulan fungsi basis yang

dapat mencapai pendekatan spline orde ke-q dan mengestimasi koefisien fungsi-fungsi basis

tersebut menggunakan least-squares.

Model MARS menghasilkan model yang kontinu pada knots dengan basis fungsi:

( )

( )( , )

1

( ) ( )

mK

qq

m t km t p k m km

k

B y s y

Estimasi dari kurva regresi ( )f y

secara umum didapatkan melalui penalized least-

squares (PLS) yakni meminimumkan persamaan berikut:

Page 2: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

22 2

1

1

bnm

i ii a

y f y f u dun

(1.1)

PEMBAHASAN

Estimasi Parameter Pada Model Hibrid MARS ARIMA

Setelah dilakukan modifikasi model RPR dan dikombinasikan dengan spline, estimator

model MARS prediksi untuk data series dapat ditulis sebagai berikut:

0

1 1

( )( , )ˆ( ) [ ( )]

mKM

t m km t p k m km

m k

f y s y (1.2)

dengan

0 = basis fungsiinduk

m = koefisien dari basis fungsike-m

M = maksimum basis fungsi (nonconstant basis fungsi)

mK = derajat interaksi

kms = nilainya1

( )( , )t p k my = variabel independen

km = nilai knots dari variabel independen ( )( , )t p k my

Dengan menggunakan estimator MARS, maka model MARS tersaji sebagai berikut:

0

1 1

( )( , )[ ( )]mKM

i m km t p k m km i

m k

y s y

Dalam bentuk matrik dapat ditulis menjadi :

B ε Y (1.3)

dimana,

Y = variable respon,

11 B ( )( , ) [ , ( ) ]K

t p k m kmy = fungsi basis,

= koefisien dari fungsi basis

ε

= error

dengan,

1 2 ( , , , )T

nY y y y dan 0 1

( , , , )T

M

Page 3: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

1

1

1

1 1 1 1 1

1 1

1 2 1 1 2

1 1

1 1 1

1

1

1

1

B

( )( , ) ( )( , )

( )( , ) ( )( , )

( )( , ) (

( ) ( )

( ) ( )

( ) (

M

M

K K

m t m m Mm t M m Mm

k k

K K

m t m m Mm t M m Mm

k k

K

m t p m m Mm t

k

s y s y

s y s y

s y s y1

)( , ) )MK

p M m Mm

k

Untuk memperoleh estimator melalui penalized least-squares yaitu dengan

meminimumkan persamaan (1.1) dan digunakan asumsi berikut.

Asumsi1.1: Jika ( )( , )t p i kmY titik-titik pada barisan yang tetap, dan ada fungsi kontinu (.)jh yang

didefinisikan pada [0,1] sedemikian hingga masing-masing elemen ( )t p iY memenuhi,

1 1 ( ) ( ) , , t p i j i ijY h u i n j p dengan { }iju adalah barisan real yang memenuhi,

1

1lim

Cn

T

i in

i

u un

dan, 1

1

1limsup max

n

i jn k n

in

ua

dengan, 1( , , ) T

ij i ipu u u ,1

2 logna n n , C = matrik definit positif dengan orde p

Teorema 1.1. Jika asumsi 1.1. terpenuhi, B matrik non singular dan parameter smoothing

2 0 maka estimator dari ˆ adalah meminimumkan nilai Z , dengan B B

( ) ( )TZ Y Y

yaitu 1 B B Bˆ ( )T TY

Bukti:

Perhatikan persamaan (1.1), yaitu:

22 2

1

1

bnm

i ii a

y f y f u dun

dengan 2 0 , persamaan menjadi:

2

1

1 n

i ii

y f yn

(1.4)

Dari persamaan (1.3), maka

ˆif y B , sehingga persamaan (1.4) menjadi:

T

2

1

1( ) ( )

n

ii

y Y Y Zn

B B B

Page 4: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Untuk memperoleh estimator ˆ digunakan metode kuadrat terkecil, yang pada prinsipnya

meminumumkan Z, dinyatakan sebagai berikut:

T B B

( ) ( )Z Y Y

T T TB B B B

( )T T TZ Y Y Y Y

2 B B B

( )T T T T TZ Y Y Y

Untuk memperoleh persamaan normal dilakukan dengan menurunkan secara parsial terhadap

dengan hasil sebagai berikut:

2 2

B B B

T TZY = 0

0 B B BˆT TY

B B B ˆT TY (1.5)

karena B matrik non singular, maka

1 B B B ˆ ( )T TY (1.6)

Jadi Teorema 1.1 terbukti.

Jumlah parameter MARS selain basis fungsi induk, dapat diperoleh dengan

mensubstitusikan persamaan (1.6) ke dalam persamaan (1.3) sebagai berikut:

1

1

[( ) ( )]

= ( )

=

B B B B

B B B B

P

T T

T T

Y Y

Y

Y

(1.7)

Sehingga, 1 = ( )P B B B BT T yang berukuran 1 1( ) ( ) M M . Karena P adalah matrik

simetris dan idempoten maka Trace dari matriks P sama dengan rank dari P yang merupakan

jumlah parameter basis fungsi selain konstanta dan jumlah parameter yang diestimasi,

dinotasikan sebagai

1 1C(M) =Trace( ( ) ) B B B B T T .

Teorema1.2. Jikarank dari P adalah (M+1) maka P memiliki (M+1) unit nilai eigen yang tidak

bernilai nol dan sebanyak [N-(M+1)] unit nilai eigen yang bernilai nol.

Page 5: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Bukti:

Misalkan adalah nilai eigen dan vektor eigen, maka:

P 0( )

Jika dikalikanT menjadi PT T dan P adalah matrik idempoten ( 2P P ) maka

P PT T T , sehingga ( ) T T atau 1 0( ) T . Hal inimenunjukkan bahwa

nilai eigen dari P bernilai 1 sebanyak (M+1) dan bernilai 0 sebanyak [N-(M+1)], sehingga rank

dari matrik P sama dengan (M+1).

Teorema1.3. Jikaasumsi 1.1 terpenuhi, B matrik non singular dan parameter smoothing 2 0

maka estimator dari ˆ

adalah meminimumkan nilai

2 2 2

1

1

( ) ( (y , )) | (y , )|

N

i i i

i

ASR y f f dyN

yaitu 1

2

B B B ˆ T TD Y

Bukti:

Jika basis fungsi pada persamaan (1.3) dipusatkan kenilai rata-rata nol maka B BT proporsional

dengan kovarian smatriks basis fungsi berikut:

*V c (1.8)

dengan,

1

( )[ ( ) ]N

ij j t p i t p it

V B y B y B (1.9)

1

( ) ( )N

i t i t pt

c y y B y (1.10)

iB dan y rata-rata dari seluruh data. Persamaan (1.9) diselesaikan untuk setiap lokasi knot ,

untuk setiap variabel v , untuk semua basis fungsi m dan untuk semua interaksi M .

Setiap basis fungsi baru, memasukkan ke baris dan kolom R dan V , sehingga

penyelesaian persamaan normal (1.5), diperbarui dengan Cholesky Decompotition dengan

modifikasi berikut, D( )V c (1.11)

dimana D adalah matriks diagonal berukuran (M+1)(M+1) dari elemen matriks diagonal matriks

V .

ASR RP (1.12)

atau

Page 6: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2 2 2

1

1

( ( , )) | ( , )|

N

t t p t p

t

y f y f y dyN

(1.13)

Pertimbangkan, 1

B

( , ) ( )m

t j tjf y y dan penalti kekasaran (RP),

TRP R adalah fungsi

kuadrat definit positif dari parameter, dengan 1

( , , )T

m , dan R adalah matrik berukuran

m m , dinyatakan sebagai berikut:

2

1 1

1

( ) ( )N nj t k t

jk

t d d d

B y B yR

N y y (1.14)

Sehingga persamaan (1.12) dapat dinyatakan dalam bentuk matriks, yaitu:

2

2

1

1 1 12

B

B B B

| |

| |

T

T T T

ASR RP Y RN

Y Y RN N N

(1.15)

Misalkan 1 1 dan B B B T T

N NV c Y dimana 1( , , ) T

NY y y . Diasumsikan bahwa rata-rata

sampel dari variabel respon setelah dikurangi adalah, 1

10

yn

t

t

yN

dan varians sampel dari y

adalah 2 21ˆ | | y y

N. Maka persamaan (1.15) dapat dinyatakan sebagai,

2

2

2

2

2

2

2

2

*

*

ˆ

ˆ ( )

ˆ

ˆ ( )

T T T

y

T T

y

T T

y

T T

y

ASR RP V c R

V R c

V c

c V

(1.16)

atau,

12 21 1

1 1

12 21

1 1

2

2

( ) ( )

( ) ( )

N MT

k i ii iN N

k i

N MT

k i ii iN

k i

ASR RP y y c D

y y c D

(1.17)

Misalkan

( )ASR ASR RP , maka koefisien dari basis fungsi ˆ diperoleh dengan

meminimumkan persamaan (1.16) atau (1.17).

Agar

( )ASR minimum maka

0

( )ASR,

Page 7: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2 2 2 0

* *( ) ˆ ˆ ˆ ˆ( )ˆ ˆ

T T T TASRY Y V c V c

sehingga,

2

2 2

1 1 1

c

c

c

B B B

*

*

ˆ

ˆ

ˆ ( )

ˆT T

V

V

V R

D YN N N

(1.18)

2

12

1 1

B B B

B B B

ˆ

ˆ

T T

T T

D YN N

D Y

(1.19)

dimana D adalah matriks diagonal definit positif dari R .

Penyelesaian yang diberikan dalam persamaan (1.19) adalah meminimumkan

( )ASR dan

merupakan estimator MARS. Jadi teorema 1.3 terbukti.

Pemilihan Model MARS

Pada pemodelan MARS, pemilihan model digunakan metode stepwise. Forward stepwise

dilakukan untuk mendapatkan fungsi dengan jumlah basis fungsi maksimum. Kriteria pemilihan

basis fungsi pada forward adalah dengan meminimumkan Average Square Residual (ASR).

Untuk memenuhi konsep parsemoni (model sederhana) dilakukan backward stepwise yaitu

memilih basis fungsi yang dihasilkan dari forward stepwise dengan meminimumkan nilai

Generalized Cross-Validation (GCV).

Untuk memperoleh matriks Hat dari Persamaan (1.18), diperlukan Teorema berikut.

Teorema 2.1Apabila R matriks kuadratik dengan 1 1 R R* *( ) Y YT T dan 1

B adalah faktor

Cholesky dari * *Y YT . Misalkan U dan Q matriks diagonal sedemikian hingga 1 UQ U R R

T TD

. selanjutnya, Z R U*Y ( )T maka Z U R

*YT T T dan misalkan 1 1ˆ ˆ( ) ( ) U R R U

T T maka

penyelesaian ̂ adalah:

2 I + Q Z Y = (U B) Y*ˆ( ) YT T T (2.1)

Selanjutnya Z* ˆ ˆY dan matriks Hat, 2 2 1( ) ( ) Z I + Q Z

TS dengan derajat bebas,

Page 8: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2 2 1 2 1

2 11

[ ( )] {( ) } {( ) }

( )

I + Q Z Z I + QT

i

i

tr S tr tr

Q (2.2)

dimana iQ adalah matrik diagonal ke-i dari Q .

Bukti:

2 1 1 2

1 1 1 2 1

1 2 1

1 2 1

R R

R R R R R R

R R R R

R U Q U R

* *Y Y ( )

( ) ( )

( )( )

( ) ( )

T T

T T T

T T

T T

D D

D

I D

I

dan juga, 2 2 U R R U Q* *(Y Y )T T TD I

iniberarti, 2 1 U R R U U R U R Y* * *ˆ(Y Y ) ( ( ) ) (Y )T T T T T T TD

atau, 2 ˆ( ) TI R Z Y juga 1 ZU R*Y ( )T T

sehingga 1ˆ ˆ ˆ( )T T X ZU R Z . Jadi teorema 1.4 terbukti.

Berdasarkan teorema 1.3 dapat diperoleh matrikHat pada persamaan (1.18) yaitu

2 2 1( ) ( )T TS D B B B + B . Selanjutnya pemilihan 2 optimal, yang merupakan parameter

pengontrol keseimbangan antara kesesuaian kurva terhadap data dan kemulusan kurva. Dengan

diperoleh 2 optimalmaka estimator yang diperoleh juga optimal.

Teorema 2.2 (Freidman and Silverman, 1989) Misalkan digunakan model MARS Friedman

pada persamaan (1.1), maka 2 optimal diperoleh dengan kriteria GCV sebagai berikut:

2

1

2

1

1

ˆ( ( , ))

( )( )

N

t t p

t

y f yN

GCV MC M

N

(2.3)

dengan:

)(~

MC = C(M)+d.M, nilai d yang terbaik berada dalam interval 2 d 4, dan C(M) =

Trace[B(B’B)-1

B’]+1 adalah banyaknya parameter yang diestimasi

Bukti:

Page 9: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

GCV MARS Friedman dimodifikasi pada penyebutnya, oleh karena itu pandang,

2

21[ ( )]tr I A

n dengan 2 2 2 1( ) ( ) ( )T TA S D B B B + B .Sehingga,

2 2

2 2 1

2

2 1

2

1 2 1

1

1 1

11

11

11 1

[ ( )] [ ( ) ]

[ ( ) ]

[ ( ) ]

( ( ) ) (

T T

T T

T T T

T T

tr I A tr I Dn n

tr Dn

tr Dn

tr trn

B B B + B

B B B + B

B B B B + B B

B B B B

2

2 1

2

111 1

)

( ( ) ) .

T

T T

D

tr d Mn

B B

B B B B

penambahan 1 pada 1( ( )T Ttr B B B B

karenadalam model MARS selalu melibatkan basis induk (

0 ), sedangkan d disarankan bernilai 2 4d . Jadi teorema 2.2 terbukti .

Prosedur forward dan backward menghasilkan sebuah model bentuk persamaan (1.1),

dan penjabaran dapat disajikan sebagai berikut:

0 1 1 1

1

1 1 1 2 2 2

1

1 1 1 2 2 2 3 3 3

1

( )( , )

( )( , ) ( )( , )

( )( , ) ( )( , ) ( )( , )

ˆ( ) [ .( )]

[ .( )][ .( )]

[ .( )][ .( )][ .( )]

M

m m t p m mm

M

m m t p m m m t p m mm

m m t p m m m t p m m m t p m mm

f y s y

s y s y

s y s y s y

...

M

(2.4)

Dan secara umum persamaan (2.4) dapat dituliskan sebagai berikut:

0

1 2 3

ˆ( ) ( ) ( , ) ( , , ) ...m m m

i t i ij t i t j ijk t i t j t kK K K

f y f y f y y f y y y (2.5)

persamaan (2.5), menunjukkan bahwa penjumlahan pertama meliputi semua basis fungsi untuk

satu variabel, penjumlahan kedua meliputi semua basis fungsi untuk interaksi antara dua

variabel, penjumlahan ketiga meliputi semua basis fungsi untuk interaksi antara tiga variable dan

seterusnya.

Page 10: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Misalkan 1( ) { ( , )} mKV m v k m adalah himpunan darivariabel yang dihubungkan dengan

basis fungsi mB ke-m, maka setiap penjumlahan pertama pada persamaan (2.5) dapat dinyatakan

sebagai:

1

( )

( ) ( )m

i i m m t iKi V m

f y B y (2.6)

( )i if y merupakan penjumlahan semua basis fungsi untuk satu variabel t iy dan merupakan spline

dengan derajatq=1 yang merepresentasikan fungsi univariat. Setiap fungsi bivariat pada

persamaan (2.5) dapat ditulis sebagai:

2

( , ) ( )

( , ) ( , )ij t i t j m m t i t jKmi j V m

f y y B y y (2.7)

Yang merepresentasikan penjumlahan semua basis fungsi dua variabel t iy dant jy . Penambahan

ini untuk menghubungkan kontribusi univariat, yang dituliskan sebagai berikut:

*( , ) ( ) ( ) ( , )ij t i t j i t i j t j ij t i t jf y y f y f y f y y (2.8)

Untuk fungsi trivariat pada penjumlahan yang ketiga diperoleh dengan menjumlahkan semua

basis fungsi untuk tiga variabel, yang dituliskan sebagai berikut:

3

( , , ) ( )

( , , ) ( , , )ijk t i t j t k m m t i t j t kKm

i j k V m

f y y y B y y y (2.9)

Penambahanfungsiunivariatedan bivariate mempunyaikontribusidalambentuk:

* ( , , ) ( ) ( ) ( ) ( , )

( , ) ( , ) ( , , )

ijk t i t j t k i t i j t j k t k ij t i t j

ik t i t k jk t j t k ijk t i t j t k

f y y y f y f y f y f y y

f y y f y y f y y y (2.10)

Persamaan (2.5) merupakan dekomposisi dari analisis varians untuk table kontingensi,

yang dikenal dengan dekomposisi ANOVA dari model MARS.

Interpretasi model MARS melalui dekomposisi ANOVA adalah merepresentasikan

variabel yang masuk dalam model, baik untuk satu variable maupun interaksi antara variabel,

selanjutnya merepresentasikan secara grafik. Penambahan aditif Persamaan (2.6) dapat

ditunjukan dengan membuat plot antara ( )i t if y dengan t iy sebagai salah satu model aditif.

Kontribusi interaksi antara dua variable dapat divisualisasikan dengan membuat plot antara

Page 11: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

*( , )ij t i t jf y y dengan t iy dant jy menggunakan countur plot. Model dengan interaksi yang lebih

tinggi dalam visualisasi dapat dibuat dengan menggunakan plot dalam beberapa variable fixed

dengan variable komplemen.

Kontinuitas

Derajat kontinuitas dipilih untuk memperoleh turunan pertama yang kontinu. Dalam

mencari basis fungsidari MARS digunakan q = 1, yaitu sebagai berikut:

( ) [ ( )]qq t p t pb y y dimana 1q (3.1)

Persamaan (3.1) mempunyai arti sebagai,

1

1

0

0

[ ( )] , jika ( )( )

, lainnya

t p t p

t p

y yb y (3.2)

atau,

uxtu

uxttx

tx0

uxtx

,

,

,

)()(

1 1( ) ( ) ( ) ( ) ( ) ( )vk vk

M M k mk vk k mkt x u x u

C t C u y y B x t u t y y B

1 1, ,( ) ( ) ( ) ( ) ( ) ( )vk vk

i M i M ik i mk vk ik i mkt x u x u

V t V u B B B x t u t B B B

(3.3)

2 2 2

1 1 1 1

2 2

2, ,( ) ( ) ( ) ( ) ( )

( ( ) ( ))/

vk vk

M M M M mk vk mk vkt x u x u

V t V u B x t u t B x t u

s u s t N

dimana,

( ) ( )vk

mk vkx ts t B x t

, ikB dan mkB adalah elemen dari matriks data basis fungsi, kx adalah

elemen dari matriks data asli, dan ky adalah data respon.

Teorema 3.1 Misalkan,

Page 12: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2 3

0

1

1

,

( | , , , ) ( ) ( ) ,

,

( )

( | , , , )

x t

C x s t t t p x t r x t t x t

x t x t

x t

C x s t t t 2 3

0

,

( ) ( ) ,

,

x t

p x t r x t t x t

x t

(3.4)

dengan t t t , dan 24 3( )/( ) p t t t t t , 32 3( )/( ) r t t t t t ,

23 4( )/( ) p t t t t t , 33 2( )/( ) r t t t t t maka menyebabkan

1( | , , , )C x s t t t dan 1( | , , , ) C x s t t t kontinu pada turunan pertama dan kedua di titik

x t .

Bukti:

Untuk x t , pandang

2 3

0

1

,

( | , , , ) ( ) ( ) ,

,

x t

C x s t t t p x t r x t t x t

x t x t

2 3

2 3

1( | , , , ) ( ) ( ) ,

( ) ( )

( ) ,

C x s t t t p x t r x t x t

p t t r t t

x t

2 3

( )

( ) ( ) ( )

x t

t t

t t p t t r t t

(3.5)

Turunan pertama 1( | , , , ) C x s t t t terhadap t adalah:

2 3

2

1

2 3 1

( | , , , )( ) ( ) ( )

( ) ( )

C x s t t tp t t r t t t t

t t t

p t t r t t

(3.6)

Turunan kedua 1( | , , , ) C x s t t t terhadap t adalah:

Page 13: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

22 3 1

2 6 0

( ) ( )

( )

p t t r t tt t

p r t t

(3.7)

Dari persamaan (3.6) dan (3.7), diperoleh,

22 3 1

2 6 0

( ) ( )

( ) ( )

p t t r t t

p r t t t t

menjadi,

2

2

22

2 3 1 13 1

32 6 0

( ) ( )( ) dan

( )( ) ( )

p t t r t tr t t r

t tp t t r t t

Substitusikan ke persamaan (3.7), diperoleh

2 3

2

2

2

2

2

1

3

1

3

1 1

3 3

14 3

3

4 3 4 31

3

( ) ( ) ( )( )

( ) ( ) ( )

( )

( ) ( )

( ) ( )

( ) (

t t p t t t tt t

t t t t p t t

t t t t p t t

t t t p t t

t t t t t tp

t t t 2) t

selanjutnya substitusikan p ke Persamaan (3.6), diperoleh:

2 3

2

3

3

3

4 3

4 3

4 3

2 3

( ) ( ) ( ) ( )

( )

( ) ( ) ( )

( )

( )

(

t t tt t t t r t t

t t

t t t t t r t t

t t t t t r t t

t t t r t t

r3

2 3 )

( )

t t t

t t

Untuk x t , pandang

Page 14: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Pandang, 2 31

0

( ) ,

( | , , , ) ( ) ( ) ,

,

x t x t

C x s t t t p x t r x t t x t

x t

2 3

1( | , , , ) ( ) ,

( )

( ) ( ) ,

C x s t t t x t x t

t t

p x t r x t x t

2 3

2 3

( ) ( )

( ) ( ) ( )

p t t r t t

p t t r t t t t

(3.8)

Turunan pertama 1( | , , , ) C x s t t t terhadap t adalah:

2 3

2

1

2 3 1

( | , , , )( ) ( ) ( )

( ) ( )

C x s t t tp t t r t t t t

t t t

p t t r t t

(3.9)

Turunan kedua 1( | , , , ) C x s t t t terhadap t adalah:

22 3 1

6 0

( ) ( )

2 ( )

p t t r t tt t

p r t t

(3.10)

Dari persamaan (3.9) dan (3.10), diperoleh,

22 3 1

6 0

( ) ( )

2 ( ) ( )

p t t r t t

p r t t t tmenjadi,

2

2

2

2

2 3 13 1

6 0

( ) ( )( )

2 ( ) ( )

1 =

3( )

p t t r t tr t t

p t t r t t

rt t

Substitusikan ke persamaan (3.8), diperoleh

Page 15: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2 3

2

2

2

2 3 3

1( ) ( ) ( )

3( )

1 ( ) ( ) ( )

31

( ) ( ) ( )3

1 ( ) (

3

p t t t t t tt t

p t t t t t t

p t t t t t t

p t t t t

2 2

3 4 3 4

)

( ) ( )1

3 ( ) ( )

t t

t t t t t tp

t t t t

selanjutnya substitusikan p ke persamaan (3.8), diperoleh:

2 3

2

3

3

3 4

3 4

3 4

( )( ) ( ) ( )

( )

( ) ( ) ( )

( ) ( ) ( )

t t tt t r t t t t

t t

t t t r t t t t

r t t t t t t t

r 3

3

3 4

3 2

( )

( )

( )

t t t t t t t

t t tr

t t

Sifat-SifatAsimtotikEstimasi parameter pada model Hibrid MARS ARIMA

Untuk menyelidiki sifat asimtotikˆ diperlukan beberapa asumsi:

Asumsi 4.1: (.) (.)g dan h memenuhi kondisi Lipschitz order 1.

Asumsi4.2 :Fungsibobot (.)niW memenuhi:

(i) 1 1n n

1 i n 1 nj=1 j=1

Max ( ) ( ), Max ( ) ( )

ni j ni jj

W t O W t O

(ii) 1 i, j nMax ( ) ( )

ni j nW t O b

(iii) n

1 i nj=1

Max ( ) (| | ) ( )

ni j i j n nW t I t t c O c

dengan dan n nb c adalah dua barisan yang memenuhi untuk n ,

2 2 4 2 204log , , log , n n n n nnb n nc nc n nb c .

Untuk mengkaji sifat asimtotik kenormalan estimator ˆ digunakan lemma berikut.

Page 16: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Lemma 4.1:Jika asumsi .1.1, .1.2 dan.1.3 terpenuhi, maka 1

C

* *lim (Y Y )T

n ndengan C matriks

definit positif.

Bukti:

Didefinisikan 1

( ) ( ) ( ) dan ( )

n

ns i s i nk i ks is s i is

k

h t h t W t X X h t u , maka * *Y YT 1( , , , ) s m p

dapat didekomposisikan sebagai,

1 1 1 1

1 1 1

* * * * * *

* *

Y Y Y ( )Y Y ( )Y

( ( ) ) ( )Y ( ( ) ) ( )Y

n n n n

is im is nk i ks im nk i km

i i k k

n n n

s i is nk i ks m i im nk i km

i k k

W t W t

h t u W t h t u W t

1 1 1

1

1 1

* * ( ) ( )Y ( ) ( )Y

( ) ( )

( ) ( )

n n n

s i nk i ks is m i nk i km im

i k k

n

ns i is nm i im

i

n n

is im ns i nm i n

i i

h t W t u h t W t u

h t u h t u

u u h t h t h1 1

1 2 3

1

( ) ( )

n n

s i im nm i is

i i

n

is im n n n

i

t u h t u

u u T T T

1

1

1 1 1

1 1 1

* *

( ) ( )

( ) ( )Y ( ) ( )Y

( ) ( )( ( ) ) ( ) ( )( ( ) )

( ) ( )( (

n

n ns i nm i

i

n n n

s i nk i ks m i nk i km

i k k

n n n

s i nk i s k ks m i nk i m k km

i k k

s i nk i s k

T h t h t

h t W t h t W t

h t W t h t u h t W t h t u

h t W t h t1 1 1 1 1

1 2

1

) ( ) ( ) ( )( ( ) ( )

( ) ( )

n n n n n

nk i ks m i nk i m k nk i km

i k k k k

n

i

n n n

W t u h t W t h t W t u

A A

O c O a b

Page 17: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

2

1

1 1

1 1

1 1 1

*

( )

( ) ( )Y

( ) ( )( ( ) )

( ) ( )( ( ) ( )

(

n

n ns i im

i

n n

s i nk i ks is

i k

n n

s i nk i s k ks is

i k

n n n

s i nk i s k is nk i ks is

i k k

n

T h t u

h t W t u

h t W t h t u u

h t W t h t u W t u u

O c 2) ( )n n na O a b

3

1

1 1

1 1

1 1 1

*

( )

( ) ( )Y

( ) ( )( ( ) )

( ) ( )( ( ) ( )

(

n

n nm i is

i

n n

m i nk i km im

i k

n n

m i nk i m k km im

i k

n n n

m i nk i m k im nk i km im

i k k

n

T h t u

h t W t u

h t W t h t u u

h t W t h t u W t u u

O c 2) ( )n n na O a b

sehingga,

1 2 3

1 1

2 2

1

1 1

1

1

* *lim Y Y lim

lim [ ( ) ( )] [ ( ) ( )] [ ( ) ( )]

lim

n n

n n

is im ij ik n n nn n

i i

n

ij ik n n n n n n n n nn

i

in

u u T T Tn n

u u O c O a b O a c O a b O a c O a bn

un

1

2 2

1

1

10

lim [ ( ) ( )] [ ( ) ( )] [ ( ) ( )]

lim

n n

n

j ik

i

n n n n n n n n nn

n

ij ikn

i

sm

u

O c O a b O a c O a b O a c O a bn

u un

c

Jadi Lemma 4.1. terbukti.

Page 18: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Dari Lemma 4.1, maka maka * *Y Y ( )T O n artinya terdapat bilangan real 1M ,

sedemikian hingga 1

1* *(Y Y )T

i Mn

, 0 *(Y )TE dan 2 * * *(Y ) (Y Y )T TVar . Dengan

12

2k n M dan 1

1* *(Y Y )T

i Mn

terhadap variabel random *Y T maka setiap 2 0M berlaku

12

12

2

2 2

2

2

2

2

2

2

2

2 1

2

2

0

1 1

* *

*

* *

* *

(Y Y )[|Y | ]

( )

(Y Y )

Y Y

TT

T

T

P n Mn M

nM

n M

M

M

atau,1

2 2 12 2

2

*[| Y | ]T MP n M

M (4.1)

jika untuk sembarang 1 0 dipilih 1M sehingga 2 112

2

M

M maka,

2 1 12

1 1

M MM

Sehingga persamaan (4.1) dapat ditulis sebagai,

12

2 1 *[| Y | ]TP n M (4.2)

Berdasarkan definisi4.2 dan definisi1.12, maka persamaan (4.2) menjadi, 1

2 *Y ( )T

pO n dan

dapat dinyatakan sebagai, *Y ( )T

po n (4.3)

persamaan (4.3) dan teorema 2.1, untuk mendapatkan distribusi asimtotik1

2*Y Tn .

Misalkan *iY vektor yang berukuran 1p yaitu bariske-i dari matrik *Y dan *

i i iZ Y

maka 2 * * T

i i iV Y Y dan

2 2 2

1 1 1

1 1 1

C* * * *lim lim = lim

n n nT T

i i i i in n n

i i i

V Y Y Y Yn n n

Jadi,1

2 20

C*Y ( , )dTn N (4.4)

Page 19: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Dari persamaan (1.5) dan substitusikan kepersamaan (1.3), diperoleh:

1

1 1

1

B B B B

B B B B B B B

B B B

ˆ ( ) ( )

( ) ( ) ( )

( )

T T

T T T T

T T

(4.5)

sehingga, 1 B B B ˆ ( )T T

1

1

1

1

1

1

1

B B B

B B B

B B B

BB B

ˆ( ) [( ) ]

( )

( )

T T

T T

T T

TT

n n

nn

nn

n n

(4.6)

Dari lemma 1.1, persamaan (1.10), maka: 1 C ˆ( ) dn Z dengan 20 C ~ ( , )Z N ,

1 2 1 10 ~ ( , ) C C CCZ N sehingga, 2 10 C ˆ( ) ( , )dn N

Selanjutnya apakah estimator ˆ konsisten untuk yang artinya 1

ˆlim (| | )n

nP

atau ˆ limp .

Pandang persamaan (1.5) dan substitusikan ke persamaan (1.3), diperoleh:

1

1 1

1

11 1

B B B B

B B B B B B B

B B B

B B B

ˆ ( ) ( )

( ) ( ) ( )

( )

( )

T T

T T T T

T T

T T

n n

(4.7)

maka,

11 1

11 1

B B B

B B B

ˆlim lim ( )

ˆlim lim( ) lim

T T

n n

T T

n nn

p p

p p (4.8)

menurut lemma 4.1, persamaan (1.19) menjadi;

Page 20: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

1 0

C

ˆlim [( ) ]

ˆlim

p

p

sedangkan variansi estimator adalah,

1

1

1 1

1 2

1

B B B

B B B

B B B B B B

B B

B B

ˆlim ( ) lim [ ( ) ]

lim [( ) ]

lim ( ) ( ) ( )

lim ( )

lim (

T T

n nn n

T T

n

T T T

n

T

n

T

nn

Var Var

Var

Var

1 21

1 0

0

C

) ( )

n

Berdasarkan hasil di atas, ternyata estimator ˆ secara asimtotik mempunyai sifat kenormalan,

konsisten dan varians minimum.

SIMPULAN

1. Estimator MARS adalah𝜃 = 𝐵𝜏𝐵 + 𝛿2𝐷 −1𝐵𝜏𝑌 dengan meminimumkan ASR 𝜃 .

2. Pada pemodelan MARS, pemilihan model digunakan metode stepwise. Forward stepwise

dilakukan untuk mendapatkan fungsi dengan jumlah basis fungsi maksimum. Kriteria

pemilihan basis fungsi pada forward adalah dengan meminimumkan Average Square

Residual (ASR). Untuk memenuhi konsep parsemoni (model sederhana) dilakukan backward

stepwise yaitu memilih basis fungsi yang dihasilkan dari forward stepwise dengan

meminimumkan nilai Generalized Cross-Validation (GCV).

3. Sifat-SifatAsimtotik Estimasi parameter pada model Hibrid MARS ARIMA, dimana

estimator ˆ secara asimtotik mempunyai sifat kenormalan, konsisten dan varians minimum.

DAFTAR PUSTAKA

Abraham, A. (2002),Analysis of Hybrid Soft and Hard Computing Techniques for Forex

Monitoring Systems. IEEE International Conference on Fuzzy Systems (IEEE FUZZ'02),

2002 IEEE World Congress on Computational Intelligence, Hawaii, ISBN 0780372808,

IEEE Press pp. 1616 -1622, 2002

Page 21: PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION …repository.ung.ac.id/get/simlit_res/1/433/Pemodelan... · PEMODELAN HIBRID MULTIVARIATE ADAPTIVE REGRESSION SPLINES (MARS) ARIMA

Abraham, A. and Steinberg, D. (2002),MARS: Still an Alien Planet in Soft Computing. School of

Computing and Information Technology, Salford System.Inc, 8880 Rio San Diego, CA

92108, USA

Bates, J.M. and Granger, C.W.J (1969),The combination of forecasts. Operational Research

Quarterly 20, 451- 468

Breiman, L. (1991),Discussion of “Multivariate Adaptive Regression Splines”, by J.H. Freidman,

Annals of Statistics, Vol. 19, 82-90.

Box, G.E.P and Jenkins, G.M., (1976),Time Series Analysis Forcasting and Control, Revised

Edition, Holdenday, San Fransisco.Vol 65. 297-303

Box, G.E.P., Jenkins, G.M., and Reinsel. G.C., (1994),Time Series Analysis Forcasting and

Control, 3d edition, Englewood Cliffs : Prentice Hall.

Bowerman O’Connell,(1993),Forecasting & Time series an Applied Approach Third Edition.

The Duxbury Advenced Series in Statistics and Decision Sciences.DuxburyPress :

California.

Chattfield, C. (1997),Time Series, Theory and Pratice and Forecasting, Chapman Hall, London.

Cryer, J.D., (1986),Time Series Analysis, Boston : Publishing Company

Friedman, J.H. (1990),Estimating Functions Of Mixed Ordinal And Categorical Variables Using

Multivariate Adaptive Regression Splines. Technical Report LCS 107, Statistics Department,

Stanford University.

Friedman,J.H. (1991),Multivariate Adaptive Regression Splines(with discussion).The analysis of

Statistika.19: 1 – 141.

Friedman, J.H. and Silverman, B.W. (1989),Flexible Parsimony Smoothing And Additive

Modeling.Technometrics, 31, 3 – 39.

Lewis, P.A.W and J.G. Stevens.(1991),” Nonlinier Modeling of time Series Using Multivariate

Adaptive Regression Splines (MARS)”. Journal of the American Statistical Assosation,

86, No. 416.(Dec.,1991), pp.864-877.

Nash. M.S. and Bradford. D. F (2001),Parametric And Non Parametric logistic Regression For

Prediction Of Precence Absence Of An Amphibian. Las Vegas : Nevada

Wei, W.S William. (1990),Univariate and Multivariate Methods. California. Addison Wesley

Publishing Company

Wahba, G,(1990),“Spline Models for Observational Data, Society for Industrial and Applied

Mathematics”. Philadelphia. Pennsylvania.