27
  Informatics Theory & Programming (ITP) Informatics Eng. Dept. IT Telkom

05 CS3243 KMA Learning 03

Embed Size (px)

Citation preview

Page 1: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 1/27

 

Informatics Theory & Programming (ITP)

Informatics Eng. Dept. – IT Telkom

Page 2: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 2/27

Page 3: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 3/27

  0.71

-0.21

0.33

0.97

-0.18

0.62

0.55

-0.12

0.75

W1

-0.52

0.91

0.29

0.97

-0.18

0.62

0.55

-0.12

-0.12

0.68

W2

-0.21

-0.53

0.58

0.32

0.25

-0.17

-0.93

0.45

0.88

0.87

W2

-0.54

0.15

-0.49

0.68

-0.24

-0.95

-0.37

0.89

0.34

W1

0.9

0.1

0.4

0.3

A2

1

0

0

0

T

0.1

-0.1

-0.4

-0.3

ETraining W1 & W2: Random

Page 4: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 4/27

  0.01

-0.83

0.19

0.34

0.22

0.62

0.60

-0.53

-0.38

W1

0.31

-0.38

0.35

0.87

-0.18

0.30

0.03

-0.09

0.98

0.74

W2

0.8

0.2

0.1

0.2

A2

1

0

0

0

KelasTesting W1 & W2: Trained

Page 5: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 5/27

JST Probabilistik model yang dibentuk berdasarkan penaksir fungsi

padat peluang.

Cepat dalam pelatihan karena dilakukan hanya dalamsatu tahap pelatihan.

Parameter penghalus tunggal,  , mengendalikan jaringan dari pengaruh tiap pola pada penaksiran

fungsi padat peluang.

Page 6: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 6/27

Kelasku mana ya ???

Kelas dengan STD terbesar?

Template Matching?

Page 7: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 7/27

Kelasku mana ya ???

Kelas dengan STD terbesar?

Lebih baik?

Page 8: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 8/27

Aturan Bayes

)(

)()()(

 BP

 AP A BP B AP

Page 9: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 9/27

Aturan Bayes

)(

)Pr()()Pr(

 x p

C C  x p xC 

k k 

Page 10: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 10/27

Aturan keputusan Bayes

k C  xd  )(

)Pr()()Pr()( j jk k 

C C  x pC C  x p

untuk semua  j  k .

 jika

(x adalah kelas C k ) 

Page 11: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 11/27

Fungsi Padat Peluang

k i C 

k i

m

mk  w xC 

C  x p  

   

22

2 / 2exp

)2(

1)(

Page 12: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 12/27

Page 13: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 13/27

Kelas E

Kelas O

Page 14: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 14/27

 

{ Tahap pertama }

For setiap pola   i  

w i =   i  

Bentuk unit pola dengan masukan vektor bobot w i  Hubungkan unit pola pada unit penjumlah untuk masing-masing kelas

End 

Tentukan konstanta C k  untuk setiap unit penjumlah

{ Tahap ke dua }For setiap pola   i  

k  = kelas   i  Cari jarak, d i , dengan pola terdekat pada kelas kd tot [k] = d tot [k] + d i  

End

For setiap kelas k

 k  = ( g . d tot  [k] ) / C k  End

Konstanta pengontrol jaringan

Rata-rata jarak minimum antarpola pada kelas k 

Page 15: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 15/27

k i C 

i

avg d C 

k d   

1

k d g avgk   

d i  : jarak terdekat pola   i dengan pola yang lain pada kelas C k  

Parameter penghalus,  k , untuk kelas C k  

Rata-rata jarak minimum antar vektor pola pada kelas C k  

K l E

Page 16: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 16/27

.

..

x 1

x 100

Kelas E

.

.

.Kelas O

Kelaskeputusan

|CE| = 5

|CO| = 5

Page 17: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 17/27

Page 18: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 18/27

Kelasku mana ya ???

Dengan g yang tepat, klasifikasi menjadi lebih akurat !!!

Page 19: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 19/27

Kelasku mana ya ???

Dengan g yang tepat, klasifikasi menjadi lebih akurat !!!

Page 20: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 20/27

MLP  JST Probabilistik 

Jumlah neuron  tetap, tetapibobot-bobot sinaptiknyaberubah.

Jumlah neuron  bertambah sebanding dengan banyaknyavektor input , tetapi bobot-bobotsinaptiknya tetap.

Proses pelatihan memerlukan

waktu yang lama karenamembutuhkan banyak iterasipengubahan bobot sampaimencapai steady state .

Proses pelatihan memerlukanwaktu sangat singkat karena hanyadilakukan satu tahap pelatihan saja.

Memerlukan memori yang kecilkarena hanya menyimpan bobot-bobot sinaptik hasil pelatihan

Memerlukan memori yang besarsebanding dengan jumlah vektorpola latihnya.

Page 21: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 21/27

Pengenalan angka: 0, 1, 2, …, 9  Training set: 1000 pola tulisan tangan

 Validation set: 2000 pola

 Jumhlah kelas: 10 kelas (tetap)  JST PB atau JST Probabilistik?

 JST PB

 Waktu pelatihan: lama

 Waktu pengujian: cepat

 JST Probabilistik

 Waktu pelatihan: cepat

 Waktu pengujian: lama

Page 22: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 22/27

Pengenalan wajah: ribuan Training set: 1000 fitur wajah

 Validation set: 2000 fitur wajah

 Jumhlah kelas: berubah  JST PB atau JST Probabilistik?

 JST PB

 Waktu pelatihan: lama

 Waktu pengujian: cepat

 JST Probabilistik

 Waktu pelatihan: cepat

 Waktu pengujian: lama

Page 23: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 23/27

Spam Filter : Server Training set: 10.000 email

 Validation set: 20.000 email

 Jumhlah kelas: dua (spam atau bukan)  JST PB atau JST Probabilistik?

 JST PB

 Waktu pelatihan: lama

 Waktu pengujian: cepat

 JST Probabilistik

 Waktu pelatihan: cepat

 Waktu pengujian: lama

Page 24: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 24/27

Kelebihan JST PB Training bisa dilakukan di komputer

Hasil training (yang berupa W ) dapat ditanamkanpada hardware (chip atau micro devices)

Page 25: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 25/27

Kapan Menghentikan Learning?

epoch 

MSE

Validation set 

Training set 

10000 20000

0,01

0,0010,002

0,005

Untuk JST PBUntuk JST Prob,grafiknya bagaimana?

Berhenti !

Page 26: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 26/27

Menemukan g pada JST Prob?

Akurasi

Validation set 

Training set 

0.1 1

1.00

0.01

0.95

0.90

0.20.02 0.08 0.09 ... ...

0.00

Berhenti !

Page 27: 05 CS3243 KMA Learning 03

5/16/2018 05 CS3243 KMA Learning 03 - slidepdf.com

http://slidepdf.com/reader/full/05-cs3243-kma-learning-03 27/27

Overfit, Oversize, Flexible