Arsitektur Jaringan JST McCulloch Dan Hebb

  • View
    230

  • Download
    9

Embed Size (px)

DESCRIPTION

Jaringan Syafaf Tiruan

Text of Arsitektur Jaringan JST McCulloch Dan Hebb

  • 1

    Architecture Net, Simple Neural Net

  • 2

    Materi

    1. Model Neuron JST

    2. Arsitektur JST

    3. Jenis Arsitektur JST

    4. MsCulloh Pitts

    5. Jaringan Hebb

  • 3

    Model Neuron JST

    X1

    X2

    X3

    Y1

    Y2

    Y3

    W1

    W2

    W3

    Fungsi aktivasi

    Masukkan Keluaran

    )(;1

    zHyxwzn

    i

    ii

    Bobot

    Y1 = X1.W1 + X2.W2 + X3.W3; dst

  • 4

    Model Neuron JST

    Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers

    Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya

    Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan

    Informasi tersebut bisa dirambatkan secara forward ataupun backward

  • 5

    Istilah dalam JST

    Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST

    Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan

    Input: sebuah nilai input yang akan diproses menjadi nilai output

    Output: solusi dari nilai input Hidden layer: lapisan yang tidak terkoneksi secara

    langsung dengan lapisan input atau output, memperluas kemampuan JST

    Bobot: nilai matematis dari sebuah koneksi antar neuron Fungsi aktivasi: fungsi yang digunakan untuk mengupdate

    nilai-nilai bobot per-iterasi dari semua nilai input. Fungsi aktivasi sederhana adalah mengakalikan input dengan

    bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)

    Berbentuk linier atau tidak linier, dan sigmoid

    Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning

  • 6

    JST dengan 3 Layer

  • 7

    Arsitektur Jaringan

    Pola di mana neuron-neuron pada JST disusun berhubungan erat dengan algoritma belajar yang digunakan untuk melatih jaringan.

    Secara umum arsitektur jaringan dapat dibagi menjadi empat, yaitu:

    Single layer feedforward networks

    Multi layer feedforward networks

    Recurrent Networks

    Lattice Structure

  • 8

    Single layer Feedforward Net

    Suatu JST biasanya diorganisasikan dalam bentuk lapisan-lapisan (layer).

    Pada bentuk paling sederhana hanya terdapat input layer dan output layer, seperti pada gambar di samping

  • 9

    Multilayer Feedforward Net

    Kelas kedua dari feedforward neural network adalah jaringan dengan satu atau lebih lapis tersembunyi (hidden layer).

  • 10

    Recurrent Networks

    Recurrent neural network adalah jaringan yang mempunyai minimal satu feedback loop.

    Sebagai contoh, suatu recurrent network bisa terdiri dari satu lapisan neuron tunggal dengan masing-masing neuron memberikan kembali outputnya sebagai input pada semua neuron yang lain

  • 11

    Recurrent Networks

  • 12

    Recurrent Networks

  • 13

    Lattice Structure

    Sebuah lattice (kisi-kisi) terdiri dari array neuron berukuran satu dimensi, atau dua dimensi, atau lebih.

    Berikut adalah lattice satu dimensi dengan 3 neuron yang mendapatkan masukan dari 3 node sumber.

  • 14

    Lattice Structure

    Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron yang mendapatkan masukan dari 3 node sumber

  • 15

    Pengelompokan JST

    JST Feed Forward

    Tidak mempunyai loop

    Contoh: single layer perceptron, mutilayer perceptron, radial basis function

    JST Feed Backward (Recurrent)

    Memiliki loop, lapisan output akan memberi input lagi bagi lapisan input

    Contoh: competitive networks, kohonen, hopfield, ART

  • 16

    McCulloch Pitts

    Fungsi aktivasi biner Besar bobotnya sama Memiliki threshold yang sama

    Contoh buat fungsi logika and, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1 X1 X2 Y 1 1 1 1 0 0 0 1 0 0 0 0

    )(;1

    zHyxwzn

    i

    ii

  • 17

    McCulloch Pitts

    Contoh buat fungsi logika or, input X1 dan X2, dan Y = 0 jika dan hanya jika inputan 0 X1 X2 Y 1 1 1 1 0 1 0 1 1 0 0 0

    )(;1

    zHyxwzn

    i

    ii

  • 18

    Learning

    Proses belajar dalam konteks JST dapat didefinisikan sebagai berikut:

    Belajar adalah suatu proses di mana parameter-parameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan di mana jaringan berada.

    Metode belajar, yaitu:

    Supervised learning (belajar dengan pengawasan)

    Unsupervised learning (belajar tanpa pengawasan)

    Hibrida learning (Gabungan Supervised dan Unsupervised)

  • 19

    Supervised Learning

    Supervised learning adalah proses belajar yang membutuhkan guru, yaitu sesuatu yang memiliki pengetahuan tentang lingkungan.

    Guru bisa direpresentasikan sebagai sekumpulan sampel input-output.

    Pembangunan pengetahuan dilakukan oleh guru dengan memberikan respons yang diinginkan kepada JST.

    Parameter-parameter jaringan berubah-ubah berdasarkan vektor latih dan sinyal kesalahan, yaitu perbedaan antara keluaran JST dan respons yang diinginkan.

    Proses perubahan dilakukan dalam bentuk iterasi.

  • 20

    UnSupervised Learning

    Unsupervised Learning atau self-organized learning tidak membutuhkan guru untuk membantu proses belajar.

    Dengan kata lain, tidak ada sekumpulan sampel input-output atau fungsi tertentu untuk dipelajari oleh jaringan.

    JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu

    Salah satu contoh unsupervised learning adalah competitive learning, di mana neuron-neuron saling bersaing untuk menjadi pemenang.

  • 21

    Algoritma Pembelajaran Umum

    Dimasukkan n data pelatihan

    Inisialisasi bobot-bobot jaringan, set i = 1

    Masukkan contoh ke-i ke dalam input

    Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan

    Jika memenuhi kriteria output then

    exit

    else:

    Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta

    If i=n then reset i=1, else i=i+1

  • 22

    Simple Neuron

    Arsitektur dasar dari semua kemungkinan model JST sederhana (single-layer) ditunjukkan pada gambar disamping

    Terdiri dari sebuah layer input dan sebuah output

  • 23

    Bias dan Threshold

    Bias

    Threshold

  • 24

    Linear Separability

    Output yes 1

    Output no -1

    Decision Boundary

  • 25

    Hebb Net

    Hebb mengusulkan pembelajaran dengan memodifikasi bobot sedemikian shg dua hubungan neuron on dalam waktu yang bersamaan, kemudian bobot diantara kedua neuron tersebut bertambah

  • 26

    Algoritma Hebb Net

    1. Inisialisasi bobot

    2. Untuk setiap input training dan target output, s:t 1. Set aktifasi untuk input

    2. Set aktifasi untuk output

    3. Hitung bobot dan bias dengan

  • 27

    Fungsi AND (biner input & target)

    State Perhitungan bobot

    Decision Boundary

    Proses

  • 28

    Fungsi AND (biner input & bipolar target)

    State Perhitungan bobot

    Decision Boundary

    Proses

    Pemilihan pola pembelajaran memberikan peranan penting!

  • 29

    Fungsi AND (bipolar input & target)

    State Perhitungan bobot

    Decision Boundary

    Proses

  • Latihan

    Buatlah manual atau implementasi dari pengenalan kedua pola berikut:

    30