Nevronske mreže

Simon@hekovnik.si

AI urice II

Nevron

Sinapsa

Perceptron

Aktivacijska funkcija

• Linearna

• Prag

• Sigmoida

Razširitve

Večslojni perceptron

• Poljubno natančna aproksimacija zvezne funkcije (Cybenkov izrek)

Povratna nevronska mreža

• Pojavi v času

• Univerzalen Turnigov stroj

Samo-organizirajoče karte

• N-dimenzionalna mreža nevronov

• Nevron kot točka v prostoru

• Stabilnost narašča s časom

• Hierarhične karte• Nevronski plin

Uporaba

• Napovedovanje• Prepoznavanje vzorcev• Klasifikacija• Obdelovanje podatkov

– Filtriranje– Grozdenje– Kompresija

• Odločanje

Učenje

Učenje

• Nadzorovano– Pari vhod-izhod

• Nenadzorovano– Učenje iz primerov

• Vzpodbujevalno– Interakcija z okoljem

Nadzorovano učenje

Rprop

• Napaka se širi od izhodov nazaj po mreži

• Pri posodobitvah uteži upoštevamo le spremembe smeri napake

• Batch učenje

Rprop/napaka

Izhodni nevron(delta i j) = (* (dtanh (activation i j))

(- (target j) (activation i

j)))

Ostali nevroni(delta i j) = (* (dtanh (activation i j))

(sum #’* (delta i) (weight

i)))

Rprop/posodobitev

(incf (weight i j) (cond ((> (delta i j t) 0)

(update- i j t))

((< (delta i j t) 0)

(update+ i j t))

(t 0)))

Rprop/posodobitev

step+ = 1.2

step- = 0.5

(update i j t) = (cond ((> (* (delta i j (1- t))

(delta i j t))

0)

(* step+ (update i j (1- t))))

((< (* (delta i j (1- t))

(delta i j t))

0)

(* step- (update i j (1- t))))

(t (update i j (1- t))))

Nenadzorovano učenje

Samo-organizirajoče karte

Za vsak dražljaj:

1. Izberemo nevron najbližje dražljaju

2. Izbranca premaknemo še bližje

3. Okoliške nevrone premaknemo bližje

4. Zmanjšamo okolico & koeficient učenja

Izboljšave

Hierarhija mrež

• Problem razstavimo– Prevedemo (recikliranje rešitev)

• Hitrejše učenje (konvergenca)• Različne mreže

– Preprostejše– Namenske

• Različni učni algoritmi• Omilimo overfitting