Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School

Neuronale Netze - Wettbewerbslernen

Folie 1

Wissensextraktion mittels

künstlicher neuronaler Netze

Wettbewerbslernen

Uwe Lämmel

Wismar Business School

www.wi.hs-wismar.de/~laemmel

[email protected]


Folie 2

Inhalt

Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie


Folie 3

Wettbewerbslernen

Aktivierung eines Neurons nicht nur von Eingabe abhängig Vergleich mehrere Neuronen notwendig Netzausgabe durch ein Gewinner-Neuron Architektur:

Ziel:ähnliche Eingabe aufbenachbarte Neuronen abbilden

k-dim. Eingabevektor x

N Neuronen,Gewinnerneuron nx


Folie 4

Wettbewerbslernen: Voronoi-Mosaik

•Voronoi-Tesselation

• Voronoi-Mengen eines Neurons s:Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist

Referenzvektor

Ähnliche Eingaben auf benachbarte Neuronen abbilden


Folie 5

Netze und Verfahren

fest – SOM– Neuronales Gas– LBG

variabel– Wachsende Neuronale Gase– Wachsende Zellstrukturen

Lernverfahren

hart – nur Gewinner–Neuron

wird adaptiert:– LBG

weich – auch andere Neuronen modifizieren:– SOM, – Neuronale Gase, – wachsende Zellstrukturen

Architektur


Folie 6

Inhalt



Folie 7

Selbstorganisierende Karten (SOM)

Fähigkeit des Gehirns zur Selbstorganisation nachbilden räumliche Lage eines Neurons im Kopf bedeutend

(wurde bisher vernachlässigt) existieren Beziehungen räumlicher Art zur Umgebung

Kohonen Feature Map

zweischichtiger Muster-Assoziator

Eingabe-Schicht voll vernetzt mit Karten-Schicht Neuronen der Karten-Schicht untereinander voll vernetzt

(virtuell)


Folie 8

Clusterung

Ziel: Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet

f

Eingabemenge A

Ausgabe B

ai

Problem: Klassifikation im Eingaberaum allgemein nicht bekannt.

Netz nimmt eine Clusterung vor.


Folie 9

Gewinner-Neuron

Kohonen- Layer

Input-Layer

Winner Neuron


Folie 10

Lernen in SOM

1. Wahl einer Eingabe k zufällig aus dem Problemraum

2. Das Neuron z mit maximaler Erregung wird bestimmt

3. Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z.

4. Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern

und mit 1. fortfahren.


Folie 11

Erregungszentrum

Prinzip: Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen!

Problem: Finden des Erregungszentrums – 2 Möglichkeiten:

Neuron j mit maximalen Nettoinput

Neuron j, dessen Gewichtsvektor wj der Eingabe am ähnlichsten ist (euklidischer Abstand):

z: x - wz = minj x - wj

ii

ijj

ii

iz owow max


Folie 12

Anpassen der Gewichte

Gewichte zu Neuronen innerhalb eines Radius r werden erhöht:

Grad der Beeinflussung

durch den räumlichen Abstand zum Erregungszentrum? Lernrate (t) sowie Radius r(t)

laufen gegen null

Kohonen benutzt Funktion :2

2

2

),(

r

zjdist

jz eh

sonstw

rzjdistfallswmhww

ij

ijijzijij

),(),(

Mexican-Hat-Annäherung

0

0,5

1

-3 -2 -1 0 1 2 3


Folie 13

SOM Training – Summary

zpjpj

WmWm min

find the winner neuron zfor an input pattern p(minimal Euclidian distance)

adapt weights of connections input – neurons to– winner neuron– neighbours

Kohonen layer

input pattern mp

Wj

otherwisew

rzjdistifwmhww

ij

ijijzijij ,

),(,)(/

2

2

2

),(

r

zjdist

jz eh

Reduce and r (see parameter (H) and (R) in JavaNNS – Kohonen

Randomize training patterns


Folie 14

A1: Kredit GeschichteA2: SchuldenA3: SicherheitenA4: Einkommen

Beispiel Bankkunde

Klassifikation bleibt unbeachtet SOM nimmt Clusterung vor


Folie 15

Bank-Kunde

gut = {5,6,9,10,12} normal = {3, 8, 13} schlecht = {1,2,4,7,11,14}


Folie 16

Credit Scoring

Pascal tool box (1991) 10x10 neurons 32,000 training steps


Folie 17

Visualisation of a SOM

Colour reflects Euclidian distance to input

NetDemo

TSPDemo

Weights used as coordinates of a neuron

Colour reflects cluster

ColorDemo


Folie 18

Das Rundreiseproblem

Travelling Salesman Problem (TSP):

Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren.Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?


Folie 19

Komplexität des Rundreiseproblems

Aufwand zum Durchsuchen aller Möglichkeiten: Wismar

Schwerin

Rostock

Stralsund

Greifswald

Neubrandenburg

(Pascal-Programm, PC Technik, Stand ca. 1998)

18 Kreis- und kreisfreie Städte in MV !


Folie 20

SOM solves TSP

inputKohonen layer

w1i= six

w2i= siy

Draw a neuron at position:

(x,y)=(w1i,w2i)

X

Y


Folie 21

SOM löst TSP

Initialer Kreis expandiert zu Rundkurs Lösungen für mehrere hundert Orte in

kurzer Zeit möglich Rundkurs muss nicht optimal sein


Folie 22

Beispiele

– Probieren sie die Clusterung von Tieren (Kruse) aus.Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung.

– Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut.

– Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation


Folie 23

Inhalt



Folie 24

Neuronales Gas

für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet Adaption entspricht dem Rang des Neurons Adaption gemäß Zeit- und Reichweiten-Faktor

Wachsende Gase:– Einfügen eines neuen

Neurons zwischen Neuronmit größtem Fehler undeinem Nachbarn


Folie 25

Hebb‘sches Wettbewerbslernen

Zwischen Gewinner-Neuron und „zweitem“ Gewinner wird neue Verbindung eingefügt:

Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,


Folie 26

Wachsende Zellstrukturen/Gitter

Zellstrukturen:– Verbindungen bilden Simplex, z.B. Dreieck

Gitter:– rechteckige Gitterstruktur


Folie 27

LBG - Linde, Bozo, Gray (1980)

Batch-Verfahren Referenzvektor wird in Richtung des Schwerpunktes der

Voronoi-Menge bewegt hartes Lernverfahren


Folie 28

Inhalt



Folie 29

Adaptive Resonance Theory (ART)

Bisher: Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werden

Stabilitätsproblem Wie neue Muster und deren Klassifizierungen lernen,

ohne dass vorhandene Klassifizierungen verlernt werden? Plastizitätsproblem

ART: (entwickelt von Grossberg und G. Carpenter) zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren

(ohne äußere Einwirkung) Annäherung an biologisches Verhalten Familie hybrider neuronaler Netze;

hier: ART1: binäre Eingabevektoren


Folie 30

ART - Modell

w1

w2

Klassifikationsraum

Winkel p: Aufmerksamkeitsabstand


Folie 31

ART - Arbeitsweise

Arbeitsweise:

Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren;

Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie;

Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen;

Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert


Folie 32

ART - Architektur

j

i

Erkennungsschicht F2

Vergleichssschicht F1

Eingabe I Binärvektor

MatrixWijRMatrix

Wji

(binär) S

TU

V

++

+ +

+

--

-

...

...

v

g2

g1


Folie 33

ART - Architektur - Arbeitsweise

Komponenten: Vergleichschicht (Comparison layer) F1

Erkennungsschicht (recognition layer) F2

zwei Verstärkungsfaktoren (je ein Neuron), gain (Gewinn) Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit)

Arbeitsweise:

(1) Erkennungsphase (3) Suchphase(2) Vergleichsphase (4) Adaption der Gewichte

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 34

ART - Initialisierung

i,j : wij < L/(L-1+m) (von F1 nach F2)iF1, jF2 , m=length( I ), L - Konstante L>1, oft L=2

j,i : wji = 1 (von F2 nach F1)

Toleranzparameter: 0p1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 35

ART - Erkennungsphase

Eingabe=Nullvektor Verstärkung g2=0 und alle j abgeschaltet, V=Nullvektor

Anlegen einer Eingabe I Nullvektor g1=1, g2=1 alle Neuronen i , deren Eingabe Ii=1 ist feuern

(nach 2/3-Regel) S ist Duplikat von I Bilden aller Skalarprodukte WjS (drückt Ähnlichkeit aus) J mit max. WjS “gewinnt”! und feuert(oJ=1),

alle anderen gebremst(oj =0 für jJ) uJ=1 alle anderen Komponenten von U sind 0

nur ein Neuron der Erkennungsschicht feuert

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 36

ART - Vergleichsphase

jedes Neuron der Vergleichsschicht erhält vi=wJi (0 oder 1)

vi = ujwji = wJi

da nun UNullvektor:g1=0, nun feuern nur Neuronen i mit Ii=1 und vi=1,

damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind;

S = V I = WJ I enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe

ähnliches Muster Reset-Komponente feuert Neuron J (lieferte einzige 1) wird auf 0 gesetzt

|S|/|T| = |WJ I | / | I | p Reset erfolgt für |S|/|T|<p p=1 totale Übereinstimmung,

p=0 nur eine Klasse üblich: 0.7p0.99

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 37

ART - Suchphase

Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g1=1 undS wird wieder zur Kopie von I Suche nach neuem Gewinner-Neuron

Prozess wird wiederholt bis:a) gespeichertes Muster gefunden,

welches I genügend ähnlich istb) kein gespeichertes Muster ähnlichneues Neuron j benutzt und WJ entsprechend Eingabe I gesetzt

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 38

ART - Adaption der Gewichte

Fast training: Eingabe solange angelegt, bis Gewichte stabil werden: WJ - Gewichtsmatrix von F (wandelt S in T um: von F1 nach F2 )

wiJ= Lsi / (L - 1 + sk)si- Komponente des Ausgabevektrors von F1

J- Nummer des Gewinnerneurons von F2

L- Konstant s.o. L=2 wJi = si

Der sogenannte top-down-Vektor Wj = (wj1,...,wjm) ist binäres Abbild des reellwertigen bottom-up Vektors Wj = (w1j,...,wmj)

j

i

WijRWji

(binär) S

TU

V

++

+ +

+-

-

-

...

...

v

g2

g1


Folie 39

ART - Theorem und Beispiele

Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche.

Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert.

ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.*Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet.Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz.

Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.


Folie 40

ART-Netz im SNNS


Folie 41

Ende

Documents

Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School