Upload
truongphuc
View
218
Download
0
Embed Size (px)
Citation preview
Entscheidungsbaum-LernenPerzeptron-Lernen
Einfuhrung in die Angewandte InformatikIV: Gedachtnis und Lernen
Ute Schmid
Fakultat WIAI, Otto-Friedrich Universitat Bamberg
Angewandte Informatik/Kognitive Systeme
WS 2005/2006
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Das Modale Gedachtnis-Modell
(Atkinson & Shiffrin, 1968)
...
Zerfall Vergessen
Arbeitsgedächtnis Langzeitgedächtnis
Input aus der
Umwelt
Output der
Antwort
visuellauditorischhaptisch
Zentrale Exekutive
Subsysteme:
deklaratives Systemepisodisches Wissensemantisches Wissen
perzeptuelles Wissenprozedurales Wissen
Sensorisches Register
phonologische Schleifevisuo−spatiales Systemepisodischer Buffer
Nicht−deklaratives System
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Sensorisches Register
Zerfallszeit ca. 1 sec.
Virtuell unbeschrankte Speicherkapazitat
Keine Organisation von Information (“ikonographischesGedachtnis”)
Sperlings “span of apprehension” Experimente
Demonstration der Existenz eines sensorischen SpeichersBestimmung von dessen EigenschaftenInsbesondere: Beschrankte Menge von Information, die (seriell)in den Arbeitsspeicher ubertragen werden kann.Nicht ubetragene Information verfallt.
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Sperling Experimente
(1) Tachistokopische Darbietung von 12 Buchstaben (3 Zeilena 4)
Bericht, dass 12 Buchstaben gesehen wurdengenannt werden konnten nur 3-4 bevor die Gedachtnisspurverblasste
(2) Zusatzlich Ton, der auf die relevante Zeile verweist (hoch,mittel, tief)
Variation der Zeitspanne zwischen Buchstabendarbietung undHinweisreizBei 0 sec. Verzogerung: alle 4 Buchstaben der Reihe genannt;bei Verzogerung (onset) von 1 sec. verschlechtert sich Recallauf 1-2 Buchstaben
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arbeitsgedachtnis
Fruher auch “Kurzzeitspeicher”; Arbeits-Gedachtnis betontdie aktive, aufgabenbezogene Funktion
Akustische oder visuelle Organisation
Speicherzeit: 20-30 sec.
Durch Wiederholung (phonological loop) kann Information imArbeitsgedachtnis bleiben
Beschrankte SpeicherkapazitatFlaschenhals des Gedachtnisprozesses (Miller: 7 plus/minus 2chunks)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Langzeitgedachtnis
Ohne neurologische Erkrankung oder Verletzungen: im Prinzippermanente Speicherung
Virtuell unbeschrankte Gedachtniskapazitat
Semantische/chronologische Organisation
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Semantisches Gedachtnis
Allgemeines (generisches) Wissen (kulturabhangig) uber dieBedeutung von Konzepten, ihre Eigenschaften (Attribute) undBeziehungen
“Apfel sind rot”, “Ein Hund ist ein Saugetier”, “Vogel legenEier”
Im Gegensatz zu episodischem/fallbasierten Wissen uberkonkrete Erfahrungen (mit kontextueller Information: Zeit,Ort)
“Mein Hund Lassie ist 7 Jahre alt”, “Mein Bruder lebt inLondon”
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Hierarchische Gedachtnisorganisation
Der TLC von Collins und Quinlan (1969)
Merkmalsvererbung (Kognitive Okonomie)
Reaktionszeitexperimente: Beurteilung vonEigenschaftszuordnungen
Probleme: Typikalitatseffekte, Ausnahmen
Beispiel fur regelbasierte Ansatze zur Begriffsdefinition
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Intelligente Systeme
Wissensbasierte Systeme
Wissen und Regeln durch Menschen modelliertAllgemeine Mechanismen: Ziehen von Schlussen,Ahnlichkeitsvergleich, ...
Lernende Systeme
Wissen und Regeln werden aus Beispielen erworbenLernalgorithmen
If an expert system – brilliantly designed, engineered andimplemented – cannot learn not to repeat its mistakes, it is not asintelligent as a worm or a sea anemone or a kitten.
(O. Selfridge)
Je flexibler und anpassungsfahiger ein Organismus, desto we-niger verfugt er uber ein fest vorgegebenes Verhaltensinventarund desto mehr muss (lebenslang) gelernt werden!
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische Fakten
Frage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”
Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlage
Identifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens
Auswendiglernen
Vokabeln, geschichtliche/geographische FaktenFrage der guten Gedachtnisorganisation fur effizienten Abruf inverschiedenen Kontexten
Lernen von Klassifikationregeln
Konzepte: “Hund”, “Primzahl”, “Vorbereitung fur gutenPrufungserfolg”Klassen allgemein: Hunderassen, Zustande einer chemischenAnlageIdentifikation relevanter Merkmalskombinationen zurVorhersage der Zugehorigkeit eines Objekts zu einer Klasse
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)Prozess-Steuerung (Klaranlage)Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)Prozess-Steuerung (Klaranlage)Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)
Prozess-Steuerung (Klaranlage)Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)Prozess-Steuerung (Klaranlage)
Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)Prozess-Steuerung (Klaranlage)Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)
Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Arten des Lernens cont.
Auswendiglernen
Lernen von Klassifikationregeln
Lernen von Steuerregeln
Motorische Steuerung (Stab balancieren, Ruckwarts einparken)Prozess-Steuerung (Klaranlage)Handlungsstrategien (Umformen von Gleichungen, Abfolge vonBeweisschritten, Handlungsfolge zur Installation einesRechners)Identifikation von Aktionsfolgen zur Erreichung eines Ziels
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Klassifikationslernen
Beispiel: Lernen eines Konzepts
Objekte der Welt sind (kulturspezifisch) in Konzepte gruppiert
Extensionale Beschreibung: (unendliche)Menge aller Exemplare �
����
�����
�����
�����
� � � � �� � � � �� � � � �� � � � �
Intensionale Beschreibung: endliche CharakterisierungKonzept Tisch ist die Menge aller Objekte, fur die gilt, dasssie 3 oder 4 Beine und eine Platte haben
Lernen: Konstruktion einer intensionalen Beschreibung aus ei-ner endlichen Teilmenge von Exemplaren (Trainingsbeispiele)
Lernen als Induktion
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Induktion versus Deduktion
Deduktion
Axiom Alle Menschen sind sterblich.
Fakt Sokrates ist ein Mensch.
Schluss Sokrates ist sterblich!
“Wissensextraktion”
Anwendung einer korrekten Schlussregelhier: modus ponensresultiert in einer korrekten Folgerung
Deduktion: Schließen von Allgemeinem auf Spezielles
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Induktion versus Deduktion
Induktion
Hintergrundwissen Sokrates ist ein Mensch.
Beobachtung Sokrates ist sterblich.
Generalisierung Alle Menschen sind sterblich!
“Wissensgenerierung”
Aus Beobachtungen/Trainingsbeispielenwird eine allgemeinere Regel erzeugt,die hypothetischen Charakter hat
Induktion: Schließen vom Speziellen auf Allgemeines
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Beispiel
Kontext: Expertensystem fur Fernreisen
Ziel: Aussprechen von Impfempfehlungen
Es sei keine genaue Kenntnis vorhanden, wo Tse-Tse-Fliegen(Malaria) vorkommen
Beschreibung von ausgewahlten Regionen, fur die bekannt ist,ob Tse-Tse-Fliege vorkommt durch Merkmale
Nr Vegetation Longitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Grundbegriffe
Reprasentation von Trainingsbeispielen als Merkmalsvektorenb1 = (0, 0, 1, 1)
Zuordnung der bekannten Klasse 1↪→ Lernen mit Lehrer (uberwachtes Lernen)
Lernalgorithmus: CAL2, ID3, C4.5, ...
Reprasentation der Hypothesen: Entscheidungsbaum
x1 (vegetation)
x2 (longitude) x2 (longitude)NO Tse−Tse Fly
forrestswamp 0
grassland1 2
NO Tse−Tse FlyNO Tse−Tse Fly Tse−Tse FlyTse−Tse Fly
0 1near eq. far from eq. far from eq.near eq.
0 1
1 0
0
1 0
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
CAL2
1 Starte mit dem Entscheidungsbaum (*) (Klasseunbekannt).
2 Solange sich noch (fur mind. ein Bsp derTrainingsmenge) Anderungen ergeben:
1 Wenn das neue Objekt korrekt klassifiziert wird,andere nichts.
2 Wenn das neue Objekt als (*) klassifiziert wird,trage die Klasse ein.
3 Wenn das neue Objekt falsch klassifiziert wird,nimm das nachste Merkmal in den Baum hinzu.Trage fur die entsprechende Auspragung dieaktuelle Klasse ein und fur alle anderenAuspragungen (*).
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(0):
*
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(1):
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(2):
x1
* 0 *
0 21
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(3):
x1
* 0
0 21
0
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(4):
x1
* 0
0 21
0
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(5):
x1
* 0
0 21
x2
*
0 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(6):
x1
* 0
0 21
x2
*
0 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(7):
x1
1 0
0 21
x2
*
0 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(8):
x1
0
0 21
x2
*
0 1
* 0
x20 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(1):
x1
0
0 21
x2
*
0 1
1 0
x20 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(2):
x1
0
0 21
x2
*
0 1
1 0
x20 1
1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation CAL2
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
(3):
x1
0
0 21
x20 1
0
x20 1
01 1
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Kommentare zu CAL2
Inkrementelles Lernverfahren
Termination: in einem Durchlauf durch alle Beispiele keineAnderungen mehr (fur disjunkte Klassen)
Entscheidungsbaum: Menge von Wenn-Dann RegelnWENN (x1 = 0 UND x2 = 0) ODER (x1 = 2 UND x2 = 0)DANN 1 SONST 0
Funktioniert auch fur allgemeines Klassifikationslernen (mehrals 2 Klassen)
Erweiterungen fur
nicht-disjunkte Klassen (statistische Entscheidung)reelwertige Merkmalsauspragungen (automatischeDiskretisierung)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
ID3
ID3(beispiele, attribute):
1 Erzeuge Knoten mit beispiele
2 WENN alle beispiele positiv, DANN LIEFERE Knoten mit Klasse ‘‘1’’
3 WENN alle beispiele negativ, DANN LIEFERE Knoten mit Klasse ‘‘0’’
4 WENN attribute leer, DANN LIEFERE Knoten mit dem haufigeren
Klassen-Label
5 SONST
1 Wahle Merkmal A aus attribute2 Weisse A dem Knoten zu3 Fur jeden moglichen Wert vi von A
1 Fuge neuen Pfad fur A = vi unter Knoten ein
2 Setze beispielevi als die Teilmenge von beispiele
mit Wert vi fur A3 WENN beispielevi leer
DANN erzeuge Blattknoten mit dem haufigeren
Klassen-Label
SONST ID3(beispielevi , attribute \A)6 LIEFERE Entscheidungsbaum
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation ID3
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
1(1) 2(0) 3(0) 4(0)5(1) 6(0) 7(1) 8(0)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation ID3
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
1(1) 2(0) 3(0) 4(0)5(1) 6(0) 7(1) 8(0)
x1
10 2
1(1) 7(1)8(0)
3(0) 5(1)2(0) 6(0) 4(0)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Handsimulation ID3
Nr Vegetation Latitude Humidity Altitude Tse-Tse fly1 swamp near eq. high high occurs2 grassland near eq. high low occurs not3 forrest far f. eq. low high occurs not4 grassland far f. eq. high high occurs not5 forrest near eq. high low occurs6 grassland near eq. low low occurs not7 swamp near eq. low low occurs8 swamp far f. eq. low low occurs not
1(1) 2(0) 3(0) 4(0)5(1) 6(0) 7(1) 8(0)
x1
10 2
1(1) 7(1)8(0)
3(0) 5(1)
0
x2 x2
0 1 10
1(1) 7(1) 8(0) 5(1) 3(0)
0 01 1
2(0) 6(0) 4(0)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Kommentare zu ID3
Nicht-Inkrementelles (“Batch”) Lernverfahren
Entscheidungsbaum: Menge von Wenn-Dann RegelnWENN (x1 = 0 UND x2 = 0) ODER (x1 = 2 UND x2 = 0)DANN 1 SONST 0
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Kommentare zu EB-Verfahren
Liefern symbolische (verbale) Regeln
Generalisierung: Nur Kombination relevanter Merkmalenicht: Tabelle der Trainingsbeispiele
EB: Klassifikation noch nie gesehener Objekte
Allgemein bei Lernverfahren: Trainingsfehler undGeneralisierungsfehler (sollte moglichst gering sein)
Evaluation: Zuruckbehalten einer Teilmenge der Beispiele zumTesten
Lernen basiert auf zwei “inductive biases”
Language Bias: Ich kann nur Lernen, was ich in derHypothesensprache reprasentieren kannSearch Bias: Wie bewege ich mich im Hypothesenraum fort(hier von kleinen zu großeren EBs)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Verkurzung von EBs
Merkmalsreihenfolge bestimmt Komplexitat des gelerntenBaums
Irrelevante Merkmale in hoheren Ebenen bleiben erhalten
Inkrementelles Lernen: Analyse des gelernten Baumes,Umstrukturierung und Loschen irrelevanter Merkmale(Beschneidung im Nachhinein)
Batch-Lernen: Merkmalsauswahl nachinformationstheoretischem Mass
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Beschneidung von EBs
Regel:
αα
αx i Reduce
Beispiel:
x
x x0
00 0
3
2
311
0
1
11
x
x x0
00 0
3
2
311
0
1
11
x1x
x x0
00 0
3
2
311
0
1
11
x
030 1
1
x1Reduce
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Umstrukturierung von EBs
Regel:
α11 α1k α αl1 lk
xjxj
xi
α11
switch
α α αlk
xj
xi xi
l1 1k
Beispiel:
xj
x i ix
a11 21a a12 a22
j j
a a21
xi
x x
11a 12 a22
switch
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Information Gain
Informationstheoretisches Maß zur Auswahl des nachstenMerkmals
Welches Merkmal reduziert die Unsicherheit, um welcheKlasse es sich handeln konnte am meisten
Idee: Entropie des Gesamtsystems minus relative Entropieeines Merkmals
Merkmal mit hochstem Wert (mit geringster Entropie)auswahlen
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Entropie
H(S) =n∑
i=1
−pi · log2pi
Entropie H eines Systems S
Summe uber Auftretenswahrscheinlichkeiten (relativeHaufigkeiten) mogliche Ereignisse
Logarithmus zur Basis 2: Einheit Bit (ErwarteteEnkodier-Lange)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Veranschaulichung Entropie
S: Werfen einer Munze pKopf = pZahl = 0.5
H(Muenze) = [−0.5 · log20.5]︸ ︷︷ ︸Kopf
[−0.5 · log20.5]︸ ︷︷ ︸Zahl
= 1 bit
Kodierung mit 1 Bit: 0 (Kopf), 1 (Zahl)
Manipulierte Munze mit 99% Kopf: H = 0.08 bits
Manipulierte Munze mit 100% Kopf: H = 0 bits
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Entropie als Anzahl von Entscheidungsfragen
Anzahl der Entscheidungsfragen bis zur volligen Sicherheit
Raten einer Kartenfarbe: Kreuz, Pik, Herz, KaroHerz
Karo
Kreuz
Pik
Herz?
Kreuz?
Farbe rot?
H(Karte) = 4× [−0.25 · log20.25] = −log20.25 = 2 bit
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Entropie bei der Tse-Tse-Fliege
H(S) = −5
8· log2
5
8− 3
8· log2
3
8≈ 0.95
Ohne Betrachtung eines Merkmals existiert ein leichter Vorteil, sichfur die haufigere Klasse “Tse-Tse Fliege kommt nicht vor” zuentscheiden
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Information Gain eines Merkmals
Gain(S ,A) = H(S)−v∑
i=1
|Sv ||S |
· H(Sv )︸ ︷︷ ︸“relative” Entropy of A
Merkmal x2 “Latitude”H(x2 = 0) = −3
5 · log235 −
25 · log2
25 ≈
−0.6 · −0.74− 0.4 · −1.32 ≈ 0.972H(x2 = 1) = −0
3 · log203 −
33 · log2
33 = 0 · 1 = 0
(Anmerkung: wir setzen 0 · log 0 = 0)
Gewichtung: x2 = 0: 58 und x2 = 1: 3
8
Gain(S , x2) = 0.95− [(0.625 · 0.972) + (0.375 · 0)] ≈ 0.34
In verschiedenen Unterbaumen konnen verschiedene Merkmaleden hochsten Gain liefern
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
BeispielGrundbegriffeZwei EB-AlgorithmenMerkmalsauswahl und Entropie
Anwendungen fur EB-Verfahren
Herzinfarktrisiko eines Patienten gegeben medizinische Daten
Interessensgebiet eines Kunden gegeben bisherige Kaufdaten
Wetter gegeben Wetter der vorherigen Tage (sehr grob!)
Vorschlag fur den Unterricht
Mastermind-Spieler als inkrementeller Entscheidungsbaum
Inkrementelles Verfahren: CAL2
Merkmalsauswahl: Information-Gain bezuglich der schonvorhandenen Zuge
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Neuronale Netze
Alternativer Ansatz zum Konzeptlernen: Perzeptron
Idee: Modell einer Nervenzelle
Neuronale Netze allgemein: Verschaltung vieler einfacher“Neurone”
Methode zum Lernen komplexer Funktionen
Achtung: nur wenige neuronale Netze modellieren tatsachlichbiologisches Lernen!
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Modell eines Neurons
Axon spaltet sich auf underreicht Dendriten andererNeurone (Synapse)
Jedes Neuron hatSynapsen mit 10–100.000anderen Neuronen
Transmitter ubertragen Impulse von Synapsen in Dentritenund verandern das elektrische Potential in der Soma.
Falls eine bestimmte Schwelle erreicht wird, wird das Potentialuber das Axon gesendet. (Erregungsfortpflanzung)
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Computer und Gehirn
Computer Gehirn
Berechnungseinheiten 1 CPU (> 107 Gates) 1011 NeuronenSpeichereinheiten 512 MB RAM 1011 Neuronen
500 GB Festplatte 1014 SynapsenTakt 10−8 sec 10−3 sec
Ubertragungskap. > 109 bits/sec > 1014 bits/sec
Computer: seriell, schnell
Gehirn: parallel, eher langsamer, fehlertolerant
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Perzeptronx 1
x 2
x n
x 0 = 1
1
2
n
0w
w
w
w
Σxwi i
i=0
n
Σ { 1 if > 0
otherwiseo =
xwi ii=0
n
Σ−1
Merkmale spannen euklidischen Raum auf
Jedes Beispiel: Punkt im Merkmalsraum
Lernen der Gewichte wi
so dass positive und negative Beispiele durch eine Trennebenesepariert werden
Schwellenfunktion (sgn zur Normierung des Outputs)
Klassen werden als −1 und +1 reprasentiert
funktioniert fur linear separierbare Klassen
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Trenngeradex2
x1
1
1
1 1 1
1 1 1
1
1
0 0
0 01
0 0
0
0
(−2−1
)· ~x + 3 = 0
Multiplikativer Faktor:Steigung der Geraden
Additiver Faktor:Verschiedbung vomNullpunkt
Klassifikation: Skalarprodukt von Gewichtsvektor undEingabevektordarauf die Schwellenfunktion anwenden
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Perzeptron-Lernalgorithmus
Erweitern des Vektor ~x um Konstante 1 and Stelle x0:Verschiebungsfaktor mit in Gewichtsvektor ziehen.
1 Initialisiere Gewichtsvektor ~w mit 0en2 Solange bis alle Beispiele korrekt klassifiziert
werden oder bis n Iterationen durchlaufen sind,wiederhole:
1 Nimm das nachste Beispiel ~xi
2 Berechne o(~xi ) = sgn(~w · ~xi )3 Wenn o(~xi ) = Klasse k(~xi )
Dann weiterSonst
1 Wenn o(~xi ) > k(~xi )Dann ~w := ~w − ~xi
2 Wenn o(~xi ) < k(~xi )Dann ~w := ~w + ~xi
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 0
00
1A ·
0@ 100
1A = 0
Update:
~w :=
0@ 0 + 10 + 00 + 0
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 1
00
1A ·
0@ 101
1A = 1 Update: –
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 1
00
1A ·
0@ 110
1A = 1 Update: –
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 1
00
1A ·
0@ 111
1A = 1
Update:
~w :=
0@ 1 − 10 − 10 − 1
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 0
−1−1
1A ·
0@ 100
1A = 0
Update:
~w :=
0@ 0 + 1−1 + 0−1 + 0
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 1
−1−1
1A ·
0@ 101
1A = 0
Update:
~w :=
0@ 1 + 1−1 + 0−1 + 1
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 2
−10
1A ·
0@ 110
1A = 1 Update: –
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 2
−10
1A ·
0@ 111
1A = 1
Update:
~w :=
0@ 2 − 1−1 − 10 − 1
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Beispiel Perzeptron
Klassische Anwendung: Lernen logischer Funktionen
Hier: NAND
x1 x2 k(x)
1 0 0 12 0 1 13 1 0 14 1 1 0
Nach 6 Durchlaufen durch die Trai-ningsmenge werden alle Beispiele kor-rekt klassifiziert mit
~w :=
3−2−1
0@ 1
−2−1
1A ·
0@ 111
1A = 1
Update:
~w :=
0@ 2 − 1−1 − 10 − 1
1A
Ute Schmid Einfuhrung in die Angewandte Informatik
Entscheidungsbaum-LernenPerzeptron-Lernen
Computer und GehirnPerzeptron ArchitekturPerzeptron Algorithmus
Kommentare Perzeptron
Logische Funktion XOR nicht lernbar (nicht mit einerTrenngerade sparierbar)
Verstandnis des Perzeprons liefert Grundlage fur komplexereNetze
z.B. mehrschichtige feedforward Netze (wie Backpropagation)
Mogliche Anwendung im Unterricht: Klassifikation voneinfachen Pixelbildern (z.B. Ziffer 0 oder 1)
Ute Schmid Einfuhrung in die Angewandte Informatik