40
Biosignale & Benutzerschnittstellen: Kognitive Modellierung 1 Biosignale und Benutzerschnittstellen Kognitive Modellierung Prof. Dr. Tanja Schultz Dipl.-Inform. Felix Putze Dipl.-Math. Michael Wand Vorlesung WS 2012/2013

Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

  • Upload
    ngocong

  • View
    237

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

1

Biosignale und Benutzerschnittstellen

Kognitive Modellierung

Prof. Dr. Tanja Schultz

Dipl.-Inform. Felix Putze

Dipl.-Math. Michael Wand

Vorlesung WS 2012/2013

Page 2: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

2

Struktur der Vorlesung

• Motivation & Begriffsfindung : Kognitive Modellierung

• Drei Beispiele kognitiver Modellierung:

• Beispiel 1: Emotionsmodelle

• Beispiel 2: Kognitive Architekturen

• Beispiel 3: Lernen

• Zusammenfassung & Ausblick

Page 3: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

3

Was haben wir bisher gemacht?

• Innere Zustände des Menschen für die Maschine sichtbar gemacht:

• Emotionen

• Intentionen

• Kognitive Belastung

• Einsatz verschiedenster Biosignale:

• EMG

• EEG

• Hautleitwert

• Schalldruckwellen

• Allen gemeinsam: Beobachtungen von durch den Menschen emittierten Signalen

• Können wir alle Zustände beobachten, die uns interessieren?

• Kann zusätzliches Hintergrundwissen helfen?

Page 4: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

4

Motivation: Wie macht‘s der Mensch?

• Betrachte folgende Beispielsituation:

“This is a story of a woman who wanted to treat her sister to the

most expensive, exclusive restaurant in their city. Months ahead,

she made a reservation. When she and her sister arrived at the

restaurant, they were told by the maitre d' that their table would

be ready in 45 minutes. Still, an hour passed, and no table. Other

groups arrived and were seated after a short wait. The woman

went to the maitre d' and reminded him of her reservation. He

said he would do his best. Ten minutes later, a local celebrity and

his date arrived and were immediately shown a table. Another

couple arrived and were seated immediately. The woman again

went to the maitre d', who said that all the tables were now full,

and that it might be another hour before anything was

available.“

Page 5: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

5

Motivation: Wie macht‘s der Mensch?

• Was fühlt die abgebildete Frau in der beschriebenen Situation?

• Freude

• Ärger

• Trauer

• Überraschung

• Angst

• Ekel

Page 6: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

6

Motivation: Wie macht‘s der Mensch?

• Matsumoto und Ekman (1988): Bild zeigt einen prototypischen Ausdruck von Angst

• Caroll und Russell (1996): In Verbindung mit der beschriebenen Situationen wählen die meisten Menschen als Emotionslabel Ärger (oder Überraschung)

• Die Verteilung verschiebt sich bei der Präsentation beider Reize gegenüber der Präsentation je eines Reizes

• Mögliche Folgerung: Menschen kombinieren Kontextwissen und Beobachtung, um ihre Mitmenschen einzuschätzen

Page 7: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

7

Was ist kognitive Modellierung?

• Modellierung von menschlicher Kognition und menschlichen Affekt:

• Wie verarbeitet der Mensch Informationen?

• Wie trifft der Mensch Entscheidungen?

• Wie empfindet der Mensch und warum?

• Was sind menschliche Grenzen und Schwächen?

• Oftmals basierend auf empirischen und theoretischen Erkenntnissen der kognitiven Psychologie

• Für uns wichtig: Formuliert als berechenbares (und damit implementierbares) Modell

• Beispiele: Von „Wie lange benötigt ein Mensch, um auf einen visuellen Reiz zu reagieren“ bis hin zu „Welche Emotion wird durch ein bestimmtes Ereignis ausgelöst“

Page 8: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

8

Wozu braucht man kognitive Modellierung?

• Nicht alle inneren Zustände allein durch Beobachtung von außen erkennbar

• Innere Zustände entstehen nicht zufällig, sondern weisen zeitliche Stabilität und kausale Konsistenz auf

• Innere Zustände werden durch den Kontext der Beobachtung beeinflusst

• Vergleiche Spracherkennung:

• Akustisches Modell: Verbindung akustisches Signal Sprache

• Sprachmodell: Wahrscheinlichkeit einer Äußerung im sprachlichen Kontext

Page 9: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

9

Technische Analogie: Visuelles Personentracking

• Tracking (in der Videoanalyse): Verfolgung einer Person in einer Videosequenz

• Beobachtende Ansätze: Gesichtserkennung, Farbhistogramme

• Aber: Was, wenn die Person zeitweise verdeckt wird? Wie werden Ausreißer und Fehler abgefangen?

• Verwende Modellwissen: Bewegungsmodell der Person

• Beispiel: Läufer bewegt sich auf einer Rennstrecke auf einer elliptischen Bahn

• Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Page 10: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

10

Drei Einsatzrichtungen für Benutzerschnittstellen

• Vorhersage: Im Zusammenspiel mit einer verrauschten Beobachtung prädiziert das Modell aufgrund des aktuellen Zustands die weitere Entwicklung der modellierten Eigenschaften („Welche Emotion wird der Benutzer zeigen, wenn sein Dokument gelöscht wurde?“)

• Erklärung: Ein kognitives Modell kann beobachtetes Verhalten rückwirkend erklären („Warum hat der Benutzer eine wütende Reaktion gezeigt?“)

• Simulation: Konsistente Generierung glaubwürdigen Verhaltens („Wie soll ein virtueller Agent auf die Frage des Benutzers reagieren?“)

Page 11: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

11

Struktur der Vorlesung

• Motivation & Begriffsfindung : Kognitive Modellierung

• Drei Beispiele kognitiver Modellierung:

• Beispiel 1: Emotionsmodelle

• Beispiel 2: Kognitive Architekturen

• Beispiel 3: Lernen

• Zusammenfassung & Ausblick

Page 12: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

12

Emotionsmodelle

• Bisher kennengelernt:

• Diskrete Basisemotionen (Wut, Freude, Ekel, …)

• Dimensionales Modell (Arousal, Valence)

• Beides sind rein deskriptive Modelle

• Probleme der bisherigen Modelle:

• Mangel an Individualität und Kontextabhängigkeit: Gleiche Stimuli lösen nicht immer gleiche Emotionen aus

• Fehlende Verallgemeinerung: Verschiedene Stimuli können die gleiche Emotion auslösen

• Keine Handlungsindikation: Welche Handlungen werden durch die Emotionen ausgelöst oder begünstigt?

Page 13: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

13

Appraisal-Modelle

• Appraisal = Bewertung / Beurteilung

• Emotionen sind das Ergebnis der Bewertung von Ereignissen

• Beispiele:

• Ein unerwarteter Lotto-Gewinn erzeugt Freude

• Ein Vordrängler in der Warteschlange erzeugt Wut

• Unsichtbare Monster unter dem Bett erzeugen Angst

• Verschiedene Appraisal-Theorien, hier: Theorie von Scherer als ein Beispiel

• Definiert eine Reihe diskreter Appraisal-Dimensionen, die bestimmte Eigenschaften von Ereignissen beschreiben

• Aus der Konfiguration dieser Dimensionen leitet sich eine Emotion ab

Page 14: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

14

Appraisal-Faktoren nach Scherer (Auswahl)

• Basic Characteristics

• Intrinsic Pleasentness (z.B. Schönheit, physischer Schmerz)

• Novelty (wurde das Ereignis mit hoher Wahrscheinlichkeit erwartet?)

• Motivational Basis

• Goal Significance (wie relevant für eigene Ziele?)

• Conduciveness (hinderlich oder hilfreich für eigene Ziele?)

• Urgency (wie dringend ist sofortiges Handeln?)

• Coping Potential

• Agency/Responsibility (selbst- oder fremdverursacht?)

• Control (wie stark kann Ereignis beeinflusst werden?)

• Compatibility

• Legitimacy (ist das Ereignis den Werten entsprechend „angemessen“?)

Page 15: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

15

Basisemotionen gemäß Appraisal-Faktoren

aus: Ellsworth und Scherer: Appraisal Processes in Emotion, 2003

Page 16: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

16

Implementierung von Scherers Modell

• Häufiges Einsatzgebiet: Plausible Generierung von Emotionen für menschenähnliche Avatare

• Hier sind die Appraisal-Faktoren oft einfach aus der (oft simulierten) Umgebung ableitbar

• Beispiel: Virtuelle Agenten im „Mission Rehearsal Task“ (trainiert Entscheidungsfähigkeit von Soldaten)

• Appraisal-Model steuert Emotionen der Agenten:

• Spezialisierte Feature-Detektoren inspizieren das „Arbeitsgedächtnis“ und bestimmen Hindernisse, deren Ursprung, Coping-Fähigkeit, …

• Coping-Strategien bestimmen die Reaktion auf die Emotion (z.B. Änderung negativer Zustände, Verdrängung, …)

Page 17: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

17

Struktur der Vorlesung

• Motivation & Begriffsfindung : Kognitive Modellierung

• Drei Beispiele kognitiver Modellierung:

• Beispiel 1: Emotionsmodelle

• Beispiel 2: Kognitive Architekturen

• Beispiel 3: Lernen

• Zusammenfassung & Ausblick

Page 18: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

18

Kognitive Architekturen

• Bisherige Vorstellung: Spezialisierte kognitive Modelle für Einzelaspekte

• Problem: Modelle sollten interagieren!

• Beispiel: Emotionen beeinflussen das Gedächtnis (z.B. werden stark emotional geprägte Items besser behalten)

• Lösungsidee: Eine kognitive Architektur verbindet verschiedene Module und lässt sie auf einander zugreifen

• Weiterer Vorteil ist die Bereitstellung einer einheitlichen Schnittstelle und Beschreibungssprache

• Kann die Entwicklung und Anbindung neuer Modelle vereinfachen

Page 19: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

19

Beispielhafte Einsatzgebiete

• Evaluation von Mensch-Maschine-Schnittstellen

• Simulierter Benutzer interagiert mit Benutzerschnittstelle

• Ermöglicht Auffindung von Flaschenhälsen, ungünstig positionierten GUI-Elementen (Blickbewegungs-Simulation), …

• Kognitive Tutor-Systeme

• System kann voraussagen, ob der Lernende noch aufnahmefähig ist

• Assoziationen zu gerade aktiv verarbeiteten Informationen können das Lernen und Erinnern erleichtern

• Neuropsychologie (Interpretation von fMRI-Daten)

• Kognitive Architekturen sind (auf abstrakter Ebene) oft mit Analogie zum menschlichen Gehirn aufgebaut

• Hohe Aktivität im visuellen Modul eines kognitiven Modells sollte mit hoher neuronaler Aktivität im visuellen Cortex einhergehen

• All diese Beispiele bedürfen Zugriff auf verschiedene kognitive Modelle und damit eine kognitive Architektur!

Page 20: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

20

Kognitive Architekturen: Eine Auswahl

• Eine Reihe verschiedener Architekturen existiert:

• ACT-R

• Soar

• PSI

• Co-Jack

• …

• Unterscheiden sich in Modellierungsschwerpunkt, Modellierungstechniken, Reifegrad

• Stellen meist eine Programmierschnittstelle zur Verfügung, über die eigene Modelle entworfen werden

• Modelle repräsentieren die Eigenschaften einer bestimmten Fragestellung oder Aufgabe, z.B. die im Kontext relevanten Items

Page 21: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

21

Kognitive Architekturen am Beispiel von ACT-R

Page 22: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

22

Kognitive Architekturen am Beispiel von ACT-R

• Entwickelt seit den 80ern von John Anderson an der CMU

• Programmiert und programmierbar in LISP

• Hybride Architektur: Symbolische Repräsentation von Produktionsregeln (Handlungswissen), subsymbolische Verarbeitung auf niedrigeren Ebenen

• Wesentliche Komponenten:

• Perzeptiv-/Motor-Module: Steuern die Interaktion mit der Außenwelt

• Gedächtnis-Module: Speichern deklaratives und prozedurales Wissen

• Buffer: Nur der Inhalt des Buffers eines Moduls ist für andere Module direkt zugreifbar

• Pattern Matcher: Entscheidet auf Basis der Bufferinhalte, welche Aktion als nächstes ausgeführt wird

Page 23: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

23

Deklaratives Modul

• Hier: Deklaratives Modul gemäß [Schultheiß 2006]

• Chunks = atomare Informationseinheiten (in allen Modulen verwendet)

• Chunks sind durch Assoziationen und Hierarchiebeziehungen miteinander verknüpft Graph-Struktur

• Jeder Chunk hat eine Aktivierung, die die aktuelle Präsenz und erwartete Nützlichkeit in der Zukunft repräsentiert

• Aktivierung zusammengesetzt aus mehreren Komponenten:

• Basis-Aktivierung: Abhängig von Häufigkeit und Alter vergangener Präsentationen des Chunks (z.B. durch externe Reize)

• Rauschen: Zufällige Aktivierung, „Geistesblitze“

• Spreading-Aktivierung: Aktivierung ausgehend von assoziierten Chunks (Fan-Effekt: Spreading umso stärker, je weniger ausgehende Kanten der aktivierte Knoten hat)

Page 24: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

24

Deklaratives Modul

VL A gelesen_in

gelesen_in_A

Hörsaal -101 Spracherk.

VL B

heißt

heißt_A heißt_B

Hierarchical Arc

Associative Arc

Generic Relation

Relation Instance

Object

Biosignale

Vorlesung

Page 25: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

25

Prozedurales Modul

• In jedem Zeitschritt wird eine Aktion ausgewählt

• Regelbasierte Auswahl: Jede Aktion ist mit einer Menge von Vorbedingungen verknüpft, die erfüllt sein müssen

• Vorbedingungen beziehen sich auf den Inhalt der Modul-Buffer

• Typischerweise: Abfrage des Goal-Buffers, d.h. der Bezeichnung der aktuellen Teilaufgabe

• Subsymbolische Auswahl (zusätzlich!): Jede Aktion ist mit einem gelernten Utility-Wert verknüpft

• Utility: Erwartete Nützlichkeit einer Aktion für die Erreichung des aktuellen Ziels, ACT-R führt die gültige Aktion mit maximaler Utility aus

• ACT-R kann aus mehrfacher Wiederholung einer Produktionsfolge eine neue Regel lernen (z.B. Additionsregeln aus ursprünglichem Abzählen)

Page 26: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

26

Ein Beispielmodell in ACT-R: Chunks

(chunk-type count-order first second)

(chunk-type add arg1 arg2 sum count)

(add-dm

(a ISA count-order first 0 second 1)

(b ISA count-order first 1 second 2)

(add-goal ISA add arg1 5 arg2 2))

(goal-focus add-goal)

Page 27: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

27

Ein Beispielmodell in ACT-R: Produktionsregeln

(P increment-count

=goal>

ISA add

sum =sum

count =count

=retrieval>

ISA count-order

first =count

second =newcount

==>

=goal>

count =newcount

+retrieval>

isa count-order

first =sum)

Page 28: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

28

Struktur der Vorlesung

• Motivation & Begriffsfindung : Kognitive Modellierung

• Drei Beispiele kognitiver Modellierung:

• Beispiel 1: Emotionsmodelle

• Beispiel 2: Kognitive Architekturen

• Beispiel 3: Lernen

• Zusammenfassung & Ausblick

Page 29: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

29

Menschliches Lernen

• Menschliche Intelligenz manifestiert sich in der Lernfähigkeit

• Verschiedene Lernebenen:

• Deklaratives Wissen (Erlernen von Fakten)

• Prozedurales Wissen (Erlernen neuer Aktionen)

• Strategisches Wissen (Erlernen von Handlungsplänen)

• Warum sollte man menschliches Lernen studieren?

• Als Vorbild für maschinelles Lernen

• Um menschliches Lernen besser verstehen und vorhersagen zu können

• Wir betrachten hier als ein Beispiel: Reinforcement Learning als strategisches Lernverfahren

Page 30: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

30

Modell strategischen Lernens

Agent

Aktion

Umwelt

Page 31: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

31

Reinforcement Learning

• Lernverfahren auf strategischer Ebene

• Zustandsraum S, Aktionsraum A (hier beide endlich)

• Übergangsfunktion f:SxA S (hier deterministisch)

• Rewardfunktion r: SxA R, unmittelbare Belohnung oder Bestrafung einer Aktion

• Gesucht: Optimale Policy π: S A, die für jeden Zustand die „beste“ Aktion auswählt

• Markov Decision Process (MDP)

• Was ist optimal? Spätere Rewards haben weniger Einfluss als sofortige (höhere Unsicherheit, geringere Flexibilität). Wert V einer Aktionsfolge und den damit verknüpften Rewards:

0

),(

t

ttt asrV

Page 32: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

32

RL: Ein erster Algorithmus (Value Iteration)

• Gelernte Strategie ist dann: Wähle in jeden Zustand s die Aktion a, für die V(f(s,a)) maximiert wird

• Aber: Übergangsfunktion und Rewardfunktion muss vollständig bekannt sein Oft eine unrealistische Annahme

• Ziel: Agent in realer oder simulierter Umgebung agieren lassen und daraus lernen Übergangsfunktion nicht explizit bekannt (model free)

Arbitrarily initialize V(s) for all s ∊ S

While strategy not optimal:

For each state s:

For each action a:

Q(s,a) := r(s,a) + γ * V(f(s,a))

V(s) := maxa Q(s,a)

Page 33: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

33

Q-Learning

• Agent agiert mittels einer „geeigneten“ Strategie innerhalb des Zustandsraums und beobachtet die resultierenden Rewards:

• Oft: Q-Wert nur leicht in Richtung des neuen Werts ändern, mit Lernfaktor α

• Q-Learning ist ein off-Policy-Verfahren: Policy im Training muss nicht diejenige sein, die gelernt wird

Arbitrarily initialize Q(s,a) for all s ∊ S, a ∊ A

While strategy not optimal:

For current state s:

Pick action a, leading to state s‘ and reward r

Q(s,a) := r + γ * max Q(s‘,a‘)

s := s'

Page 34: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

34

Q-Learning auf einen Blick

Zustand s Zustand s'

via Aktion a

Zustand s'' Zustand s''' ...

Maximaler

Q-Score

Unmittelbarer

Reward durch

Umwelt

Page 35: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

35

Exploration vs. Exploitation

• Gesucht: Geeignete Strategie während des Lernvorgangs

• Exploration: Erforschung bisher unbekannter Pfade im (impliziten) Zustands-Aktions-Graph

• Exploitation: Ausnutzung/Optimierung bereits als gut bekannter Pfade

• Q-Learning garantiert Konvergenz in Optimum nur, wenn alle Zustands-Aktions-Paare beliebig oft besucht werden

• Exploitation ermöglicht Pruning aussichtsloser Teilgraphen

• Strategie „ε-greedy“: Wähle in jedem Zustand die optimale Aktion mit 1- ε sonst mit Wahrscheinlichkeit ε (dann zufällig)

• Strategie „Softmax“: Wähle Aktion zufällig gemäß folgender Verteilung (Boltzmann-Gleichung mit kontinuierlich sinkender Temperatur t):

Aa

tasQ

tasQ

se

eap

/),(

/),(

)(

Page 36: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

36

Menschliche Strategien

• RL ist nicht nur für maschinelles Lernen interessant, sondern auch für kognitive Psychologie und Spieltheorie

• Reward-Konzept hat physiologische Entsprechung, z.B. Dopamin-Ausschüttung

• Wai-Fat und Anderson, 2006: Modellieren menschliches Entscheidungsverhalten in zahlreichen kognitiven Aufgaben erfolgreich mittels Reinforcement Learning Produktionsauswahl in einer kognitiven Architektur

• Geschicktes Definieren der Reward-Funktion kann auch vermeindlich nicht-rationales Verhalten modellieren (z.B. Risikoaversion)

Page 37: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

37

Beispiel für „sub-optimale“ Reward-Funktion

• Sankt-Petersburg-Paradoxon: Wie viel ist die Teilnahme an folgendem (wiederholbaren) Glücksspiel wert?

• Wirf eine Münze, bis zum ersten Mal „Kopf“ fällt

• Auszahlung: 2k€, wenn die Münze k mal geworfen wurde

• Mathematischer Erwartungswert ist unendlich Jeder Preis sollte für die Teilnahme gezahlt werden

• Das entspricht weder der Intuition noch empirischen Studien

• Mögliche Lösung: Belohnung des Spielers nicht linear im Erwartungswert, sondern z.B. gedeckelt („abnehmender Grenznutzen“):

• Bekanntes Konzept der Spieltheorie (z.B. auch zur Modellierung von Altruismus) xexr 1)(

Page 38: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

38

Struktur der Vorlesung

• Motivation & Begriffsfindung : Kognitive Modellierung

• Drei Beispiele kognitiver Modellierung:

• Beispiel 1: Emotionsmodelle

• Beispiel 2: Kognitive Architekturen

• Beispiel 3: Lernen

• Zusammenfassung & Ausblick

Page 39: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

39

Zusammenfassung und Ausblick

• Wir haben gesehen: Drei Beispiele kognitiver Modellierungsansätze aus verschiedenen Bereichen

• Appraisal-Emotionsmodelle (Bsp.: Scherers Modell)

• Kognitive Architekturen (Bsp.: ACT-R)

• Lernen (Bsp.: Reinforcement Learning)

• Es gibt viel mehr!

• Auf den bereits angeschnittenen Gebieten

• In vielen anderen Bereichen:

Persönlichkeitsmodelle

kognitive Sprachmodelle

Wissensrepräsentation

Zusammenhang von menschlichem und maschinellem Lernen

• Deshalb…

Page 40: Kognitive Modellierung - CSLcsl.anthropomatik.kit.edu/downloads/vorlesungsinhalte/BSBS1213_F... · • Filter (Kalmanfilter, Partikelfilter) kombinieren Beobachtung und Modellwissen

Bio

sign

ale

& B

en

utz

ersc

hn

itts

telle

n:

Kogn

itiv

e M

od

ellie

run

g

40

Vorlesung „Kognitive Modellierung“ am CSL

• Seit Sommersemester 2010 regelmäßig angeboten

• Donnerstags, 15:45-17:15 Uhr in SR 236

• Umfang: 2 SWS

• Behandelt alle hier vorgestellten Themen (und mehr) mit größerer Tiefe und breiterem Fokus

• Prüfbar in den Vertiefungsgebieten „Anthropomatik“ und „Kognitive Systeme“ und in entsprechenden B.Sc./M.Sc.-Modulen