1

Referat zum Stand der ForschungReferat zum Stand der Forschung

Feedback als Interventionsmaßnahme beim Feedback als Interventionsmaßnahme beim game based learninggame based learning

Alfred Großalfred.gross@edu.uni-graz.at

Martina Pappmartina.papp@edu.uni-graz.at

Patricia Twardowskypatricia.twardowsky@edu.uni-graz.at

602.966 Psychologische Forschungsmethodik III LV-Leiter: O.Univ.-Prof. Dr. Albert

4. November 2008

2

ÜberblickÜberblick• Einführung game based learning• Feedback

– Begriffsdefinition– Didaktische Funktion– Klassifikation– Formen

• Studien– The instructional effect of feedback in test-like events

(Bangert-Drowns et al.,1991)– The impact of informative tutoring feedback on achievement and motivation in computer-

based learning(Narciss, 2002)

– Principles of cognitive science in education: The effects of generation, errors, and feedback(Metcalfe et al., 2007)

– The effects of cooperative learning and feedback on e-learning in statistics(Krause et al., in press)

– The role of feedback and self-efficacy on web-based learning: The social cognitive perspective (Wang & Li, 2008)

• Fragestellung• Literatur• Verständnisfragen

3

game based learninggame based learningEinführungEinführung

• Verwandte Begriffe– digital game based learning– serious games– educational games– edutainment– Digitale Lernspiele, Computerlernspiele

• „(Digital) Game Based Learning bezeichnet ein Konzept, das dem Lernenden ermöglichen soll, sich durch Computerspiele mit speziellen fachspezifischen Inhalten auseinander zu setzen und Neues über diese Fachgebiete zu lernen“

(Prensky, 2001)

4

game based learninggame based learningEinführungEinführung

• „Computer- u. Videospiele sind interaktive Medienangebote, die zum Zweck der Unterhaltung hergestellt und genutzt werden“

(Klimmt, 2004)

5

FeedbackFeedbackBegriffsdefinitionBegriffsdefinition

- ursprünglich aus der Kybernetik (=Lehre von Regelungsprozessen): „ein Rückmeldesystem für den Wirkungsgrad oder die Angemessenheit einer Leistung“

(www.resource-people.de/know-how/feedback.php)

- „Lernen durch Rückkoppelung/ Feedback findet statt, wenn der Output einer Lehr-Lern Interaktion als Input in das Lernsystem zurückfließt“

(http://gonline.univie.ac.at)

6

FeedbackFeedbackdidaktische Funktion didaktische Funktion

in Hinblick auf die Korrektheit der Aufgabenbeantwortung

- „Richtige Antworten sollen bestätigt und der zutreffende Lösungsweg gefestigt und stabilisiert werden, so dass die Wahrscheinlichkeit, die Aufgabe erneut richtig lösen zu können, zunimmt.“

- „Falsche Antworten sollen als falsch erkannt werden und durch die richtige Antwort ersetzt werden“

(Kulvary & Stock, 1989; in Jakobs, 2002)

drei Definitionen von FB („feedback triad“)- Motivator- Verstärker- Fehlerrückmeldung

(Kulhavy & Wagner, 1993; in Mory, 2004)

7

FeedbackFeedbackBeginn der Feedback ForschungBeginn der Feedback Forschung

Thorndike‘s „law of effects“: FB als „connector between responses and preceding stimuli“

„the ability to adapt his or her response according to information in the feedback and thus correct his or her errors“

(Kulvary & Wagner, 1993; in Mory, 2004)

„supports the notion as feedback as a reinforcer“(Sidney Pressey, 1926; in Mory, 2004)

8

FeedbackFeedbackKlassifikationKlassifikation

wichtigste Differenzierungen

- no feedback- KOR bzw. KR (knowledge of result)- KCR (knowledge of the correct result or response)- EF (elaborated feedback)

- „try again feedback“

(Dempsey, Driscoll & Swindell, 1993; in Mory, 2004)

9

FeedbackFeedbackFormenFormen

„hoher Feedback-Informationsgehalt vs. niedriger Feedback- Informationsgehalt“ hinsichtlich des Lerngewinns

(Kröner, Dörre & Leutner, 2000)

„externales vs. internales FB“(nach Goodman, 1998; in Ruisinger, 2003)

„immediate (feedback after item) vs. delayed FB“

(Kulik & Kulik, 1988; in Jakobs, 2002 bzw. in Mory, 2004 und Jakobs, 2002)

10

Feedbackarten und InformationsgehaltFeedbackarten und Informationsgehalt

Kein Feedback

KOR KCR EF

Kein Infogehalt

x

Niedriger Infogehalt

x

Mittlerer Infogehalt

x

Hoher Infogehalt

x

11

The instructional effect of feedback in test-like The instructional effect of feedback in test-like eventsevents

((Bangert-Drowns et al.,1991)Bangert-Drowns et al.,1991)

• Metastudie, die 58 Effektstärken von insgesamt 40 Studien untersucht– Presearch availibility: Möglichkeit, richtige

Antworten einzusehen, bevor die Aufgaben beantwortet werden

– Bewertung der Effektstärke:

Bortz und Döring (1995)

klein mittel groß

.2 .5 .8

12

ErgebnisseErgebnisse (Bangert-Drowns et al.,1991) (Bangert-Drowns et al.,1991)

Effektstärken zur Wirkung des Feedback (positive Werte sprechen für Lernvorteile des Feedbacks gegenüber keinem Feedback)

Klassifikation der Studien Anzahl der Studien (Vergleiche)

durchschnittliche Effektstärke

alle Studien bzw. alle Vergleiche 58 .26

Feedback ist nur nach Aufgabenbeantwortung zugänglich (=Kontrolle von presearch availability)

37 .46

Feedback besteht mindestens in der Mitteilung der korrekten Antwort und Feedback ist nur nach der Aufgabenbeantwortung

zugänglich.30 .58

Kontrolle von presearch availability, mindestens korrektives Feedback (KCR), kein Vortest vor der Instruktion, komplexere

Lerninhalte (Textverständnis, Tests)16 .77

Jacobs (2002)

13

The impact of informative tutoring feedback on The impact of informative tutoring feedback on achievement and motivation in computer-based achievement and motivation in computer-based

learninglearning(Narciss, 2002)(Narciss, 2002)

• Ziel: Entwicklung und Evaluierung von informativen Feedback Formen für komplexe Lernaufgaben

• Fragestellungen: – Erleichtert „Know-How“ FB die Aufgabenausführung?– Hat „Know-How“ FB Einfluss auf Zufriedenheit?– Hat „Know-How“ FB Einfluss auf Aufgabenengagement und

Ausdauer?

• FB-Bedingung (KOR vs. Know How) und SE Bedingung (low/medium vs. high)

14

ErgebnisseErgebnisse

15

ErgebnisseErgebnisse(Narciss, 2002)(Narciss, 2002)

• StudentInnen mit höheren SE Werten erzielten höhere Leistungen. (F(1,86) = 5,61, MSe = 532,18 p= .02)

• Unter der hoch informativen FB Bedingung: – höhere Leistungstendenz – höhere Zufriedenheit mit eigenen Leistung

(F(1,85) = 5.76, MSe = 292,93, p= .02)– längere Beschäftigung mit Aufgaben

(F(1,86) = 8.19, MSe = 247754.94, p < .01)– höhere Ausdauer

FB signifikanter Einfluss auf Motivation, aber Effekt auf Leistung eher schwach

16

Principles of cognitive science in education: The Principles of cognitive science in education: The effects of generation, errors, and feedbackeffects of generation, errors, and feedback

(Metcalfe et al., 2007)(Metcalfe et al., 2007)

• Ziel: Versuch ein computerbasiertes Unterrichtsprogrammn besser auszuführen um Kindern beim Lernen zu helfen

• Fragestellung: Was ist der Effekt von Feedback?• Bronx Project• forced vs. free condition und read only• feedback vs. no feedback

17

ErgebnisseErgebnisse(Metcalfe et al., 2007)(Metcalfe et al., 2007)

18

The effects of cooperative learning and The effects of cooperative learning and feedback on e-learning in statisticsfeedback on e-learning in statistics

(Krause et al., in press)(Krause et al., in press)

• Ziel: Prüfung, ob kooperatives Lernen und Feedback e-learning im Bereich der Statistik erleichtert

• Fragestellungen: – Fördert kooperatives Lernen und FB individuelles

Lernen mit „Koralle“?– Begünstigt kooperatives Lernen und FB die

subjektiven Lernergebnisse?

• e-learning Programm „Koralle“• Kooperatives vs. individuelles Lernen• Feedback vs. kein Feedback

19

ErgebnisseErgebnisse

20

ErgebnisseErgebnisse(Krause et al., in press)(Krause et al., in press)

• In FB Intervention höhere Werte im Posttest, d.h. FB Intervention fördert objektive Lernergebnisse (F(1,133) =

32.91, p < 0.001), aber nicht die subjektiven Lernergebnisse. (F(2,130)= 1.37, n.s.)

• Bearbeitungszeit korreliert signifikant mit Lernergebnissen (r = 0.28, p <0.01)

• Gruppenleistung > Einzelleistung

• individuelles Lernen: FB effektiver genützt

21

The role of feedback and self-efficacy on web-The role of feedback and self-efficacy on web-based learning: The social cognitive perspectivebased learning: The social cognitive perspective

((Wang & Li, 2008)Wang & Li, 2008)

• Untersuchung an 76 angehenden LehrerInnen in Taiwan, die an einem verpflichtenden Kurs zur Pädagogischen Psychologie teilnahmen

• Studierenden bekamen Feedback von anderen Studierenden zu ihrer Arbeit mittels eines elektronischen Kursprogramms

22

The role of feedback and self-efficacy on web-The role of feedback and self-efficacy on web-based learning: The social cognitive perspectivebased learning: The social cognitive perspective

((Wang & Li, 2008)Wang & Li, 2008)

• Experteneinschätzung:• Leistung Punkte (inter-rater consistency >.8)

• Art des Feedbacks (inter-rater consistency >.78)

– KR, KCR, EF

• Fragestellung: Beeinflusst die Art des Feedbacks, das Studierende bekommen, ihre Leistung?

23

ErgebnisseErgebnisse ((Wang & Li, 2008)Wang & Li, 2008)

– Bessere Leistung bei Arbeiten durch Feedback (t(75)=-3,60; p<.05)

– KCR ist in der Lage, bessere Leistung vorauszusagen (β=.374, T=3.464, p<.01)

– KR und EF sind dazu nicht in der LageMittelwert Standardabw. t

KR 1.143 0.746 4.09**

3,82**

-3.60**

EF 0.644 0.890

KCR 1.385 1.315

1. Beurteilung 10.28 3.163

2. Beurteilung 10.77 3.262

** p<.01

24

Ableitung der FragestellungenAbleitung der Fragestellungen

• Auswirkung von unterschiedlichen Feedbackarten auf Lernleistung bereits vor e-learning bzw. technologiegestütztem Lernen nachgewiesen

• Ähnliche Ergebnisse bei computergestützten Lernprogrammen

Übertragung der Ergebnisse auf game-based learning möglich?

25

FragestellungFragestellung

• Wirkt sich Feedback beim game-based learning auf die Lernleistung aus?

• Gibt es in Abhängigkeit von der verwendeten Feedback- Art Unterschiede hinsichtlich der Lernleistung beim game- based learning?

26

VerständnisfragenVerständnisfragen

1.) Welche Arten von Feedback unterscheidet man und welche wirken sich- bezogen auf die

dargestellten Studienergebnisse- förderlicher auf die Lernleistung aus?

2.) Wie wird- bezogen auf die dargestellte Literatur- Lernleistung in Studien zu Feedback erhoben?

27

LiteraturLiteratur

• Bangert-Drowns, R.L., Kulik, C., Kulik, J.A., & Morgan, M.T. (1991). The instructional effect of feedback in test-like events. Review of Educational Research, 61, 213-238.

• Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation. Berlin: Springer.

• Jakobs, B. (2002). Aufgaben stellen und Feedback geben. Übersichtsartikel des Forschungsprojekts. Universität Saarbrücken. Zugriff am: 22.10.2008, http://www.phil.uni-sb.de/~jakobs/wwwartikel/feedback/index.htm

• Klimmt, C. (2004). Computer- und Videospiele. In R. Mangold, P. Vorderer & G. Bente (Hrsg.), Lehrbuch der Medienpsychologie (S. 695-716). Göttingen: Hogrefe.

28

LiteraturLiteratur

• Krause, U., Stark, R. & Mandl, H. (in press). The effects of cooperative learning and feedback on e-learning in statistics. Learning and Instruction.

• Kröner, S., Dörre, P. & Leutner, D. (2000). Praxisbezug und Feedback – Informationsgehalt in einem berufsbezogenen computer-basierten Training zum Qualitätsmanagement [1]. Zeitschrift für Arbeits- und Organisationspsychologie. Vol. 44, 1, 19-26.

• Metcalfe, J. & Kornell, N.(2007).Principles of cognitive science in education:The effects of generation, errors, and feedback. Psychonomic Bulletin & Review,14 (2), 225-229.

• Narciss, S.(2002). The Impact of informative tutoring feedback on achievement and motivation in computer-based instruction. Psychologie des Lehrens und Lernens. Dresden: technische Universität.

29

LiteraturLiteratur

• Prensky, M. (2001): Digital Game Based Learning. New York: McGraw-Hill Education.

• Ruisinger, K. (2003). Effekte verschiedener Feedback-Interventionen auf die Leistung am Beispiel einer komplexen Aufgabe. Diplomarbeit. Universität Konstanz. Zugriff am: 23.10.2008, http://w3.ub.uni-konstanz.de/v13/volltexte/2004/1244//pdf/Ruisinger.pdf

• Wang, S., Wu, P. (2008): The role of feedback and self-efficacy on web-based learning: The social cognitive perspective. Computers & Education, 51, 1589-1598.

• Definition Feedback: Zugriff am: 29.10.2008, http://www.resource-people.de/know-how/feedback.php und Zugriff am: 30.10.2008, http://gonline.univie.ac.at/htdocs/site/browse.php?a=3128&arttyp=k&PHPSESSID=c398c233096cd999db616f1f0227a765