Upload
nguyenkhanh
View
221
Download
0
Embed Size (px)
Citation preview
Katrin Rakoczy Deutsches Institut für Internationale Pädagogische
Forschung (DIPF)
Lernverlaufsdiagnostik (formatives Assessment) in der Sekundarstufe
Seite
Einführung
• Beurteilung der Leistungen von Schüler/innen ist eine der
verantwortungsvollsten Aufgaben von Lehrkräften (Brookhart, 1999; Stiggins, 1999; Wilsone & Sloane, 2008):
• Sie nimmt einen beträchtlichen Zeitanteil ein
• Sie beeinflusst alle anderen Lehr- und Lernaktivitäten bzw. die
Unterrichtsqualität
• Sie ist Teil des Lehr-Lernprozesses selbst
2 Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Gliederung
• Welche Arten der Leistungsbeurteilung gibt es?
• Wie wirkt sich formatives Assessment auf Unterricht
und Lernen aus?
• Wie kann man die Befunde für den Unterricht nutzbar
machen?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 3
Seite
Gliederung
• Welche Arten der Leistungsbeurteilung gibt es?
• Wie wirkt sich formatives Assessment auf Unterricht
und Lernen aus?
• Wie kann man die Befunde für den Unterricht nutzbar
machen?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 4
Seite
Welche Arten der Leistungsbeurteilung gibt es?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 5
Klassenarbeiten
Zeugnisse Vergleichsarbeiten
mündliche Noten
Ziel: Leistung möglichst „objektiv“ zu messen und darauf basierend Bewertungen
vorzunehmen und Selektionsentscheidungen zu treffen (summativ)
Seite
Welche Arten der Leistungsbeurteilung gibt es?
6
Zwischen-
tests
Lerntagebücher/
Portfolios
Unterrichts-
gespräch
Ziel: Leistung möglichst differenziert zu erfassen, um Lernende individuell fördern zu können
(formativ, lernbegleitend, „Lernverlaufsdiagnostik“)
(vgl. Maier, 2010)
Klassenarbeiten
Zeugnisse Vergleichsarbeiten
mündliche Noten
Ziel: Leistung möglichst „objektiv“ zu messen und darauf basierend Bewertungen
vorzunehmen und Selektionsentscheidungen zu treffen (summativ)
Seite
Unterscheidung formativ - summativ
• Häufig wird von assessment for learning (formativ) und assessment of
learning (summativ) gesprochen, doch
• auch summatives Assessment sollte übergeordnete Ziele für das
Lernen verfolgen (Bennett, 2011):
a) Vorbereitung kann förderlich sein je nach Inhalt und Art des Tests
b) durch Abfragen wird Inhalt wiederholt und verfestigt
c) Formative Information kann begrenzt geliefert werden
Qualität des Tests ist entscheidend
• Formatives Assessment kann auch in begrenztem Umfang Informa-
tionen für Entscheidungen über Leistungsbeurteilung liefern
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 7
Seite
Formatives Assessment: Definition
• „Practice in a classroom is formative to the extent that evidence about student
achievement is elicited, interpreted, and used by teachers, learners, or their peers, to
make decisions about the next steps in instruction that are likely to be better, or
better founded, than the decisions they would have taken in the absence of the
evidence that was elicited.“ (Black & William, 2009, S. 9)
Bereitstellung, Interpretation und Nutzung von Informationen über
Leistung, um Entscheidungen über den weiteren Unterrichts- und
Lernverlauf zu treffen
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 8
Seite
Formatives Assessment: Definition
• Formatives Assessment verfolgt zwei Ziele (Andrade, 2010):
(1) Bereitstellung von Informationen über Lernen für Lehrkräfte, um sie
bei der Gestaltung des Unterrichts zu unterstützen
(2) Bereitstellung von Feedback für Lernende über ihren Lernfortschritt,
um ihnen dabei zu helfen, Lücken zwischen ihrer Leistung und dem
angestrebten Lernziel zu erreichen
9 Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Gliederung
• Welche Arten der Leistungsbeurteilung gibt es?
• Wie wirkt sich formatives Assessment auf Unterricht
und Lernen aus?
• Wie kann man die Befunde für den Unterricht nutzbar
machen?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 10
Seite
Formatives Assessment: Wirkung
• Sehr häufig zitiert: Black & Wiliam (1998) mit mittlerer bis großer
Effektstärke
• ABER: Überschätzung des Effekts, da sehr heterogene Studien
zusammengefasst werden (Bennett, 2011)
• Um Größe des Effekts und Art der Wirkung genauer zu untersuchen,
• müssen die Studien sorgfältiger ausgewählt werden (Kingston & Nash, 2011)
• muss eine klare Definition entwickelt werden, um die zugrunde
liegenden Mechanismen zu untersuchen
11 Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Wiliam & Thompson (2008), nach Harks (2013)
Formatives Assessment: Wirkung
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 12
Lernziele und Erfolgskriterien
klären, teilen und verstehen
Lernförderliche Rückmeldung geben
(Rückmeldung)
Gleichaltrige/r (Peer)
Schüler als instruktionale Ressourcen füreinander aktivieren (Peer-Assessment)
Lernende/r Schüler als Verantwortliche des eignen Lernens aktivieren (Self-Assessment)
Lernziele und Erfolgskriterien klären, teilen und verstehen
Lernstand durch Diskussionen,
Fragen und Aufgaben erfassen
(Diagnostik)
Lehrkraft
Seite
Wiliam & Thompson (2008), nach Harks (2013)
Formatives Assessment: Wirkung
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 13
Lernziele und Erfolgskriterien
klären, teilen und verstehen
Lernförderliche Rückmeldung geben
(Rückmeldung)
Gleichaltrige/r (Peer)
Schüler als instruktionale Ressourcen füreinander aktivieren (Peer-Assessment)
Lernende/r Schüler als Verantwortliche des eignen Lernens aktivieren (Self-Assessment)
Lernziele und Erfolgskriterien klären, teilen und verstehen
Lernstand durch Diskussionen,
Fragen und Aufgaben erfassen
(Diagnostik)
Lehrkraft
Seite
Formatives Assessment: Wirkung
• Lehrende bekommen durch die Leistungsdiagnose einen Überblick über Stärken
und Schwächen der Lernenden und können ihren Unterricht anpassen
• Lernende bekommen Rückmeldung zu Stärken und Schwächen und können ihren
Lernprozess optimieren, indem sie gezielt an ihren Schwächen arbeiten
Lehr-Lernprozess
Unterrichts- angebot
individueller Lernprozess
Formatives Assessment
(vgl. Klieme, Rakoczy, Blum & Leiß, 2011)
Nutzung
Diagnose
Rückmeldung
Wie?
Wie?
Rahmenmodell, das mit Ansätzen und Befunden aus pädagogischer und psychologischer Forschung und praxisorientierten Konzepten gefüllt werden
muss!
Seite
Formatives Assessment: Wirkung • Nähe zu deutschsprachiger praxisorientierter Forschung (Köller, 2005)
• Reformpädagogischen Ansätze: z.B. individualisierte Rückmeldung,
Wochenpläne, Selbstbeurteilung, Infragestellen von Noten
• Forschung zu Bezugsnormen: individuell, kriteriumsorientiert, sozial
• Nähe zu praxisorientierten Konzepten:
• Förderkreislauf (z.B. Zaugg & Bauch, 2005)
• Kompetenzraster (z.B. Lersch, 2007)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 15
• Viele Ansätze, doch bisher wenig empirische Prüfung der Wirksamkeit • Ziel: Verbindung der Effektivitätsforschung (Reviews & Metaanalysen)
& pädagogisch-psychologischer Forschung zu spezifischen Wirkmechanismen (z.B. Rückmeldung) & fachdidaktische Forschung
Seite
Gliederung
• Welche Arten der Leistungsbeurteilung gibt es?
• Wie wirkt sich formatives Assessment auf Unterricht
und Lernen aus?
• Wie kann man die Befunde für den Unterricht nutzbar
machen?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 16
Conditions and Consequences of Classroom Assessment (Co2Ca)
DFG-Projekt im Schwerpunktprogramm “Kompetenzmodelle”
Eckhard Klieme Werner Blum Dominik Leiss
Katrin Rakoczy Michael Besser
Anika Bürgermeister Natalie Tropper
Birgit Harks
Malte Klimczak
Petra Pinger
17 Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Co2CA: Fragestellungen
1. Wie sollte formatives Assessment gestaltet sein, damit es …
a) … eine präzise und detaillierte Diagnose ermöglicht?
18
b) … positiv auf den (Lehr-)Lernprozess wirkt?
2. Kann die Assessmentkompetenz von Lehrkräften durch gezielte
Fortbildungen gefördert werden?
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
• Entwicklung, Erprobung und Skalierung von Matheaufgaben als Basis für präzise und detaillierte Diagnose
• Lehrerbefragung zur Leistungs-beurteilung
Skalierungsstudie (08)
• Untersuchung der Wirkung verschiedener Rückmeldearten auf Interesse und Leistung im Labor (hohe interne Validität)
Laborexperiment (09)
19
• Untersuchung der Wirkung von formativem Assessment (Diagnose & Rückmeldung) auf Interesse und Leistung im Unterricht (hohe ökologische Validität)
Feldexperiment (10-11)
• Förderung der Assessmentkompetenz von Lehrkräften durch Fortbildungen zu formativem Assessment
Interventionsstudie (12-13)
Co2CA: Überblick über die 4 Studien
• Entwicklung, Erprobung und Skalierung von Matheaufgaben als Basis für präzise und detaillierte Diagnose
• Lehrerbefragung zur Leistungs-beurteilung
Skalierungsstudie (08)
20
Co2CA: Überblick über die 4 Studien
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
2 mathematische Teilkompetenzen
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
2 mathematische Teilkompetenzen Technische Kompetenz Modellierungskompetenz
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
• Entwicklung, Erprobung und Skalierung von Matheaufgaben als Basis für präzise und detaillierte Diagnose
• Lehrerbefragung zur Leistungs-beurteilung
Skalierungsstudie (08)
• Untersuchung der Wirkung verschiedener Rückmeldearten auf Interesse und Leistung im Labor (hohe interne Validität)
Laborexperiment (09)
23
• Untersuchung der Wirkung von formativem Assessment (Diagnose & Rückmeldung) auf Interesse und Leistung im Unterricht (hohe ökologische Validität)
Feldexperiment (10-11)
• Förderung der Assessmentkompetenz von Lehrkräften durch Fortbildungen zu formativem Assessment
Interventionsstudie (12-13)
Co2CA: Überblick über die 4 Studien
• Untersuchung der Wirkung verschiedener Rückmeldearten auf Interesse und Leistung im Labor (hohe interne Validität)
Laborexperiment (09)
24
Co2CA: Überblick über die 4 Studien
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite 25
Laborexperiment: Fragestellung
Rückmeldung Leistungsentwicklung
25
Interessenentwicklung
???
???
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Lernförderliche Rückmeldemerkmale (Harks, 2014)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 26
Lernstand
Strategien
Lernziel
Bisherige Rückmeldeforschung zeigt, Rückmeldung sollte… •…3 Fragen beantworten : „Where am I going?”, „How am I going?”, „Where to next?”
(für einen Überblick s. Hattie & Timperley, 2007).
•…sich auf Aufgabenleistung, Verstehens- oder Regulationsprozesse beziehen
(für einen Überblick s. Hattie & Timperley, 2007, Kluger & DeNisi, 1996).
Aufgabenbezug
Prozessbezug
Seite
Lernförderliche Rückmeldemerkmale (Harks, 2014)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 27
Bisherige Rückmeldeforschung zeigt, Rückmeldung sollte…
•…Schülerleistung mit einem inhaltlich definierten Kriterium und/oder der individuellen Leistung vergleichen, aber nicht mit der Leistung Anderer (z.B. Krampen, 1987; McColskey & Leary, 1985;
Mischo & Rheinberg, 1995; Shih & Alexander, 2000; Thompson, 2007).
Individuumsbezug
Kriteriumsbezug
Seite
Co2CA – Rückmeldung
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 28
Stärken-Schwächen-Strategie-Profil
• Kombination lernförderlicher Rückmeldemerkmale
Lösungsprozess-bezogene RM
Aufgaben-/ Prozessbezug
Lernstand - Lernziel
Strategien
Kriteriums-/Individuumsbezug
Seite
Laborexperiment: Design
• Experiment mit 330 Realschüler/innen der 9. Klasse
• Vergleich zweier schriftlicher Rückmeldearten zu Mathematiktest (u.a.)
29
Lösungsprozessbezogene Rückmeldung
Sozialvergleichende Rückmeldung
• nach theoretischen Kriterien lernförderlich gestaltet: Stärken, Schwächen, Strategien
• im Schulalltag sehr selten
• Noten • im Schulalltag übliche Form
schriftlicher Rückmeldung • empirische Befundlage gemischt
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Laborexperiment: Ausgewählte Ergebnisse 1. Lösungsprozessbezogene Rückmeldung
wird als kompetenzunterstützender und nützlicher wahrgenommen als sozial vergleichende.
2. Lösungsprozessbezogene Rückmeldung fördert vermittelt über die wahrgenommene Kompetenz-unterstützung und Nützlichkeit die Interessensentwicklung.
3. Lösungsprozessbezogene Rückmeldung fördert vermittelt über die wahrgenommene Nützlichkeit die Leistungsentwicklung.
30
Lösungsprozessbezogene Rückmeldung ist geeignet, Lernende unter Laborbedingungen zu unterstützen.
Rakoczy et al. (2013)
• Entwicklung, Erprobung und Skalierung von Matheaufgaben als Basis für präzise und detaillierte Diagnose
• Lehrerbefragung zur Leistungs-beurteilung
Skalierungsstudie (08)
• Untersuchung der Wirkung verschiedener Rückmeldearten auf Interesse und Leistung im Labor (hohe interne Validität)
Laborexperiment (09)
31
• Untersuchung der Wirkung von formativem Assessment (Diagnose & Rückmeldung) auf Interesse und Leistung im Unterricht (hohe ökologische Validität)
Feldexperiment (10-11)
• Förderung der Assessmentkompetenz von Lehrkräften durch Fortbildungen zu formativem Assessment
Interventionsstudie (12-13)
Co2CA: Überblick über die 4 Studien
32
• Untersuchung der Wirkung von formativem Assessment (Diagnose & Rückmeldung) auf Interesse und Leistung im Unterricht (hohe ökologische Validität)
Feldexperiment (10-11)
Co2CA: Überblick über die 4 Studien
Seite
• Quasi-Experiment mit 3 Bedingungen:
• Lösungsprozessbezogene Bedingung: Übertragung der im
Laborexperiment lernförderlichen schriftlichen
„lösungsprozessbezogenen Rückmeldung“ in den Unterricht
• Lernprozessbegleitende Bedingung: über die schriftliche
Rückmeldung hinaus erfolgt eine mündliche Begleitung des
Lernprozesses
• Kontrollgruppe
33
Feldexperiment: Design
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
• 39 Realschulklassen der 9. Jahrgangsstufe in Kassel und Frankfurt
• Begleitung der ersten 13 Stunden der Unterrichtseinheit „Satz des
Pythagoras“ im Schuljahr 2010/2011
• Realisierung der Bedingungen durch Fortbildung der Lehrkräfte
34
Feldexperiment: Design
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Feldexperiment: Design
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 35
Unterrichtseinheit Pythagoras
Einführung & Beweis Technische Fertigkeiten
Eingekleidete Sachaufgaben
Modellierungs-aufgaben
Festigung & Wiederholung
Seite
Vortest & Befragung
Nachtest & Befragung Unterrichtseinheit Pythagoras Lehrer-
fortbildung
= + Schulung in schriftlicher Diagnostik und lösungsprozessbezogener Rückmeldung (Interventionsgruppe 1)
= Schulung in fachlichen Unterrichtsinhalten und Aufgaben (Kontrollgruppe)
= + Schulung in mündlicher lernprozessbegleitender Diagnostik und Rückmeldung (Interventionsgruppe 2)
Feldexperiment: Design
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Instrument für FA: Diagnosebogen
Jena, 13.09.2010 | Rakoczy, Harks, Bürgermeister & Klieme | AEPF 2010 | Rückmeldung in Mathematik 37
Stärken
Strategien Schwächen
+ ähnliche Aufgabe als Übungsaufgabe
Seite
Diagnosehilfe mit Formulierungsvorschlägen
Seite
Diagnosehilfe mit Formulierungsvorschlägen
Seite 40
Beispiel für Diagnosebogen mit Rückmeldung
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 41
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Wahrgenommene Rückmeldepraxis (V)
Leistungs-entwicklung
Interessens-entwicklung
• Mehrebenenpfadmodelle nach Preacher, Zhang & Zyphur (2010) • Darstellung der Klassenebene
Beispielitem: Im Mathematikunterricht erfahre ich, wie ich mein Lernziel erreichen kann
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 42
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Wahrgenommene Rückmeldepraxis (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens alleine (IG1) und in Kombination mit mündlicher Rückmeldung (IG2) führt dazu, dass Lernende die Rückmeldepraxis positiver beurteilen, was sich wiederum in einer positiveren Interessensentwicklung niederschlägt (indirekte Effekte)
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 43
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Wahrgenommene Rückmeldepraxis (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens alleine (IG1) und in Kombination mit mündlicher Rückmeldung (IG2) führt dazu, dass Lernende die Rückmeldepraxis positiver beurteilen, was sich wiederum in einer positiveren Interessensentwicklung niederschlägt (indirekte Effekte)
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 44
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Wahrgenommene Adaptivität(V)
Leistungs-entwicklung
Interessens-entwicklung
Beispielitem: Unsere Lehrerin passte den Unterricht an unsere Bedürfnisse an.
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 45
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Adaptivität (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens alleine (IG1) und in Kombination mit mündlicher Rückmeldung (IG2) führt dazu, dass Lernende den Unterricht als adaptiver wahrnehmen, was sich wiederum tendenziell in einer positiveren Interessensentwicklung niederschlägt (indirekter Effekt)
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 46
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Adaptivität (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens alleine (IG1) und in Kombination mit mündlicher Rückmeldung (IG2) führt dazu, dass Lernende den Unterricht als adaptiver wahrnehmen, was sich wiederum tendenziell in einer positiveren Interessensentwicklung niederschlägt (indirekter Effekt)
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 47
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Erfolgserwartung (V)
Leistungs-entwicklung
Interessens-entwicklung
Beispielitem: Ich glaube, dass ich im Test gut abschneiden werde.
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 48
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Erfolgserwartung (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens (IG1) führt dazu, dass Lernende tendenziell eine höhere Erfolgserwartung zeigen, was sich wiederum tendenziell in einer positiveren Leistungsentwicklung niederschlägt (indirekter Effekt tendenziell signifikant)
(*)
(*)
Seite
Feldexperiment: erste Ergebnisse (Rakoczy et al., in Vorb.)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 49
IG1: Diagnosebogen
IG2: Diagnosebogen & mündlich
Erfolgserwartung (V)
Leistungs-entwicklung
Interessens-entwicklung
• Der Einsatz des Diagnosebogens (IG1) führt dazu, dass Lernende tendenziell eine höhere Erfolgserwartung zeigen, was sich wiederum tendenziell in einer positiveren Leistungsentwicklung niederschlägt (indirekter Effekt tendenziell signifikant)
(*)
(*)
Seite
Zusammenfassung erster Ergebnisse
• Unsere Interventionen wirken sich auf die Wahrnehmung und das Erleben der
Lernenden aus
• Über Wahrnehmung und Erleben vermittelt wirken sie sich z.T. auf Interessens- und
Leistungsentwicklung aus (indirekte Effekte)
• Effekte auf die Leistungsentwicklung sind kaum nachzuweisen
• Direkte („totale“) Effekte sind kaum nachzuweisen
Fortbildungen waren sehr kurz, vielleicht zu kurz, um nachhaltige Wirkung zu
erzielen?
Implementationsqualität (z.B. Qualität der Diagnosebögen) muss geprüft und
einbezogen werden
Einbezug der Videodaten
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 50
• Entwicklung, Erprobung und Skalierung von Matheaufgaben als Basis für präzise und detaillierte Diagnose
• Lehrerbefragung zur Leistungs-beurteilung
Skalierungsstudie (08)
• Untersuchung der Wirkung verschiedener Rückmeldearten auf Interesse und Leistung im Labor (hohe interne Validität)
Laborexperiment (09)
51
• Untersuchung der Wirkung von formativem Assessment (Diagnose & Rückmeldung) auf Interesse und Leistung im Unterricht (hohe ökologische Validität)
Feldexperiment (10-11)
• Förderung der Assessmentkompetenz von Lehrkräften durch Fortbildungen zu formativem Assessment
Interventionsstudie (12-13)
Co2CA: Überblick über die 4 Studien
52
• Förderung der Assessmentkompetenz von Lehrkräften durch Fortbildungen zu formativem Assessment
Interventionsstudie (12-13)
Co2CA: Überblick über die 4 Studien
Seite
Ziele der Interventionsstudie
• Weiterentwicklung der Fortbildungen zu formativem Assessment, um ihre
Wirkung auf die Assessmentkompetenz der Lehrkräfte und den
Lernprozess der Schüler/innen zu untersuchen
• 3 Facetten von Assessmentkompetenz:
• Paedagogical Knowledge (PK): Allgemeines Wissen über Assessment
(Diagnostik und Feedback)
• Paedagogical Content Knowledge (PCK): Mathematikdidaktisches
Wissen über Assessment (am Beispiel Modellieren)
• Content Knowledge (CK): Mathematisches Wissen zu Modellieren
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 53
Seite
Erstes Ergebnis (Leiß & Besser, 2014)
• Lehrkräfte, die an den Fortbildungen zum formativen Assessment teilgenommen haben, verfügen über ein signifikant höheres
mathematikdidaktisches Wissen über Assessment (PCK-A) als
Lehrkräfte, die an der Fortbildung zum Problemlösen (Kontrollgruppe)
teilgenommen haben, und umgekehrt.
54
Fortbildungen zu formativem Assessment
Fortbildungen zu Problemlösen
PCK-Assessment
PCK-Problemlösen
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe
Seite
Zusammenfassung & Ausblick
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 55
Laborexperiment: Lösungsprozessbezogene RM ist lern- und leistungsförderlich
Feldexperiment: • Übertragung in den Unterricht • Rückmeldepraxis wird positiver erlebt • indirekte Effekte auf Interesse und z.T. tendenziell auf Leistung
Interventionsstudie: Weiterentwicklung der Fortbildungen und des Diagnosebogens,
um Assessmentkompetenz zu fördern
Seite
Zusammenfassung & Ausblick
• Forschungsausblick:
• Feldexperiment: Einbezug von Implementationsqualität und Videodaten
• Künftige Studien: Self- und Peerassessment als Ressourcen nutzen
• Praxisausblick:
• Weiterentwicklung des Diagnosebogens (pragmatischere und eigenständigere
Handhabung)
• Implementierung eines computerbasierten formativen Assessmenttools
(CBA im Klassenraum, Harks et al., 2014)
Frankfurt, 13.03.2014 | Katrin Rakoczy | Frankfurter Forum | Lernverlaufsdiagnostik in der Sekundarstufe 56
Vielen Dank!