09.10.2014

1

Prof.�Dr.�Werner�Sacher:

Wegmarkenund�Stolpersteine�für�die�

Interpretation�der�HattieͲStudie

Vortrag�bei�der�Herbsttagung�des�Zentrums�für�Lehrerbildung�und�Bildungsforschung�der�Universität�Würzburg�am�02.�10.�2014

1.�Stolpersteine

09.10.2014

2

StolpersteineEffektstärken

Effektstärken�messen�Zusammenhänge,sagen�aber�nichts�über�Ursachen�und�Wirkungen!

Hattie�2013,�S.4:„Korrelate�dürfen�…�nicht�mit�Ursachenverwechselt�werden.“

StolpersteineEffektstärkenBeispiel Feedback:�d�=�0,73�ї�„große“�Effektstärke�=�starker�Zusammenhang�zw.�Feedback�(A)�u.�Schulleistung�(B)

09.10.2014

3

StolpersteineEffektstärkenBeispiel Feedback:�d�=�0,73�ї�„große“�Eīektstärke�=�starker�Zusammenhang�zw.�Feedback�(A)�u.�Schulleistung�(B)Mögliche�Kausalbeziehungen:• Feedback�verursacht�gute�Leistungen:�A�ї�B• Gute�Leistungen�verursachen�Feedback:�B�ї�A• Gute�Situiertheit von�Schülern�verursacht�Feedback,zugleich�haben�gut�situierte�Schüler�auch�gute�Leistungen:

• usw.�usw.

C�(Situiertheit)

A B

Auch�Köller�&�Möller�(„schulmanagement“�2012/2013)�sprechen�fälschlich�von�„erfolgreichen“�Faktoren,�die�„helfen“!

StolpersteineSelbstbeschränkungen�HattiesBeschränkung�auf�Faktoren,�die�mit�der�(FachͲ)�Leistung�zusammenhängen

Hattie�2013,�S.7:Es�gibt�„natürlich�viele�Outcomes [Wirkungen;�W.�S.]�der�Schulbildung,�etwa�persönliche�Einstellungen,�physische�Outcomes,�Zugehörigkeitsgefühl,�Respekt,�aktive�Bürgerschaft�und�die�Liebe�zum�Lernen.�In�diesem�Buch�konzentriere�ich�mich�auf�die�Schülerleistung…“„Dieses�Buch�befasst�sich�mit�Leistung;�wir�erwarten�aber�von�unseren�Schulen�viel�mehr�als�nur�Leistung.“�(Hattie�2012,�S.3;�Übers.�W.�S.)

09.10.2014

4

StolpersteineSelbstbeschränkungen�HattiesAusblenden�des�sozialen�HintergrundesHattie�2013,�S.XXXVI:„Es�ist�kein�Buch�über�das,�was�in�Schulen�nicht�beeinflusst�werden�kann.�Beispielsweise�sind�kritische�Diskussionen�über�Armut,�familiäre�Ressourcen�und�Ernährung�nicht�enthalten– aber�NICHT,�weil�diese�Faktoren�nicht�von�Bedeutung�wären.�Im�Gegenteil:�Sie�sind�vielleicht�sogar�noch�wichtiger�als�viele�der�in�diesem�Buch�besprochenen�Einflüsse.“

Aber�manche�Faktoren�– z.�B.�Klassengröße– interagieren�mit�sozialen�Bedingungen:�Z.�B.�werden�in�kleinen�Klassen�sozial�benachteiligte�Grundschüler�besser�gefördert!�(Bildungsbericht�Bremen�2012,�S.�195)�

StolpersteineGrenzen�der�AuswertungsmethodeZusammenwerfen�von�Unterschiedlichem:– unterschiedliche�Begriffe:z.�B.�von�individ.�Förderung,�„kleinen“�und�„großen“�Klassen,�schülerzentriertem�u.�lehrerzentriertem�Unterricht

– verschiedene�Schularten�u.�Schulstufen:Vorschulerziehung,�Grundschule,�Schulen�der�Sekundarstufe,�Einrichtungen�des�Tertiärbereichs

09.10.2014

5

StolpersteineGrenzen�der�AuswertungsmethodeDurch�Mittelung�der�Effekte�von�Studien�gehen�Differenzierungen�verloren.

StolpersteineGrenzen�der�AuswertungsmethodeDurch�Mittelung�der�Effekte�von�Studien�gehen�Differenzierungen�verloren.

Beispiel�Hausaufgaben�(Hattie�2013,�S.276f.):Insgesamt�d�=�0,29�ї�„kleiner“�Eīektaber:Grundschule�d�=�0,15�ї„kleiner“�EīektSekundarstufe�d�=�0,64�ї�„großer�“�Eīekt

09.10.2014

6

StolpersteineGrenzen�der�AuswertungsmethodeKurvilineare Effekte�werden�nicht�erfasst.

y

x

y

x

lineare�Funktion

kurvilineare Funktion

lineare�Trendlinie

Beispiel�Fernsehen�(Hattie�2013,�S.81f.):Insgesamt�d�=�Ͳ 0,18bis�10�Std.�pro�Woche:�leicht�positive�Effekteüber�10�Std.�pro�Woche:�negative�Effekte35�bis�40�Std.�pro�Woche:�stark�negative�Effekte

StolpersteineGrenzen�der�AuswertungsmethodeModeratorvariablen können�nicht�berücksichtigt�werden.

Beispiel:�Klassengröße�(Hattie�2013,�S.88)Insgesamt�d�=�0,21�ї�kleiner�EīektAber�Klassengröße�z.�B.�Voraussetzung�für�häufiges�Feedback�d�=�0,73�ї�großer�Eīekt

09.10.2014

7

2.�Wegmarken�für�die�Interpretation

Objektivität

Validität

Reliabilität

Bedeutsamkeit

InterpretationsͲSchema

09.10.2014

8

Objektivität

Validität

Reliabilität

Bedeutsamkeit

InterpretationsͲSchema

• UntersuchungsͲmethodenAuswertungsͲ

• verfahren

• Zeitpunkt�derStudien

• Altersstufen• Schularten• Fächer• Repräsentativität

• Anzahl�der�MetaͲanalysen�u.�Studien

• Probandenzahl• Homogenität�der�

Befunde�(SE)• Signifikanz

• Stärke• HandlungsͲ

möglichkeiten• Aufwand

Objektivität

Validität

Reliabilität

Bedeutsamkeit

InterpretationsͲSchema�für�Hattie

• UntersuchungsͲmethodenAuswertungsͲ

• verfahren

• Zeitpunkt�derStudien

• Altersstufen• Schularten• Fächer• Repräsentativität

• Anzahl�der�MetaͲanalysen�u.�Studien

• Probandenzahl• Homogenität�der�

Befunde�(SE)• Signifikanz

• Stärke• HandlungsͲ

möglichkeiten• Aufwand

09.10.2014

9

Validität

Reliabilität

Bedeutsamkeit

InterpretationsͲSchema�für�Hattie

• Zeitpunkt�derStudien

• Altersstufen• Schularten• Fächer

• Anzahl�der�MetaͲanalysen�u.�Studien

• Probandenzahl• Homogenität�der�

Befunde:mittl.�SE =�0,07

• Stärke:HingeͲPont�d�=�0,40

95%ͲVertrauensbereich�von�d:d�– 2SE�d d�d d�+�2SE

Validität

Reliabilität

Bedeutsamkeit

• Zeitpunkt�derStudien:�1977Ͳ2006?

• Altersstufen:Sek.�/�Tertiär

• (Schularten)• (Fächer)

• Anzahl�der�MetaͲanalysen�u.�Studien:�23�/�1287

• Probandenzahl:�67931

• Homogenität�der�Befunde:SE�=�0,061

• Stärke:d�=�0,73

Feedback�(S.206Ͳ211)

95%ͲVertrauensbereich�von�d:0,73�– 2*0,061�d d�d 0,73�+�2*0,0610,608�d d�d 0,852

09.10.2014

10

• Zeitpunkt�derStudien:�1977Ͳ2006?

• Altersstufen:Sek.�/�Tertiär

• (Schularten)• (Fächer)

Feedback

Feedback

09.10.2014

11

95%ͲVertrauensbereich�von�d:0,73�– 2*0,061�d d�d 0,73�+�2*0,0610,608�d d�d 0,852

Feedback

Erste�mögliche�Kausalrichtung:Feedback�(als�Ursache)�bewirkt�in�hohem�Maße�bessere�Leistungen.

Mögliche�Erklärungen:• Schüler�erhalten�Information,�welche�LernͲ

anstrengungen zum�Erfolg�führen.• Selbstkonzept�der�Schüler�wird�gestärkt.�• Beziehung�zwischen�Lehrkraft�und�Schüler�wird�verbessert.• usw.• usw.

Feedback�(S.206Ͳ211)

09.10.2014

12

Zweite�mögliche�Kausalrichtung:Schüler�mit�höherer�LeistungsͲfähigkeit�(als�Ursache)�erhalten�häufiger�Feedback.

Mögliche�Erklärungen:• Es�ist�für�Lehrkräfte�angenehmer,�leistungsͲ

fähigen�Schülern�Feedback�zu�geben.• Leistungsfähigere�Schüler�ziehen�stärker�die�Aufmerksamkeit�

der�Lehrkräfte�auf�sich.�• usw.• usw.

Feedback�(S.206Ͳ211)

Exkurs:�Ergebnisse�über�Feedback�(Skala)�aus�einem�Gymnasium�in�BadenͲWürttemberg

09.10.2014

13

Validität

Reliabilität

Bedeutsamkeit

• Zeitpunkt�derStudien:�1977Ͳ1985

• Altersstufen:eher�Sek.�

• (Schularten)• Fächer:

Mathe�/�NW

• Anzahl�der�MetaͲanalysen�u.�Studien:�9�/�600

• Probandenzahl:�9380

• Homogenität�der�Befunde:SE�=�0,056

• Stärke:d�=�0,23

95%ͲVertrauensbereich�von�d:0,23�– 2*0,056�d d�d 0,23�+�2*0,0560,118�d d�d 0,342

Individualisierung�(S.234ff.)

Individualisierung

09.10.2014

14

Individualisierung

95%ͲVertrauensbereich�von�d:0,23�– 2*0,056�d d�d 0,23�+�2*0,0560,118�d d�d 0,342

Individualisierung Reliabilität

09.10.2014

15

Individualisierung�(S.234ff.)

Erste�mögliche�Kausalrichtung:Individualisierung�(als�Ursache)�bewirkt�(in�geringem�Maße)�bessere�Leistungen.

Mögliche�Erklärungen:• Individualisierung�wird�wenig�intensiv

praktiziert.• Es�wird�nur�die�Lernzeit�individualisiert,�nicht�aber�die�

Lernmaterialien.�• Individualisierung�wird�in�zu�großen�Klassen�praktiziert�und�

kann�deshalb�nicht�im�erforderlichen�Ausma�begleitet�werden.

• usw.• usw.

Individualisierung�(S.234ff.)

Zweite�mögliche�Kausalrichtung:Bei�besseren�Schülern�praktizieren�Lehrkräfte�(in�geringem�Umfang)�mehr�Individualisierung.

Mögliche�Erklärungen:• Lehrkräfte�betrachten�individualisierende

Methoden�als�Methode�der�Begabtenförderung.• Lehrkräfte�vertrauen�darauf,�dass�bessere��Schüler�eher�

selbständig�eigene�Lernwege�gehen�können.• usw.• usw.

09.10.2014

16

Interpretationsversuche(Hattie�2013,�S.193,�155�u.�239)

Anzahl�der�Metanalysen

Anzahl�der�Studien

Anzahl�der�Lernenden

d Streuung�(SE)

VertrauensͲBereich�95%

Ziele 11 604 41.342 0,56 0,057 0,45�d d�d 0,67

Direkte�Instruktion 4 304 42.618 0,59 0,096 0,40�d d�d 0,78

Metakognitive�Strategien

2 63 105.282 0,69 0,181 0,33�d d�d 1,06

Freiarbeit 2 65 Ͳ Ͳ Ͳ 0,04 0,176 Ͳ0,31�d d�d 0,39

LautierͲMethode 14 425 12.124 0,60 0,221 0,16�d d�d 1,04

GanzheitsͲMethode 4 64 630 0,06 0,056 Ͳ0,05�d d�d 0,17

1. und�2.�Kausalrichtung?2. Mögliche�Erklärungen?

berechnet

ValiditätReliabilität

BedeutͲsamkeit

3.�Hatties�Verständnisvon�Direkter�Instruktion

und�Feedback

09.10.2014

17

Renaissance�des�Frontalunterrichts?

Hattie�2013,�S.31:„Diese�Darlegung�des�sichtbaren�Lernens�bezieht�sich�auf�Lehrpersonen�als�Regisseure�(‚activators‘),�die�bewusst�den�Wandel�gestalten�und�die�Lernprozesse�steuern.�D.h.�nicht,�dass�sie�‚didaktisch‘�im�Sinne�von�FrontalunterͲricht agieren,�täglich�80%�oder�mehr�mit�Reden�verbrinͲgen�und�das�Ziel�haben,�das�Curriculum�oder�die�UnterͲrichsstunde durchzupauken,�komme,�was�da�wolle.�…�Das�Modell�des�sichtbaren�Lehren�und�Lernens�kombiͲniert lehrerzentrierte�Lehre�und�schülerzentriertes�Lernen,�statt�beide�gegeneinander�auszuspielen.“

Direkte�Instruktion

Elemente�direkter�Instruktion(Hattie�2013,�S.242f.):• Klare�Zielsetzungen• Klare�Erfolgskriterien• Aufhänger�für�Beteiligung�der�Schüler• Genaue�Vorstellungen�über�Vermittlung�und�Erklärung�der�Inhalte

• Angeleitete�Übung• Verständliche�Bilanzierung�des�Gelernten• Praktische�Anwendung�des�Gelernten�in�verschiedenen�Kontexten

Direkte�Instruktion

Letztlich�ein�Artikulationsschema!

09.10.2014

18

Feedback• Nicht�zu�verwechseln�mit�Lob�und�Belohnung.

(Hattie�2013,�S.208)• Entscheidend�ist�das�Feedback,�das�bei�Schülern�

ankommt,�nicht�das�Feedback,�welches�Lehrkräfte�geben:Carless 2006:�70%�der�Lehrer�geben�angeblich�häufig�Feedback,�aber�nur�45%�der�Schüler�berichten�von�häufigem�Feedback.�(Hattie�2013,�S.207)

• Es�geht�nicht�nur�um�LehrerͲFeedback,�sondern�auch�um�Feedback�von�Schülern�an�Lehrer�und�von�Schülern�untereinander:Nuthall 2007:�80%�des�Feedbacks,�das�Schüler�erhalten,�kommt�von�Mitschülern.�Aber�80%�dieses�Feedbacks�sind�unzutreffendͲ (Hattie�2013,�S.5)

Feedback

Drei��Fragen�(Hattie�2013,�S.210):• Where am�I�going?�„Wohin�gehe�ich?“�Welches�Lernziel�soll�erreicht�werden?

• How am�I�going?�„Wie�komme�ich�voran?“�Wie�steht�der�Schüler�im�Verhältnis�zum�Lernziel?

• Where to next?�„Wohin�geht�es�danach?“�Wie�kann�es�weitergehen?

09.10.2014

19

Rezeptartige�Vermehrung�von�Feedback�istnicht�effektiv!

„Eines�der�Hauptergebnisse,�die�in��diesem��Buch�präsentiert�werden,�bezieht�sich�...�auf�die�Verstärkung�des�Feedbacks.�Dies�ist�ohne�Zweifel�ein�wichtiges�Korrelat�der�Schülerleistung.�Man�sollte�jedoch�nicht�sofort�mehr�Feedback�geben,�in�der�Hoffnung,�dass�sich�dann�wie�von�Zauberhand�die�Leistung�erhöht.“�(Hattie�2013,�S.4)

„Die�simple�Anwendung�eines�Rezepts�(z.�B.�‚Gib�mehr�Feedback!‘)�funktioniert�nicht�in�unseren�lebendigen,�facettenreichen,�kulturell�vielfältigen�und�sich�verändernden�Klassen.“�(Hattie�2013,�S.5)

Feedback

Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)

„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:1. Dass�man�seine�Vorstellung�darüber,�was�es�heißt,�eine�

Lehrperson�zu�sein,��ändert.2. Das�an�die�Lehrperson�gerichtete�Feedback�darüber,�

was�Lernende�leisten�können�und�was�nicht,�ist�wirksamer�als�das�Feedback,�das�sich�an�die�Lernenden�richtet.

3. Außerdem�erfordert�es�eine�andere�Art�der�Interaktion�mit�und�des�Respekts�gegenüber�den�Lernenden...“

Feedback

09.10.2014

20

Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)

„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:4. 80%�des�Feedbacks,�das�ein�Lernender�oder�eine�

Lernende�bezüglich�seiner�bzw.�ihrer�Arbeit�in�der�(GrundͲ)Schule�erhält,�[stammt;�W.S]�von�Mitlernenden.�Aber�wiederum�80%�dieses�Feedbacks�sind�unzutreffend!

5. Es�ist�wichtig,�sich�Gedanken�über�das�Klima�im�Klassenzimmer�zu�machen,�ehe�man�die�Menge�des�Feedbacks�steigert.“

Feedback

Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)

„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:6. Denn�es�ist�von�entscheidender�Bedeutung�

sicherzustellen,�dass�‚Fehler‘�nichts�Schlimmes�sind.�Sie�dienen�als�Ansatzpunkte�für�die�Verbesserung�des�Lernverhaltens.

7. Wichtig�ist,�dass�die��Ziele,�die�man�sich�setzt,�eine�angemessene�Herausforderung�darstellen.�So�können�die�Menge�und�auch�die��Zielgerichtetheit�des�Feedbacks�maximiert�werden.“

Feedback

09.10.2014

21

Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)

Zusammenfassung:1. Vorstellung�von�der�Lehrerrolle�(als�Regisseur)2. Feedback�an�Lehrkraft3. Beziehung�Lehrkraft�Ͳ Schüler4. Feedback�von�Mitschülern5. Klassenklima6. Fehlerkultur7. Zielorientierung

Feedback

4.�Hatties�IntentionDewey�1938:�„Der�Forschungsstand�liefert�uns�keine�Handlungsanweisungen,�sondern�lediglich�Hypothesen�für�intelligentes�Problemlösen�und�Denkanstöße�hinsichtlich�unserer�Bildungsziele.“�(Hattie�2009,�S.247;�Übers.�W.�S.)

„Am�wichtigsten�bei�jeder�Diskussion�über�Messergebnisse�sind�‚konkurrierende�plausible�Hypothesen‘.“�(Hattie�2009,�S.248;�Übers.�W.�S.)

09.10.2014

22

Literatur:Bundesministerium�für�Unterricht,�Kunst�und�Kultur�(2012):�Die�HattieͲStudie.�Forschungsbilanz�und�Handlungsperspektiven.�Wien.Autorenteam�Bildungsberichterstattung�Bremen�undBremerhaven�(2012):�Bildung�– Migration�– soziale�Lage.�Voneinander�und�miteinander�lernen.�Bildungsberichterstattung�für�das�Land�Bremen.�Bremen.[Zitiert:�Bildungsbericht�Bremen�2012]Hattie,�J.�A.�(2009):�Visible�learning.�A�synthesis�of�over�800�analyses�relating�to�achievement.�London�&�New�York:�Routledge.Hattie,�J.�A.�(2011):�Visible�learning�for�teachers.�Maximizing�impact�on�learning.�London�&�New�York:�Routledge.Hattie,�John�A.�(2013):�Lernen�sichtbar�machen.�Überarbeitete�deutschsprachige�Ausgabe�von�„Visible�learning“,�besorgt�von�Wolfgang�Beywl und�Klaus�Zierer.�Baltmannsweiler:�Schneider�Hohengehren.Snook,�I.;�Clark,�J.;�Harker,�R.;�O’Neill, A.ͲM.;�O’Neill,�J.��(2009):�Invisible�Learnings?�A�commentary�on�John�Hattie’s�“Visible�Learning:�A�Synthesis�of�over�800�MetaͲAnalyses�Relating�to�Achievement”.�In:�New�Zealand Journal�ofEducation�44,�Annex�A.Köller,�O.;�Möller,�J.�(2012/2013):�Was�wirklich�wirkt.�John�Hattie�resümiert�die�Forschungsergebnisse�zu�schulischem�Lernen.�Teile�1�bis�5.�In:�schulmanagement4/2012,�S.34Ͳ37;�5/2012,�S.34Ͳ37;�6/2012,�35Ͳ37;�1/2013,�S.35Ͳ37,�2/2013,�S.34Ͳ37.

09.10.2014

23

OECD�Organisation�for�Economic�Cooperation�and�Development�(2001):�Lernenfür das�Leben.�Erste�Ergebnisse�der�internationalen�Schulleistungsstudie�PISA�2000.�Paris.Sacher,�W.�(2013):�Wird�der�Familieneinfluss�auf�die�Schulleistung�überschätzt?�Nein�– denn�die�HattieͲStudie�widerlegt�nur�scheinbar�bisherige�Erkenntnisse.�In:�Pädagogik�65�(2013),�H.�9,�S.54.