Embed Size (px)
Citation preview
Evaluation von (Test-)Aufgaben zum Leseverstehen
Bremer Symposion 2019
2.3.2019
Anika Müller-Karabil, Christine Ringwald, Sibylle Seyferth
Universität Bremen, Sprachlehr- und -lernforschung
2
Ablauf
I. TheoretischKurzüberblick: Erstellung von LeseaufgabenVorschlag Analyseraster für Leseaufgaben
II. Praktisch
Analyse von Beispielaufgaben anhand des Rasters
III. Diskursiv
Erfahrungsaustausch, Möglichkeiten und Grenzen
IV. Perspektivisch
Vorstellung weiterer Evaluationsmöglichkeiten
3
Zielsetzung des Workshops
Instrument(e) zur Analyse von Leseverstehens-aufgaben kennenlernen und anwenden
Analyse-kompetenz:
Welche Aspekte bzw. Teilbereiche von Leseverstehen testen Aufgaben bzw. einzelnen Items?
Entscheidungs-kompetenz
Passen die Aufgaben bzw. Items zu aktuell verfolgten Lernzielen und Unterrichts-aktivitäten?
4
Ablauf
I. Theoretisch
II. Praktisch
III. Diskursiv
IV. Perspektivisch
5
Ausgangspunkt: Testerstellung
Manual for Language Test Development and Examination – produced by ALTE on behalf of the Council of Europe, 2011.
Deutsche Version: http://www.coe.int/t/dg4/linguistic/Source/ManualAlte_Allemand.pdf
Entscheidung: Test erstellen
Planungs- und Designphase
Aufgabenerstellung, Qualitätskontrolle
Test-spezifikationen
Test-materialien
6
Ausgangspunkt: Testerstellung
Manual for Language Test Development and Examination – produced by ALTE on behalf of the Council of Europe, 2011. https://rm.coe.int/manual-for-language-test-development-and-examining-for-use-with-the-ce/1680667a2b
wer?
warum?
wie?
was?
Planungs- und Designphase
Aufgabenerstellung, Qualitätskontrolle
Test-spezifikationen
Test-materialien
7
Phasen der Testerstellung
Ausgangspunkt für Validierung / Evaluation
Aufgabe
Konstruktbeschreibung Wahl der Aufgabenformate,
Itemtypen (Auswertung, Gewichtung)
Testspezifikationen
Aufgabe
Aufgabe
8
Testkonstrukt(e) Leseverstehen: Ansätze und Annäherungen
verschiedene Ausgangspunkte:
Prozessorientierung
Aufgabenorientierung
Leseabsichten / Lesestile
(Enright et al., 2000; Grabe / Jiang, 2014)
Ansatz gilt als zugänglich, transparent, integrativ
9
Mögliches Analyseraster
10
Ablauf
I. Theoretisch
II. Praktisch
III. Diskursiv
IV. Perspektivisch
20.03.2019 11
Gruppenphase
12
Phase I: Think Phase II: Pair Phase III: Share
Leseaufgaben einzeln lösen Selbstbeobachtung Analyse
Bearbeitung
20 Minuten
Austausch mit Partner/in derselben Sprachgruppe Beobachtungser-
gebnisse teilen Vorbereitung
Expertenrunde
15 Minuten
Austausch zwischen den Sprachgruppen Aufgabe vorstellen Schlussstatement
15 Minuten
Phase I (20 Minuten)
Sprache auswählen (Deutsch, Englisch oder Französisch)
2 Aufgaben bearbeiten (nacheinander)
Schritt 1:
Selbstbeobachtung (ohne Raster):
Wie geht man beim Lösen vor? Welche Entscheidungen trifft man? WICHTIG:
Schritt 2:
Items ins Raster einordnen
13
Phase II (15 Minuten)
Austausch mit Partner/in derselben Sprachgruppe
Schritt 1:
Beobachtungsergebnisse teilen und diskutieren
Schritt 2:
Auswahl einer Aufgabe, um Erfahrungen/ Ergebnisse in Share-Phase zu teilen
14
Phase III (15 Minuten)
Austausch zwischen den Sprachgruppen
Schritt 1:
Austausch Erfahrungen, Kurzvorstellung Aufgabe
Schritt 2:
Feedback zum Raster für Schlussrunde vorbereiten
15
Ablauf
I. Theoretisch
II. Praktisch
III. Diskursiv: Abschluss im Plenum
IV. Perspektivisch
16
Ablauf
I. Theoretisch
II. Praktisch
III. Diskursiv
IV. Perspektivisch
17
Evaluationen
alternativ/zusätzlich: Fragebögen
Feedback nach Einsatz zur Angemessenheit:z.B. Niveau, Kompetenzen, Authentizität, Praktikabilität, Schwierigkeit
adaptierbar auf Kontext bzw. Tests, Aufgaben, Items
Beispiele:
Studierende
Lehrende
18
„Funktionieren“ Aufgaben?
Itemschwierigkeit (Tendenzen)
Anteil der Testteilnehmenden, die das Item richtig beantwortet haben
Aus: Grothjan, R. & Kleppin, K. (2015). Prüfen, Testen, Evaluieren. DLL Bd. 7. München: Langenscheidt/Klett. 19
Literatur
Alderson, J.C. (2000): Assessing Reading. Cambridge.
Chapelle, C.A., Enright, M.K. & Jamieson, J.M. (2007). Building a validity argument for the Test of English as a Foreign Language. Routledge.
Enright, M. K., Grabe, W., Koda, K., Mosenthal, P. B., Mulcahy-Ernt, P. & Schedl, M.A. (2000). TOEFL 2000 Reading Framework: A Working Paper. Princeton, New Jersey: ETS.
Grabe, W. (2008). Reading in a Second Language. Moving from Theory to Practice. Cambridge: Cambridge University Press
Grabe, W. & Jiang, X. (2013). Assessing Reading. In: Kunnan, A. J., The Companion to Language Assessment, West-Sussex: Wiley-Blackwell, 185-200.
Grothjan, R. & Kleppin, K. (2015). Prüfen, Testen, Evaluieren. DLL Bd. 7. München: Langenscheidt/Klett.
Haladyna, T. M., & Downing, S. M. (1989a). A taxonomy of multiplechoice item-writing rules. Applied Measurement in Education, 1(1), 37-78)
Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-334.
Khalifa, H. & Weir, C. J. (2009): Examining Reading. Cambridge.
20
© Barbara Einig/Universität Bremen© Fotos: Universität Bremen
2018
https://www.lab.uni-bremen.de/
Kontakte:f
