Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin

Seite 1

Technology Based Assessment

Marc Rittberger

DIPF Frankfurt am Main60486 Frankfurt am Main

DIPF Berlin10243 Berlin

Seite 2

Inhalt

• DIPF

• Technology Based Assessment

• Programme for International Student Assessment – PISA

• Programme for the International Assessment of Adult Competencies

– PIAAC

• Fazit

Seite 3

Selbstverständnis:

• Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und

Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich

• Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für

Bildungsinformation zum Gelingen von Bildung, indem das DIPF

• Wissen über Bildung generiert

• Wissen über Bildung geordnet und strukturiert

• Wissen über Bildung aus historischer Perspektive betrachtet

• Kompetenz- und Kommunikationszentrum im Bildungswesen

• Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten

Seite 4

• 260 Beschäftigte

• 18 Professuren (davon 5 Juniorprofessuren, 3

Emeritus)

• > 100 Semesterwochenstunden Lehre

• ~ 50 DoktorandInnen

• > 22 Millionen Gesamtbudget

• >11 Millionen Drittmittel

DIPF 2010

Seite 5

Bildungsforschung

• Bildung und Entwicklung

• Lehr-Lern-Prozesse und kognitive Funktionen im Alter

• Bildungsqualität und Evaluation

• Schul- und Unterrichtsqualität sowie

Kompetenzdiagnostik

• Steuerung und Finanzierung

• Indikatorenforschung, Bildungsrecht und

Steuerungskonzepte im Schulwesen

PISA 09, PISA 12, PIAAC

Seite 6

Bildungsinformation• Bibliothek für Bildungsgeschichtliche Forschung

• 1870 als Deutsches Schulmuseum gegründet• Kommunikationszentrum für die historische

Bildungsforschung• Informationszentrum Bildung:

• ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12,

PIAAC

Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB

Seite 7

Inhalt

• DIPF



• Programme for the International Assessment of Adult Competencies

– PIAAC

• Fazit

Seite 8


• Messung von Kompetenzen im Kontext der pädagogisch-psychologischen

Diagnostik kontextspezifische kognitive Leistungsdispositionen

• Kompetenzmessung zur Steuerung von Bildungssystemen stärkerer Outputorientierung

• Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale

oder bestimmter Eignungen

Seite 9

Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von

Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007

Seite 10

Seite 11

Technologiebasiertes Testen

• Äquivalenzproblematik Mode Effect Studies• Geringe Probleme bei Fragebögen• Leistungstests problematischer Problem der flexiblen Handhabung

• Gleiche technische Voraussetzungen notwendig• Testfairness: Vertrautheit mit Technologie• Verbesserung der Testgütekriterien:

• Objektivität durch Standardisierung• Reliabilität: Reduzierung der Mess- und Auswertungsfehler• Validität: bspw. durch adaptive Verfahren

• Ökonomisierung der Erhebungen• Vielfältigere Testinhalte und –formate• Datensicherheit und Persönlichkeitsschutz

Seite 12

DatenverarbeitungAutomatische Berechnungenvon statistischen Kennwerten

ItemerstellungEinfache StimuliKomplexe Stimuli & Interaktion

Personen ManagementSampling Prozeduren

Datenaufbereitung Automatische Codierung

ItemweiterentwicklungÜbersetzung, Kalibrierung

Item BankingMetadaten-ManagementTest ZusammenstellungTestung

Testsicherheit,Integration von Tests,Verzweigung, Adaptation,Dataspeicherung, Feedback

Datenmanagement Data-WarehouseAutomatische Reports

Assessmentprozess

Seite 13

Inhalt

• DIPF


• Programme for International Student Assessment – PISA• Programme for the International Assessment of Adult Competencies

– PIAAC

• Fazit

14Seite 14

PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik

• Suche nach einer bestimmten Information:

Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt?

Und um was genau wird es dann gehen?

15Seite 15

Elektronisches Lesen: Konzeption und Logik

• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte:

• Selbsttätige Textstrukturierung

• Informationsintegration

• Medium-spezifische Lesestrategien, z.B.:

• Identifikation der Textsorte

• Identifikation der Textstruktur

• Identifikation von Glauwürdigkeitsindikatoren

16Seite 16


• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte

bezogen auf das Reading Literacy Framework:

Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben

Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website

Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten

Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten

17Seite 17


• Testkonzeption:

• Abdeckung eines breiten Spektrums von Aufgaben – Beispiele:• Finden von Informationen auf Webseiten (Informationen ermitteln)• Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B.

einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren)• Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der

Glaubwürdigkeit von Websites (Reflektieren und Bewerten)

18Seite 18


• Testkonzeption:

• Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen:

Lesen

Nav

igat

ion

19Seite 19

Beispiel: Testeinheit "Café der Philosophen"

Aufgabe 1: "Du bist auf derStartseite des Cafés derPhilosophen. Klicke auf den Link fürKonfuzius. Was meinteKonfuzius mit 'Ren' "?

Frieden und Wohlstand Leben in Chaos und Krieg Das Verhalten der Herrscher Menschlichkeit anderen gegenüber Leben in Harmonie

20Seite 20


Aufgabe 2: "Welche der folgendenVorstellungen fasst die Lehre vonZenon zusammen"?

Ein langes Leben führt zum Glück Logische Vernunft führt zum Glück Deinen Gefühlen folgen führt zum

Glück Glück führt zur Tugend

21Seite 21


Aufgabe 3: "Was sehen sowohl ZenonAls auch Bentham den verfügbarenInformationen zufolge als einzentrales Thema an?"

Wählen zwischenwidersprüchlichen Anforderungen

Entwickeln von Gesetzen überMänner und Frauen

Streben nach individuellem Glück Verstehen anderer Menschen

22Seite 22

Technologische Herausforderungender ERA-Implementierung

Entwicklung der ERA-Skala:• Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren• Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von

Items durch “Lese”-Experten • Softwareunterstützung der Itemübersetzung• Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferungLösungen:• Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing)• Model Driven Architecture - Ansatz in und mit Eclipse• Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-

Tools• Reine Web-Plattform (PHP und Flash), weltweit zugreifbar

23Seite 23

Technologische Herausforderungender ERA-Implementierung

Auslieferung der ERA-Skala:

• In über 20 Länder mit unterschiedlichen Sprachversionen

• Entsprechend “Lokalisierung” von Text und Texteingabe

• Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und

innerhalb von Ländern)

Lösungen:

• ERA-Boot-CD, baut auf Knoppix auf

• Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium

• Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch

• Boot-System umfasst Client und Server

Seite 24

Inhalt

• DIPF



• Programme for the International Assessment of Adult Competencies – PIAAC

• Fazit

25Seite 25

• Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen

• Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen

• Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene

• Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen

PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre)

26Seite 26

AustraliaAustriaBelgiumCanadaCzech RepublicChile DenmarkEstoniaFinlandFranceGermanyHungaryIreland

ItalyJapanSouth KoreaNetherlandsNorwayPolandPortugalRussian Fed.Slovak RepublicSpain SwedenUnited Kingdom United States

PIAAC: 26 teilnehmende Länder

27Seite 27

• Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment)

• Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet

• Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung

PIAAC-Innovationen

28Seite 28

Erfasste KompetenzenErfasste Kompetenzen

Components

Core cognitive

Non-cognitive

ICT/PS in TRE

Hintergrundvariablen, wie z.B.

Bildungsbiographie, Persönlichkeit

Lesefähigkeiten (Literacy)

einschließlich ERA, Rechenfähigkeiten

(Numeracy)

Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT)

Basale Lesefähigkeiten, wie z.B. Wortverständnis

29Seite 29

Vorgängerstudien(Papier-basiert)

PIAAC

Vergleichbarkeit von Messungen

Computer-basiert

Papier-basiert

Vergleichbarkeit über Administrierungsmodi hinweg

IALS

ALL

Vergleichbarkeit über die Zeit

Computerbasiert Testen:- Adaptives Testen- New Literacy (www)- Problemlösen (ICT)

Zur Ermittlung von Trends

Für Personen erforderlich, die nicht ICT-literal sind

30Seite 30

PIAAC

Vergleichbarkeit PBA-CBA

Computer-basiert

Paper-basiert

Vergleichbarkeit über Administrierungsmodi hinweg

Für den querschnittlichen Vergleich

Vergleichbarkeit muss erreicht werden in den Bereichen:

- Layout

- Antwortmodus

- Antwortbewertung

- über nationale Anpassungen hinweg

31Seite 31

Vergleichbarkeit PBA-CBA: Layout

Layout von Literacy-Aufgaben:

• Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz

• Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout)

PBA CBA

Layout-anpassungenErforderlich, z.B. breitere

Spalten

32Seite 32

Vergleichbarkeit PBA-CBA: Antwortmodus

Antwortmodus von Literacy-Aufgaben:

• PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik)

• CBA: Markieren des Textes durch Klicken und Ziehen per Maus

PBA CBAAntwortmarkierung

33Seite 33

Vergleichbarkeit PBA-CBA: Antwortbewertung

Antwortbewertung von Literacy-Aufgaben:

• PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler

• CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem

nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort

PBA CBATextbereich für richtige Antwort

Textbereich für falsche Antwort

34Seite 34

Vergleichbarkeit PBA-CBA: Nationale Anpassung

Nationale Anpassung der Antwortbewertung:

• PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler

• CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe

Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors

PBA CBATextbereich für richtige Antwort

Textbereich für falsche Antwort

35Seite 35

• Auslieferung als Haushaltsstudie (Laptops)• Parallel laufende Studien, vorhandene Hardware• Maximale Abschottung erforderlich

Lösungen:• Virtuelle Maschine (VM)• VM bootet Linux (Client und Server)• Volle Bildschirmkontrolle durch VM• Einfache externe API zur Anbindung von nationaler Studiensoftware

PIAAC – Technische Herausforderungen

36Seite

Inhalt

• DIPF



• Programme for the International Assessment of Adult

Competencies – PIAAC

• Fazit

37Seite


• Erste Schritte zur Ablösung von Papierbasierten Tests

• Übergangszeit mit verschiedenen Modi

• 21st century initiative (Cisco, Intel, Microsoft)

• Motoren

• International: OECD

• National: BMBF

38Seite

Ende – Finito – Einde - Fin – End

[email protected]

Documents

Technology Based Assessment Marc Rittberger DIPF Frankfurt am Main 60486 Frankfurt am Main DIPF Berlin 10243 Berlin