1 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Abb.: h
ttp://w
ww
.kro
ne.a
t/O
este
rreic
h/S
elf-A
ssessm
en
t._R
ally
e_D
er_
ne
ue_
Weg_zur_
Hochschule
-Uni-Z
ugang-S
tory
-35
8278
Semesterbegleitende Self-Assessments
an deutschen Hochschulen
Dr. Klaus Wannemacher
HIS-Hochschulentwicklung im DZHW
Fachforum
„Semesterbegleitende elektronische Self-Assessments“
Universität Kassel, 26. November 2014
2 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Gliederung
Multiple Einsatzkontexte von E-Assessments
Zweifacher Fokus semesterbegl. Self-Assessments
Mehrwerte elektronischer Self-Assessments
Formative Assessmentszenarien im Überblick
Acht Szenarien und Fallbeispiele
Self-Assessments im Praxiseinsatz
Akzeptanz, Nutzung, Evaluation
Herausforderungen
Unterstützungsangebote
3 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Multiple Einsatzkontexte von E-Assessments
E-Assessments bewähren sich nicht nur im Bereich der Leistungskontrol-
len, sondern können ebenso in beratender, diagnostischer, formativer und
qualitätssichernder Funktion eingesetzt werden.
Vorstudienphase Hochschulstudium (Semester) Berufstätigkeit
Beratung Diagnostisches Pr. Formatives Prüfen Summatives Prüfen Qualitätssicherung
Studienorientierung Studierfähigkeitstests Studierverh. reflekt. Vorher-/Nachher-Prüf. E-Progresstests
Studienberatung Auswahltests Veranstaltungsvorber. E-Klausuren Plagiaterkennung
Zulassungstests Audience Response Scan-Klausuren E-Lehrevaluation
Einstufungstests Stoffnachbereitung Video-Distanzprüfung E-Prüfungsvorber.
Quiz zur Wiederhlg. Digit. prakt. Prüfungen
Selbstlerneinheit/Test s. http://ep.elan-ev.de/wiki/
4 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Multiple Einsatzkontexte von E-Assessments
Forderung nach Paradigmenwechsel: „era of testing“ / „…of assessment“
Im Bereich der formativen Diagnostik bieten semesterbegleitende Self-
Assessments Lernenden eine Gelegenheit zur Selbstüberprüfung.
Semesterbegleitende Self-Assessments eignen sich
zum Wiederholen von Inhalten,
zur Lernlenkung im Verlauf von Lehrveranstaltungen,
für die Begleitung und Reflektion des Lernprozesses und des -ergebnisses,
zur Anpassung der Lehre an den bereits erreichten Lernstand
sowie zur Prüfungsvorbereitung.
Vorstudienphase Hochschulstudium (Semester) Berufstätigkeit
5 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Zweifacher Fokus
semesterbegleitender Self-Assessments
Semesterbegleitende Self-Assessments
ermöglichen Studierenden, das erzielte Lernergebnis zu identifi-zieren (lernbegleitende Leistungs-standserhebung),
verschaffen Lehrenden frühzeitig Einblick in das Vorwissen der Stu-dierenden und deren Leistungs-stand,
helfen Studierenden, ihr Lern-verhalten an das bereits erzielte Lernergebnis anzupassen,
zeigen Lehrenden Schwierigkeiten im Lernprozess der Studierenden auf und
unterstützen selbstgesteuerte Lernprozesse und fördern die studentische Selbstlernkom-petenz.
ermöglichen ihnen, ihre Lehrver-anstaltung besser an Vorkennt-nisse und Lernstand der Studie-renden anzupassen.
6 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Abb.: https://www.elearning.uni-mainz.de/files/
2014/08/E-Klausuren-in-der-Anthropologie.jpg
Mehrwerte elektronischer Self-Assessments
einfache Distribution, erweiterte Aufgabentypen, Praxisnähe
Nähe zu Ansätzen eines prozessorientierten Assessments (z. B.
studienbegleitende Portfolios, Fallstudien, Präsentationen)
frühzeitiges (elaboriertes) Feedback zum Lernergebnis
deutliche Reduktion der Zeit zwischen Bearbeitung formativer Assess-
ments und der Generierung des Feedbacks für Studierende
hohe Auswertungsökonomie für Lehrende und Studierende (auch bei
freien Aufgabentypen)
geeignet auch für den Einsatz in teilnehmerstarken Lehrveranstaltungen
Möglichkeit der Verzahnung von formativen Self-Assessments und
summativen E-Prüfungen in einer E-Assessment-Umgebung
7 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Formative Assessmentszenarien Überblick
Teilweise basierend auf:
Markus Schmees, Janine Horn,
E-Assessments an Hochschulen:
Ein Überblick. Szenarien. Praxis. E-Klausur-Recht.
Münster: Waxmann 2014 (Digitale Medien in der
Hochschullehre, Bd. 1), S. 40-59
Unterschiedliche Einsatzformen
Reflexion des Studierverhaltens in
der Studieneingangsphase Quiz zur Wiederholung
Veranstaltungsvorbereitung Selbstlerneinheit mit Zwischentest
Audience Response im Hörsaal Videobasiertes Assessment
Stoffnachbereitung/E-Übungen
Variante Gewissheit prüfen
Variante: Peer Assessment
Fragengenerierung
Gemeinsames Lernen fördern Prüfungsvorbereitung
8 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 1: Reflexion des Studierverhaltens in der
Studieneingangsphase
Schon in der Studieneingangsphase, welche aufgrund der Umstellung von Schule auf
Hochschule für Studierende oft nicht einfach zu bewältigen ist, können studienbegl.
Self-Assessments hilfreich sein und eine Reflexion des Studierverhaltens ermöglichen.
Zweck:
Reflexion des eigenen Studierverhaltens (Lerntechniken, Zeitplanung und
Organisation) ermöglichen
Vergleich zu Kommilitonen ermöglichen
Einschätzung zum eigenen Leistungsstand bieten
negative Folgen eines späten Studienabbruchs verhindern
Ablauf:
Freiwilliges Online-Angebot für Studierende in frühem Fachsemester (letzte
Vorlesungswoche), die Angaben zu eigenem Studierverhalten machen müssen.
Studierende erhalten eine Auswertung der eigenen Ergebnisse, die mit Daten
anderer Teilnehmer abgeglichen werden.
9 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 1: Reflexion des Studierverhaltens in der
Studieneingangsphase Fallbeispiel StubSA, Universität Frankfurt
Im Rahmen des StubSA-Projekts an der Universität Frankfurt a. M. wurde ein
studienbegleitendes Self-Assessment als Online-Kurs für Studierende in der Mitte
des zweiten Fachsemesters entwickelt. Zu diesem Zeitpunkt, besteht ggf. noch die
Möglichkeit eines Studiumswechsels vor der Rückmeldung zum Wintersemester.
45-minütiger Online-Kurs zu akademischer Leistung, Einschätzungen zum Studium,
Lernen allein und in der Gruppe, Lernstrategien, Studiumsorganisation und Zeitpla-
nung und demographischen Daten.
Am Ende des Kurses wird eine Auswertung der eigenen Ergebnisse bereitgestellt.
Die Auswertung zeigt die eigenen Ergebnisse im Vergleich zum Durchschnitt aller
Studierenden, die bis dahin am Self-Assessment teilgenommen haben.
Akzeptanz: In einer Pilotphase wurde das Self-Assessment 2012 in den Bachelor-
Studiengängen Informatik und Bioinformatik durchgeführt (Rücklauf: 13 %) und meist
mit (recht) „informativ“ bewertet. Verzahnung mit Studienberatung vorgesehen.
Quelle: C. Stockhausen, in: C. Bremer/D. Krömker (Hrsg.): E-Learning zwischen Vision und Alltag. Münster 2013. S. 369-373
10 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 2: Veranstaltungsvorbereitung
Lehrende stellen im Vorfeld von Lehrveranstaltungen Aufgaben zu den Themen, die
behandelt werden sollen.
Zweck:
Vorwissen der Studierenden identifizieren
bessere Planung der Folgeveranstaltung und besseres Zeitmanagement
bedarfsgerechte Aufbereitung der Inhalte
Lernerfolg erhöhen
Ablauf:
Lehrende schalten am Ende/im Anschluss an eine Veranstaltung Aufgaben frei,
die vor der Folgeveranstaltung zu bearbeiten sind. Lehrende kontrollieren die
Lösungen und können die folgende Veranstaltung entsprechend anpassen.
Auch eine Integration in den Übungsbetrieb ist möglich.
Die Übergänge von Szenarien zur Vor- und Nachbereitung von Lehrveranstaltungen
sind fließend. Auch für propädeutische Zwecke nutzbar.
11 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 2: Veranstaltungsvorbereitung Medieninformatik-Vorlesung, Hochschule Osnabrück
Just in Time Teaching-Methode (JiTT) aktiviert Studierende durch Online-Aufgaben
(meist Konzeptfragen), die der Vorbereitung der nächsten Lehrveranstaltung die-
nen. Aufgaben werden automatisch bewertet und Feedback unmittelbar gegeben.
Die Aufgaben sind wenige Stunden vor der Vorlesung fällig („just in time“-Prinzip).
Lehrende können dadurch stärker auf studentischen Kenntnis-/Lernstand eingehen.
Studierende erarbeiten sich den Stoff mittels geeigneter Medien selbst. Dann wer-
den Aufgaben gestellt. In der Veranstaltung wird auf Schwierigkeiten eingegangen.
Da das Erstellen geeigneter Aufgaben aufwändig sein kann, sollten Aufgaben
geteilt werden (z. B. LON-CAPA-Aufgabenpool im MINT-Bereich).
Im Vorfeld einer Veranstaltung an der Hochschule Osnabrück werden in Stud.IP/
Vips freiwillige E-Übungsblätter bereitgestellt. Die Vorlesung wird partiell als reiner
Coachingtermin angeboten, in dem Fragen zum Material (VL-Aufzeichnung, Skript,
Übungsblätter) diskutiert werden. Dabei können Bonuspunkte erworben werden.
Quelle: M. Krüger, M. Schmees (Hrsg.): E-Assessments in der Hochschullehre. Einführung, Positionen & Einsatzbeispiele. Frankfurt a. M. 2013, S. 47-57
12 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 3: Audience Response im Hörsaal
Direkte Rückmeldungen aus dem Hörsaal sind eine Weiterentwicklung elektronische
Übungsaufgaben. Sie unterstützen Lehrende, die während einer Veranstaltung studen-
tische Einschätzungen einbeziehen oder Feedback zum Verständnis einholen möchten.
Zweck:
Steigerung der Interaktion von Lehrenden und Studierenden
unmittelbare Rückmeldungen zu Lehrstoff und dessen Darbietung
Veranstaltungssteuerung (Geschwindigkeitsregulation, Ruhe einkehren lassen etc.)
Varianten: Reflexion der Inhalte, Peer Instruction, gegenseitiges anonymes
Bewerten, Themenfreigabe durch Studierende etc.
Ablauf:
Hörsaal muss mit Feedback-Technologie ausgestattet sein (Abstimmsystem/ ARS,
Clicker, als fest installierte oder mobile Abstimmungseinheiten, mit/ohne Hardware).
Der Lehrende gibt eine Aufgabe sowie mögliche Antworten vor und erhält die Zahl
der abgegebenen Stimmen sowie das kumulierte Ergebnis.
13 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 3: Audience Response im Hörsaal Fallbeispiel 1: Klicker, Universität Zürich
Nutzung des webbasierten Interaktionstools „Klicker“ an der Universität Zürich, ent-
wickelt vom Teaching Center des Instituts für Banking und Finance (IBF; seit 2011)
Auf klicker.uzh.ch können Lehrende Fragen und Aktivierungsideen vorbereiten, edi-
tieren u. Resultate anzeigen lassen (für kleine u. große Veranstaltungen geeignet).
Studierende können Fragen von Lehrenden während Veranstaltung mit Laptop,
Smartphone oder Tablet unter einer URL/QRC unangemeldet beantworten.
Resultate werden ohne Zeitverzug im Browser angezeigt, können präsentiert und
kommentiert werden. Lehrende sollten flexibel auf unerwartete Resultate reagieren.
Ermöglicht interaktive, studierendenzentrierte Lehre mit den Szenarien: Wissens-
abfrage, Sofortfeedback, Schätzfragen (Fragetypen: Single Choice, Textfragen)
Akzeptanz: Breite Partizipationsrate (durchschnittlich 50 % der Studierenden). Meist
werden Single Choice-Fragen genutzt und per Smartphone beantwortet.
Quelle: E. Liechti et al., in: K. Rummler (Hrsg.): Lernräume gestalten – Bildungskontexte vielfältig denken. Münster 2014. S. 621-625
14 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 3: Audience Response im Hörsaal Fallbeispiel 2: Backchannel-System, Technische Universität Graz
Backchannel-Prototyp soll Problem der mangelnden Interaktion in Lernräumen
(Einzel-Sprecher-Paradigma, begrenzte Aufmerksamkeitsspanne) abhelfen.
Varianten:
Frontchannel-System: Lehrender unterbricht seinen Vortrag und stellt Fragen (meist Mehr-
fachauswahlfragen, manchmal Freitextfragen) (Einsatzbereich: fragengeleitete Lehre)
Backchannel-System: läuft im Hintergrund, wird nicht in der Vorlesung thematisiert (z. B.
Twitter); ermöglicht Fragenstellen und Geben von Feedback.
TU Graz entwickelte 2013 quantitatives Backchannel-System, das Feedback der
Studierenden visuell aufbereitet und direkte Reaktion ermöglicht. Es konzentriert
sich auf wenige Dimensionen des Lehrverhaltens (Zufriedenheit, Verständnis,
Vortragstempo). Prinzipien: kontinuierl. Feedback, minimale Ablenkung, einfache
Systemarchitektur, BYOD, universell verfügb. GUI, Sichtbarkeit von Aktionen
Akzeptanz/Erfahrungen: Beteiligung lag bei 88 %. Nutzung macht Reaktion der Lehren-
den bei Extremwerten erforderlich. Methodenrepertoire für Lehrende steht noch aus.
Quelle: M. Ebner et al., in: K. Rummler (Hrsg.): Lernräume gestalten – Bildungskontexte vielfältig denken. Münster 2014. S. 567-578
15 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 4: Stoffnachbereitung/E-Übungen
Das (kontinuierliche) Bereitstellen von Aufgaben zur Veranstaltungsnachbereitung dient
der Vertiefung des Lernstoffs, der frühzeitigen Prüfungsvorbereitung und ggf. der Quali-
fikation zur Teilnahme an einer Klausur. Elektr. Übungsaufgaben zeigen nicht verstan-
dene Lerninhalte auf und ermöglichen eine gezielte Wiederholung von Lernstoff.
Zweck:
stärkere Lernwirksamkeit durch aktive Nachbereitung des Lernstoffs
selbständige Identifikation individueller Lernschwächen
Feedback hilft bei Eingehen auf Lernprobleme und Veranstaltungsvorbereitung
Ablauf:
Häufig werden Aufgaben im Anschluss an eine Veranstaltung freigeschaltet und
sollen bis zur nächsten Sitzung bearbeitet werden.
Studierende erhalten durch automatische Auswertung ein schnelles Feedback auf
elektronische Aufgaben (Vorteil gegenüber Übungen)
16 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 4: Stoffnachbereitung/E-Übungen Fallbeispiel Didaktikvorlesung, Universität Zürich
Einführungsvorlesung in die allgemeine Didaktik (Prof. Dr. Urs Ruf, Institut für
Gymnasial- und Berufspädagogik, Univ. Zürich), Konzept des dialogischen Lernens
Vorlesungsteilnehmer wurden in Gruppen zu etwa 16 Personen eingeteilt, die sich
nach der Vorlesung auf moderierter Online-Plattform zur Vorlesung austauschen.
Studierende erhielten einen Schreibauftrag. Eine Gruppenhälfte stellte dessen Er-
gebnisse binnen 48 Std. online. Die andere Hälfte verfasste dazu eine Rückmel-
dung. Die Rollen wechselten. Teilnahme war Voraussetzung für Leistungsnachweis.
Gruppenmoderatoren fassten Textbeiträge und Gruppendiskussion zusammen. Ein
Assistent erstellte eine übergreifende Sammlung von Studierendentexten.
Auf dieser Basis bereitete der Dozent die Anschlusssitzung vor. Anfangs ging er auf
die Online-Diskussion ein (Wiederaufnahme). Dann folgte die reguläre Vorlesung.
Evaluation: Learning-for-the-test-Verhalten wurde auf Minimum reduziert. Extrinsisch
motivierte, „gewissheitsorientierte“ Studierende sahen das Szenario kritisch.
Quelle: T. Zimmermann, in: C. Ruedel, Sch. Mandel (Hrsg.): E-Assessment. Einsatzszenarien und Erfahrungen an Hochschulen. Münster 2010, S. 143-151 (vgl. V. Steglich,
R. Hartlep, in: N. Apostolopoulos et al (Hrsg.): Grundfragen Multimedialen Lehrens und Lernens. Münster: Waxmann 2010, S. 315-323)
17 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Variante: Gewissheit prüfen
Grad der Zuversicht in die Antwort erfragt. Diese Angabe ermöglicht Lehrenden eine
Einschätzung, ob eine Antwort gelernt oder geraten wurde. Eine geratene falsche
Antwort ist weniger kritisch als eine, von deren Korrektheit ein Prüfling überzeugt ist.
Zweck:
Identifikation der Sicherheit eigener Kenntnisse
Untersuchung der studentischen Risikobereitschaft
Möglichkeit zur Reaktion auf Wissenslücken und explizite Lernirrtümer
Ablauf:
Die Erfassung erfolgt über eine Likert-Skala („geraten“ bis „sehr sicher“).
Option, für geratene Antworten weniger Punkte als für gewusste zu vergeben
Beim Prüfen der
Gewissheit (Con-
fidence-based
Marking) wird zu-
sammen mit einer
Antwort auch der
Ab
b.:
htt
p:/
/liu
tv.d
cu
.ie
/me
dia
/
Cre
atin
g-a
-qu
iz-i
n-m
oo
dle
-pa
rt-2
18 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Variante: Peer Assessment
Das Verfahren der gegenseitigen Bewertung von studentischen Beiträgen durch
Studierende wird u.a. dazu eingesetzt, auch in Veranstaltungen mit hohen
Teilnehmerzahlen den Bedürfnissen der Studierenden nach einer kontinuierlichen
Rückmeldung zu erbrachten Leistungen entgegenzukommen.
Die Studierenden setzen sich mit den von ihren Kommilitonen erarbeiteten Beiträ-
gen auseinander und erhalten im Gegenzug Anregungen zur Verbesserung eige-
ner Beiträge. Peer Assessments können zur Perspektivierung einer Thematik
beitragen und eine aktivierende Wirkung entfalten.
Den Lehrenden gibt ein solches Verfahren zudem die Möglichkeit sich stärker auf
die Begleitung der Lernenden zu konzentrieren und gezielt Hilfestellungen bei der
Kompetenzentwicklung zu geben, was bei klassischen Formen der Leistungskon-
trolle den Einzelnen vielfach schwer zu bewältigen ist.
Quellen: C. Menzer, K. Faber, in: N. Apostolopoulos et al (Hrsg.): Grundfragen Multimedialen Lehrens und Lernens. Münster: Waxmann 2010, S. 166-180 – K. Richter et al.,
in: N. Apostolopoulos et al: (Hrsg.), Grundfragen Multimedialen Lehrens und Lernens. Münster: Waxmann 2012, S. 316-328
19 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 5: Quiz zur Wiederholung
Begleitend zu traditionellen Lehrveranstaltungen können freiwillige Online-Quiz
angeboten werden (z. B. als kurze Multiple-Choice-Tests), die wesentliche Inhalte einer
vorangegangenen Veranstaltung aufgreifen. Studierende sollten anonym bleiben.
Zweck:
Motivierende Zusatzmöglichkeit zur Auseinandersetzung mit Inhalten
Integration von Fragen in zu vermittelnde Inhalte steigert Motivation
Feedback zum Verständnis
Einbeziehen und Einordnen von Auffassungen der Lernenden
Ablauf:
Bereitstellung von Quiz über Lernplattform o. ä.
automatisierte Auswertung ermöglicht unmittelbares Feedback (unbenotet)
20 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 5: Quiz zur Wiederholung Fallbeispiel ILIAS-MobileQuiz, Universität Mannheim
An der Fakultät für Wirtschaftsinformatik und -mathematik der
Universität Mannheim wurde das ILIAS-MobileQuiz als Tool für
Präsenzlehre und Selbststudium entwickelt. Es ist ein Plugin für
ILIAS, das den Lehrenden als reguläre Funktion in ILIAS erscheint.
Das Quiztool für anonyme Meinungsumfragen und Wissensabfra-
gen ist über jedes internetfähige Gerät (Smartphone, Tablet etc.)
aufrufbar. Am besten lässt es sich mittels Barcode-Scanner nutzen.
In einer zweiten Entwicklungsphase wurde es als „HomeQuiz“ zur
Vorbereitung der Studierenden auf Präsenzphasen eingesetzt (QR-
Code auf Skript/Übungsblatt). Dabei wurde eine Funktion für
unmittelbares Feedback eingearbeitet.
Es wird in mehreren Fakultäten (Massenvorlesung, Kleingruppen-
seminar) auch zur Kursvorbereitung/Stoffwiederhlg. eingesetzt.
Lehrende müssen Zeit zum Besprechen der Resultate einplanen.
Quelle: http://www.e-teaching.org/praxis/erfahrungsberichte/ilias_mobile_quiz
21 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 6: Videobasiertes Assessment
Auch Lernvideos werden für Self-Assessment-Zwecke eingesetzt. Dazu werden
herkömmliche Aufgabentypen wie MC, Lückentext, Zuordnungs-, Reihenfolge- und
Hotspot-Aufgaben in Lernvideos integriert (vgl. MOOCs).
Zweck:
Kontrolle der Wissensaneignung
Aktivierung und Steigerung der Aufmerksamkeit im selbstgesteuerten Lernprozess
Zusammenarbeit standortverteilter Studierender stärken
Ablauf:
Während einer Lerneinheit mit Lernvideos werden Überprüfungsaufgaben gestellt.
Die Aufgaben werden vor Beginn, nach einer Videosequenz, sukzessiv, zweistufig
(Aufgabenstellung/Beantwortung zeitversetzt) oder am Ende des Videos gestellt.
Möglichkeit der synchronen Kollaboration: Lernende erfahren unmittelbar von
Lösungen ihrer Kommilitonen, um eigenen Lernstand beurteilen zu können.
22 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 6: Videobasiertes Assessment Fallbeispiel Projekt „E-TuScript“, TU Dresden
Der Lehrstuhl Wirtschaftsinformatik der TU Dresden führt mehrwöchige, standort-
übergreifende Qualifizierungen von E-Tutoren im Blended-Learning-Modus durch.
Anstelle früherer Präsenzveranstaltungen werden Lerninhalte nunmehr in fünf
Lernvideos vermittelt, um Studierende auf Betreuungssituation in standortüber-
greifenden Online-Lehrveranstaltungen vorzubereiten.
Es werden videobasierte Assessments genutzt, indem in einen Videoplayer
Überprüfungsaufgaben eingebunden werden (Projekt „E-TuScript“). Studierende
erfahren während der Bearbeitung der Aufgaben von den Lösungen ihrer
Kommilitonen und haben die Möglichkeit zu wechselseitigem Feedback.
Im Anschluss an Selbstlernphasen mit Lernvideos bearbeiten Lernende in
gemischten standortübergreifenden Lerngruppen von 4 bis 5 Personen Fallstudien.
Evaluation: Standortübergreifender Ansatz verhinderte Entstehen von Gruppengefühl.
Quelle: N. Seidel/C. Jödicke, in: J. Kawalek, K. Hering, E. Schuster (Hrsg.): Tagungsband 12. Workshop on e-Learning. Görlitz 2014, S. 83-91
23 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 7: Fragengenerierung
Studierende sollen veranstaltungsbegleitend selbständig MC-Fragen zu den
Veranstaltungsinhalten erstellen, um ihr Lernverhalten zu verändern und sich
kontinuierlich mit den Vorlesungsinhalten zu beschäftigen.
Zweck:
kontinuierliche Auseinandersetzung mit Vorlesungsinhalten und Möglichkeit zu
Identifikation von Wissenslücken
eigenständiges Erstellen von Fragen soll Erinnerungsleistung steigern
Ablauf:
Studierende müssen binnen sechs Tagen nach Veranstaltung Fragen erstellen.
Diese werden zu einem Test zusammengestellt und den Studierenden zeitlich
begrenzt zu Self-Assessment-Zwecken zur Verfügung gestellt.
Die studentischen Fragen fließen teilweise in die späteren Klausurfragen ein.
24 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 7: Fragengenerierung Fallbeispiel Veranstaltungsbegleitendes Lernen, Hochschule Zittau/Görlitz
Erstsemester sollten begleitend zu Kommunikationspsychologie-Vorlesung an der
Fakultät Sozialwissenschaften der Hochschule Zittau/Görlitz seit 2011 mithilfe von
ONYX Fragen zur Lehrveranstaltung entwerfen (möglichst in Gruppen).
Im Anschluss an die Veranstaltung hatten die Studierenden sechs Tage Zeit, Fra-
gen inkl. Antwortmodalitäten im ONYX-Editor zu erstellen. Diese wurden nach Prü-
fung durch Tutoren zu einem Test zusammengestellt und den Studierenden nach
10 Tagen für eine Woche zu Self-Assessment-Zwecken zur Verfügung gestellt.
Vier Wochen vor dem Prüfungszeitraum wurden alle Tests erneut freigeschaltet.
Studierenden wurde als Anreiz in Aussicht gestellt, dass ca. ein Drittel der
Klausurfragen aus ihren eigenen Vorschlägen bestehen würde.
Akzeptanz/Evaluation: Meist beteiligten sich nur 20 % bis 50 % eines Matrikels an der
Fragenerstellung. Die Veranstaltungsevaluation zeigte, dass sich eine Änderung des
Lernverhaltens nicht ergab. Auch wurden z. T. zu einfache Fragen entworfen. Das
Erstellen von Fragen wurde vielfach als zu zeitaufwändig empfunden.
Quelle: J. Kawalek, in: J. Kawalek, K. Hering, E. Schuster (Hrsg.): Tagungsband 12. Workshop on e-Learning. Görlitz 2014, S. 133-141
25 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 8: Prüfungsvorbereitung
Im Übergangsbereich zwischen formativen Self-Assessments und summativen E-
Assessments bewegen sich elektronische Probeklausuren, die der Überprüfung des
eigenen Lernstands dienen und punktuelle Lernprozesse auslösen sollen.
Zweck:
eigenen Wissensstand im Hinblick auf ein summatives Assessment bzw. eine
Prüfung überprüfen
Wissensdefizite rechtzeitig erkennen und Hinweise zu deren Behebung geben
Bestehensquote bei Prüfungen steigern
Ablauf:
In den letzten Semesterwochen müssen Studierende eine Probeklausur mit MC-
oder Freitextfragen in der Lernplattform absolvieren.
Die Probeklausur wird bis auf die Freitextantworten automatisch korrigiert, eine
zeitnahe Rückmeldung gegeben.
Abb.: https://www.uni-marburg.de/neue-medien/themen/e-klausuren
26 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Szenario 8: Prüfungsvorbereitung Fallbeispiel E-Probeklausur, Universität Vechta
Am Institut für Soziale Arbeit, Bildungs- und Sportwissenschaften (ISBS) der
Universität Vechta werden zwei große Vorlesungen zur Päd. Psychologie mit rd.
600 Studierenden durchgeführt. Während des Semesters sind Transferaufgaben
im Wiki zu bearbeiten.
Seit Wintersemester 2010/11 können Studierende zusätzlich während einer „vir-
tuellen Woche“ über das Stud.IP-Modul Vips eine Probeklausur mit MC-/Freitext-
fragen absolvieren. Ort und Zeit legen Studierende selbst fest.
Studierende können ihre individuellen Ergebnisse abrufen. Die Probeklausur dient
dem Auslösen weiterer Lernprozesse (Aufforderung, geeignete Literatur zum
Schließen von Wissenslücken heranzuziehen). Die Probeitems werden in der
Folgewoche während der Präsenzvorlesung besprochen.
Evaluation: hohe Teilnahmequote (78 %), E-Probeklausur wurde sehr positiv beurteilt
(„finde ich gut“: 4,7 von 5 Pkt.). Erfolgszuversicht wuchs v. a. bei klausuraffinen Stud.
Quelle: M. Krüger, M. Schmees (Hrsg.): E-Assessments in der Hochschullehre. Einführung, Positionen & Einsatzbeispiele. Frankfurt a. M. 2013, S. 55-57, 123-142
27 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Self-Assessments im Praxiseinsatz Akzeptanz, Nutzung, Evaluation
Semesterbegl. Self-Assessments schaffen bessere Möglichkeiten zu elaborierten
Feedback-Prozessen und zum Eingehen auf Schwierigkeiten und Bedürfnisse.
Akzeptanz und Nutzung von Self-Assessments
Zusatzangebote, die andere Lernkanäle bedienen, werden überwiegend positiv bewertet
die praktische Akzeptanz variiert nach Einsatzszenario (z. B. niedrige Beteiligung an
freiwilligen Self-Ass. zu Studienbeginn oder bei Fragengenerierung)
Evaluierte Konzepte zu lernprozessbegleitenden Self-Assessments
Fehlen übergreifender Analysen für semesterbegleitende Self-Assessments
hohe Akzeptanz für Clicker-Einsatz oder MobileQuiz (interaktivere Ausgestaltung von
Vorlesungen und andere Veranstaltungstypen), auch für Varianten wie Peer Assessment
hohe Teilnahmequote/sehr positive Beurteilung bei Prüfungsvorbereitung
wiederholte E-Übungen führen zu Reduktion des Learning-for-the-test-Verhaltens, wenn
zugleich Prüfung abgewertet wird (sagt extrinsisch motivierten Studierenden weniger zu)
28 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Self-Assessments im Praxiseinsatz Herausforderungen
Andere Szenarien weisen spezifische Hürden auf (Gruppengefühl bei distribuierten
videobas. Ass.; Fragengenerierung verleitet zum Formulieren zu einfacher Fragen).
Herausforderungen bei der Self-Assessment-Konzeption:
Didaktische Zielsetzung (Zweck der Self-Assessments, zu untersuchende Lernziele,
Auswahl geeigneter Assessment-Verfahren und Aufgabentypen etc.)
Wahl eines für den konkreten Assessmenttyp geeigneten Assessmentsystems
(ausreichender Funktionsumfang, Benutzerfreundlichkeit, Kompatibilität)
Planung und Durchführung des Self-Assessments (z. B. Tests obligatorisch oder
optional? – Aufgabenkomplexität darauf abstimmen)
Qualitätssicherung (Gütekriterien Validität – testet das Ass., was es testen soll? –, dia-
gnostische Tiefe – erlaubt das Testergebnis Rückschlüsse auf Probleme? –, Akzeptanz,
Aufwand/Ertrag; Item-Analyse – Nutzung stat. Verfahren zur Qualitätsbeurteilung)
profesionelle didaktische/technische Unterstützung der Lehrenden erforderlich
29 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
Unterstützungsangebote
Semesterbegleitende Self-Assessments als Herausforderung auch auf bil-
dungspolitischer Ebene
N2E2-Projekt, MWK Niedersachsen 2010-2012
„E-Assessment NRW“ an den Univ. Paderborn/UDE/Wuppertal, MIWF 2014-2016
http://ep.elan-ev.de/wiki/Hauptseite
30 Fachforum „Semesterbegleitende elektr. Self-Assessments“, Universität Kassel, 26.11.2014
HIS-Hochschulentwicklung
Dr. Klaus Wannemacher
HIS-Hochschulentwicklung im DZHW
E-Mail: [email protected]
Vielen Dank für Ihre Aufmerksamkeit