SYNERGY Induction to Pedagogy Programme - Evaluation of the Learning Resources (GERMAN)

Induction to Pedagogy

Evaluation der Lerneinheiten

SYNERGY Exchange (http://synergyexchange.eu/)

Erstellt im Rahmen des Erasmus+-Projektes “SYNERGY”

Hinführung

Modulübersicht & -ziele TEILE ZIELE

Einführung Modulübersicht

(Lern-) Ziele des Moduls

Teil 1:

Grundlagen

Grundlegende Definition

Herausstellen von Evaluationskriterien

Anwendungsbeispiele

Teil 2:

Evaluationsmethoden

Das “5 W-Fragen Modell”

Erläuterung und Anwendung

Teil 3:

Weitere Modelle und Tools

Das MERLOT Modell

Das LORI Modell

Das EFQUEL Netzwerk

Praktische Hinweise und Schluss-

bemerkung Entwicklung eines eigenen Rasters

Vielen Dank für Ihr Interesse und Ihre Aufmerksamkeit!

www.projectsynergy.eu facebook.com/pages/Synergy-for-the-SME-Business-Community www.linkedin.com/company/erasmus-synergy-project

Teil 1: Grundlagen


Evaluation von Lerneinheiten



Was ist Evaluation? • Evaluation is the process of determining merit, worth, or

significance; an evaluation is a product of that process.

(Scriven 2007)

Was verstehen wir unter “Lerneinheit”?

Wir verstehen Sie i.S.v. Ressource: Die Präsentation von in

Form von verschiedenen Medienformaten (Text, Video,

Software, etc.) aufbereiteten Informationen, welche die

Lernenden im Prozess einer Lernzielerreichung unterstützen

sollen.

GRUNDLEGENDE DEFINITIONEN

Warum evaluieren wir Lerneinheiten?

• Grundsätzlich, um ihre Qualität zu

bestimmen.

Die Qualität einer Lerneinheit hängt ab von

• ihren grundsätzlichen Eigenschaften, sowie

dem

• zeitlichen, örtlichen und sozialen Kontext.

Die Qualität wird aber immer auch durch den

Nutzer bestimmt, da dieser sie mit einer

bestimmten Intention benutzt. Ein absolut einheitliches Maß existiert also nicht.

GRUNDLAGEN

Wie evaluieren wir? • Typischerweise ist die Evaluation ein

Prozess, kein einmaliger Akt. Dieser Prozess ist systematisch und auf Basis von Kriterien gestaltet und geleitet. Etwa:

• Lernzielorientierung • Benutzerfreundlichkeit • Inhaltliche Richtigkeit • Zielgruppenangemessenheit • Verständlichkeit • Vollständigkeit • …

Vgl. Teil 2 für ein

Anwendungsbeispiel

GRUNDLAGEN

FÜR/ VON (Zielgruppe)

ZIEL (Lernziele)

BEDINGUNGEN (Rahmenbedingungen)

Beispiel: • FÜR Schweißer

(Auszubildende) • VON Experten

(Meister)

Beispiel: Um nachgefragte Kunden-wünsche erfüllen zu können.

Beispiel: • Baldige Frist • Begrenzte zeitliche

Kapazitäten des Experten • Starke Auslastung in der

Werkstatt der Schweißer

3 HAUPTKRITERIEN DER EVALUATION

Aufgabe 1: Bewerten Sie die Relevanz der nachfolgenden Kriterien.

(Skala von 1 – geringste Relevanz bis 5 – höchste Relevanz)

KRITERIUM BESCHREIBUNG BEW.

ZIELGRUPPE • FÜR 7 MA. der Verwaltung aus 2 Unternehmen • VON 1 externen Experten

2 1

LERNZIELE • Vorbereitung der Verwaltungsmitarbeiter aus

zwei Unternehmen für den russischen Markt

5

RAHMENBEDINGUNGEN

• Frist in 3 Monaten

• Niveau A2 als Leitlinie

• Geringes Budget

4 5 5

TEIL 1: WIEDERHOLUNGS-QUIZ



Teil 2: Evaluationsmethoden





Durchführung einer Analyse einer Lerneinheit/ -ressource ohne in zu komplexe oder zeitintensive Strukturen und Methoden zu verfallen.

2. EIN EINFACHER ANSATZ ZUR EVALUATION

Anwendung einer simplen Evaluationsstruktur, welche auf fünf einfachen Punkten beruht.

Verbesserungspotentiale aufzeigen und mögliche Interventionen nennen.

Fokus

Ziele

2. DIE 5 W-FRAGEN

• Wie lassen sich die Lernenden charaktierisieren?

• Wer ist die Lehrperson/ der Tutor? WER

• Was für eine Lerneinheit wird benötigt?

• Besteht Zugriff auf Online-Ressourcen? WAS

• Was sind die Lernziele?

• Ist es ein kurzfristig oder langfristig geplantes Training? WARUM

• Bis wann müssen die Lerneinheiten vorliegen?

• Wann kann das Training durchgeführt werden? WANN

• Hat das Unternehmen eigene Räumlichkeiten und die notwendige technische Ausstattung? WO

2. DIE 5 W-FRAGEN: MÖGLICHE ANTWORTEN

• 9 Personen zwischen 25-47 Jahren, primär Mitarbeiter der Verwaltung, keine Vorerfahrungen im Projektmanagement

• Keine internen Trainer oder Experten vorhanden WER

• Lerneinheiten im Bereich des Projektmanagement

• Zugriff auf und Erfahrungen im Umgang mit Online Ressourcen WAS

• 3 Unternehmen brauchen Lerneinheiten im Bereich des Management von Erasmus+-Projekten WARUM

• Spätestens am 31. März, aufgrund der Call-Fristen WANN

• Es stehen keine eigenen Räumlichkeiten zur Verfügung

• Die Lernenden brauchen Laptops der Tablet-PCs WO

2. LERNEINHEITEN SOLLTEN…

Unterstützen und anleiten: ein Vor-Ort-Training bereitet auf die konkrete Nutzung vor.

Online: Rahmenwerke und Vorlagen helfen, Lerneinheiten anzupassen und nutzbar zu machen.

An realen Sachverhalten anknüpfen: es bedarf keiner umfangreichen Theorie, sondern praktischen Beispielen.

5-W-FRAGEN: ANTWORTEN OPTIONEN

Aufgabe 2: Finde die richtige Ressource

5-W-FRAGEN: ANTWORTEN OPTIONEN

1. 10 über 55 Jahre alte Geringqualifizierte aus

dem Reinings- und Gartensektor

• Online Einheiten mit

Videos und

Simulationen sind für

die Zielgruppe nicht

angemessen.

• Kleine Handzettel mit

Symbolen und Listen

zum abhaken besser

geeignet.

• Mobiler Content kann

als Ergänzung

angeboten werden,

sofern die Lernenden

hiermit vertraut sind

2. Sicherheits- und Erste-Hilfe-Kurs; 2 der Lerner

sind für ihren Bereich “offizielle Verantwortliche”

3. Um den Sicherheitsstandards die eingeführt

werden gerecht zu werden

4. Derzeit sehr starke Auftragslage, deswegen

eigentlich kein Zeitkontingent

5. Eigene Räumlichkeiten sowie ein EDV-Raum

sind vorhanden

Aufgabe 2: Finde die richtige Ressource



19

Teil 3: Weitere Modelle und Tools





20

3. WEITERE MODELLE & TOOLS

Präsentation ausgewählter Kriterien, die als Grundlage für die Evaluation und Bestimmung der Qualität von Lerneinheiten dienen können. Diese Kriterien sind den folgenden Plattformen und ihrer Tools entnommen:

• MERLOT • LORI

Außerdem: Entdecken der Möglichkeiten und Services, welche das EFQUEL Netwerk im Kontext von E-Learning Lerneinheiten und -ressourcen bietet.

Sie können Lerneinheiten und –ressourcen hinsichtlich verschiedener Kriterien bewerten und eine Auswahl ebendieser vor dem Hintergrund Ihrer Bedarfe treffen.

Fokus

Ziel

21

3. WEITERE MODELLE & TOOLS

Präsentation ausgewählter Kriterien, die als Grundlage für die Evaluation und Bestimmung der Qualität von Lerneinheiten dienen können. Diese Kriterien sind den folgenden Plattformen und ihrer Tools entnommen:

• MERLOT • LORI

Sie können Lerneinheiten und –ressourcen hinsichtlich verschiedener Kriterien bewerten und eine Auswahl ebendieser vor dem Hintergrund Ihrer Bedarfe treffen.

Fokus

Ziel

22

MERLOT

Datenbank mit Bildungsressourcen, welche in sieben breite Kategorien unterteilt ist (www.merlot.org):

1. Kunst

2. Wirtschaftswissenschaften

3. Bildungs- und Erziehungswissenschaften

4. Geisteswissenschaften

5. Mathematik und Statistik

6. Naturwissenschaften und Technologie

7. Sozialwissenschaften

23

MERLOT QUALITÄTSKRITERIEN

Evaluation-Standards Hauptfragen

Inhaltsqualität 1. Sind die dargestellten Inhalte fachlich korrekt? 2. Sind die dargestellten Inhalte relevant für die

entsprechende Disziplin resp. das Lernziel?

Nutzen der Ressource

1. Zu welchem Zeitpunkt im Lernprozess kann die

Lerneinheit/ -ressource genutzt werden?

2. Was sind die Lernziele? Was sollten die Lernenden

am Ende des Lernprozesses können?

3. Wie lässt sich die Zielgruppe beschreiben?

Benutzerfreundlichkeit 1. Wie einfach ist es für den Tutor oder die Lernenden

eine Software beim ersten Mal zu benutzen?

24

LORI QUALITÄTSKRITERIEN (eLera)

eLera ist ein Zusammenschluss von Wissenschaftlern und Forschern, und beschäftigt sich mit der Evaluation von E-Learning. Der Fokus liegt hierbei auf E-Portfolios, der Gestaltung von Lernprozessen und –arrangements, etc.

eLera bietet Informationen und Tools an, mit denen sich sich Evaluationen durchführen lassen. Außerdem wird eine Datenbank mit bewerteten Lerneinheiten gepflegt und der Austausch innerhalb der Community gefördert.

25

LORI 9 QUALITÄTSDIMENSIONEN

1. Inhaltsqualität Richtigkeit, Genauigkeit, angemessenes Detaillevel,

ausbalancierte Vermittlung von Ideen

2. Lernzielorientierung Orientierung an Lernzielen, Aktivitäten, Assessments

und den Charakteristika der Lernenden

3. Rückmeldung und

Anpassung

Anpassung der Inhalte oder Rückmeldung auf Basis des

Inputs der Lernenden resp. ihrer Charakteristika

4. Motivation Motivation der Lernenden und Stärkung ihres Interesse

5. Anschaulichkeit Gestaltung der grafischen oder auditivien Information,

um die Lernprozesse zu unterstützen

26

LORI 9 QUALITÄTSDIMENSIONEN

6. Usability Einfache Navigation, benutzerfreundliches User-

Interface

7. Zugriff

Einfach erreichbar bzw. Einfacher Zugriff über

verschiedene Wege und auch für behinderte Personen.

Entsprechende Aufbereitung der Inhalte.

8. Wiederverwendung Kann in mehreren Kontexten und für verschiedene

Zielgruppen genutzt werden

9. Orientierung an

Standards Genügt internationalen Standards und Spezifikationen

27

www.EFQUEL.org

28

EFQUEL

29

PART 3: WIEDERHOLUNGS-QUIZ

Offizielle Zertifizierung

Kostenfreier Zugriff

Orientierung an den Bedürfnissen der Zielgruppe

Validiert durch eine offizielle Behörde

Benutzerfreundlichkeit

Gestaltet für den mehrfachen Einsatz

Anpassbarkeit und Rückmeldung

Bitte wählen Sie aus der untenstehenden Liste die Kriterien, die in Anlehnung an die

vorgestellten Modelle, als Qualitätskriterien von Lerneinheiten gesehen werden

können.

Aufgabe 3:

30

PART 3: WIEDERHOLUNGS-QUIZ

Offizielle Zertifizierung

Kostenfreier Zugriff

Orientierung an den Bedürfnissen der Zielgruppe

Validiert durch eine offizielle Behörde

Benutzerfreundlichkeit

Gestaltet für den mehrfachen Einsatz

Anpassbarkeit und Rückmeldung

Bitte wählen Sie aus der untenstehenden Liste die Kriterien, die in Anlehnung an die

vorgestellten Modelle, als Qualitätskriterien von Lerneinheiten gesehen werden

können.

WAHR

FALSCH

FALSCH

Aufgabe 3:

WAHR

WAHR

WAHR

FALSCH

31

LITERATUR- & QUELLENVERZEICHNIS

• www.merlot.org

• Scriven, M. (2007). The logic of evaluation. In H.V. Hansen, et. al.(Eds),

Dissensus and the Search for Common Ground, CD-ROM (pp. 1-16).

Windsor, ON: OSSA.

• Leacock, T. L., & Nesbit, J. C. (2007). A Framework for Evaluating the

Quality of Multimedia Learning Resources. Educational Technology &

Society, 10 (2), 44-59.

• Prince Edward Island Department of Education (2008). Evaluation and

Selection of Learning Resources: A Guide, Charlottetown, Prince

Edward Island - Canada - http://www.gov.pe.ca/educ

• Student Achievement and Supports Branch Saskatchewan Ministry of

Education (2013). Learning Resources Evaluation Guidelines,

Saskatchewan Ministry of Education – Canada,

http://www.wncp.ca/media/49329/wncptool_%20assessing_validating.p

df

http://www.merlot.org/

http://www.gov.pe.ca/educ

http://www.gov.pe.ca/educ

http://www.wncp.ca/media/49329/wncptool_ assessing_validating.pdf

http://www.wncp.ca/media/49329/wncptool_ assessing_validating.pdf

32



33

Praktische Hinweise und

Schlussbemerkung





34

PRAKTISCHE HINWEISE & SCHLUSSBEMERKUNG

Sie haben nun verschiedene Evaluationskriterien, -modelle und –methoden kennengelernt, die sich sehr einfach anwenden lassen und dennoch zu wertvollen Ergebnissen führen. In jedem Fall jedoch möchten wir Sie daran erinnern, dass Sie die Evaluationskriterien und –methode Ihrem spezifischen Hintergrund und dem geplanten Einsatzzweck einer Lerneinheit/ -resource entsprechend anpassen. Aus diesem Grund empfehlen wir Ihnen, dass Sie

EIN EIGENES RASTER ENTWICKELN

welches Ihre Wünsche und Bedarfe aufnimmt, aber,

VERGESSEN SIE NICHT: Überarbeiten Sie dieses Raster regelmäßig auf Basis von Rückmeldungen!

35

HERZLICHEN GLÜCKWUNSCH – SIE HABEN ES GESCHAFFT!

Sie wissen nun, worauf Sie achten müssen, wenn Sie die Qualität einer Lerneinheit bewerten wollen.

Sie können Ihr Wissen praktisch anwenden und ein differenziertes Urteil

fallen resp. differenzierte Entscheidungen treffen.

36

