Anette Hiemisch

Institut für Psychologie

Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen

„Teaching is Touching the Future –

Emphasis on skills.”

Die Validität selbsteingeschätzter Kompetenzen

Shift from teaching to learning:Shift from teaching to learning:

→ → Ökonomische und valide Ermittlung erworbener

Kompetenzen

Spezifische methodische ProblemeSpezifische methodische Probleme::

Validität der Instrumente

Angemessene Evaluationseinheit

Geeignete Validierungskriterien

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Die Validität selbsteingeschätzter Kompetenzen

Selbsteingeschätzte Kompetenzen:Selbsteingeschätzte Kompetenzen:

Ökonomische Möglichkeit der Bewertung im Studium

erworbener Kompetenzen

Mit einer Reihe von Problemen verbunden:Mit einer Reihe von Problemen verbunden:

BTA-Heuristik

Wahrgenommene Schwierigkeit der Kompetenz

„Unskilled but unaware“

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Unskilled but Unaware

Mangelnde „Meta-kognitive“ SkillsMangelnde „Meta-kognitive“ Skills

wenn Menschen eine Kompetenz nicht im

hinreichenden Umfang besitzen,

fehlen die meta-kognitiven Fertigkeiten zur

Einschätzung eben dieser Kompetenzen

Neigung, sich dann zu gut einzuschätzen

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Unskilled but Unaware

(Krueger & Dunnig, 1999)

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Die Validität selbsteingeschätzter Kompetenzen

Konsequenzen für die Evaluation:

Systematische Verzerrung der Messungen in

Abhängigkeit von dem zu messenden Merkmal

Mittelwerte ungeeignet zum Vergleich von

Lehreinheiten

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Evaluationseinheit & Validierungskriterium

EvaluationseinheitEvaluationseinheit

Lehr/Lerneinheiten, in denen bestimmte

Kompetenzen vermittelt werden:

z.B. Rhetorikkurs

ModulModul

ValidierungskriterienValidierungskriterien

Kompetenzmessung

Modulnote?Modulnote?

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Modul „Methodenlehre“

3 Semester

4 Vorlesungen

3 Tutorien

1 Seminar

1 Praktikum

Validierungskriterium

ModulnoteModulnote

Seminar „Einführung in die Allgemeine Psychologie“

Einführungskurs 1. Semester

Validierungskriterium

KlausurergebnisKlausurergebnis

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen (Braun, Gusy, Leidner, & Hannover, 2008)

Fachkompetenz (6 Items)

Methodenkompetenz (3 Items)

Präsentationskompetenz (2 Items)

Kommunikationskompetenz (5 Items)

Kooperationskompetenz (5 Items)

Personalkompetenz (5 Items)

Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Stichprobe Modul:Stichprobe Modul:

Kohorte 2010: Kohorte 2010: 56 Studierende im Alter von 20 bis 37 (M = 22.8, w = 50). 52 Prüfungs- anmeldungen, 41 Teilnehmende.

Kohorte 2011: Kohorte 2011: 59 Studierende im Alter von 19 bis 42 (M = 22.3, w = 54). 53 Prüfungs- anmeldungen, 25 Teilnehmende.

Stichprobe Seminar: Stichprobe Seminar: 15 Studierende

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Ablauf Modulevaluation:

Evaluation Modul „Methodenlehre“ Modul „Methodenlehre“ eine bzw. drei Wochen vor der Prüfung (Code)

Aushändigung eines Bogens mit Code- und Notenabfrage nach Abschluss der Prüfung

Mögliche Noten: 1.0, 1.3, 1.7, 2.0 bis 4.0, 5.0

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methoden

Ablauf Seminarevaluation:

Evaluation vier Wochen vor Semesterende

Freiwillige Klausur in der letzten Seminarsitzung

15 Multiple-Choice Fragen zu Konzepten und Grundlagen der Allgemeinen Psychologie

3 Fragen zu Techniken wissenschaftlichen Arbeitens

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Hypothesen

H1: Konvergente und divergente Korrelationen ModulnoteH1: Konvergente und divergente Korrelationen Modulnote

Konvergent: Konvergent: Fachkompetenz, Methodenkompetenz, Kommunikationskompetenz, Personalkompetenz

Divergent: Divergent: Präsentationskompetenz, Teamkompetenz

H2: „Unskilled but unaware“:H2: „Unskilled but unaware“:

Die konvergenten Korrelationen sind höher, wenn weniger kompetente Studierende aus der Berechnung ausgeschlossen werden.

H3: Vergleich Modul und Seminar bezüglich Fach-und H3: Vergleich Modul und Seminar bezüglich Fach-und MethodenkompetenzMethodenkompetenzDie konvergenten Korrelationen fallen im Seminar kleiner aus.

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Ergebnisse

Abbildung 1: Verteilung Noten

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Ergebnisse

Kompetenzenr (N = 66)

sample123

r(N = 51)

sample12

r(N = 39)

sample23

Fachkompetenz-.37** -.41** -.01

Methodenkompetenz-.10 -.26* .20

Kommunikationskompetenz -.10 -.23(*) .01

Personalkompetenz-.30* -.27* -.25*

Präsentationskompetenz.05 -.10 .05

Teamkompetenz.01 -.01 .02

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Ergebnisse

M SD Test Wissen

Test Methode

Fachkompetenz 1.79 .57 -.24 -.58*

Methodenkompetenz 2.11 .73 -.29 .02

Personalkompetenz 1.62 .54 -.20 .56*

Test Wissen 25.33 6.59    

Test Methode 9.93 3.63    

Tabelle 3: Validierung Seminar

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Diskussion

ModulModulValide Erhebung der Skalen Fach- und Personalkompetenz

ABERABERKompetenzniveau beeinflusst Validität

→ → Ergebnisse sprechen für „unskilled-unaware“-Hypothese

→ → Selbsteingeschätzte Kompetenzen nicht geeignet für Evaluation

SeminarSeminarKeine sinnvollen Zusammenhänge zwischen selbst-eingeschätzten Kompetenzen und Klausurergebnissen

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Diskussion

AusblickAusblick

Ökonomische Methode der Kompetenzmessung

Modelle des Kompetenzerwerbes und der Kompetenzmessung

Aus Modellen des Kompetenzerwerbes Merkmale von Lehrveranstaltungen und Modulen ableiten, die Kompetenzerwerb fördern

diese Merkmale ermitteln

→ → Kompetenzorientierte ModularisierungKompetenzorientierte Modularisierung

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Diskussion

KritikKritik

Note geeignetes Validierungskriterium?

Keine Kontrolle von möglichen Moderatorvariablen (Interesse, Motivation, usw.)

Kleine Stichprobe

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Anette Hiemisch

Institut für Psychologie

Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen

Vielen Dank für Ihre

Aufmerksamkeit

Ergebnisse

Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

Ergebnisse

Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

Ergebnisse

KompetenzenM SD α

Fachkompetenz2.56 .68 .85

Methodenkompetenz2.35 .92 .83

Kommunikationskompetenz1.74 .94 .90

Personalkompetenz2.37 .89 .87

Präsentationskompetenz1.48 1.11 .90

Teamkompetenz3.07 .82 .89

Tabelle 1: Deskriptive Statistik