Upload
katrien-de
View
215
Download
0
Tags:
Embed Size (px)
Citation preview
Beoordelen van competenties:Ontwerpen van authentieke performance
assessments
Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR ([email protected])
Wat gaan we doen?
CGO vraagt ‘andersom denken’ Performance assessment / authentiek assessment Ontwerpen van een AA:
Stappenplan Stiggins 5-dimensionale model authentiek beoordelen
Rubrics: hoe, waarom (niet)?
Andersom denken
Beroepsrelevante,
herkenbare
uitkomsten
(= competenties)
Onderwijs:
lessen
Beoordelings-
criteria en situatie
voor assessment
Vakken
Inhoud
Toetsen
Onderwijs:
Leeractviteiten
Competentiegericht beoordelen
CGO zegt iets over het wat niet over het hoe Wat gebaseerd op de SHL competenties / werkprocessen Wat moet terugkomen in beoordelingscriteria De geschikte toetsmethode hierbij is, is pas vervolgvraag
Maar: binnen CGO filosofie wel andere doelen voor “toetsen” andere “toets”kenmerken hoog gewaardeerd én bepaalde beoordelingsvormen passen beter bij
competentiegerichte filosofie
Cruciale vraag in CGO
Om te beoordelen of iemand goed kan functioneren in de beroepspraktijk, wat moet er dan allemaal getoetst worden?
En als we dat dan weten: Hoe maken we dan een goede toets hiervoor? Hoe laten we de praktijk op een goede manier
terug komen in de toetsing?
Inkomertje 1……………… Competentie?
“Koe Bertha is al twee dagen niet opgestaan, haar poep is dunner dan het moet zijn en je meent iets te zien aan haar vacht en ogen. De boer is er niet. Wat nu?”
Beschrijf de handelingen die je zou uitvoeren.
Waar hou je rekening mee?
Competente dierenverzorger?
‘Kennis over’ is niet genoeg voor competentie uitspraak
Observatie van daadwerkelijke handelen nodig (actie)
Interactie met koe in de stal en overleg met de boer (context)
Bewust handelen?
Inkomertje 2 …….. Competentie??
Vind je het praktische gedeelte van het
rijexamen een goed examen?
Waarom wel? Waarom niet?
Competente automobilist?
Half uurtje goed rijden kan toevalstreffer zijn
Niet alle activiteiten behorende bij goed autorijden aan bod gekomen
Niet alle voorkomende situaties gedekt Bewust handelen? Routine?
WAT wil je toetsen? Piramide van Miller
Knows Feitgerichte toetsen: MCQ, open vragen, mondeling…..
Knows how Contextueel rijke toetsen:MCQ, open vragen, mondeling…..
Shows how Performance assessment in vitro:Observatie, simulaties…………....
DoesPerformance assessment in vivo: Praktijkbeoordeling, video…..
Aut
hent
icite
it
Performance assessment (PA)
Laag 3 / 4 van Miller
Beoordelen of iemand kan functioneren in deberoepspraktijk Demonstreren van gedrag: ACTIE In betekenisvolle situatie: IN CONTEXT
Achterliggende gedachte: als iemand goed gedrag laat zien bezit hij/zij de onderliggende KVA’s
Controle op conducteurs
UTRECHT – Kantoorbedienden en andere medewerkers van de NS kijken in de trein de conducteur op de vingers. Het NS-personeel houdt bij hoe vaak een conducteur kaartjes controleert en of er voldoende informatie bij vertragingen wordt gegeven.
Performance assessment gekaderd
Proeve vanbekwaamheid
Performanceassessment
Retrospectievebeoordeling
MysteryguestA
ssess
or
is:
expliciet aanwezig
impliciet aanwezig
Te beoordelen gedrag is:
reactie op natuurlijke gang van zaken
reactie op uitlokking
Voorbeeld:Beoordelingen tijdens de LIO (leraar in opleiding)-
stage
Voorbeeld:360 graden feedback
In vitroIn vivo
Niet denken vanuit methode
Het maken van PA mag niet het doel op zich zijn!
WAT wil ik gaan beoordelen?
Is PA de goede vorm hierbij?
Beroepsonderwijs: toetsen relevant voor praktijk Authentiek beoordelen
Cruciaal criterium Inspectie: Is de
gekozen beoordelingsvorm
passend?
Wat maakt een assessment
authentiek???
“The criterion for a good test is its congruence with reality” Wiggins (1993, p. 206)
Hoe nu aan de slag?
4-stappenplan van Stiggins voor systematisch ontwerpen van performance assessments
5 dimensionaal model voor authentieke toetsing Gulikers (2005)
4 stappen
1. Toetsspecificatieplan: Redenen voor beoordeling
2. Prestatiespecificatie: Welke prestatie moet geëvalueerd worden en onder welke condities
3. Opdrachten: creëren van mogelijkheid geven tot demonstreren van competent gedrag
4. Beoordelingsplan: om beoordeling zo expliciet, gemotiveerd en betrouwbaar mogelijk te maken
Stap 1: Toetsspecificatieplan
Doel en functie van beoordeling:summatief en/of formatief?Inrichten van onderwijstraject (EVC)?
Specificeer de studenten (aantal, niveau) Wie zijn de beoordelaars en de beslissers? Relevante randvoorwaarden?
Stap 2: prestatiespecificatie
WAT wil je gaan beoordelen? WAT moet student laten zien?
Wat is beroepspraktijk van deze opleiding? Kritische beroepssituatie benoemen Rollen van opleiding benoemen
Welke competentie(s) zijn hierin nodig?
Maar hoe krijgt dit vorm in een concreet assessment?
Gebruik van 5-dimensionale model :
5 assessment aspecten kunnen
meer / minder
op beroepspraktijk (referentiesituatie) lijken
5-dimensionaal model voor authenticiteit
Authentieke beoordeling
&
Authentieke instructie
Authenticiteit is méér dan alleen een fysieke context!
Overeenkomstig de beroepspraktijk: 5 dimensies
Taak: opdracht die leerling moet uitvoeren
Fysieke context: omgeving/situatie waarin taak moet worden uitgevoerd
Sociale context: samenwerkings- en hulp (on)mogelijkheden
Vorm: leer- / assessmentmethode, onafhankelijk van inhoud
Criteria: punten waarop leerling wordt beoordeeld
Vervolg stap 2: Opdrachtenschema
1. Welke criteria gebruikt praktijk voor goed handelen in beroepssituatie?
2. Vertaal criteria naar niveau van de student en in concreet waarneembaar gedrag
Welke taken passen bij deze criteria? In welke context? Vraagt dit samenwerking / hulp? Gaat het om een product of proces? (vorm)
Stap 3: Ontwerp van opdrachten
Uitlokken van gedrag? Wil je gaan uitlokken of juist niet? Transparant maken in assessmentopdracht
Assessment programma: 1 PA genoeg om gehele kritische beroepssituatie te
beoordelen? Meerdere PA’s nodig? Combineren met andere toetsvormen?
Competentie assessment programma (Baartman, et al 2004); Protocol portfolio scoring (Straetmans, 2004)
Stap 4: beoordelingsplan
Beoordelingscriteria Beoordelen van gedrag vraagt om beoordelingscriteria
gericht op observeerbaar gedrag!!
Gebruik van rubrics leent zich goed: niveaus van gedrag
Welk type score is nodig?Holistisch of analystisch
Transparant maken voor alle partijen!
Stap 4: beoordelingsplan, vervolg
Beoordelaars Wie beoordeelt / hoeveel beoordelaars? Zelf-assessment / peer-assessment onderdeel?Training nodig voor assessoren?
Beoordelingsprocedure Hoe verloopt beoordelingsproces / hoe komt
eindoordeel tot stand? (zwak punt!)
Hoe verloopt feedback?
Rubric: wat is het?
= beschrijving van een aantal concreet te observeren gedragsniveaus (van eenvoudiger naar complexer) op een beoordelingscriterium
Verschillende soorten schalen Anayltisch / holistisch Kwalitatief / kwantitatief
Competentie: samenwerken
Beoordelingscriterium: luisteren naar anderen
1. Nooit
2. Soms
3. Vaak
4. Vrijwel altijd
Competentie: leiding geven
Beoordelingscriterium: omgaan met kritiek
1
Student kan niet tegen kritiek en reageert agressief /
verdedigend
2
Student negeert kritiek en gaat eigen gang
3
Student luistert naar kritiek van anderen maar doet er niets mee
4
Student doet actief iets met kritiek om eigen gedrag te verbeteren
Competentie: samenwerken in team
Beoordelingscriterium: Actieve inzet tonen
Neemt initiatieven 1 2 3 4 5 Wacht af
Zegt tijdig wat hij/zij wil
1 2 3 4 5 Komt achteraf met kritiek
Neemt voorzittersrol of ondersteunt deze
1 2 3 4 5 Houdt zich niet aan vergaderprocedures
Geeft steeds aan wat gedaan moet worden
1 2 3 4 5 Gaat eigen gang
Voordelen / mogelijkheden van Rubrics• Communicatie instrument: transparantie voor
leerlingen / beoordelaars
• Ontwikkelen en voorbereiden van leerlingen
• Trainen van beoordelaars: zelfde intrepretatie geven
• Objectievere beoordeling
• Geven van feedback
Zeer waardevol voor:
1. Aansluiting onderwijs – formatief / summatief assessen (zwak!!)
2. Gebruiken bij alle beoordelingsvormen
Maar gaat niet vanzelf
Rubric maken is erg tijdsintensief Vraagt samenwerking en afstemming tussen betrokkenen Alles willen objectiveren kan niet Valkuil: terug naar gedetailleerd beoordelen ipv holistisch Nog niet vaak in onderwijs / formatief gebruikt Gevaar van wildgroei aan rubrics
Zoeken naar een goede balans!