van docenten delen van competenties · voor kwaliteit bij het beoordelen van leraren en wat er aan kwaliteitsbevordering kan worden gedaan. Dit laatste hoeft niet per se inge wikk

1

Deze brochure (oplage 250 exemplaren) wordt uitgegeven door het Landelijk Programmamanagement Educatief

Partnerschap van de HBO-raad en wordt in een beperkt aantal gratis verspreid onder de lerarenopleidingen.

U kunt deze brochure ook vinden op de EPS-website: www.educatiefpartnerschap.nl/publicaties

Dr. Gerard J.J.M. StraetmansProf.Dr. Piet F. Sanders

Beoordelen van competenties

van docenten

2

Voorwoord

Het lerarentekort en de noodzaak verkorteopleidingsroutes naar het lerarenberoep te

ontwikkelen hebben de discussie over het beoordelenvan leraren nieuw leven ingeblazen. Hoe kan dekwaliteit van de in-, door- en uitstroom in verschil-lende opleidingsroutes worden gewaarborgd? Met hetoog hierop wordt er de afgelopen jaren in Nederlandgewerkt aan de ontwikkeling van verschillende'assessment'-instrumenten. Termen als 'assess-ment', 'competenties' en 'portfolio' zijn voor veellerarenopleiders nieuw. Wat is voor hen het belanghiervan? Lerarenopleiders zijn gediend met antwoor-den op vragen als:� Wat is 'assessment' precies? Wat voor 'assess-

ment'-systemen bestaan er in het buitenland?Welke ervaringen zijn daarmee opgedaan?

� Aan welke eisen moet de formulering van leraars-competenties voldoen?

� Aan welke kwaliteitseisen moeten 'assessment'-instrumenten voldoen?

� Welke instrumenten zijn nu beschikbaar of inontwikkeling?

� Kunnen lerarenopleiders de nu ontwikkelde'assessment'-instrumenten zomaar gebruiken?

Wat zijn de sterke en zwakke kanten ervan?Deze vragen zijn vanuit het EPS-project Flankerendonderzoek voorgelegd aan de auteurs van dezebrochure. Dr. Gerard Straetmans en prof. dr. PietSanders zijn erin geslaagd voor een publiek vanlerarenopleiders en beleidsmakers op heldere wijzeuiteen te zetten wat er allemaal komt kijken bij hetbeoordelen van competenties van docenten. Metsprekende voorbeelden en schema's doen zij decomplexiteit van de materie uit de doeken.Straetmans en Sanders laten zien wat er nodig isvoor kwaliteit bij het beoordelen van leraren en water aan kwaliteitsbevordering kan worden gedaan. Ditlaatste hoeft niet per se ingewikkeld te zijn. Tegen deachtergrond van te stellen kwaliteitseisen beschrij-ven de auteurs een viertal instrumenten ter beoorde-ling van leraarscompetenties die nu in Nederland inontwikkeling zijn. Zij evalueren verschillendekenmerken van deze instrumenten en doen sugges-ties voor het gebruik en de kwaliteitsverbeteringervan. Moge deze aflevering van de EPS-reeks menigeprofessionele discussie rond het opleiden en beoorde-len van leraren verhelderen!

Dr. C.N. BrouwerProjectleiding Flankerend onderzoek EPS

3

InhoudVOORAF (binnenzijde omslag)VOORWOORD ............................................................................................................................... ............................. pag. 2INLEIDING ............................................................................................................................... .................................. pag. 51 OPLEIDEN OP BASIS VAN COMPETENTIES ................................................................................................ pag. 61.1 COMPETENTIES: IS ER IETS NIEUWS ONDER DE ZON? ........................................................................... pag. 71.2 COMPETENTIES: OP ZOEK NAAR EEN BRUIKBARE OMSCHRIJVING ....................................................... pag. 81.3 COMPETENTIEGERICHTE LERARENOPLEIDING ....................................................................................... pag. 102 BEOORDELEN VAN COMPETENTIES ........................................................................................................... pag. 122.1 FUNCTIES VAN COMPETENTIEBEOORDELING.......................................................................................... pag. 122.2 METHODEN VOOR HET BEOORDELEN VAN COMPETENTIES .................................................................. pag. 152.2.1 Methoden voor het verzamelen van bewijs voor competentie in een werksituatie .............................. pag. 172.2.2 Beoordelen onder testcondities .................................................................................................................... pag. 232.3 VAN SCORES NAAR CONCLUSIES ............................................................................................................... pag. 322.3.1 Over doelprestaties en middelprestaties .................................................................................................... pag. 322.3.2 Kwaliteitsaspecten van een assessment .................................................................................................... pag. 352.4 DE BESTE METHODE IS EEN METHODEMIX. .............................................................................................. pag. 412.4.1 Assessment Center ............................................................................................................................... ........ pag. 442.4.2 De portfolio methode ............................................................................................................................... ..... pag. 483 ASPECTEN EN KWALITEITSCRITERIA VAN COMPETENTIE-INSTRUMENTEN ..................................... pag. 543.1 ASPECTEN VAN COMPETENTIE-INSTRUMENTEN VOOR DOCENTEN ................................................... pag. 543.1.1 Wie wordt beoordeeld? ............................................................................................................................... .. pag. 543.1.2 Waartoe wordt beoordeeld? .......................................................................................................................... pag. 54

4

3.1.3 Wat wordt beoordeeld? ............................................................................................................................... .. pag. 553.1.4 Hoe wordt beoordeeld? ............................................................................................................................... ... pag. 573.1.5 Door wie wordt beoordeeld? ......................................................................................................................... pag. 593.2 KWALITEITSCRITERIA VOOR COMPETENTIE-INSTRUMENTEN VOOR DOCENTEN ............................ pag. 623.2.1 Psychometrische kwaliteitscriteria ............................................................................................................ pag. 633.2.2 Procedurele kwaliteitscriteria ...................................................................................................................... pag. 644 BESCHRIJVING EN EVALUATIE VAN COMPETENTIE-INSTRUMENTEN .................................................. pag. 664.1 COMPETENTIE-INSTRUMENT �BEWEZEN GESCHIKT� .............................................................................. pag. 664.1.1 Beschrijving van �Bewezen Geschikt� ........................................................................................................... pag. 664.1.2 Evaluatie van �Bewezen Geschikt� ............................................................................................................... pag. 724.2 COMPETENTIE-INSTRUMENT �BEKWAAM BEOORDEELD� ....................................................................... pag. 754. 2.1 Beschrijving van �Bekwaam Beoordeeld� ..................................................................................................... pag. 754.2.2 Evaluatie van �Bekwaam Beoordeeld� .......................................................................................................... pag. 804.3 COMPETENTIE-INSTRUMENT �INTEGRATIEF BEOORDELINGSMOMENT� ............................................. pag. 824.3.1 Beschrijving van �Integratief BeoordelingsMoment� .................................................................................. pag. 824.3.2 Evaluatie van �Integratief BeoordelingsMoment� ....................................................................................... pag. 864.4 COMPETENTIE-INSTRUMENT �ALS DOCENT IN BEELD� ........................................................................... pag. 874.4.1 Beschrijving van �Als Docent in Beeld� ......................................................................................................... pag. 874.4.2 Evaluatie van �Als Docent in Beeld� ............................................................................................................. pag. 914.5 BESCHRIJVING VAN INSTRUMENTEN VOOR DE BEOORDELING VAN COMPETENTIES VAN

PRAKTISERENDE DOCENTEN ...................................................................................................................... pag. 92

TOT SLOT ............................................................................................................................... ................................... pag. 96INTERESSANTE WEBSITES ............................................................................................................................... ....... pag. 98LITERATUUR ............................................................................................................................... .............................. pag. 99COLOFON ............................................................................................................................... ................................... pag. 108

5

Competenties en competentiegericht opleidenstaan momenteel in de schijnwerpers van

onderwijskundig Nederland. Vaktijdschriften,studiedagen en seminars, ze staan vaak bol van deverhalen over hoe het competentiedenken de kwali-teit van het opleiden kan verbeteren. Wie zijn oor teluisteren legt, bespeurt nogal wat scepsis. �Is dit hetnu?�; �Hebben we dit al niet eerder gehoord?�; of �.Laten we maar even rustig afwachten want strakskomen ze toch weer met iets anders!�. Eerlijkereacties hierop kunnen hard aankomen: Nee, dit ishet niet. Dé oplossing zal er trouwens nooit komenaangezien de maatschappij en dus het onderwijs aanvoortdurende verandering onderhevig is. Ja, dit heeftu al eerder gehoord; het denken in competenties isniet nieuw. In de tachtiger jaren van de vorige eeuwis met name in het beroepsonderwijs veel te doengeweest over het formuleren van meetbare en vooralle betrokken partijen herkenbare uitkomsten vanberoepsonderwijs. De huidige discussies overcompetentiegericht onderwijs gaan echter verder. Zegaan over het loslaten van de gedachte dat er maaréén of enkele manieren zijn om een beroeps-

kwalificatie te halen. Ze gaan over de wens om de nunog vaak starre programmering in afzonderlijkeleergebieden los te laten. En ze gaan over eenopleidingsdidactiek die studenten meer verantwoor-delijkheid geeft voor het eigen leren ten einde deextrinsieke motivatie (juist zoveel doen dat je destudiepunten binnenhaalt) om te buigen in een meerintrinsiek gerichte motivatie.Deze brochure is geheel gewijd aan het beoordelenvan competenties. In hoofdstuk 1 gaan we terugnaar de �roots� van het competentiedenken; wewagen een poging tot verheldering van het begrip enwijden enkele beschouwingen aan de implementatieervan in de lerarenopleiding. In hoofdstuk 2 wordt defocus gericht op functies van competentie-beoordeling, op sterke en zwakke eigenschappen vandiverse beoordelingsmethoden en op de noodzaakom te kiezen voor een methodemix. Hoofdstuk 3 isgeheel gewijd aan een beschrijvingskader voorassessments. In hoofdstuk 4 tenslotte wordenenkele, momenteel in de belangstelling staandeassessments tegen het licht gehouden, gebruik-makend van het beschrijvingskader uit hoofdstuk 3.

Inleiding....... pag. 55....... pag. 57....... pag. 59....... pag. 62....... pag. 63....... pag. 64....... pag. 66....... pag. 66....... pag. 66....... pag. 72....... pag. 75....... pag. 75....... pag. 80....... pag. 82....... pag. 82....... pag. 86....... pag. 87....... pag. 87....... pag. 91

....... pag. 92

....... pag. 96

....... pag. 98

....... pag. 99

....... pag. 108

6

Een werkloze jongeman moet van Arbeids-voorziening een baan zoeken. Op een van zijn

dwaaltochten door de stad ziet hij dat de plaatselijkeMercedes dealer iemand zoekt om de auto�s, dieaankomen van de importeur, schoon te maken methet oog op de aflevering aan de klant. Hij meldt zichen krijgt de baan op voorwaarde dat hij een cursus�autopoetsen� volgt. Zijn verweer dat iedereen auto�skan poetsen, wordt weggewuifd met het motief dathet hier niet om gewone auto�s gaat maar om auto�svan het merk Mercedes. De cursus blijkt meer om hetlijf te hebben dan verwacht:� theorie over de samenstelling van autolakken;� theorie over de samenstelling van veelgebruikte

kunststoffen in de autofabricage;� theorie over de invloeden van schoonmaakmid-

delen op lakken en kunststoffen;� theorie over de samenstelling van autowas.De cursus wordt afgesloten met een schriftelijketoets.

Overdreven? Ja en nee. Ja, omdat dit natuurlijk echtte gek voor woorden is. Nee, omdat er een gelijkenisis met nogal wat beroepsopleidingen waarvan hetcurriculum werd opgebouwd op basis van wat dezittende staf belangrijke kennis en vaardighedenvond (�Dit is niet zomaar kennis...�), in plaats van opeen analyse van de taken waarmee beginnendeberoepsbeoefenaren geconfronteerd worden.Competentiegericht opleiden behelst dat de opbouwvan het curriculum wordt gebaseerd op de start-bekwaamheden (competenties) van de beroeps-beoefenaar en ook dat beslissingen over voortgang encertificering daarop gebaseerd zijn.

Competentiegericht opleiden is niet zomaar uitde lucht komen vallen, zeker niet als thema

binnen de lerarenopleidingen. De klachten over dekwaliteit van de leraren, de ernstige tekorten aanleraren op de arbeidsmarkt, de veranderde didactiekin alle vormen van onderwijs waarvoor lerarenworden opgeleid, zijn enkele belangrijke redenen voorde populariteit van het onderwerp in kringen vanlerarenopleiders.

1 · Opleiden op basis van competenties

7

Straks wijden we enkele woorden aan de vernieuwin-gen van de lerarenopleidingen in Nederland. Maarpas nadat we getracht hebben het lastige begripcompetentie te omschrijven. We beginnen met eenkorte beschouwing over het ontstaan vancompetentiegericht opleiden, zo�n 40 jaar geleden inde Verenigde Staten.

1.1 Competenties: is er iets nieuws onder de zon?Nogal wat mensen denken dat het competentie-denken iets is van de laatste tien jaar. Niets isminder waar. Weliswaar heeft de discussie de laatstetien jaar een enorme opleving doorgemaakt, feit isdat de wortels liggen in het begin van de jaren zestigvan de vorige eeuw in de Verenigde Staten. Het was detijd dat de Amerikanen hevig geschokt waren door-dat zij op ruimtevaartgebied overvleugeld waren doorwat denigrerend een �totalitaire landbouwstaat� werdgenoemd1. Onmiddellijk werden vraagtekens gezet bijde kwaliteit van het onderwijs en maatregelengenomen. Voortaan moest in heldere en eenduidiggeformuleerde doelstellingen worden vastgelegd waaronderwijs toe moest leiden. Ook de leraren-opleidingen moesten onder het mes en begin zeventi-ger jaren was het onderwijs in veel teacher collegescompetency-based.

Met technieken die ontleend waren aanbehaviouristische denkbeelden op het gebied vanleren en instructie werd het geven van onderwijsgeanalyseerd in reeksen van goed-afgebakendetaken. De ratio hiervan was dat men dacht, dat alsleraren de geïdentificeerde en beschreven takenzouden beheersen, ze goede docenten zouden zijn. Deteleurstelling was groot toen er geen duidelijkerelatie bleek te bestaan tussen het correct kunnenuitvoeren van de honderden goed-afgebakende takenin de opleiding en het geven van goed onderwijs(Houston, 1974). De fout die men begaan heeft, is datuitvoering van taken gelijk werd gesteld aan compe-tentie. In die visie is iemand bijvoorbeeld een compe-tent tv-reparateur als hij in staat is om de 25 meestvoorkomende storingen bij televisietoestellen teverhelpen. Daarbij wordt voorbij gegaan aan het feitdat er storingen kunnen zijn die om een combinatievan handelingsroutines vragen of om wijzigingendaarvan. De competentie is dan een optelsom vantaken die uitgevoerd kunnen worden, maar nietmeer dan dat. Van deze wel erg beperkte kijk opcompetentie zijn we inmiddels verlost. Maar om noute zeggen dat we nu precies weten wat we moetenverstaan onder competentie is toch wat veel gezegd,zoals uit de volgende paragraaf zal blijken.

1 In 1957 waren de Sovjets de eersten om een kunstmaan te lanceren en deze in een baan om de aarde te brengen.

8

1.2 Competenties: op zoek naar een bruikbareomschrijvingEen belangrijke fout van de vroege op behaviouris-tische leest geschoeide competentiebeweging is datze bij het analyseren van taken teveel bleef uitgaanvan de bestaande curricula. De leerstof, onderge-bracht in verschillende vakken, was het vertrekpuntin plaats van de competenties van de betreffendefunctie. Niet dat men eenzijdig gericht was opkennis; voor vaardigheden bestond ook toen alaandacht. Maar vaardigheid is geen synoniem voorcompetentie. Wij beseffen terdege dat we nu op gladijs komen. Als we beweren dat vaardigheid encompetentie andere dingen zijn, moet dit gestaafdkunnen worden aan de hand van definities. Nu zijner voor beide begrippen net zoveel verschillendedefinities als deskundigen, zoals Bos (1998) consta-teerde in een door haar uitgevoerde literatuurstudie.Probleem met de meeste definities is dat de om-schrijvingen op hun beurt begrippen bevatten dieniet helder gedefinieerd zijn. Bijvoorbeeld: �..compe-tentie is de bekwaamheid of het vermogen...� (de Bie& Mostert, 2000). We zien er daarom van af nieuwedefinities toe te voegen en volstaan met een beschrij-ving van de verschillen tussen vaardigheden encompetenties.

Daarvoor gaan we uit van een gemakkelijk voor-beeld, dat waarschijnlijk onrecht doet aan de com-plexiteit van het vraagstuk, maar aan de handwaarvan het onderscheid tussen de twee begrippenduidelijk gemaakt kan worden. Bij het tennisspelspeelt de opslag (service) een cruciale rol. Andersgezegd: serveren is een belangrijke competentie vaneen tennisspeler. Het kunnen uitvoeren van decomplexe beweging is een vaardigheid die na langdu-rige oefening en voldoende feedback steeds beterbeheerst zal worden maar niet zonder meer gelijkgesteld mag worden met competentie. In onze ogen iseen competentie een complexe vaardigheid die:1. wendbaar is;2. in een relevante context wordt aangewend en3. waarvan de uitvoering en/of het resulterende

product voldoet aan een kwaliteitsstandaard.

WENDBAARHEIDEen vaardigheid is een reeks activiteiten die voor eengroot deel automatisch verloopt. De toevoeging �vooreen groot deel� is erg belangrijk. Tenzij het om eenzeer eenvoudige taak gaat, is op bepaalde momentenbewuste sturing van dit proces noodzakelijk wil devaardigheid onder allerlei omstandigheden tot hetgewenste resultaat leiden.

9

Om bij het voorbeeld te blijven: de wijze waarop decomplexe serveerbeweging wordt uitgevoerd, dient afte hangen van omstandigheden als: eerste of tweedeservice; de positie van de tegenspeler; de ondergrond;de windkracht; de kwaliteit van de bal; enz. Het isbelangrijk dat de tennisser de omstandigheden diemoeten leiden tot aanpassing van de service herkenten daarop inspeelt met kleine aanpassingen in debeweging.

RELEVANTE CONTEXTEen vaardigheid, opgevat als een reeks activiteitendie, achter elkaar uitgevoerd, tot een bepaald resul-taat leidt, kan in principe in een �contextarme�situatie verworven worden. Zolang de afmetingen ende ondergrond van de oefenplaats maar overeenko-men met die van een tennisbaan en er in het middeniets hangt waar de bal overheen moet gaan, is aanalle voorwaarden voldaan om de vaardigheid in teoefenen. Het is echter maar de vraag of de zo verwor-ven vaardigheid ook in een relevante context metsucces kan worden toegepast. Tijdens een tennis-wedstrijd spelen nog andere factoren mee dan depuur technische, zoals: het vermogen tot concentra-tie, stressbestendigheid, vermoeidheid, e.d.

KWALITEITSSTANDAARDEen vaardigheid is geen alles-of-niets situatie. Hetgaat om een continue schaal waarop geen duidelijkbeginpunt noch een duidelijk eindpunt, zijnde deultieme vaardigheid, is neergelegd. Het kan immersaltijd beter. Van beheersing kan dan ook niet gespro-ken worden zonder te refereren aan de contextwaarin de vaardigheid moet worden toegepast. Bijeen tennisser die op C-niveau speelt worden mindereisen aan de vaardigheid gesteld dan bij een tennis-ser van het B-niveau.

Uit het bovenstaande moge duidelijk zijn gewor-den dat het bij competenties gaat om een

integratie van vaardigheden, kennis, attitudes enandere persoonlijke eigenschappen. Deze opvattingvinden we ook terug bij Gonczi (1994), een Austra-lisch onderwijskundige die zich al vele jaren sterkmaakt voor competentiegericht opleiden van profes-sionals. Gonczi is een aanhanger van de geïnte-greerde (holistische) benadering van competentie-gericht opleiden en beoordelen. In zijn visie is vancompetentie sprake als complexe combinaties vankennis, vaardigheden, attitudes en normen enwaarden in een specifieke probleemsituatie worden

10

aangewend om het probleem te begrijpen en tot eenoplossing te komen die voldoet aan de geldendekwaliteitsnormen. Met klem wijzen we op de zin-snede �in een specifieke probleemsituatie�. Compe-tentie wordt dus niet opgevat als een generiekebekwaamheid die in alle probleemsituaties totsucces zal leiden. Dat is geheel in lijn met deonderzoeksliteratuur over verschillen tussenbeginners en experts, waaruit geconcludeerd kanworden dat expertise - zijnde een zeer hoogcompetentieniveau - domeinspecifiek is (Glaser,1991).

1.3 Competentiegerichte lerarenopleidingDe geïntegreerde benadering van competenties leidttot andere denkbeelden over opleiden, zoals mogeblijken uit de volgende passage uit een artikel vanHager & Gillis (1995): �...The integrated approachacknowledges competence as a developmentalprocess or continuum that promotes occupationalgrowth. Furthermore, it is plausible to suggest thatthis approach to competency-based assessmentovercomes all of the significant objections to thecompetency standards that have been identified inthe literature. It allows for, among other things, suchhigher level considerations as the role of ethics and

values in competent performance, the need forreflective practice, the importance of diversecontexts and the fact that, in many cases, there ismore than one way of performing competently.�

In Nederland is deze opvatting inmiddels gemeengoed geworden bij de lerarenopleiders. In Educatief

Partnerschap, een vernieuwingsplan van de eerste-en tweedegraads lerarenopleidingen, wordt afstandgedaan van het modulair opgebouwde onderwijswaarin studenten bekwaam worden geacht als zevoldoende studiepunten hebben verzameld opafzonderlijke studie-onderdelen. Men heeft er geenvertrouwen meer in dat op deze manier lerarenworden opgeleid die op een efficiënte en effectievemanier kennis, vaardigheden en houding geïnte-greerd weten aan te wenden in complexe beroeps-situaties. Bij competentiegericht opleiden wordt hetcurriculum niet opgebouwd rondom de vaktheoriemaar vanuit de concrete beroepspraktijk. Heel recentheeft dit geleid tot de ontwikkeling van een systema-tiek, het kijkkader voor competenties genoemd, omcompetenties te beschrijven die recht doen aan dehierboven geschetste integratieve, holistischebenadering (Dietze, Jansma, & Riezebos, 2000). In hetkijkkader worden 16 competenties onderscheiden als

11

resultaat van de kruising van vier contexten vanberoepshandeling (werken met leerlingen; werkenmet team en in de organisatie; werken met/in deomgeving; werken aan eigen ontwikkeling) met vierberoepsrollen (pedagogisch handelen; vakdidactischhandelen; organisatorisch handelen; interpersoonlijkhandelen). Het is aan de opleidingen om deze eneventueel andere, zelf geformuleerde competenties teconcretiseren en te operationaliseren aan de handvan een specificatie van onderliggende aspecten vankennis, vaardigheden en houding.

De ommezwaai naar competenties als vertrek-punt voor de opbouw van het curriculum is

niet de enige vernieuwing die wordt nagestreefd. Hetbesef dat leraren professionals zijn en dus in staatmoeten zijn hun professionaliteit vorm te geven ente bewaken, moet al tijdens de opleiding ontstaan enverder worden uitgebouwd. Dat lukt niet in eencurriculum dat van a tot z vastligt en van studentenslechts vraagt te consumeren. Leren leren, zelfsturing geven aan het leerproces en daar verantwoor-delijkheid voor dragen, zijn elementen in een nieuwedidactiek die de basis legt voor het opleiden vangemotiveerde professionals die in staat zijn totzelfreflectie en persoonlijke groei.

Het zal duidelijk zijn dat in een dergelijk curriculumgeen plaats is voor een onderwijsconcept dat de-zelfde leerstof op dezelfde manier en op hetzelfdemoment aanreikt aan studenten. In de nieuwedidactiek is geen centrale rol meer weggelegd voorklassikaal onderwijs; nieuwe leerstof zal vooral doorzelfstudie verworven worden. Een andere belangrijkeverandering is dat het belang van het klassieke opkennis gerichte tentamen zal inboeten ten gunstevan vormen van assessment die helderheid kunnenverschaffen over de verwerving van de competenties.Stagebeoordeling, zelf-assessment, vaardigheidstoet-sen en portfolio zijn termen die nu regelmatigopduiken als het gaat om het beoordelen van compe-tenties. Over de voor- en nadelen van deze methodenen de gevolgen daarvan voor het trekken van conclu-sies over competenties gaat het volgende hoofdstuk.

12

Competentiegericht opleiden vraagt niet alleenom een herziening van de op traditionele leest

geschoeide curricula maar ook, en zeker niet in delaatste plaats, om een grondige revisie van hetsysteem van toetsing en afsluiting. Niet dat allekennistoetsen in een klap in de ban gedaan moetenworden; die blijven nuttig aangezien elke competen-tie, zeker competenties van professionals zoalsleraren, gebaseerd zijn op kennisbestanden. Watuitgebannen moet worden, is de tot dusver tamelijkeenzijdige nadruk op kennistoetsen in veel beroeps-opleidingen en daarmee de gedachte dat de studie-punten, die vaak de beloning vormen voor eenvoldoende resultaat op dergelijke toetsen, eengarantie zouden bieden voor de kwaliteit van delatere beroepsuitoefening. Als competentiegerichtopleiden geen modegril wil zijn die na enkele jarenbijgeschreven kan worden als de zoveelste mislukteonderwijsinnovatie, is meer aandacht voor hetbeoordelen van competenties absoluut noodzakelijk.Uit de onderwijskundige literatuur is bekend dattoetsen een sturende werking uitoefenen op het

daaraan voorafgaande onderwijs en dat het officiëleleerplan soms al heel snel na de introductie van deinnovatie moet wijken voor de onderwijsinhoudendie gedicteerd worden door de afsluitende toetsen (ziebijvoorbeeld Frederiksen, 1984 en Madaus, 1988).Bij curriculumherzieningen dienen vraagstukkenvan toetsing en afsluiting van meet af aan in be-schouwing te worden genomen.

2.1 Functies van competentiebeoordelingWij leven in een periode van snelle veranderingen.De tijd dat personen door het volgen van één enkeleberoepsopleiding zich voor het leven kwalificeerdenvoor een beroep ligt definitief achter ons. Niemandkan zich straffeloos onttrekken aan de noodzaak vanbijscholing. Dat geldt zeker voor docenten die, als hetgoed is, toch beschouwd dienen te worden als dekennismanagers van de natie en derhalve eencruciale rol spelen in een economie die zo afhanke-lijk is van kennis. Het beoordelen van competentiesis daarom niet alleen van belang gedurende deinitiële opleiding maar ook tijdens de periode van

2 · Beoordelen van competenties

13

actieve beroepsuitoefening, bijvoorbeeld om na tegaan of men nog voldoende is toegerust voor de eisendie het beroep stelt. Zo bezien kunnen we de volgendefuncties onderscheiden van het beoordelen vancompetenties:� Nemen van instroombeslissingen;� Nemen van voortgangsbeslissingen;� Nemen van certificeringbeslissingen;� Auditering van de zittende staf met het oog op de

professionele ontwikkeling van het individu en opde behoefte van de opleiding.

INSTROOMBESLISSINGENInstroombeslissingen worden belangrijker naarmateer, als gevolg van maatschappelijke ontwikkelingen,minder studenten zijn die de �koninklijke weg� naareen bepaalde beroepsopleiding volgen. Zo zijn erdeeltijdopleidingen voor reeds in het beroep actieveleraren die een bevoegdheid voor een ander vakwillen halen of die een bevoegdheid voor een hogeronderwijstype willen. Steeds populairder worden deurgentieprogramma�s voor middelbaar of hogeropgeleiden die in het onderwijs aan de slag willen.Hierover is momenteel veel te doen omdat de grotetekorten aan leraren in de verschillende onderwijs-sectoren de overheid gedwongen hebben om te zien

naar onconventionele maatregelen. Proberen ommeer mensen te laten herintreden (vooral vrouwendie hun beroep weer willen oppakken na een periodewaarin ze voor de kinderen gezorgd hebben en oud-leraren), is een tamelijk voor de hand liggendeoplossing. Dat kan van de maatregel om de nood telenigen door middel van zij-instroom in het beroepniet gezegd worden. Zij-instromers zijn mensen meteen hbo- of wetenschappelijke opleiding die, nagebleken geschiktheid, aan de slag gaan in hetonderwijs en daarnaast een (beperkte) opleidingvolgen. Bij dergelijke opleidingen dient �aan de poort�bepaald te worden of de aanmelder wel geschikt isvoor het beroep en wat de meest effectieve en effi-ciënte route (denk aan vrijstellingen) is op weg naarde bevoegdheid voor elke individuele student. Het isniet moeilijk in te zien dat competentiegerichtecurricula hier een meerwaarde hebben boven tradi-tioneel ingerichte curricula. Het maakt niet uit waarje de kennis, vaardigheid en ervaring hebt opgedaan;als je kunt aantonen bepaalde competenties tebezitten, krijg je vrijstellingen.Instroombeslissingen zijn niet het exclusieve terreinvan deeltijdopleidingen. Ook in voltijdopleidingen,bij studenten die de koninklijke weg bewandeldhebben, kan het nuttig zijn om kort na het

14

instroommoment, zoals bijvoorbeeld aan het eindvan de propedeutische fase, de geschiktheid voor hetberoep vast te stellen. Het kan de student helpen omfrustratie en verspilling van dure opleidingstijd tevoorkomen en de opleiding om korting op de finan-ciering te voorkomen doordat het interne rendementterugloopt.

VOORTGANGSBESLISSINGENOnder voortgangsbeslissingen verstaan we hier allebeslissingen die genomen worden om elke deelnemeroptimaal te begeleiden bij het verwerven van debenodigde competenties. Dit vereist dat regelmatigvastgesteld wordt of voorwaardelijke kennis aanwe-zig is en in hoeverre competenties of onderdelendaarvan al beheerst worden.

CERTIFICERINGSBESLISSINGENAnders dan in traditionele curricula is er incompetentiegerichte opleidingen een minder striktescheiding tussen voortgangs- en certificerings-beslissingen. Het afsluitende examen als ultiembeslissingsmoment past niet in een opleidingsmodeldat gebaseerd is op competenties aangezien zo�nexamen de kenmerken heeft van een momentop-name en, zoals we hierna nog zullen zien, daardoor

nooit in voldoende mate representatief kan zijn voorde competenties in kwestie. Of iemand het diplomauitgereikt mag krijgen, is een beslissing waarvoorzwaarwegend en omvangrijk bewijs geleverd moetworden. Dat bewijs mag gerust gedurende de heleopleiding verzameld worden mits maar duidelijk iswat de status ervan is en er heldere procedures zijnom uit alle verzamelde bewijs een eenduidige con-clusie te trekken.

AUDITERINGTenslotte speelt het beoordelen van competentieseen cruciale rol in het human resources concept�competentiemanagement�. Net als bedrijven in decommerciële sector moeten schoolorganisaties allezeilen bijzetten om deskundig personeel te werven ente behouden. Competentiemanagement is datonderdeel van het personeelsbeleid waarbij gedrags-gebonden hoedanigheden van arbeidskrachten alsobject van analyse en geïntegreerde sturing wordengebruikt (Thijssen, 2000). De resultaten wordengebruikt op de deelgebieden werving en selectie,inzetbaarheid (employability), functiebeoordeling enprestatiebeloning. Op al die deelgebieden spelencompetenties een belangrijke rol, hoewel steedsvanuit een andere invalshoek.

15

� Bij werving en selectie gaat de aandacht vooraluit naar meer algemene, maar desondanksontwikkelbare, eigenschappen van personen diemen van belang acht voor de functie-uitoefening.Een school zal bijvoorbeeld graag willen beschik-ken over docenten met een hoge mate van flexibi-liteit.

� Op het deelgebied inzetbaarheid is de focusgericht op het handelingsrepertoire waarover dediverse functionarissen dienen te beschikken. Zoluidt een van de startbekwaamheden voor leraarsecundair onderwijs dat hij moet kunnen hande-len in onverwachte situaties. Dit betekent dat hijeen onderwijssituatie of begeleidingsactiviteit terplekke improviserend moet kunnen voorbereiden,uitvoeren en evalueren.

� Bij een functiebeoordeling ligt de nadruk op con-creet vertoond gedrag in relevante werksituaties.De leidinggevende van een docent zou bijvoor-beeld bij leerlingen kunnen navragen of de docenteen zieke collega goed vervangen heeft.

� Bij prestatiebeloning tenslotte, wordt niet in deeerste plaats gelet op het proces maar op hetresulterende product. Dat maakt vergelijking meteen �hard� criterium vaak mogelijk, wat vervol-gens mogelijkheden biedt voor belonings-

differentiatie. Bijvoorbeeld: docenten die vaak ennaar tevredenheid invallen voor collega�s verdienenextra dagen voor een sabbatical.

Uit deze opsomming moge blijken dat hetbeoordelen van competenties diverse doelen

kan dienen. Het doel is bepalend voor de wijzewaarop competentie wordt vastgesteld. Daarvoorzijn verschillende methoden beschikbaar die in devolgende paragraaf uitvoerig aan de orde komen.

2.2 Methoden voor het beoordelen van compe-tentiesCompetenties hebben te maken met het kunnenuitvoeren van taken die in een of andere vervolg-situatie (werk, opleiding of andere maatschappelijkesituatie) van belang zijn. Het gaat daarbij bijna altijdom taakstellingen in een relevante context waarinkennis, vaardigheden en attitudes gecombineerdworden tot handelingen die tot het gewenste resul-taat moeten leiden. Gelet op deze formulering zal hetvoor iedereen duidelijk zijn dat kennistoetsen niet deeerste keuze moeten zijn als het gaat om het vast-stellen van competentie. In plaats daarvan zijn weop zoek naar instrumenten die op een veel directere

16

wijze kunnen �meten� waarin we geïnteresseerd zijn.In de meer populaire onderwijskundige literatuurwordt die kwaliteit vaak aangeduid met het begrip�authenticiteit�. De authenticiteit van een instru-ment is gradueel en wordt bepaald door de authenti-citeit van: a) de aangeboden taak of taken, b) de wijzewaarop gereageerd kan worden op die taken en c) decontext waarin de taakuitvoering plaatsvindt. GrantWiggins, een Amerikaans voorvechter van grotereauthenticiteit bij het vaststellen van prestaties vanleerlingen en studenten, noemt onder andere devolgende kenmerken van authentieke prestatie-beoordeling (Wiggins, 1993):� Uitdagende en relevante taken. De taken zijn

replica�s van of afgeleid van het soort problemenwaarmee beroepsbeoefenaren in hun praktijkgeconfronteerd worden.

� Natuurgetrouwe context waarbinnen de takenworden uitgevoerd. Dit betekent in feite dat eengroot deel van de maatregelen die normaalgetroffen worden om toetsing zo efficiënt moge-lijk te laten verlopen, komen te vervallen of opzijn minst heroverwogen moeten worden. Denkdaarbij aan de extreme pogingen tot geheimhou-ding van toetsmateriaal en aan de beperkingendie worden opgelegd aan toetstijd en -plaats en

aan de toegestane hulpmiddelen.� Het gaat om taken die niet routinematig uitge-

voerd kunnen worden. Echte problemen in deberoepspraktijk zijn zelden �op de automatischepiloot� op te lossen maar doen een groot beroep ophet kennis- en vaardigheidsrepertoire en op hetbeoordelingsvermogen van de taakuitvoerder alshet gaat om de vraag welke kennis en vaardig-heden wanneer ingezet moeten worden.

� De opdrachten zelf alsmede de criteria en stan-daarden die gehanteerd worden bij de beoordelingvan de prestaties moeten helder zijn voor allebetrokkenen. Met het oog daarop mogen takenvoorbereid worden en eventueel met deassessoren worden doorgesproken.

� De beoordeling gebeurt door een getraindeassessor. Het werken met authentieke takenmaakt het voorspellen van de taakuitvoeringlastig. Het gevolg is dat de prestatiecriteria nooitvolledig kunnen zijn afgestemd op alle mogelijketaakuitvoeringen en derhalve geïnterpreteerdzullen moeten worden. Door assessoren tetrainen kan geprobeerd worden deze interpreta-ties in dezelfde richting te laten gaan.

17

Er zijn heel veel verschillende manieren denkbaarwaarop informatie verzameld kan worden met hetdoel een uitspraak te doen over het al dan nietcompetent zijn van een persoon. Bijna elke auteurdie over dit onderwerp schrijft, waagt een poging omde lezer te informeren over de vele keuzemogelijk-heden die er zijn. De volgende methoden worden doorbijna elke auteur genoemd:� observatie in de werksituatie;� interview;� vaardigheidstoets;� kennistoets;� zelfbeoordeling;� stageverslag;� portfolio.

Deze lijst is gemakkelijk uit te breiden, want hetaantal manieren waarop informatie verzameld

kan worden die kan gelden als bewijs voor competen-tie wordt slechts beperkt door de creativiteit. Vaakverschillen die methoden niet echt van elkaar. Inwezen is er maar één aspect waarop beoordelings-methoden essentieel van elkaar verschillen en dat isde setting waarin het bewijs voor competentieverzameld wordt. Dat kan de werksituatie zijn of eentestsituatie.

2.2.1 Methoden voor het verzamelen van bewijsvoor competentie in een werksituatieAls je wil weten of iemand in staat is lekkerepannenkoeken te bakken, dan is de beste manier omdat vast te stellen een keer bij die persoon op bezoekte gaan en bij hem pannenkoeken te gaan eten.�The proof of the pudding is in the eating�, zeggen deEngelsen. Wil je weten of iemand goed kan lesgevendan ligt het voor de hand om die persoon te gaanobserveren tijdens zijn lesgeven. We zullen dezemethode nu verder aanduiden als observatie in dewerksituatie. Observeren in de werksituatie kost veeltijd en daarom wordt vaak uitgeweken naar eenmethode die efficiënter is en die we hier retrospectiezullen noemen. Van beide methoden worden de voor-en nadelen besproken.

OBSERVATIE IN DE WERKSITUATIEDe auteurs van deze brochure herinneren het zichnog heel goed: eens in de zoveel tijd gebeurde er in deklas iets onverwachts. De deur ging open en daarverscheen het hoof der school met in zijn kielzog eenmeneer (het was toen nooit een mevrouw) van wie jemeteen wist dat die nog belangrijker moest zijn daneerstgenoemde.

18

De deftige meneer beende, een aktetas stevig onderzijn arm geklemd, naar een stoel achter in de klas diedaar speciaal voor dit soort gelegenheden stond. Hethoofd der school spoedde zich naar de inmiddels watwit weg getrokken leerkracht met de boodschap dathij/zij door moest gaan met de les en dat meneer deinspecteur gewoon even wilde kijken. De inspecteurpakte een aantekenschrift, stak een sigaartje op enschreef zo nu en dan iets op. Een enkele keer steldehij wel eens een vraag, meestal aan de leerkrachtmaar ook wel eens aan een leerling. Veel langer daneen half uur bleef hij nooit.

Er is niets mis met observeren in de werksituatie;de te beoordelen competenties worden in hun

volle complexiteit geëtaleerd in een natuurlijkecontext en de beoordelaar verzamelt precies deinformatie waarnaar de interesse uitgaat. Helaasgeldt dat niet voor alle beroepen want sommigeberoepen, vooral die welke wij tegenwoordig aandui-den als professionele beroepen, hebben een dermatebreed competentieprofiel dat het erg veel tijd gaatkosten voordat men op basis van observaties eenconclusie kan trekken over de competenties vandergelijke beroepsbeoefenaren. Omdat die tijd ermeestal niet is, loopt men het risico dat er verkeerde

conclusies getrokken worden op grond van een tekleine, niet-representatieve steekproef van uitge-voerde taken. Een ander probleem in dit verbandheeft betrekking op de scoring. Beoordelaars vancompetenties zijn meestal erkend expert in hetbetreffende beroep en weten achteraf best te zeggenof ze, om een toch nog steeds belangrijk aspect vanhet leraarsberoep maar weer als voorbeeld te nemen,een goede les gezien hebben. Maar zo�n uitspraakmoet natuurlijk gemotiveerd kunnen worden doordatgene wat geobserveerd is te staven aan explicietgeformuleerde prestatiecriteria. En hier speelt decomplexiteit van de reële werksituatie ons parten.Het blijkt erg moeilijk om een gestandaardiseerdscoreformulier te ontwikkelen dat geschikt is omvertoond gedrag in een reële werksituatie te scoren.Als de beoordelingsaspecten op het formulier te ruimgeformuleerd zijn, laten ze erg veel ruimte voorinterpretatieverschillen. Zijn ze minutieus geformu-leerd dan worden de lijsten zo uitgebreid dat ze nietmeer hanteerbaar zijn en dat men door de veelheidvan beoordelingsaspecten het zicht op de competen-tie verliest (het geheel is meer dan de som der delen).Hier wordt de prijs betaald voor de keuze om decompetentie in zijn volle complexiteit te beoordelen.Een positief geluid tussen al deze sombere beschou-

19

wingen is dat zowel beoordeelden als beoordelaarsvaak een goed gevoel hebben bij deze methode. Beidepartijen hebben het idee dat ze bezig zijn met datgene�waar het om gaat�.

Samenvattend komen we tot de volgende belangrijk-ste voor- en nadelen:

Het gevolg is meestal dat het geobserveerde niet-representatief is voor de competenties van debetreffende persoon. Soms wordt de oplossinggezocht in de ontkoppeling van het observatie-moment en het tijdstip van scoring. Dan vraagt mende beoordelaar om, op een moment dat het hem ofhaar uitkomt, te reflecteren op het gedrag van de tebeoordelen persoon en dat vervolgens te beoordelenaan de hand van een gestandaardiseerde lijst metbeoordelingsaspecten. De beoordelaar bepaalt zelf opwelke observaties hij zijn beoordelingen baseert. Datroept een probleem op, namelijk dat we niet weten ofde scoring op de beoordelingsaspecten wel gebaseerdis op relevant gedrag. Zo zal het bijvoorbeeld niet debedoeling zijn dat een beoordelingsaspect als �kangoed orde houden� gescoord wordt op grond van eenzeer negatieve en daardoor in het geheugen gebrandeervaring tijdens een klassenuitstapje. Een grootvoordeel van de retrospectiemethode is dat ze weinigvoorbereiding vereist waardoor het organisatorischeenvoudiger wordt om meerdere personen om eenbeoordeling te vragen.In het hoger onderwijs wordt deze methode sindsjaar en dag gebruikt om de mening van studenten tepeilen over de kwaliteit van verzorgde cursussen.Een steeds weer terugkomende klacht van docenten

RETROSPECTIEEen van de belangrijkste tekortkomingen van deproof-of-the-pudding-methode (observatie in dewerksituatie) is dat vaak de tijd ontbreekt ompersonen gedurende langere tijd te observeren.

neledrooV neledaN

jibdaargeitatpeccaegoHslanedleedrooebedlewoz

sraaledrooebed

deogrednimfoteinhcsitkarPelenoisseforpjibraabreovtiu

seitnetpmoc

edreekrevnavocisiRnavglovegslaseisulcnoc

latnaagniregetneenekatedreovegtiu

gnirocsehcsitamelborP

20

is dat dergelijke meningen niet objectief zijn enverband zouden houden met behaalde tentamen-resultaten. Van Os (1999) toonde aan dat hiervangeen sprake is en dat studenten in het hoger onder-wijs een betrouwbaar, eerlijk en valide oordeel gevenover de kwaliteit van het onderwijs in het algemeenen de docent in het bijzonder. Een belangrijk voordeelvan het inschakelen van studenten is dat veelpersonen allemaal vanuit hun eigen beleving eenoordeel geven over de competenties van een docent.Met name wanneer de studentoordelen wordenaangevuld met de beoordelingen van relevanteanderen zoals collega�s, direct leidinggevenden en -niet te vergeten - de betreffende docent zelf, ontstaateen tamelijk compleet beeld van het functionerendat, mits daarover van tevoren heldere afsprakenzijn gemaakt, gebruikt kan worden voor doelen alsemployability en personeelsbeoordeling. Dezemethode wordt in de literatuur aangeduid met determ 360-graden beoordeling. Figuur 1 laat eenvoorbeeld zien van een rapport van een 360-gradenbeoordeling op het gebied van management-vaardigheden.

Figuur 1. Fragment uit een rapportage naar aanleiding vaneen 360-graden feedback onderzoek. Verklaring schaal: 1 =onvoldoende; 2 = zwak; 3 = matig; 4 = voldoende; 5 = goed.bron: PiMedia BV, Arnhem 1993.

21

teH.roovnenederedeognjizraadnegnilletsgnalebreemsdeetsteineggniledrooebfleZteH.treenoitcnufejeohnetaatsejraawnavnewuohcsebhcsitirktehtot,eitcepsortnitottgniwd

lazretorgnerednarevetgardegmoeitavitomedtadnelletsrednorevetmokjiledernoteinsinilewnesnemnjizraaM.tnekrednokaazdoonedeotraadflezeitsewkninoosrepedslanjiznetsisrucjibtidthcozredno)0002(snamteartS?nekjiketnerenoitcnufnuhraanhcsitirkmotaatsdeibegtehpodiehgidraavnuhmonetsisruc13georvjiH.sjiwrednospeorebraableddimtehtiu

edreednopsertsisruceklE.neledrooebet59swodniWtekkaptehtemnegnilednahsisabnav:dleebroovjiB.stnemetatsod-nacnetehegoz82poeotraad

raanAnoitatsnavnerëipoknednatsebnegalsegponiraadellatem's'otuA'pamedutnuK?Cnoitats

sooltuofnetolv,aJ lewtadtkulnereborptawteM teinemtkultad,eeN

edflezedniraawneggelfasteotsdiehgidraavneenenosrepfeorpellanetseomanraadkeewneEnerawedroednaastnemetatsod-nacednieidslanedrownetseomdreovegtiunegnilednah

ednavetgoohedpolagniledrooebflezedjibsawnenosrepfeorpednavtfleheD.dletseg.teintfleherednaed,steotsdiehgidraavednemok

:negniretatsnoCgniledrooebflezetaruccakkjilederneetottaatsninekelbnenosrepfeorp13ednav6sthcelS•gniledrooebflezposerocsednessutregohfo%06navgnimmetsneerevoneeneggezliwtad(

;)steotsdiehgidraavedne

negieedettahcsredno1ne)gitsnresmos(diehgidraavnuhnettahcsrevonenosrepfeorp71•;diehgidraav

steotsdiehgidraavednemokednavnerawetgoohedponerovetnaveidnenosrepfeorP•;nettahcsrevoetgitsnrediehgidraavnuhdgienegrednimneraw

negniledrooebflezedposerocslaatotednessutdnabrevtnacifingisnefeitisopneesawrE•kjiledertottideddielruusnecedlaapebneetemeitanibmocnI.steotsdiehgidraavedpoeid

.gniledrooebfleznavsisabpognisreehebrevonegnissilsebegiruekwuan

raam,njizraabwuortebedneodlovnouaevinmetiponegniledrooebfleztadeddiuleisulcnoceDrevonegnissilsebetaruccatnemurtsnisgniledrooebfleztehpoerocslaatotednavsisabpotad

.nerawkjilegomgnisreeheb

22

Uit een onlangs uitgevoerd onderzoek is gebleken datin Nederland ruim een kwart van 350 aangeschrevenbedrijven (industrie, zakelijke dienstverlening, non-profit en handel) deze methode toepast (Jellema,2000). De overgrote meerderheid daarvan (95 pro-cent) was van mening dat 360-graden beoordelingeen geschikt instrument vormt voor depersoneelsontwikkeling. Ruim 80 procent vond deacceptatie door beoordelaars en beoordeelden goedtot zeer goed. Van Hooft (1999) deed onderzoek naarde kwaliteit van (een specifieke) 360-gradenbeoordelingsmethode. Hij concludeerde dat debeoordelingen over het algemeen betrouwbaar warenmaar dat sommige beoordelingsaspecten zich beterlieten beoordelen dan andere. De betrouwbaarheidvan de beoordelingen, gemeten als de overeenstem-ming tussen beoordelaars liet te wensen over als diebeoordelaars uit verschillende groepen kwamen.Doordat elke groep vanuit zijn eigen plaats in envisie op de organisatie naar het functioneren kijkt,ontstaan er tussen deze groepen beoordelings-verschillen. Zelfbeoordelingen vielen relatief hoog uit(zie ook schema op pag. 21) en beoordelingen doorleidinggevenden vertoonden veel spreiding.Al met al lijkt retrospectie als methode eenvoudiger

in te zetten dan observatie in de reële werksituatie,tenzij men zeer veel tijd en geld ter beschikking heeft.Een nadeel dat niet onbesproken mag blijven, heeftbetrekking op het gedrag dat beoordeeld wordt met deretrospectie methode. De beoordelingen komen nietexclusief tot stand op basis van doelbewuste obser-vaties maar vooral op basis van herinneringen aantoevallige waarnemingen van gedrag. Wat wordtvastgelegd in de beoordelingen is niet zozeer hetmaximale kunnen van iemand maar zijn typischegedrag. Het typische gedrag kan om allerlei redenenafwijken van het gedrag waartoe iemand echt instaat is.

neledrooV neledaN

giduovneefeitaleRraabreovtiu

sraaledrooebnellatnaaetorGdiehraabwuortebednetorgrev.leedrooedleddimegtehnav

negniledrooebfodiehrekeznOgardegetsnewegtehpo

njizdreesabeg

etroodeitatpeccAsmossinenosrepneledrooeb

meelborpnee

gardeghcsipytlaroovteeM

23

2.2.2 Beoordelen onder testconditiesWanneer competenties niet gedemonstreerd kunnenworden in de reële werksituatie blijft er weiniganders over dan de te beoordelen personen huncompetenties te laten demonstreren in een nage-bootste werksituatie. Dat kan overigens heel realis-tisch zijn. De meesten van ons staan er niet bij stil,maar tijdens het rijexamen, zoals afgenomen doorhet CBR, demonstreert een kandidaat zijn rij-vaardigheid in een nagebootste werkelijkheid. Hetverschil met de reële verkeerssituatie schuilt voorna-melijk in de aanwezigheid van een examinator die deweg wijst en ingrijpt als het gevaarlijk wordt.Nabootsingen kunnen verschillen in de mate waarinze representatief zijn voor de reële werksituatie(Fitzpatrick & Morrison, 1971). Straetmans (1993)onderscheidde drie niveaus van representativiteit enkoppelde daaraan instrumenten voor het beoordelenvan competenties.

HOGE REPRESENTATIVITEIT: DE WORK SAMPLETESTIndien haalbaar gaat de voorkeur uit naar eeninstrument met een hoge representativiteit. Derge-lijke instrumenten worden wel aangeduid met de

Engelse term �hands-on�. Hands-on wil zeggen dat dete beoordelen personen in een realistische settingrealistische taken uitvoeren en daarbij gebruik(kunnen) maken van alle hulpmiddelen die in eenreële werksituatie ook gebruikt zouden kunnenworden. De grootste bekendheid geniet de worksample test, in Nederland ook wel arbeidsproefgenoemd. Het onvertaald laten van de term heeftechter onze voorkeur omdat �arbeidsproef� tenonrechte de indruk wekt niet ingezet te kunnenworden voor professionele beroepen.Bij een work sample test moet een te beoordelenpersoon, onder omstandigheden die de reële werksi-tuatie zeer dicht benaderen, taken uitvoeren dieontleend zijn aan de toekomstige functie. Hetbekendste voorbeeld is het rijexamen. Eveneens totde verbeelding sprekend is de toets die artsen inopleiding moeten afleggen om te bewijzen dat zecompetent zijn in het voeren van een anamnese-gesprek, het verrichten van klinisch onderzoek, hetstellen van een diagnose en het voorstellen van eenbehandeling. Dichter bij huis voor de meeste lezerszijn de lessen die studenten van lerarenopleidingentijdens hun stageperiodes moeten geven. Ook hierwordt de reële werksituatie dicht benaderd. Het groteverschil met de reële werksituatie is dat handhaving

24

van de orde vaak primair berust op de autoriteit vande echte leraar. In de tijd dat de auteurs van dezebrochure zelf werden opgeleid tot onderwijzer, verlietde mentor (de onderwijzer die belast was met debegeleiding) soms het klaslokaal om te zien of destagiar in staat was de orde te handhaven gedurendezijn afwezigheid. Tijdens de huidige lio-stage is dezesituatie standaard: Het merendeel van de lessenwordt daarin gegeven zonder dat er direct toezicht isvan een ervaren docent. Hoewel de verantwoordelijk-heid van de effectiviteit van het gegeven onderwijsuiteindelijk bij de stagebiedende school ligt, zien wede lio-stage, als daarin tenminste een beoordelings-moment is opgenomen, toch meer als een voorbeeldvan beoordelen in de reële werksituatie dan als eenwork sample test.Personen die een work sample test moeten makenzijn er over het algemeen van overtuigd dat zedaarmee beoordeeld worden op aspecten die erwerkelijk toe doen. De uitslag van dergelijke testswordt dan ook meestal gerespecteerd en geaccep-teerd, zowel door de beoordeelde als door degenen diegeacht worden beslissingen te nemen op grond vande testuitslag.In een work sample test voert een persoon realis-tische taken uit onder realistische omstandigheden.

Bij de uitvoering van dergelijke taken wordt vaak eenberoep gedaan op het hele scala van menselijkebekwaamheden: kennis, cognitieve, perceptuele,motorische en affectieve vaardigheden. Omdat hetverloop van de taakuitvoering zich maar in beperktezin laat voorspellen is de scoring een probleem.Noodgedwongen wordt meestal met vrij globalescoringsrubrieken gewerkt en wordt het aan debeoordelaar overgelaten in welke rubriek eengedragsaspect gescoord dient te worden. Bij hetrijexamen bijvoorbeeld wordt de kandidaat op tienaspecten beoordeeld, zoals het in- en uitvoegen, hetgedrag bij kruispunten en de uitvoering van bijzon-dere verrichtingen. Maar het is onmogelijk omscoringsvoorschriften op te stellen die zo concreetgeformuleerd zijn dat het in elke verkeerssituatieduidelijk is hoe het gedrag van de kandidaat gescoordmoet worden. Bij de proeflessen van studenten vanlerarenopleidingen zal het niet anders zijn. Elke les isuniek en kan zich in onverwachte zin ontwikkelenen kan daarom slechts aan de hand van globalescoringsvoorschriften beoordeeld worden.Een ander nadeel van work sample tests is dat deuitvoering en soms ook de voorbereiding veel tijdkosten, zowel van de te beoordelen persoon als vande assessor. Men zal daarom geneigd zijn het aantal

25

work sample tests zo beperkt mogelijk te houden.Dat kan gemakkelijk tot verkeerde conclusies overcompetentie leiden aangezien succesvolle uitvoeringvan de ene taak geen garantie is voor de succesvolleuitvoering van andere, soortgelijke taken. Als eenstudent van een lerarenopleiding in een les aardrijks-kunde heeft gedemonstreerd op zinvolle wijzegebruik te kunnen maken van een nieuw medium alsInternet, wil dat nog niet zeggen dat hij dit in een lesrekenen ook zou kunnen.

Resumerend kunnen we de volgende voor- en nade-len van de work sample test opnoemen:

GEMIDDELDE REPRESENTATIVITEIT: SKILL SAMPLETESTBij sommige competenties kan het realiteitsgehaltevan een work sample test als te hoog ervaren wor-den. Daar kunnen uiteenlopende redenen voor zijn.Soms gaat het om competenties die voor hunbewijsuitvoering van taken vereisen die erg gevaar-lijk of duur zijn. In het onderwijs is daar meestalgeen sprake van maar bij beroepen als die vanbrandweerman, arts, vlieger, enz. zijn er genoegvoorbeelden van te noemen. Soms ook wil men meergreep krijgen op het gedrag van de te beoordelenpersoon. Bijvoorbeeld als men per se wil zien dat eenpersoon een bepaalde complexe vaardigheid, die deeluitmaakt van de competentie, onder de knie heeft.Bij een work sample test zijn er vaak maar weinigmogelijkheden om invloed uit te oefenen op het tevertonen gedrag. Wanneer de opdracht eenmaal inuitvoering is genomen, verloopt die voor een grootdeel autonoom. Bij het rijexamen, bijvoorbeeld,kunnen noodsituaties niet afgedwongen worden enevenmin is het mogelijk om de verkeersintensiteit ofde weersgesteldheid te beïnvloeden. Bij een proefleskan men bijna niet anders dan afwachten hoe deklas reageert op de activiteiten van de lesgever. Eenandere reden kan zijn dat men het realiteitsgehalte

neledrooV neledaN

hcsitsilaerreeZ

roovdaargeitatpeccaegoHneledrooebetedlewoz

edroovslanenosrepsremengnissilseb

erabwuortebtotmokjilieoMnemoketgnirocs

djitleevtsokemanfAettiulatnaatehnemroodraaw

liwtkrepebnekatnereovedreekrevtotnaktiD.neduoh

nedielseisulcnoc

26

van een work sample test te hoog vindt met het oogop de gevorderdheid van de te beoordelen persoonterwijl men toch graag wil weten hoe het staat metde ontwikkeling van de betreffende competentie. Indergelijke gevallen neemt men vaak zijn toevluchttot de skill sample test. De term geeft al aan dat hierniet meer de competentie als geheel wordt getoetstmaar één of enkele geïsoleerde vaardigheden. Dit kanbereikt worden door de volgende maatregelen:� De opdracht heeft minder vrijheidsgraden. Er

wordt bijvoorbeeld concreter aangegeven welkgedrag vertoond moet worden of aan welke eisenhet resulterende product moet voldoen;

� Tijdens de taakuitvoering worden stimuli inge-voerd die het verlangde gedrag uitlokken.

De skill sample test is in allerlei domeinen inzetbaar.Met name als de te beoordelen vaardigheid technischgeoriënteerd is, kan het verlangde gedrag uitgeloktworden door machines, gereedschappen of anderetechnische ontwerpen op een bepaalde, voor-geprogrammeerde manier te laten reageren op actiesvan de te beoordelen persoon. Dergelijke ontwerpenworden simulatoren genoemd (denk aan devliegsimulator, de gesimuleerde controlekamer vaneen chemische fabriek, en dergelijke). We zullen hierniet nader ingaan op de simulator omdat er op dit

moment geen simulatoren zijn waarmee bepaalde(sub)competenties van docenten getraind en vastge-steld kunnen worden. Dat ze er zullen komen staatechter vast. Zodra de spraakherkenningstechnologiewat verder ontwikkeld is, komen er mogelijkhedenom virtuele leerlingen te laten reageren op wat ergezegd wordt. Voorlopers zijn simulatoren diegebruikt worden om mensen te trainen in hetoptreden voor een zaal en, meer in de entertainment-sfeer, de simulator waarbij je als dirigent een orkestmag leiden.

Als het om interpersoonlijke vaardigheden gaat,worden vaak acteurs gebruikt. In het medisch

onderwijs bijvoorbeeld wordt de skill sample testgebruikt om onderzoeks- en behandelings-vaardigheden te trainen en vast te stellen. Regelma-tig wordt daarbij gebruik gemaakt van acteurs diegetraind zijn in het nabootsen van een patiënt meteen bepaalde ziekte of kwetsuur en die volgens eenscript reageren op vragen en handelingen van de tebeoordelen persoon.Het uitlokken van gedrag heeft twee belangrijkevoordelen. Anders dan in een work sample test hoeftmen niet passief af te wachten of en wanneer hetverlangde gedrag zich zal voordoen.

27

In dezelfde tijd kan met de skill sample test meerrelevant gedrag beoordeeld worden. Bijkomendvoordeel is dat er met meer gedetailleerdescoringsrubrieken gewerkt kan worden. Immers, menweet welk gedrag er te verwachten is. Beoordelaarshoeven daardoor minder interpreterend te werk tegaan bij de beoordeling, wat leidt tot betrouwbaarderscores. Nadeel van het expliciet uitlokken van gedragis dat er meer tijd in de voorbereiding gaat zitten(vooral de meer complexe gedragingen vereisen eengedegen training van degenen die op �voor-geprogrammeerde� wijze gedrag moeten uitlokken bijde te beoordelen persoon). En natuurlijk wordt eringeleverd op het gebied van de representativiteit.Het verlangde gedrag wordt als het ware uit de tebeoordelen persoon �geperst� en het is maar de vraagof de betreffende persoon in de reële werksituatie instaat zou zijn om het verlangde gedrag te vertonenals respons op minder nadrukkelijk aanwezigestimuli. In het schema hiernaast en op pag. 28 is een(niet volledig uitgewerkt) voorbeeld opgenomen vaneen skill sample test voor het beoordelen van docent-competenties.

ednieidnegnilreelejpeorgneedielegeB:thcardpOetponeizneteomevagpoednaatsrednonemasselednuksiw

edsiteH.nekiurbegetsarogahtyPnavgnilletsedroodnessoledroodraaklenavnerelnegnilreeledtadgnileodeb

.nelessiwtiunetaletnevelnehjibreeidnethcizniednellihcsrevgnissolpoedletsegroovedrethcameinanuteompeorgeD

.naats

netunim02:djiT

28

redieltsetroodgnidierebrooVroovnevegpoliwteingniredanebeveituofnegienjizjihtadeemeitcurtsni)emieheg(slatgjirk)Agnilreel(negnilreelednavneE

edmoeemeitcurtsni)emieheg(slatgjirk)B(gnilreelerednaneE.kapnaanemokegneerevopeorgednavtseredroodnee:negardegettglovslahcizmodreeurtsnïegtdrowAgnilreeL.nezjiwetfaezjiwettobpoAgnilreelnaveitseggus

tobeisivezedBgnilreelslA.laainilneetemnetempo:gnissolponeenaveisiv)etuof(njiztempeorgednavetsreeslatmokjiHnjiznaathcadnaawueinporeslaneodeteemmodierebreewsapsijiH.secorpspeorgtehtiugurethcizAgnilreeltkert,tsjiwfa

.sieemsimretawdnootegnaatdrowdnegiutrevorenepeorgedrooddeetsebtdrowletsroov

gniledrooeBkletadnegrozroovreteomjiH.secorpspeorgtehnaatfeegjiheidgnirutsedpodleedrooebriamirptdrowtaadidnakeDetflezrednoztfjilbpeorgednavkierebtehnennibgnissolpoedtad,tfjilbdeogreefsedtad,tfeehgnerbninjizdilspeorg

ponjiznerocseteidnedrowdreelumrofegairetirceitatserpeleknenennuknetcepsaezednavklerooV.nevegetstnihethcireg:dleebegfarednoreihslaozlaahcssgniledrooebnee

secorpspeorgtehnavnerelumitS:taadidnakeD

4 3 2 1

negniduohnjizroodteewetgnilreeleklenegarv

navnereveltehtotnelekkirp-speorgtehnaaegardjibnee

.secorp

nedelspeorgetseemedteewetsecorpsolpotehjibfeitca

nekkerteb

roodnedielleevethciztaalleevtemnegnilreelelekne

gnerbni

njizroovgoolaroovtfeeheidtgelnenegnittavponegie

.peorgednaapo

29

LAGE REPRESENTATIVITEIT: COGNITIVE SKILLTESTEr zijn situaties denkbaar waarin noch voor de worksample test noch voor de skill sample test gekozenkan worden. Steeds vaker vormen de competenties debouwstenen voor beroepsopleidingen en wordenstudenten vanaf de start van de opleiding geconfron-teerd met realistische praktijkproblemen. Meestal isde problematiek die in een work sample test wordtaangeboden nog te complex voor de beginnendestudent. Bovendien is het organisatorisch en finan-cieel vaak niet haalbaar om elke student frequent

een toets van hoge of gemiddelde representativiteitaf te nemen. Dan kan de cognitive skill test uitkomstbieden. Met een cognitive skill test kan wordenvastgesteld of een student weet hoe hij/zij zoumoeten handelen om, gegeven een bepaaldeprobleemsituatie, tot een oplossing te komen. Decomplex skill test meet probleemoplosvaardigheid;een belangrijk maar op zichzelf niet toereikendaspect van een beroepscompetentie. Echt hardebewijzen voor competentie zijn niet te verkrijgenzonder uitvoering van complexe taken in de beroeps-praktijk of in situaties die daar sterk op lijken.Daarbij gaat het om taken waarin denken en doenhand in hand gaan en behalve cognitieve vaardighe-den (zoals probleemoplosvaardigheid) ook motori-sche, perceptuele en affectieve vaardigheden eenbelangrijke rol spelen. Desalniettemin kunnencognitive skill tests een belangrijke rol spelen tijdenseen beroepsopleiding. Uit de literatuur is bekend datexperts op een vakgebied zich onderscheiden vanbeginners doordat ze in hun geheugen veel meerprobleemsituaties en daarbij behorende aanpakkenhebben opgeslagen. Hoe meer probleemsituatiesworden aangeboden des te groter de kans dat dielater herkend worden en de persoon op passendewijze zijn vaardigheden weet te mobiliseren.

Resumerend kunnen we de volgende voor- en nadelenvan de skill sample test opnoemen:

neledrooV neledaN

reemgardegtadmotnëiciffEtkolegtiunedrownakthcireg

nadredraabwuortebgnirocStsetelpmaskrowjib

reemtsiereVnevjirhcs(djitsgnidierebroovmo'tpircs'navnenefeonine

)nekkolettiugardeg

-atneserperedreecudereGrevoponegarvtpeortietivitserocsednavsineketebed

30

De cognitive skill test vergt weinig voorbereiding enkan snel worden afgenomen, wat betekent dat er tijdis om studenten meerdere problemen voor te leggen.Bovendien kunnen de aan te bieden problemen quacomplexiteit afgestemd worden op de gevorderdheidvan de studenten; iets wat met work sample testsminder goed mogelijk is omdat de complexiteitdaarvan maar beperkt onder controle te houden is.

De cognitive skill test kent vele gedaanten, vande oude vertrouwde casustoets die op papier

wordt aangeboden en uitgewerkt en door een docentwordt nagekeken tot de moderne multimediatest dieop een beeldscherm wordt gepresenteerd en gemaakten door de computer wordt nagekeken. In laatstge-noemde varianten wordt de probleemsituatie vaakverrassend realistisch gepresenteerd, met namewanneer daarvoor videobeelden worden gebruikt. Zowordt er bij de Koninklijke Landmacht een multime-diatest gebruikt om de triage-competentie te trainenvan militaire artsen (een triage is het maken van eenverdeling in oorlogsgewonden met het oog op hunlatere behandeling). Het programma is primairontwikkeld voor instructiedoeleinden maar zou metenige aanpassingen ook heel goed voor toetsingkunnen worden ingezet (Krol, 1992).

In dit programma wordt de militaire arts geconfron-teerd met een virtueel slagveld met een grote diversi-teit aan gewonde soldaten. De opdracht is om binneneen bepaald tijdsbestek een schifting in de gewondenaan te brengen die zal leiden tot een zo groot moge-lijk aantal overlevenden. De militaire arts kandaarbij allerlei onderzoek doen en eventueel snellemedische handelingen verrichten. De simulatie isdynamisch, wat inhoudt dat de situatie van degewonden kan veranderen onder invloed van tijd en/of medische handelen.

Een ander voorbeeld is de SQ-test, een multime-diatest voor interpersoonlijke effectiviteit (van

der Maessen de Sombreff, Westen & de Veer, 2000).Met de SQ-test kan worden vastgesteld hoe goedpersonen inzicht hebben in de kwaliteit van gedragin sociale situaties. Tijdens een testafname wordteen persoon geconfronteerd met een groot aantalsociale interacties in werksituaties. Deze mini-casussen verlopen allemaal conform de volgendeprocedure:� Eerst wordt er achtergrondinformatie gegeven

over de sociale interactie.� Vervolgens krijgt men een video-opname te zien

van een cruciale fase in de sociale interactie.

31

� Daarna moet de kandidaat van vier mogelijkereacties, alle te starten als videofilm, op eenvierpuntsschaal aangeven hoe effectief die zijn.De antwoorden worden beoordeeld door ze tevergelijken met het consensusoordeel van ex-perts. Uit onderzoek is gebleken dat de betrouw-baarheid van dit consensusoordeel hoog is.

� Er wordt gerapporteerd in de vorm van eenprofielscore bestaande uit een totaalscore endeelscores voor onderliggende relevante gedragsaspecten.

Sedert september 1999 werkt een aantal onder-wijsorganisaties aan de ontwikkeling van een

docenten development center (over wat dat is komenwe verderop nog te spreken) waarvan het belangrijk-ste onderdeel betrekking heeft op het vaststellen vansociale competenties. Daarvoor wordt de proceduregebruikt die ten grondslag ligt aan de SQ-test. Mid-dels literatuuronderzoek en gesprekken metervaringsdeskundigen (docenten uit verschillendeonderwijssectoren) is een overzicht verkregen van desociale competenties die van belang zijn voor hetlerarenberoep. Momenteel wordt gewerkt aan schaal-constructie en uitwerken en verfilming van scriptsvan kritieke situaties (Instituut voor Leraar en

School, 2000). Een aardige ontwikkeling waarvan wijmet grote belangstelling het valideringsonderzoekzullen volgen.

Met een cognitive skill test wordt vastgesteld ofiemand weet hoe er in bepaalde situaties

gehandeld moet worden, niet of hij het ook werkelijkkan en dat is natuurlijk een zwak punt. Wie zoudocenten een bevoegdheid willen geven die alleenmaar in een computersimulatie hebben laten zienom te kunnen gaan met complexe klassensituaties?Van de andere kant ben je met de cognitive skill testin staat om grote aantallen situaties in korte tijd tepresenteren, waaronder situaties die tamelijkzeldzaam maar toch kritisch zijn. De scoring kanheel betrouwbaar zijn omdat van tevoren allehandelingsalternatieven uitgewerkt zijn en deskun-digen een unaniem oordeel hebben uitgesprokenover de beste oplossing. Overigens geldt dit laatstealleen voor cognitive skill tests waarin een grootaantal korte taaksituaties wordt aangeboden. Bijcognitive skill tests, zoals de hiervoor besprokentriage-simulatie, waarin de nadruk meer ligt op hetprobleemoplosproces, is de scoring toch vaak proble-matisch omdat experts onderling niet tot overeen-stemming kunnen komen over de kwaliteits-

32

verschillen tussen de vele, mogelijke oplosroutes.Resumerend zijn de voor- en nadelen van decognitive skill test:

2.3 Van scores naar conclusies

2.3.1 Over doelprestaties en middelprestatiesPrestatiebeoordeling is niet het exclusieve domeinvan onderwijsgevenden. Bij alle menselijke activitei-ten komt op een zeker moment de behoefte op omprestaties te beoordelen. In de sport bijvoorbeeld isdie behoefte heel nadrukkelijk aanwezig. Toch is ereen groot verschil tussen prestatiebeoordeling in desport en prestatiebeoordeling in het onderwijs. Bijeen sportwedstrijd gaat de belangstelling van deassessoren uit naar de prestatie zelf. Zo gaat het bijeen hoogspringwedstrijd om die ene of die enkelesprongen die de atleet uitvoert; die zijn het doel vanhet assessment. Als we in het onderwijs prestatiesvan deelnemers beoordelen, zijn we niet in de eersteplaats geïnteresseerd in de prestaties op de uitge-voerde taken. Wat we eigenlijk willen weten is of debetreffende deelnemers hetzelfde prestatieniveauzouden bereiken op andere, soortgelijke takenuitgevoerd onder wisselende omstandigheden. Deprestaties zijn hier niet het doel maar een middel omte komen tot een uitspraak over een competentie ofandere persoonsgebonden eigenschap van de beoor-deelde. Ga maar na: als een leraar bij zijn leerlingen

Verderop zullen we de hierboven besproken metho-den nog evalueren aan de hand van drie kwaliteits-kenmerken die van cruciaal belang zijn voor dekwaliteit van beslissingen. Voor een goed begripdaarvan is het nodig eerst stil te staan bij hetprobleem van het trekken van conclusies overcompetentie op basis van assessmentresultaten.

neledrooV neledaN

toorgneenakdjitetroknIednellihcsrevlatnaanedrowseitautiskaat

dgelegroov

gniniewtsokemanfAgnidielegebnegnidierebroov

tein(gnirocserabwuorteB)nessecorproov

netsoksgnilekkiwtnoegoH

ekjilekazdoonneesisinneKedneodlovnoraam

eitnetepmocroovedraawroov

33

een toets afneemt met twintig opgaven over hetoptellen en aftrekken van ongelijknamige breuken,dan gaat zijn interesse niet primair uit naar deprestatie op deze twintig opgaven maar naar deprestatie op alle mogelijke, soortgelijke breuk-opgaven zodat hij een uitspraak kan doen over debeheersing van de vaardigheid �optellen en aftrekkenvan ongelijknamige breuken�.

Als de prestatie zelf het doel van het assessmentis, zoals bijvoorbeeld bij een hoogspring-

wedstrijd, zijn er geen problemen met de te trekkenconclusies. Die komen heel eenduidig voort uit deprestaties en een vastgesteld criterium. Dat crite-rium kan absoluut of relatief georiënteerd zijn. In heteerste geval krijgt bijvoorbeeld iedereen een prijs diehoger dan 180 cm springt. In het tweede - meergebruikelijke - geval wordt de eerste prijs uitgereiktaan degene die over een hogere lat is gesprongen dande overige deelnemers. Als daarentegen niet deprestatie zelf het doel is maar een achterliggendevaardigheid of competentie, wordt het trekken vanconclusies een stuk lastiger. Er zal beargumenteerdmoeten worden waarom de conclusie gerechtvaar-digd is. Dat een dergelijke argumentatie belangrijk is,weet iedereen die te maken heeft met de certificering

van belangrijke competenties. In de VS wordt aljarenlang intensief nagedacht over deze problema-tiek omdat gedupeerden (mensen die menen dat hetverlangde certificaat hen ten onrechte werd onthou-den of mensen die zich bedreigd voelen door incom-petente beroepsbeoefenaars) daar sneller de gangnaar de rechter maken om hun gelijk te halen.

Wat is precies het probleem? Elk assessmentheeft tot doel conclusies te trekken over

vaardigheden of competenties van mensen. Daarbijwordt ervan uitgegaan dat het gedrag vertoondtijdens het assessment in hoge mate soortgelijkgedrag kan voorspellen in een relevante vervolg-situatie. Laat u even meevoeren in de volgendehypothetische situatie. Veronderstel eens datstudenten van een lerarenopleiding pas tot de lio-stage worden toegelaten als ze een voldoende resul-taat hebben behaald op een proefles. Veronderstelverder dat, in het kader van een experiment, deschoolleiding bepaald heeft dat alle kandidaten totde lio-stage worden toegelaten, ook die met eenonvoldoende resultaat op de proefles. Veronderstelvervolgens dat van alle kandidaten tijdens de lio-stage op uitgebreide schaal video-opnames zijngemaakt van allerlei lessituaties en dat die beoor-

34

deeld zijn aan de hand van dezelfde prestatiecriteriaals die gebruikt werden bij de beoordeling van deproefles. Van elke kandidaat zijn dan twee totaal-scores beschikbaar, één gebaseerd op de proefles enéén gebaseerd op de videofragmenten tijdens de lio-stage. In figuur 2 wordt deze situatie grafisch weerge-geven. Op de horizontale as wordt de prestatieafgebeeld zoals vertoond tijdens de proefles. Op deverticale as is de prestatie afgebeeld zoals vastgesteldin de lio-stage. In figuur 2 hiernaast liggen allecoördinaten op de diagonaal, wat betekent dat bijeen bepaalde score op de proefles (de horizontaleschaal) slechts één score hoort op het criterium datvoorspeld moet worden (de prestatie tijdens de lio-stage, afgezet op de verticale schaal). In deze situatieis het assessment een perfecte voorspelling van hetcriterium en worden over alle kandidaten correctebeslissingen genomen.

Figuur 2. Een perfect verband tussen assessment- encriteriumprestatie.

35

Figuur 3. Verkeerde beslissingen als gevolg van verschillentussen assessment- en criteriumtaken.

2.3.2 Kwaliteitsaspecten van een assessmentAls we verkeerde beslissingen over personen zoveelmogelijk willen vermijden, zullen we moeten probe-ren het verband tussen de assessment- en criterium-prestaties zo groot mogelijk te doen zijn. Alleen danzullen de coördinaten weer in een smaller gebiedrondom de ideale diagonaal komen te liggen.

Figuur 3 geeft een wat realistischer - maar ook nogheel positief - beeld van de voorspellende kracht vanhet assessment. Over het algemeen komt een lagescore op het assessment overeen met een lage scoreop het criterium en geldt dezelfde tendens voormiddelmatige en hoge scores. Maar bij een bepaaldescore op het assessment blijken nu verschillendescores op het criterium te kunnen horen. De sterre-tjes in figuur 3 geven aan hoe ver scores op hetcriterium uit elkaar kunnen liggen, uitgaande vandezelfde testprestatie. Die scores op het criteriumkunnen zelfs zo uiteenlopend zijn, zoals hier hetgeval is, dat er verschillende kwalificaties bij horen.Duidelijk is ook te zien dat niet over alle �kandidaten�een correcte beslissing wordt genomen. Er zijnbijvoorbeeld kandidaten die ten onrechte wordenaangemerkt als niet-beheerser. Dat zijn personen dieeen onvoldoende haalden voor de proefles maar diein de criteriumsituatie toch voldoende bleken tepresteren. Maar er zijn ook personen die ten onrechtezijn aangemerkt als beheerser. Zij haalden weliswaareen voldoende voor de proefles maar gaven in decriteriumsituatie blijk van een onvoldoendebeheersingsniveau.

36

Om dat te bewerkstelligen is het noodzakelijk dattoetsconstructeurs zich bewust zijn van de obstakelsdie het trekken van conclusies over competentie opbasis van testprestaties in de weg staan. Kane (1992)verwoordt het als volgt: �...in evaluating the validityof assessments of professional competence, it isimportant to look for possible flaws in the chain ofinferences from the results of the measurementprocedure to conclusions about competence.�

�Chain of inference� zullen we in het vervolg aandui-den met de term �kwaliteitsketen� omdat het gaat omeen reeks van achtereenvolgens te evaluerenkwaliteitsaspecten (de schakels in de keten). Elkeschakel in deze keten moet solide zijn om verant-woorde conclusies over competentie te kunnentrekken. De belangrijkste schakels hebben te makenmet de accuraatheid, generaliseerbaarheid enextrapoleerbaarheid van de assessmentscores. Dezeschakels zijn alle aspecten van de meer bekendepsychometrische kwaliteitsbegrippen �betrouwbaar-heid� en �validiteit�, waarover meer in paragraaf 3.2.1.In figuur 4 wordt de kwaliteitsketen grafisch weerge-geven alsmede de gevolgen van het verbreken van deketen voor de te trekken conclusies.

Figuur 4. De �kwaliteitsketen� en de gevolgen van nietsolide schakels.

ACCURAATHEID VAN DE SCOREDe geldigheid van de conclusie over het presta-tieniveau is afhankelijk van de accuraatheid

37

van de score. Als de score niet accuraat is dan geeftdie geen betrouwbare indicatie van het prestatie-niveau; dit had dan even goed hoger of lager kunnenuitvallen. De accuraatheid van de score wordt vooreen belangrijk deel bepaald door de duidelijkheid enspecificiteit van de geformuleerde prestatiecriteriawaarmee het waargenomen gedrag beschreven kanworden. Soms is dat goed te doen. Denk bijvoorbeeldaan de keuzeopties van een meerkeuzevraag die infeite niets anders zijn dan beknopt geformuleerdebeschrijvingen van (de uitkomst van) gedrag dat menop voorhand verwacht van een kandidaat aan wieeen probleem is voorgelegd. Maar naarmate devoorgelegde problemen complexer worden en meereen �open-einde karakter� hebben, wordt het moeilij-ker om te anticiperen op alle mogelijke te verwach-ten gedragingen of uitkomsten daarvan en daarvoorheldere en voldoende specifieke prestatiecriteria teformuleren.

Een score is accuraat als die het ware vaardig-heidsniveau van de kandidaat dicht benadert.

Dat is de gemiddelde score die de kandidaat zouhalen wanneer die de voorgelegde taken uit hetassessment een oneindig aantal keren zou uitvoeren,aangenomen dat de prestaties niet beïnvloed zouden

worden door het vermogen van de kandidaat omlering te trekken uit de herhaling of door het optre-den van vermoeidheidsverschijnselen (vrij naar DeGroot & Van Naerssen, 1977). De accuraatheid wordtvooral bedreigd door onvolkomenheden die te makenhebben met de omstandigheden bij de afname en hetgebruikte scoringssysteem. Crooks, Kane en Cohen(1996) noemen in dat verband de volgende bedreigin-gen:� Geringe motivatie. Kandidaten met een geringe

motivatie laten niet het �achterste van de tong�zien. Hun score is dan geen betrouwbare indicatievoor de werkelijke capaciteiten. De motivatie omte presteren komt onder druk te staan als kandi-daten geen vertrouwen hebben in de gebruikteassessmentmethode of in het ongewisse zijn overhoe, waarvoor en door wie de scores gebruiktworden.

� Testangst. Als de motivatie om goed te presterenzeer hoog is, ontstaat soms testangst. Dit ver-schijnsel is vrij algemeen als er zware beslissin-gen genomen worden op grond van de uitslag. Hetprobleem is echter dat de uitwerking niet identiekis bij elk individu: sommigen presteren ver onderhun kunnen terwijl anderen onder druk van desituatie extra goed presteren.

38

� Niet opgevolgde testcondities. Dit kan de scoreten onrechte verlagen of verhogen. Het eerste kanbijvoorbeeld het gevolg zijn van onvoldoendetoebemeten tijd, van ongunstige omstandigheden(lawaai, onvoldoende verlichting) of van onvol-doende duidelijke instructies. Van het tweede kansprake zijn als de kandidaten meer voorbereidingop het assessment krijgen dan is toegestaan oftijdens het assessment meer tijd of hulp krijgendan waar ze volgens de beschreven testconditiesrecht op hebben.

� Gebrek aan scoreconsistentie. Riskant wordt deinterpretatie van scores als blijkt dat de hoogtevan een score bepaald wordt door andere zakendan de prestatie zelf. Deze situatie wordt vaak paszichtbaar als de intra- en/of interbeoordelaarsovereenstemming zijn vastgesteld. Eerstgenoem-de overeenstemmingsmaat betreft de overeenstemming tussen scores op een meting en eenherhaalmeting toegekend door een bepaaldebeoordelaar. De tweede overeenstemmingsmaatheeft betrekking op de overeenstemming tussende scores van een groep beoordelaars. Het isverleidelijk om te trachten deze overeenstem-mingsmaten te verhogen door bepaalde aspecten maar niet meer te beoordelen of minder zwaar te

laten meetellen voor de bepaling van de totaal-score, maar dit kan ernstige gevolgen hebben voorde validiteit van de score.

� Te gedetailleerde of te globale scoring. Met een tegedetailleerde scoring loopt men het gevaar dat descore geen goede afspiegeling is van de geleverdeprestatie. De kwaliteit van een diapresentatie percomputer, bijvoorbeeld, moet niet primair beoor-deeld worden op de technische uitvoering vanelke afzonderlijke dia maar op de indruk die depresentatie als geheel achterlaat bij het publiek.Het probleem is om een tamelijk vage kwaliteitals �indruk� te vertalen in een reeks prestatie-criteria die objectief kunnen worden vastgesteld.Als dat niet lukt wordt vaak besloten om deprestatie als geheel te beoordelen. Maar ook dat isde verkeerde weg aangezien de literatuur over hetbeoordelen van producten en processen eenduidigis over de onbetrouwbaarheid van globale beoor-delingen.

GENERALISEERBAARHEID VAN DE SCOREDe score, zijnde een kwantificering van de waargeno-men prestatie, is op zichzelf niet interessant. Gamaar na. Een docent die een toets afneemt met 20opgaven over het optellen en aftrekken van

39

ongelijknamige breuken is niet primair geïnteres-seerd in de uitkomst van een opgave als: 3/4 - 1/2; hijwil gewoon weten of zijn leerlingen de algoritmesbeheersen voor het optellen en aftrekken van enkel-voudige, ongelijknamige breuken. Een score ontleentzijn betekenis dus aan het feit dat hij gegeneraliseerdkan worden naar een score die de kandidaat naarverwachting zal halen op het toetsdomein; dat bevatalle mogelijke toetsopgaven die voor dat stuk leerstofgeconstrueerd kunnen worden. Eenvoudig gezegdkomt het erop neer dat de betekenis van de score zichniet mag beperken tot de aangeboden taken in hetassessment maar zich moet uitstrekken naar allesoortgelijke taken die aangeboden hadden kunnenworden, rekening houdend met variaties in taken,omstandigheden en beoordelaars. Laten we ter ver-duidelijking nog een ander voorbeeld geven. VolgensRobert Gagné, een bekend leertheoreticus, moet omhet leerproces bij een lerende succesvol te latenverlopen, externe ondersteuning geboden wordenmiddels de volgende interventies (Gagné, 1985):� aandacht trekken;� op de hoogte stellen van het leerdoel;� stimuleren tot herinnering van eerder geleerde,

voorwaardelijke kennis;

� aanbieden van de nieuwe leerstof met veelnadruk op onderscheidende kenmerken;

� ondersteunen van de verwerving door de leerstofbetekenisvol te maken voor elke individuelelerende;

� uitlokken van gedrag waaruit kan blijken welkeonderdelen al beheerst worden en welke nog niet;

� bijsturen van de instructie;� definitief vaststellen of het leerdoel bereikt is;� bieden van gelegenheid tot oefening zodat het

geleerde beklijft en er makkelijker transferoptreedt.

Als wij zouden willen vaststellen of studenten vaneen lerarenopleiding deze interventies inderdaadtoepassen in hun onderwijs, dan is het riskant om tewillen volstaan met één of enkele waarnemingen.Immers, het kan best zijn dat de betreffende persoonde interventies uitstekend weet te verwerken inlessen waarin de nadruk ligt op het verwerven vanbegrippen of principes maar erg veel moeite heeft omze te gebruiken in lessen waarin het gaat om hettoepassen van eerder verworven kennis in nieuweprobleemsituaties. Evenmin is het zeker dat hetkunnen toepassen van de principes in een groeps-instructie garandeert dat ze ook succesvol kunnenworden toegepast in geïndividualiseerde instructies,

40

bijvoorbeeld in de ontwerpen voor computer-gestuurde instructies. En ook kan niet voetstootsworden aangenomen dat de vaardigheid zich uit-strekt over vakgebieden: structuur aanbrengen ineen instructie blijkt vaak moeilijker bij inhoudenwaarin de nadruk ligt op een ander dan cognitiefaspect, zoals bijvoorbeeld bij het vak tekenen,gymnastiek of muziek.

Het probleem bij het vaststellen van professio-nele competenties is dat die vaak dermate

veelomvattend zijn dat het aantal potentiële takente groot is om ze allemaal te laten uitvoeren.Schaarste aan tijd en middelen heeft tot gevolg dathet aantal voorgelegde taken meestal niet in verhou-ding staat tot het aantal potentiële taken, als gevolgwaarvan het assessment niet opgevat mag wordenals een representatieve steekproef uit het �toets-domein�.

Of generalisaties toelaatbaar zijn, wordt uitge-zocht in zogeheten generaliseerbaarheids-

studies. Daarin wordt onderzocht of scores stabielblijven als er andere taken worden aangeboden, alsde prestaties onder andere omstandigheden totstand komen, als de prestaties door andere

assessoren gescoord worden, enz. Uit dergelijkestudies is gebleken dat de generaliseerbaarheid vanscores op gestandaardiseerde kennistoetsen over hetalgemeen goed is. Jammer genoeg blijkt dit niet tegelden voor scores op assessments waarmee com-plexe vaardigheden worden vastgesteld. Met name destabiliteit over taken laat te wensen over (Kane,Crooks & Cohen, 1999). Te kleine en niet representa-tieve steekproeven zijn doorgaans de oorzaak.

Als de score niet generaliseerbaar is maar welaccuraat, dan zegt de score alleen iets over het

prestatieniveau op de aangeboden taken in hetassessment maar geeft die geen betrouwbare indica-tie over het prestatieniveau op alle andere taken uithet toetsdomein, die ook aangeboden hadden kun-nen worden.

EXTRAPOLEERBAARHEID VAN DE SCOREOok de verwachte score op het toetsdomein heeftniet onze bijzondere belangstelling. Uiteindelijkwillen we niet weten hoe goed iemand presteert op deassessment taken maar wat zijn score is als soortge-lijke taken worden uitgevoerd onder realistischeomstandigheden. Dit wordt wel de taakdomeinscoregenoemd. Deze laatste kwaliteitsschakel is verreweg

41

het lastigste om te evalueren. De geldigheid van hetafleiden van de taakdomeinscore uit de toetsdomein-score kan in principe empirisch geverifieerd wordendoor assessmentscores te vergelijken met criterium-scores. Met die laatste bedoelen we scores die totstand worden gebracht door toepassing van de bestmogelijke evaluatiemethoden zonder daarbij last tehebben van gebruikelijke hinderpalen als tekort aantijd en geld. Het moge echter duidelijk zijn datempirische verificatie van de extrapoleerbaarheid inde meeste gevallen onhaalbaar is en eigenlijk alleentheoretische waarde heeft. Meestal is de enig begaan-bare weg de extrapoleerbaarheid aan te tonen doorlogische argumentatie. Als overtuigend kan wordenbeargumenteerd dat de assessment taken represen-tatief zijn voor het toetsdomein en laatstgenoemdeeen natuurgetrouwe afspiegeling is van de taken inde werksituatie, dan is het trekken van conclusiesover competentie op grond van een assessmentscoretamelijk veilig.

In tabel 1 (op pag. 42 en 43) worden de in paragraaf2.2 aan de orde gestelde methoden voor het

beoordelen van competentie geëvalueerd op grondvan de zojuist besproken kwaliteitsaspecten. Detabel geeft weinig reden tot optimisme over de

kwaliteit van conclusies over competentie. Allemethoden blijken één of meer zwakke schakels tehebben, althans wanneer ervan uitgegaan magworden dat er beperkingen zijn opgelegd aan hetgebruik van tijd en middelen. Als dat laatste niet hetgeval is, ligt het voor de hand dat observatie in dereële werksituatie tot de beste conclusies overcompetentie leidt.

2.4 De beste methode is een methodemix.Als een ding duidelijk is geworden uit de vorigeparagraaf dan is het wel dat er geen beste methodeis. Allemaal hebben ze ergens in de �kwaliteitsketen�een zwakke schakel die de geldigheid van conclusiesover competentie aantast. Gelukkig heeft niet elkemethode de zwakke schakel op dezelfde plaats zodateen methodemix een mogelijke uitweg uit hetdilemma kan bieden. Een methodemix heeft boven-dien als voordeel dat er meer informatie wordtverzameld. Veel informatie verzamelen is erg belang-rijk; hoe meer informatie des te geringer de invloedvan meetfouten op het gemiddelde resultaat. Wezullen nu twee vormen van een methodemix bespre-ken. Allebei staan ze momenteel in de belangstellingvan lerarenopleiders.

42

nedohtem diehtaarucca diehraabreesilareneg diehraabreelopartxe

nieitavresboelëer

eitautiskrew�

tdrowtkrewegrestiM.kjiledeRedniartegeredreemtem

gidonnjizeiD.sraaledrooebdiehraablepsroovnoedtadmoteheitautiskrewelëerednav

temtkaamkjilekazdoonedreelumrofeglaabolg

etnetcepsasgniledrooeb.nekrew

-

tehsilatseeM.thcelSteingardegnemonegraaw

gardegtehroovfeitatneserperteomtaatsninemeotraaw

eitnetepmocednevegeg,njiz.signidegtehnieid

�

tehsiraawsileW.kjiledeRtehgardegnemonegraaw

etnemtadekeitnehtuatseemsla,raamnegjirknakneiz

etkrepebednavgloveghcot,diehraabreesilareneg

nekkerttehroovedneodlovnorevoseisulcnocnav

.eitnetepmoc

eitcepsorter

�

tehsitnupkawZ.kjiledeRpotdrownaadegtadpeorebtdrowtidraaM.neguehegteh

rooddreesnepmocegsleednellatnaaetorged

raablaaheidnegnimenraaw.njiz -

-sgniledrooebeD.thcelStnemurtsnitehnavnetcepsa

feitatneserperleehnennukedneffertebedroovnjiz

tlavtehraaM.eitnetepmocetedfonerëifirevettein

netcepsasgniledrooebnerocstemthcarbegnjizdnabrevni

.gardegtnaveler

-/�

serocseD.kjiledertotthcelSkeitnehtuapodreesabegnjiz

reneizegnaaraamgardegetdiehrekezskjilewuan

edrevosinegjirksi,diehraabreesilareneg

tehraaneitalopartxe.tkrepebreezniemodleod

elpmaskrowtset

�

tkolgnilletskaateD.kjiledeR.tiugardegetsnewegtehdreepicitnaegnakporaaD

navnerelumroftehjibnedrow.netcepsasgniledrooeb

edniartegeredreeMetsierevneenjizsraaledrooeb

etserocsetaruccatotmo.nemok

-/�

tawleW.kjiledertotthcelSnieitavresbojibnadreteb

raaM.eitautiskrewelëerneeednavdiehkjilekrewebed

reihkootadtkaamedohtemfeitatneserperneeglatseem

.taatstnodleeb

�

tadgardegteH.kjiledeRleevteintkjiw,tdrowdnootrev

neenigardegtehnavfanaksaaleH.eitautiskrewelëerdiehwuortegruutanegohezed

eitasnepmocedneodlovteinetkrepebetedroovnedeib

tehtiufeorpkeets.niemodsteot

43

Tabel 1. Hoe solide is de kwaliteitsketen bij toepassing van verschillende beoordelingsmethoden?

elpmasllikstset

� /+

giruekwuaN.deogtotkjiledeRetponkebneednekabegfagnirelumrofednekamnekatetgidiudneeneeredlehnav

-sgniledrooebnereterpretni.kjilegomnetcepsa

� /+

eD.deogtotkjiledeRninedeibnekatetponkeb

roovnedehkjilegomepicnirpnekatleevnavnedeibnaateh

neenemaseidfeorpkeetseveitatneserper.niemodsteottehtiunemrov

�

tadgardegteH.kjiledeRnettdrow,tdrowdnootrev

roodtkolegtiuelededreemmargorpegroov

eD.seitnevretnitfeehdiehwuortegruutan

.nedjiletrednoraad

evitingoctsetlliks

+

giruekwuaN.deoGetponkebneednekabegfa

mokjilegomtehnekamnekategohnigardeg-snopserteh

tidnenellepsroovetetam.nerocsetfeitcejbo

+

ednaagerreveD.deoGexelpmocednaveitcuder

tehtkaamdiehkjilekrewnaanekatleevleehkjilegom

etorgneesirE.nedeibetnekateidtadsnak

tehroovnjizfeitatneserper.niemodsteot

-

tletsedohtemezeD.thcelSneenaaeidsinnekedfotsav

galsdnorgneteitnetepmocetamedneodlovni,tgil

naktsapegeotnetsreehebneegtdrowrE.nedrow

.dleedrooebgardeg

44

2.4.1 Assessment CenterHet assessment center (AC) is een verwarrendenaam. De term roept bij sommige mensen het beeldop van een locatie waar psychologen op allerhandemanieren proberen iemand te doorgronden. Datbeeld is niet helemaal juist. Het woordje centerverwijst niet naar een plaats maar naar de methodedie gehanteerd wordt om uitspraken te kunnen doenover de competentie van een kandidaat. �Center�staat voor het combineren (centreren) van meerderebeoordelingstechnieken in een programma (de Rijke& Dochy, 1993).

Wanneer is er sprake van een AC? Hieroverwordt duidelijk verschaft in een publicatie

van een internationale �task force� die zich beziggehouden heeft met het opstellen van richtlijnenvoor het gebruik van AC�s (International Task Forceon Assessment Center Guidelines, 2000). Volgensdeze werkgroep mag er pas van een AC gesprokenworden als voldaan is aan de volgende voorwaarden:

� Er is een functieanalyse uitgevoerd.Om boven tafel te krijgen waarop beoordeeldmoet worden, is uitvoering van een functieanalyse noodzakelijk om dimensies, competen-ties en prestatiecriteria te kunnen identificeren.

� Er is een gedragsclassificatiesysteem ontwikkeld.Gedragingen die de deelnemers vertonen moetengeclassificeerd worden (op welke competentiesheeft dit gedragsaspect betrekking) en vervolgensbeoordeeld (moet het betreffende gedragsaspectmet een hoge of lage score gewaardeerd worden?).

� Er wordt van verschillende assessmenttechniekengebruik gemaakt. Zoals in vorige paragrafen isduidelijk gemaakt, hebben alle technieken sterkeen zwakke kanten waar het gaat om de geldigheidvan de scores. Door technieken te selecteren dievan elkaar verschillen in hun sterke en zwakkeeigenschappen wordt geprobeerd de kwaliteit vande conclusies op basis van het AC te verhogen.

� Er wordt gebruik gemaakt van simulaties.Eén van de gebruikte assessmenttechnieken moeteen simulatie zijn waarin de kandidaat respon-deert met gedrag dat relevant is voor de betref-fende functie.

45

� Er zijn meerdere onafhankelijk van elkaar werkendeassessoren. Om te voorkomen dat de geldigheidvan de scores wordt aangetast door de subjectieveinkleuring van één beoordelaar, wordt alle gedragdoor minimaal twee assessoren geobserveerd enbeoordeeld. Bovendien krijgen assessoren eengedegen training waarin in ieder geval grotenadruk wordt gelegd op het onderscheid tussenobjectief registreren en beoordelen van gedrag.

� Er is een eindberaad waarin de assessoren hun bevindingen integreren in een eindoordeel. Het is niet ergwaarschijnlijk dat elke assessor tot een gelijkluidende beoordeling komt van de kandidaat. In eenzogeheten eindberaad gaan de assessoren metelkaar in discussie met het doel consensus tebereiken. Als niet aan al deze voorwaarden isvoldaan, kan hooguit gesproken worden van eentoepassing van de assessment center methode.

Het AC is dus een combinatie van verschillende instrumenten om in korte tijd veel en betrouw-

bare informatie te verzamelen met het oog op hetnemen van beslissingen over personen. De methodebestaat al langer en is vooral na de tweede wereldoor-log populair geworden in het bedrijfsleven voor hetaannemen van hogere managers. Ook nu wordt het

AC nog veelvuldig ingezet voor de werving vanhogere managers, ook in het onderwijs (denk bijvoor-beeld aan het AC dat Interstudie Select gebruikt voorde selectie van schoolleiders). Langzaam maar zekerechter zien we een verschuiving optreden in defunctie van �selectie� naar �ontwikkeling van poten-tieel�. In de literatuur worden AC�s met laatstge-noemde doelstelling vaak aangeduid met de termDevelopment Center (DC).

De werking van een AC wordt helder beschrevenin Jansen (1993) waaruit de volgende tekst

grotendeels letterlijk is overgenomen. Figuur 5 oppag. 46 geeft een schematische weergave van een AC.In een AC wordt gedrag uitgelokt dat een nabootsingis van reëel functiegedrag. Dat werkgedrag kanenerzijds beschreven worden als een verzamelingvan situatiespecifieke vaardigheden (competenties)die bijdraagt aan de realisering van de functie,anderzijds als de manifestatie van een specifieke setvan persoonsgebonden eigenschappen, trekken ofdimensies. In de situatietests die het gedrag uitlok-ken komen vaak meerdere, maar niet noodzakelijkalle, dimensies aan de orde. In het eindberaadworden dimensiescores bepaald door horizontalegeneralisatie over situatiescores en worden situatie-

46

scores bepaald door verticale generalisatie overdimensiescores. In een traditioneel AC, waarin denadruk ligt op selectie van de meest geschiktepersoon voor een functie, wordt meestal voor heteerste gekozen. Het AC levert dan een algemenepersoonsbeschrijving op; een psychologisch rapport.

Figuur 5. Schematische weergave van een AC

SEITAUTIS

DIMENSIES

nelletsnetietiroirp nedielgniredagrev nelednahredno nalpsgnimenrednonelletspo

thcarkkned

diehgidraavlaategniledom

negomreveitasinagro

diehgivetselatnem

tietilibixelf

47

Dat het AC een succes is geworden heeft voor eenbelangrijk deel te maken met de grote voorspellings-kracht. De vraag is dan ook niet of het werkt maarhoe. Daar is het laatste woord nog niet over gezegd.Wel wordt steeds weer opnieuw gevonden dat scoresop dezelfde dimensie in verschillende situaties lagercorreleren dan scores in dezelfde situatie op verschil-lende dimensies (Jansen, 1991). Anders gezegd: hetAC is verticaal sterker dan horizontaal. Kennelijk ishet heel erg moeilijk om de persoonlijke eigenschap-pen (dimensies) zodanig te formuleren en te opera-tionaliseren dat ze in elke situatie op dezelfde wijzegeïnterpreteerd worden. Het AC heeft dus geenconstructvaliditeit maar wel steekproefvaliditeit.Aan deze bevindingen kan men de conclusie verbin-den dat hantering van dimensies om de prestaties insituatietests te scoren een omweg is. Je kunt beterdirect de effectiviteit van gedrag vertoond in situatie-tests beoordelen. De constatering dat het AC alleensteekproefvaliditeit bezit, impliceert dat hetpersoonsplaatje dat eruit komt er een is in termenvan situatiegebonden competenties; het AC leverteen profiel van sterke en zwakke competenties nietvan sterke en zwakke persoonlijke eigenschappen.De laatste tijd bespeuren we een verschuiving van dedimensionele naar de situationele benadering. Dat

wordt niet in de laatste plaats veroorzaakt doorschaarste aan hoger opgeleiden in de arbeidsmarkt,waardoor organisaties gedwongen worden huntalent zelf op te leiden en doordat �opleiding enontwikkeling� meer en meer een management-gereedschap is geworden. De uitkomsten van eensituationeel gericht AC zijn geformuleerd in termenvan sterke en zwakke punten op het gebied van deverlangde competenties en geven dus richting aanactiviteiten in het kader van HRM (human resourcesmanagement). Om misverstanden te voorkomen:een AC dat bij de scoring de situationele benaderingvolgt, kan zowel voor selectie- als voorontwikkelingsdoeleinden worden gebruikt. In heteerste geval worden uit een groep geteste kandidatendie personen geselecteerd waarvan het huidigfunctioneren als �behorend tot de besten� gerekendkan worden. In het tweede geval is het competentie-profiel (als resultaat van de verticale generalisatieover de dimensies) de basis voor beslissingen overwelke competenties (beter) ontwikkeld dienen teworden met het oog op de behoeften van de organi-satie en de carrièreperspectieven van de kandidaat.AC�s die voor dergelijke doelen worden ingezet,worden vaak een Development Center (DC) genoemd.

48

2.4.2 De portfolio methodeAssessment centers en development centers hebbenvele tot de verbeelding sprekende voordelen. Zeworden goed ontvangen door de kandidaten, deeinduitslag is een goede voorspeller voor het toekom-stig functioneren en de profielscore geeft aanwijzin-gen voor de manier waarop het onderwijs in eencompetentiegericht curriculum vervolgd moetworden. Tegenover deze voordelen staan ook gevoe-lige nadelen:� Logistiek gezien is het uitvoeren van een

assessment center een enorme krachtsinspan-ning voor een opleiding.

� De ontwikkeling, exploitatie en onderhoud vanhet assessment center vergen grote sommen geld.

� De afname is geconcentreerd op één of enkelemomenten in de opleiding en kan, wanneer eenstudent bijvoorbeeld een slechte dag heeft, eenvertekend beeld geven.

� De inhoud en procedures van het assessmentcenter zijn gestandaardiseerd. Dit betekent datkandidaten een tamelijk passieve rol hebben; hetassessment center is iets dat je ondergaat; er zijngeen mogelijkheden voor kandidaten om de focuste richten op de sterke punten. Het portfolio komt

tegemoet aan genoemde bezwaren. De portfoliomethodiek is een systematische procedure voor hetverzamelen van documenten en werkstukken dietezamen het bewijs moeten vormen dat de eigenaarvoldoet aan de minimumeisen die voor een bepaaldecompetentie zijn vastgesteld. Het portfolio is meerdan een beoordelingsmethode. Het vertegenwoordigteen visie op opleiden waarin studenten geen passieveconsumenten zijn van hapklare brokken bereid doorvakinhoudelijke experts maar actieve constructeursvan hun eigen opleidingstraject. Deze studentenworden niet alleen verantwoordelijk gehouden voorde verwerving van de competenties maar ook voor dewijze waarop het verwervingsproces het bestegestalte kan krijgen en voor het kritisch volgen vanhun vorderingen (van Kammen, Melisse, & Oudkerk-Pool, 2000).

Portfolio�s duiken inmiddels overal op waar wordtnagedacht over flexibele en op competenties

gebaseerde opleidingstrajecten. Uiteraard wordt hetconcept steeds op een andere wijze geïnterpreteerd entoegepast, afhankelijk van de specifieke randvoor-waarden die bij concrete toepassingen gelden. Maarde volgende aspecten keren steeds terug en kunnendaarom beschouwd worden als definiërende kenmer-ken:

49

� Niet het curriculum maar de competenties zijnsturend voor het te verzamelen bewijs. Bewijs-stukken mogen daarom gerust afkomstig zijn van�buiten de opleiding�.

� Het portfolio kan meerdere doelen tegelijk dienen:- Reflectie. Voor de student is het primair een

instrument op basis waarvan gereflecteerd kanworden op de eigen ontwikkeling. Het kan zeermotiverend werken om de opgaande lijn af telezen uit de verzamelde bewijsstukken. Van deandere kant kunnen dezelfde bewijsstukken denoodzaak aantonen om aan bepaalde onderdelenmeer energie te besteden of een andere koers tevaren om ze onder de knie te krijgen.

- Formatieve en summatieve evaluatie. De opleiderkan de bewijsstukken in het portfolio zowel voorformatieve als voor summatieve beoordelings-doelen gebruiken. Maar anders dan in traditionelecurricula vervalt het strikte onderscheid hier-tussen. In de traditionele visie vinden formatievebeoordelingen tijdens de opleiding plaats met alsdoel sturing te geven aan het onderwijs en sum-matieve beoordelingen aan het eind van deopleiding ten einde beslissingen te nemen overzakken of slagen. Laatstgenoemde beoordelingenzouden aan zwaardere kwaliteitseisen moeten

voldoen, volgens een breed gedragen opvatting. Incompetentiegerichte curricula is het, zoals wehiervoor betoogd hebben, erg onverstandigbeslissingen over zakken of slagen uitsluitend tebaseren op evaluaties aan het eind van hetopleidingstraject. Het ontbreekt dan meestal aantijd om een voldoende brede steekproef aan takente laten uitvoeren die een beslissing over compe-tentie kan rechtvaardigen. Wordt daarentegentijdens de gehele opleiding op gezette tijdeninformatie verzameld over het functioneren vande student in relatie tot de competenties, dan ishet risico van een te beperkte steekproef aanzien-lijk kleiner. Natuurlijk hebben de taken die in hetbegin van de opleiding worden uitgevoerd eengereduceerde representativiteit en zijn ze mindercomplex en moeilijk dan taken die aan het eindaangeboden worden, maar dit valt eenvoudig tecompenseren door een systeem van gewogenscoring toe te passen bij de finale beoordeling.Een mooi voorbeeld van portfoliogebruik waarbijhet harde onderscheid tussen formatieve ensummatieve doeleinden is komen te vervallen isde invulling die de Educatieve Faculteit Amster-dam eraan gegeven heeft (van Kammen, Melisse,& Oudkerk-Pool, 2000).

50

In deze faculteit is men hard op weg competentie-gerichte curricula in te richten met daarbinnenmogelijkheden tot zelfstandig en zelfverant-woordelijk leren. Het portfolio is in de eersteplaats een hulpmiddel voor de student voorreflectie en zelfsturing. Maar hetzelfde bewijs-materiaal wordt ook gebruikt voor harde beslis-singen op gezette tijden in het curriculum. Zieparagraaf 4.3 voor een beschrijving en beoorde-ling van deze aanpak.

- Intake en EVC. Portfolio�s kunnen ook gebruiktworden om intakebeslissingen te nemen. Hetstramien van het portfolio kan potentiële studen-ten behulpzaam zijn bij het inventariseren enbeschrijven van bewijs op basis waarvan degeschiktheid voor het beroep beoordeeld kanworden en eventueel vrijstellingen kunnenworden verleend. Heel nadrukkelijk moet hierbijgewezen worden op het nut van de veelal biografi-sche gegevens, ook wel aangeduid met de term�biodata�, waarmee portfolio�s gevuld kunnenworden tijdens de intakefase. Ackley & Arwood(1999) vonden bewijs dat ondersteuning verleentaan de opvatting van Smith & Pratt (1996) dat detoelating tot een lerarenopleiding niet alleen zoumoeten berusten op de vraag of voldaan wordt

aan de vooropleidingseis maar ook op de vraag ofmen ervaring heeft met het geven van lessen.Eerstgenoemde auteurs concludeerden hetvolgende uit hun onderzoek:�....If applicants have a long held occupational vision ofthemselves as teachers and they have had one or morepreviously succesful experiences teaching groups ofyoung people in classroom like settings, teachereducation admission officers should give seriousconsideration to such students for admission to theirprograms.�

� Het werken aan het portfolio maakt de studentbewust van het feit dat hij zelf verantwoordelijkis voor zijn leerproces. Daartoe reflecteert destudent op gezette tijden op het verzameldebewijs en schrijft hij op basis daarvan eenzelfevaluatie. Reflectie is een belangrijke activi-teit in een onderwijsproces waarin studenten zelfverantwoording dragen voor hun leren.Richert (1990) vond dat reflectie de beste resulta-ten opleverde op momenten dat de betreffendepersonen bezig waren om materiaal te verzame-len of te bewerken voor opname in hun portfolio.Bij het maken van keuzes daarbij dachten zeterug aan wat ze deden tijdens het lesgeven, aande materialen die ze gebruikten en aan hoe

51

�Aan het begin van deze module was ik vrij scep-tisch wat het vak rekenen/wiskunde betreft. Ik dacht, "datdoe je wel even'. Ik wist dat ik moeite met wiskunde had opde middelbare school, maar ik dacht dat rekenen nu echt opbasisschoolniveau was. Hoofdrekenen en tafels leren gingme vroeger altijd al goed af. Alleen op de middelbare schooiwerd het steeds moeilijker. Vooral de laatste jaren waswiskunde mijn slechtste vak. Mijn kennis van basisschoolrekenen was dus vrij goed dacht ik zo. Ik verwachtte dusgeen problemen bij dit moduul. Ik wist wel dat het ook in ditvak moeilijk was om uitleg te geven, dus daar zag ik wel

effectief die materialen waren voor de te bereikendoelen. In het tekstkader hieronder is een voorbeeld opgenomen van een reflectief verslag vaneen pabostudent naar aanleiding van de eerste er-varingen binnen de oriënterende module �didac-tiek van rekenen/wiskunde�. De lezer dient zichbij het lezen van de tekst te realiseren dat hetreflectief verslag uitgangspunt is voor het beoor-delen van de competenties door zowel de bezittervan het portfolio als diens begeleider. Als zodanigheeft het een duidelijker functie dan het meerbekende stageverslag, dat vaak als een verplichtnummer zonder consequenties wordt beschouwd.

tegenop. Na dit moduul ben ik erachter gekomen, dat hetrekenen nu ook nog een groot probleem is. Er komt zoveelbij kijken, dat weet ik zelf vaak niet eens meer. Het is al eentijd geleden, dus dat maakt het extra moeilijk. Ook hetlesgeven vind ik vrij pittig. Leg maar eens uit dat 1 en 1twee is en niet drie. Het lijkt allemaal zo vanzelfsprekend.Maar voor de kinderen en vooral die, waar rekenen netnieuw is, die snappen dat op het begin gewoon niet. Ik liepeerst stage in groep 6. Nou, daar konden ze al wat vanrekenen. Toch vroeg ik mij nog vaak genoeg af, "waaromweten ze niet dat 6 keer 6 36 is, dat is toch logisch". Datmoet je bij jezelf gaan kijken en je dan afvragen, is het welzo logisch. En dan kom je tot de conclusie: ja, voor mij NUwel, dankzij een goede uitleg en een goed geduld van mijnleraar vroeger. En datzelfde moet ik nu ook hebben. Je moetje steeds verplaatsen in het kind en daar had ik van tevorennooit aan gedacht.Nu ik in groep 1 stage loop zie ik dat ook en gelukkig weet ikme al een beetje in te leven in de kinderen. En wat ik ooknooit gedacht had; er wordt hier meer met rekenen gedaandan ik had verwacht. Daar sta je nooit bij stil. Over kleutershad ik eerst niet zo'n hoge hoed op, "daar kun je toch nietsmee doen", dacht ik. Maar ook daarin heb ik me vergist.

52

Wat me ook opgevallen is, is dat je veel beter in kleinegroepen les kunt geven. Dat gaat me ook veel beter af. Ingroep 6 had ik vier kinderen, die wat achter liepen op de restvan de klas. Ik mocht deze kinderen iets nieuws aanleren, ineen ander lokaal. Na een goede uitleg en ook veel helpen bijde eerste sommen ging het al vrij aardig. De kinderen krijgenzo veel meer aandacht en ze kunnen ook beter vragenstellen. En vaak stellen ze in zo'n groepje sneller vragen, danin de klas. Want daar worden ze nog wel eens uitgelachen.Toen ik een les gaf bij de grote groep, was het veel onduidelij-ker. De klas was rumoerig, omdat sommige mensen dat alwisten en ik moet dus ook vaker uitleg geven, voor diegene,die het moeilijker ermee hadden. Mijn voorkeur gaat dusabsoluut uit naar de kleinere groepen. Dat is ook iets wat ikvan tevoren nooit had verwacht. Ik dacht altijd, datlesgeven in de grote klas beter was. Waarom? Weet ikeigenlijk niet. Het is misschien zo, omdat ik het zo gewendwas. Op mijn basisschool werd nooit in groepjes gewerkt.En in principe denk je toch altijd, dat 'jouw' basisschool tochwel de goede is.

Na dit moduul en beide stageperiodes, zie ik mijzelf nog nietals een goede wiskunde leraar. Ik denk, dat ik zelf de theorienog niet 100% beheers om alles goed te doen. Het ligt vooralaan mijzelf om dit te veranderen.

Mijn leraar kan mij daar natuurlijk wel bij helpen, d.m.v.literatuur aan te bieden en mij te helpen bij al mijn vragen.Tot nu toe kan ik me redelijk redden, maar echt een goederekenles te geven, dat zie ik nog niet zo zitten. Maar ik denkdat dat nog wel komt.

De kern van deze module is. Het zien van goedemogelijkheden van leertechnieken voor het vak

wiskunde en laten zien wat het vak allemaal te bieden heeft.Voor mij is een ding heel duidelijk. Wiskunde is niet alleentafels en hoofdreken, maar een heleboel erom heen. Want jesoms niet verwacht heeft toch heel veel met rekenen temaken. En als leraar moet je heel veel geduld hebben en ofopbrengen om je leerlingen alles goed te laten begrijpen.Voor mezelf weet ik ook nog dat ik nog veel te doen heb aande theorie om tot een goede leraar te komen.

Wat ook heel leuk was; ik had nooit gedacht dat jezoveel onbewust rekent. Je let daar eigenlijk

helemaal niet op. Wanneer je opstaat ben je al met rekenbezig. Je zet je wekker en even later gooi je alweer tweeklontjes suiker in de koffie, waarom? Omdat je het altijd zodoet. Die dingen zijn zo logisch, maar als je nadenkt wordthet zo onlogisch. En dat vindt ik eigenlijk wel leuk.

53

En de theorie natuurlijk. Deze was veel moeilijker dan ikhad verwacht. Het is toch even wat meer als alleen

maar tafels, hoofdreken of cijferen. Rekenen is overal. Er zijnzoveel methoden, die ik ooit heb geleerd en die weet je nu nietmeer. En daar moet ik nog veel aan leren.

Reflectief verslag van een eerstejaars pabo-student.Bron: Bert Imandt, pabo Hogeschool Zuyd.

Het portfolio heeft enkele duidelijke voordelen bovenhet assessment center: Het is minder een moment-opname dan het AC; het is organisatorisch minderbelastend en het plaatst de student in een actieve,verantwoordelijke rol (je moet zelf aantonen dat ersprake is van competentie). Nadelen zijn er ook. Eengroot risico is het gedachteloos en ongestructureerdverzamelen van alles waarvan men maar enigszinsvermoedt dat het misschien wel iets te maken kanhebben met de betreffende competenties. Het isuiteindelijk wel aan de student om een selectie temaken uit zijn portfolio die een weerspiegeling is vanzijn competenties, maar als het portfolio niet vanmeet af aan doelgericht is aangelegd, zal dit een

uiterst lastig karwei blijken te zijn.Een tweede probleem heeft te maken met de be-trouwbaarheid van de beoordeling op grond van hetportfolio. De bewijsstukken in een portfolio kunnenzeer divers zijn, zowel naar inhoud als naar authen-ticiteit. Het trekken van verkeerde conclusies is grootals �appels en peren� bij elkaar worden opgeteld.Mogelijk kan dit risico verkleind worden door vanstudenten te eisen elk bewijsstuk te beschrijven intermen van de competenties die het dekt en tevensaan te geven hoe het bewijs tot stand is gekomen (inwelke situatie is wat gedaan en wie was daarbij omeen beoordeling te geven?). Met die additioneleinformatie is de beoordelaar beter in staat de bewijs-stukken naar waarde te schatten en te komen toteen competentieprofiel als uitgangspunt voor hetbeoordelingsgesprek met de andere beoordelaars ende kandidaat zelf.

54

Dit hoofdstuk bestaat uit twee onderdelen. In heteerste onderdeel worden aan de hand van vijf

vragen vijf aspecten van competentie-instrumentenvoor het beoordelen van docenten besproken. Zowelvoor degenen die instrumenten willen ontwikkelenals degenen die reeds ontwikkelde instrumentenwillen evalueren zijn de antwoorden op die vijfvragen van belang. Kwaliteitscriteria voor de evalua-tie van competentie-instrumenten worden in hettweede onderdeel van het hoofdstuk besproken.

3.1 Aspecten van competentie-instrumentenvoor docenten

3.1.1 Wie wordt beoordeeld?De bespreking van competentie-instrumenten voorhet beoorden van docenten in dit hoofdstuk heeftbetrekking op drie groepen (aspirant-)docenten:

� Zij-instromers. Hiermee worden sinds kortpersonen aangeduid die vanuit een ander beroepwillen overstappen naar een baan in het primairof secundair onderwijs. Voor deze maar ook voorandere groepen geldt dat als gevolg van het tekortaan docenten andere opleidingsroutes naast debestaande vol- en deeltijdopleidingen voordocenten mogelijk zijn. Voor de zij-instromersgeldt dat zij bij gebleken geschiktheid direct voorde klas kunnen gaan staan.

� Studenten met minimaal HAVO- of MBO-diplomadie een vierjarige HBO-voltijdopleiding volgen.

� Praktiserende, beginnende en ervaren docenten.

3.1.2 Waartoe wordt beoordeeld?In het voorgaande hoofdstuk werden vier functiesvan competentie-instrumenten onderscheiden dieomwille van de volledigheid van dit hoofdstuk hiernog eens kort herhaald worden:

3 · Aspecten en kwaliteitscriteria vancompetentie-instrumenten

55

� Nemen van instroom- of selectiebeslissingen.Hiervan is bijvoorbeeld sprake bij competentie-instrumenten voor zij-instromers waarmee opbasis van een geschiktheidsonderzoek bepaaldwordt of een kandidaat met of zonder extrascholing direct voor de klas kan gaan staan.

� Nemen van doorstroom- of voortgangs-beslissingen. Hiervan is bijvoorbeeld sprake alseen student in de propedeuse van de leraren-opleiding beoordeeld wordt op de vraag of hij/zijhoofdfasebekwaam is.

� Nemen van uitstroom- of certificeringsbeslissin-gen. Hiervan is bijvoorbeeld sprake als een stu-dent van de lerarenopleiding aan het eind van devierjarige opleiding beoordeeld wordt op het al ofniet startbekwaam zijn.

� Nemen van beslissingen in het kader van profes-sionele ontwikkeling. Hiervan is bijvoorbeeldsprake wanneer praktiserende docenten op basisvan een zelfbeoordeling of een beoordeling doorhet schoolmanagement zich gaan scholen terbevordering van de kwaliteit van het onderwijs opde school. Onderwijsinstellingen doen steedsmeer aan kwaliteitszorg en het beoordelen vancompetenties van docenten gekoppeld aan eenscholingsaanbod is een belangrijk onderdeel vandie kwaliteitszorg.

3.1.3 Wat wordt beoordeeld?Om competentie-instrumenten te kunnen ontwik-kelen waarmee de geschiktheid of bekwaamheid vaneen zij-instromer, student of praktiserende docentbeoordeeld kan worden, moet men weten welkecompetenties als essentieel beschouwd worden voorhet uitoefenen van het beroep docent. Het document�Startbekwaamheden leraar primair onderwijs(1997)� is een goed uitgangspunt voor het bepalenvan wat de relevante competenties voor een docentin het primair onderwijs zijn. Aan dit documentzullen hierna vele passages nagenoeg letterlijkontleend worden.

De startbekwaamheden leraar primair onderwijsworden onderscheiden in vakspecifieke be-

kwaamheden en algemene startbekwaamheden. Destartbekwaamheden van een specifiek vak, bijvoor-beeld rekenen/wiskunde, beginnen met een typeringvan de taak van een beginnende leraar en gevendaarnaast een viertal bekwaamheidseisen diebetrekking hebben op het eigen niveau van debeginnende leraar en zijn bekwaamheden metbetrekking tot vakinhoud en vakdidactiek. Omonderwijs in de verschillende vakken te kunnen

56

geven, moet een leraar ook een aantal algemenestartbekwaamheden beheersen. Het is duidelijk datniet bij alle vakken in dezelfde mate een beroepgedaan wordt op dezelfde algemene start-bekwaamheden.

In voornoemd document wordt een algemenestartbekwaamheid beschreven door middel van

een kernuitspraak en een specificatie van die kern-uitspraak. De kernuitspraken hebben betrekking op:kenmerken en ontwikkeling (van de leerling), voorbe-reiding van onderwijs (door de leraar), creatie enorganisatie van leeromgevingen, didactische werk-vormen en mediagebruik, adaptieve begeleiding,pedagogisch handelen en evaluatie. Voor evaluatiezijn bijvoorbeeld drie kernuitspraken geformuleerd.De eerste luidt �De beginnende leraar is in staat deresultaten van het onderwijs en de ontwikkelings-en leerprocessen te evalueren en te waarderen.� Dezekernuitspraak wordt nader gespecificeerd als �Datbetekent dat de beginnende leraar: 1. inzicht heeft inprincipes en werkwijzen om resultaten vanontwikkelings- en leerprocessen vast te stellen;2. over vaardigheden beschikt om recapitulatie vanleerinhouden, toetsing van resultaten, observatievan verworven handelingen en ontwikkeld gedrag en

waardering van de uitslag uit te voeren.� De tweeandere kernuitspraken luiden �De beginnende leraaris in staat de kwaliteit van leerprocessen van deleerlingen vast te stellen� en �De beginnende leraar isin staat gegevens over processen en resultaten vanleerlingen in te voeren in een leerlingvolgsysteem endaarover met anderen te communiceren en daaruitconclusies te trekken.�

Behalve algemene en vakspecifieke start-bekwaamheden leraar primair onderwijs, zijn in

het document ook kenmerkende en kritische situa-ties voor het werk van een beginnend docent toege-voegd. Kenmerkende situaties zijn situaties waarvanhet al dan niet beheersen wel van belang is voor hetfunctioneren als docent, maar niet direct het succesof respectievelijk de mislukking als docent inhoudt.Kritische situaties zijn situaties waarvan het al danniet beheersen ervan het succes respectievelijk demislukking van het functioneren als docent inhoudt.In totaal worden elf kenmerkende en kritischesituaties (gemerkt met een asterisk) onderscheiden:� thematisch werken� verschillende onderwijsaanpakken hanteren*� werken met onderwijsconcepten en leerlijnen� omgaan met leerproblemen*

57

� omgaan met groepsprocessen� handelen in onverwachte situaties� intercultureel onderwijs realiseren� werken met nieuwe media� contacten met ouders onderhouden*� collegiale hulp gebruiken*� collegiaal samenwerken

Zoals hiervoor is opgemerkt, vormen de start-bekwaamheden een goed uitgangspunt om te

komen tot een inventarisatie van de essentiëlecompetenties die beoordeeld moeten worden. Om dieinventarisatie te verkrijgen dient een competentie-analyse uitgevoerd te worden. Een competentie-analyse bestaat gewoonlijk uit drie stappen (zie ookVan Beirendonck, 1999, p. 46):1. Het determineren van de essentiële competenties

die voor het succesvol kunnen uitoefenen van eenberoep, in dit geval docent, nodig zijn. Deze stapvan de analyse bestaat uit het bestuderen vanliteratuur zoals de startbekwaamheden, hetraadplegen van andere competentieanalyses,interviews met docenten en opleiders, het obser-veren van docenten etc.

2. Het omschrijven van de competenties in gedrags-indicatoren oftewel concreet observeerbaargedrag.

3. Het van alle competenties vastleggen van debeheersingsstandaard, bijvoorbeeld wat alsonvoldoende, voldoende en uitstekende beheer-sing aangemerkt moet worden.

3.1.4 Hoe wordt beoordeeld?In het voorgaande hoofdstuk werden verschillendeinstrumenten of methoden besproken waarmeecompetenties van docenten beoordeeld kunnenworden. Voor het antwoord op de vraag welkeconcrete instrumenten in aanmerking komen of devoorkeur verdienen, zijn de competenties die beoor-deeld moeten worden uiteraard de bepalende factor.Afhankelijk van de aard van de competenties en hetaantal competenties dat beoordeeld moet worden,zal soms volstaan kunnen worden met de inzet vanéén instrument maar zal in de meeste gevallen deinzet van meerdere instrumenten gewenst zijn. Voorde bepaling van welke instrumenten voor welkecompetenties ingezet gaan worden, kan eencompetentiematrix goede diensten bewijzen. In eencompetentiematrix geeft men aan welke competen-ties met welke instrumenten beoordeeld worden.

58

Onderstaande tabel, ontleend aan Van Beirendonck (1999, p. 55), bevat het voorbeeld van een competentiematrixvoor een commerciële functie in een telecommunicatiebedrijf. In deze competentiematrix staan de competenties diebeoordeeld worden in de rijen van de matrix, terwijl in de kolommen de �instrumenten� staan waarmee de compe-tenties beoordeeld worden.

teksab-nI &esylanAeitatneserp

-speorGeissucsid

kerpseGtnalk

weivretnI tseT

GARDEGNEDNOBEGSNOOSREP

diehgidnetsebssertS X X X

nedertpO X X

eitavitomeitatserP X X X

GARDEGKJILNOOSREPRETNI

eitacinummocegnilednoM X X

thcarksgnigiutrevO X X

eihtapmE X X

diehtolvelaicoS X X X

GARDEGDNEKREWREVMEELBORP

esylanameelborP X X

gnimrovsleedroO X X X

tietilibixelF X X X X

59

De competentiematrix van een assessment-pro-gramma geeft een overzicht van welke competentiesmet welke instrumenten beoordeeld worden en kandan ook goede diensten bewijzen bij het maken vaneen verantwoorde keuze van een assessment-programma. Met behulp van de competentiematrixkan men bijvoorbeeld nagaan of ook rekeninggehouden is met aanbevelingen dat men eenzelfdecompetentie minstens tweemaal door verschillendeinstrumenten moet laten beoordelen.

3.1.5 Door wie wordt beoordeeld?Bij nagenoeg alle instrumenten die ingezet wordenvoor de beoordeling van docentcompetenties, zijnbeoordelaars of assessoren betrokken. In de litera-

tuur over het beoordelen van competenties wordtaan het onderwerp assessoren dan ook uitgebreidaandacht besteed. De bespreking in deze paragraafbeperkt zich tot wat van de assessor verwacht wordt,welke fouten beoordelaars kunnen maken bij hetbeoordelen en over welke eigenschappen beoorde-laars zouden moeten beschikken.

Tijdens het beoordelen van (aspirant-)docentenmoeten de assessoren een aantal taken verrich-

ten. Deze taken die door Van Beirendonck (1999,p.62-68) de vijf essentiële O�s genoemd worden, zijn:

GARDEGDNESSOLPOMEELBORP

diehthciregtnalK X X X

feitaitinI X X X

tietivitaerC X X

NEDEHGIDRAAVEGITAMSREEHEB

neresinagronenennalP X X

60

1. Observeren: het zo nauwkeurig mogelijk observe-ren van het gedrag van de docent. Met gedragwordt bedoeld dat wat door de docent gezegd engedaan wordt.

2. Opschrijven: het zo nauwkeurig mogelijk op-schrijven van het geobserveerde gedrag van dedocent. De taken observeren en opschrijvenmoeten nauwgezet uitgevoerd worden omdat hetde taken in het beoordelingsproces zijn die veelalniet opnieuw gedaan kunnen worden.

3. Omzetten: het aangeven van welke concretegedragsobservaties een uitdrukking zijn vanwelke competentie(s).

4. Oordelen: het beoordelen van de mate waarin dedocent over de competentie beschikt. De beoorde-ling wordt meestal gekwantificeerd met behulpvan schalen. Schalen met weinig schaalpuntenverdienen in het algemeen de voorkeur bovenschalen met veel schaalpunten. Deze laatstesuggereren veelal ten onrechte dat fijne onder-scheidingen gemaakt kunnen worden en leidendan ook vaak tot (schijnbaar) verschillendeoordelen van assessoren.

5. Overleggen: op basis van de oordelen die deassessoren toegekend hebben aan de competen-ties die met de verschillende instrumenten

beoordeeld zijn, moet een eindoordeel over de docen-ten gegeven worden. Om tot dat eindoordeel tekomen, stelt Van Beirendonck (1999, p. 67) hetvolgende voor:� Bespreek per instrument de oordelen van alle

assessoren op de afzonderlijke competenties enstel in overleg een definitief oordeel per compe-tentie vast.

� Stel in overleg een oordeel vast over elke compe-tentie over alle instrumenten heen.

� Stel op basis van het voorgaande in overleg hetdefinitieve eindoordeel vast.

Het beoordelen van het gedrag van anderen isgeen eenvoudige taak waarbij veel fouten

gemaakt (kunnen) worden. Wanneer assessorenkennis hebben van de fouten die ze kunnen maken,zijn die wellicht te vermijden. Beoordelingsfouten(zie onder andere Van den Broek e.a. , 2000, p. 44-47)die vaak door assessoren gemaakt worden zijn:� Centrale tendentie: geen extreem hoge of extreem

lage scores geven maar voornamelijk het middenvan de beoordelingsschaal gebruiken.

� Halo-effect: door de positieve beoordeling van(aspecten van) een enkele competentie ook de(aspecten van) andere competenties positiefbeoordelen.

61

� Horn-effect: door de negatieve beoordeling van(aspecten van) een enkele competentie ook(aspecten van) de andere competenties negatiefbeoordelen.

� Generaliseren: op grond van slechts een enkelegedraging een algemeen oordeel geven.

� Strengheid en mildheid: consequent streng ofmild beoordelen.

� Projectie: eigen gedrag tot norm verheffen, metname in het geval dat de leidinggevende deassessor is.

� Vooroordelen of stereotiepen: ervan uitgaan datbepaalde eigenschappen of kenmerken vanpersonen bij elkaar horen.

� Selectieve waarneming: zien of horen wat menwil zien of horen.

� Toegeeflijkheid: eerder hoger dan lager beoordelen,met name in het geval dat de leidinggevende deassessor is.

� Nabijheid: medewerkers waar men meer contactmee heeft hoger beoordelen, met name in hetgeval dat de leidinggevende de assessor is.

� Doelredenering: naar een eindresultaat toeredeneren om te komen tot een (te) positieve ofnegatieve beoordeling.

� Vroegere oordelen: vroegere oordelen een rol latenspelen.

� Relatie: ten onrechte positief beoordelen om derelatie niet te verstoren.

� Recentheid: te sterk laten meewegen van eenrecente gebeurtenis.

� Eerste indruk: laten meewegen van een eersteindruk.

Bij het formuleren van de eigenschappen waar over assessoren zouden moeten beschikken,

nemen we de meest complexe beoordelingssituatie,namelijk de situatie waarbij de competenties vanpraktiserende docenten beoordeeld worden, alsuitgangspunt. Als assessoren voor de beoordelingvan praktiserende docenten komen in aanmerking:leidinggevenden, hoofd vaksectie en collega�s.Daarnaast kunnen bepaalde competenties ook doorleerlingen beoordeeld worden. Niet alle competentieskunnen door alle in aanmerking komendeassessoren beoordeeld worden. Zo zullen het hoofdvan de vaksectie en collega�s het beste kunnenbeoordelen of een docent als vraagbaak en voorbeeldvoor anderen fungeert, terwijl bij de beoordeling vande mate waarin een docent bij zijn lesgeven inspeeltop de leefwereld van de leerlingen het oordeel van de

62

leerlingen niet zou mogen ontbreken. Collega�s enleerlingen zijn niet onafhankelijk in de zin vanonafhankelijk van degenen die beoordeeld worden.Wanneer afhankelijke assessoren zoals collega�singezet (moeten) worden, zal assessorentraining ervoor dienen te zorgen dat de hiervoor genoemdebeoordelingsfouten niet gemaakt worden. Bovendienzullen assessoren van praktiserende docenten overde volgende eigenschappen dienen te beschikken:� Geloofwaardig: de assessor kent de docent en is

bekend met de context waarin de docent werkt.� Evident competent: de vakinhoudelijke compe-

tentie van de assessor is van een excellentniveau.

� �Voorbeeldig�: de assessor kan laten zien hoe het(wel) moet.

� Bekwaam: de assessor moet een bekwaambeoordelaar zijn.

� Overtuigend: de beoordeling van de assessorwordt door de docent geaccepteerd.

� Accuraat: de assessor trekt voldoende tijd uitvoor de beoordeling.

� Betrouwbaar: de assessor bespreekt de beoorde-ling alleen met de betrokken docent en anderepersonen die bij de beoordeling betrokken zijn.

3.2 Kwaliteitscriteria voor competentie-instru-menten voor docentenCompetentie-instrumenten voor docenten moetenvoldoen aan bepaalde kwaliteitscriteria. In deliteratuur over zogenaamde authentieke instrumen-ten waartoe ook competentie-instrumenten voordocenten behoren, worden vele kwaliteitscriteriaopgevoerd (zie ook Dierick e.a., 2001.) Onderstaandebespreking beperkt zich tot twee groepen kwaliteits-criteria namelijk psychometrische en procedurelekwaliteitscriteria. Onder psychometrischekwaliteitscriteria worden hier de validiteit enbetrouwbaarheid van competentie-instrumentenbedoeld, terwijl de procedurele kwaliteitscriteriabetrekking hebben op de uitvoerbaarheid entransparantie van competentie-instrumenten. Inhoofdstuk 4 zullen bij het evalueren van instrumen-ten die momenteel voor het beoordelen van docent-competenties gebruikt worden in voorkomendegevallen ook nog andere kwaliteitscriteria betrokkenworden.

63

3.2.1 Psychometrische kwaliteitscriteria

VALIDITEITBij de validiteit van een competentie-instrumentgaat het om de vraag of dit aan zijn doel beant-woordt. Het doel van een instrument voor docent-competenties is na te gaan of zij-instromers, studen-ten of docenten over de door de lerarenopleiding of deoverheid gewenste competenties beschikken. Hetvalideren van een competentie-instrument bestaater dan uit dat men gegevens verzamelt om te bewij-zen dat de betreffende competenties gemeten worden.In dit verband verdient het onderzoek van Jansen(1993), uitgevoerd bij assessment centers voormanagers, navolging. Uit dit onderzoek bleek datverschillende competenties binnen een bepaaldinstrument, bijvoorbeeld de opdracht om een verga-dering te leiden, wat als een kritische situatie aange-merkt kan worden, meer met elkaar samenhangendan met dezelfde competenties gemeten met eenander instrument. Voor de competentiematrix vaneen commerciële functie die hiervoor gepresenteerdis, betekent dit dat �overtuigingskracht� in eengroepsdiscussie niet hetzelfde is als �overtuigings-kracht� in een gesprek met de klant en dat er dus geen

sprake is van dezelfde competentie. Zou men voorcompetentie-instrumenten voor docenten hetzelfdevinden, dan betekent dit, zowel voor competentie-instrumenten voor docenten als voor het onderwijsaan docenten, dat beter uitgegaan kan worden vankritische situaties dan van competenties.De authenticiteit van de opdrachten die de beoor-deelden moeten uitvoeren, wordt terecht als eensterk punt van competentie-instrumenten aange-merkt. Uit de bespreking in hoofdstuk 2 bleek echterdat aan authentieke opdrachten niet alleen voorde-len maar ook nadelen verbonden zijn. Zonder naderonderzoek moeten daarom beweringen als �...hoemeer een toets aansluit bij de werkelijkheid die hijbeoogt te benaderen, hoe groter de validiteit� (Elsene.a., 2001, p. 36) dan ook betiteld worden als voorba-rig.

BETROUWBAARHEIDBij een betrouwbaarheidsstudie, of beter gezegd eengeneraliseerbaarheidsstudie (Sanders, 1998), van eencompetentie-instrument gaat het om de vraag hoenauwkeurig de docentcompetenties gemeten kunnenworden met een bepaald competentie-instrument.Bij een competentie-instrument heeft men te makenmet studenten of (aspirant-)docenten die opdrach-

64

ten moeten uitvoeren welke door assessoren beoor-deeld worden. Hoe betrouwbaar of onbetrouwbaareen competentie-instrument is, kan pas bepaaldworden nadat het competentie-instrument afgeno-men is. Vooruitlopend op de bespreking in hoofdstuk4 van competentie-instrumenten die momenteelbeschikbaar zijn, kan opgemerkt worden dat er bijgeen van die competentie-instrumenten onderzoeknaar de betrouwbaarheid of generaliseerbaarheidheeft plaatsgevonden.De betrouwbaarheid kan op twee verschillendemanieren berekend worden. Bij de eerste manier gaatmen uit van de scores die door verschillendeassessoren aan dezelfde competenties op verschil-lende instrumenten toegekend zijn. Bij de tweedemanier wordt eerst de betrouwbaarheid van elkinstrument afzonderlijk berekend en daarna debetrouwbaarheid van alle instrumenten samen.Gezien wat hiervoor bij validiteit naar aanleidingvan onderzoek bij assessment centers voor mana-gers opgemerkt is, lijkt de tweede manier de voorkeurte verdienen. Dit betekent dat men zich beperkt tothet berekenen van de betrouwbaarheid van indivi-duele instrumenten en die zal afhankelijk van hetaantal �items� of beoordelingspunten meer of minderhoog zijn. Berekening van de betrouwbaarheid van

alle instrumenten samen lijkt weinig zinvol indien(na onderzoek zou blijken dat) de verschillendeinstrumenten verschillende competenties meten.Wat betreft de toekenning van kwalificaties zoalseen lage of hoge betrouwbaarheid zou men rekeningmoeten houden met de consequenties die de beslis-singen voor de beoordeelden hebben. Van competen-tie-instrumenten die een belangrijke rol spelen bij debeslissing een student al of niet te certificeren, zoumen een hogere betrouwbaarheid kunnen of moeteneisen dan van competentie-instrumenten voor hetvaststellen van het competentieniveau van eendocent in het kader van diens professionele ontwik-keling.

3.2.2 Procedurele kwaliteitscriteria

UITVOERBAARHEIDBij dit criterium gaat het om de vraag of het compe-tentie-instrument niet te ingewikkeld is om af tenemen of niet onevenredig veel tijd in beslag neemtvan degenen die beoordeeld worden of van deassessoren.

65

TRANSPARANTIEBij dit criterium gaat het om de vraag of de beoor-deelden voldoende ingelicht zijn over de verschil-lende instrumenten die ingezet worden, de beoorde-laars en de beoordelingscriteria.

66

In dit hoofdstuk worden competentie-instrumen-ten beschreven en geëvalueerd die momenteel

ingezet worden bij de beoordeling van zij-instromers,studenten en docenten. Het eerste instrument,�Bewezen Geschikt�, is bedoeld voor de beoordelingvan de competenties van zij-instromers. Het tweedeinstrument, �Bekwaam Beoordeeld�, wordt ingezet bijde beoordeling van pabostudenten in verschillendefasen van de opleiding maar met name bij derdejaarsdie zich voorbereiden op de LIO-stage. De twee andereinstrumenten, het �Integratief BeoordelingsMoment�en �Als Docent in Beeld�, zijn bedoeld om te beoorde-len of eerstejaars studenten van de lerarenopleidingkunnen worden toegelaten tot de hoofdfase.Tenslotte wordt ingegaan op instrumenten die naarverwachting ingezet gaan worden bij decompetentiebeoordeling van praktiserende docenten.Opgemerkt dient te worden dat de beschrijving vangenoemde instrumenten uitsluitend gebaseerd is opschriftelijke documenten over die instrumenten en

niet op observaties van afnamen van de instrumen-ten. Uit de documenten zijn vele passages (noodza-kelijkerwijs) letterlijk overgenomen of geparafra-seerd. Het voorgaande is een van de redenen waarombij de evaluatie van de instrumenten geen eindoor-deel gegeven wordt. Een andere reden is dat deinstrumenten nog steeds in ontwikkeling zijn endefinitieve uitgaven van de instrumenten dan ookniet beschikbaar zijn.

4.1 Competentie-instrument �Bewezen Geschikt�

4.1.1 Beschrijving van �Bewezen Geschikt��Bewezen Geschikt� (Klarus e.a., 2000) is de naam vaneen assessmentprocedure voor zij-instromers in hetprimair en voortgezet onderwijs. Zowel de beschrij-ving als de evaluatie zijn gebaseerd op de instru-mentenmap en het bijbehorende rapport voor hetprimair onderwijs.

4 · Beschrijving en evaluatie vancompetentie-instrumenten

67

WIE WORDT BEOORDEELD?Met het assessment worden personen met een hbo-opleiding, aangeduid als zij-instromers, beoordeelddie in het primair onderwijs willen werken maardaartoe niet bevoegd zijn.

WAARTOE WORDT BEOORDEELD?Het assessment is in de eerste plaats bedoeld om nate gaan of een zij-instromer geschikt is om (met ofzonder extra scholing) direct voor de klas te gaanstaan. In de tweede plaats dient het assessmentinformatie op te leveren over de vraag welke compe-tenties aanwezig zijn en welke competenties nogverder ontwikkeld moeten worden. In de derde plaatsdient het assessment informatie op te leveren overhet gewenste vervolg in de verdere ontwikkeling vande kandidaat. Het gaat bij dit instrument dus om hetnemen van instroombeslissingen.

WAT WORDT BEOORDEELD?Het assessment voor zij-instromers beoogt degeschiktheid van kandidaten te beoordelen om (metof zonder extra scholing) direct voor de klas te gaanstaan. Uitgaande van de startbekwaamheden voorleraar primair onderwijs is een lijst bestaande uit

vier clusters met in totaal tien startcompetentiesvastgesteld die als de gewenste startcompetentiesbeschouwd worden voor kandidaten die docentwillen worden. Het accent ligt op de rol als leraar ofbegeleider en als lesgever.

Hieronder staan de tien startcompetenties mettussen haakjes achter elke startcompetentie

het aantal observeerbare gedragsindicatoren datgebruikt wordt voor de beoordeling van de start-competentie:

Handelen in het onderwijsleerproces1. Vermogen tot het begeleiden van leerlingen in

hun leerproces (11).2. Vermogen tot het overdragen van informatie (4).3. Vermogen tot communicatie en interactie (4).4. Vermogen klassenorganisatie en groepsmanage-

ment (8).

Algemeen professioneel handelen5. Vakdeskundigheid (7).6. Beroepshouding (7).7. Vermogen tot reflectie en initiatief (5).8. Vermogen tot ontwikkelen van eigen professio-

nele deskundigheid (3).

68

Werken binnen een organisatie9. Met anderen in een team samenwerken (8).

Kennis van het onderwijs in het algemeen10. Kennis van het onderwijs (3).

Ter illustratie staan hieronder voor de startcompe-tentie �vakdeskundigheid� de zeven gedragsindica-toren die het resultaat zijn van de tweede stap vande competentieanalyse (zie paragraaf 3.1.3):1. Is in staat een goede opbouw in de leerstof aan te

geven.2. Kan leermaterialen (boeken, CD-roms, etc.) op de

juiste manier toepassen.3. Kan leerproblemen binnen het vakgebied analy-

seren en adequaat daarop inspelen met gerichteopdrachten en/of vragen.

4. Kan leerstof/leeractiviteiten aanpassen aan demate waarin de doelen zijn bereikt.

5. Weet vakinhoudelijke kennis en vaardigheden tekoppelen aan leermethoden.

6. Kan leerlingen met vakspecifieke leerproblemeneffectief ondersteunen.

De derde stap van de competentieanalyse, het opbasis van de gedragsindicatoren vastleggen van debeheersingsstandaard van alle competenties, ont-breekt.

HOE WORDT BEOORDEELD?De assessmentprocedure bestaat uit vier fasen:� Fase 1: aanmelding, informatiebijeenkomst en

invullen en opsturen van een portfolio. Alsvolgens de assessoren de bewijzen van geschikt-heid voldoende zijn, krijgt de kandidaat eeneindbeoordeling.

� Fase 2: simulatie en criteriumgericht interview.De kandidaat krijgt een eindbeoordeling als debewijzen van geschiktheid voldoende zijn.

� Fase 3: voorbereiden, uitvoeren en reflecteren opeen praktijkopdracht.

� Fase 4: eindbeoordeling, eventueel een eind-gesprek en het verder uitwerken van het persoon-lijk ontwikkelingsplan.

De tabel op pagina 70 en 71, ontleend aan Klarus(2000, p. 23), bevat de competentiematrix van�Bewezen Geschikt�.

69

Voor een goed begrip van de assessmentprocedureworden de inhoud en de beoordeling van de zesopdrachten verder toegelicht.1. Bij het portfolio kan het gaan om ervaringsversla-

gen, getuigschriften, ervaringsproducten of certi-ficaten en cursusbeschrijvingen. De assessorenmoeten beoordelen of het portfolio voldoendebewijs bevat dat de kandidaat over bepaaldestartcompetenties beschikt.

2. Bij wat bij deze assesmentprocedure als simulatieaangeduid wordt, dient de kandidaat een aantalopdrachten uit te voeren op basis waarvan diensvakdidactische competenties beoordeeld worden.De simulatie die als voorbeeld gegeven wordt,bestaat uit vier opdrachten. De eerste opdracht iseen probleemverkennend gesprek waarbij dekandidaat zijn reactie op drie situaties metouders moet aangeven. De voorbereiding enuitvoering van de opdracht bedragen 30 minuten.Bij de tweede opdracht moet de kandidaat opbasis van door leerlingen geschreven dictees enuitgevoerde rekenopdrachten aangeven wat hijhiermee in een les zou gaan doen (30 minuten).Bij de derde opdracht moet de kandidaat eenglobale opzet van vier lessen van dertig minutenover eenzelfde thema maken (60 minuten).

De vierde opdracht betreft het analyseren enbeschrijven van een leerprobleem van een kind(50 minuten).

3. Het criteriumgericht interview bestaat uit het bijde kandidaat navragen van bepaalde zaken opbasis van de analyse van het portfolio en eenbespreking van de vier opdrachten van de simu-latie.

4. Bij de praktijkopdracht moet de kandidaat op eenschool één volledige les uit een bestaande reeksgeven. De praktijkopdracht is zowel voor dekandidaten als de assessoren het meest inten-sieve onderdeel van de procedure.

5. De zelfreflectie op de praktijkopdracht is hetstartpunt van het reflectiegesprek. Hierbij wordtde kandidaat gevraagd aan te geven welke puntenuit de zelfreflectie nog meer informatie kunnengeven over de eigen competenties.

6. De eindbeoordeling van de kandidaat en hetpersoonlijk ontwikkelplan waarmee de kandidaateen opleidings- en/of coachingstraject in kangaan.

70

oiloftroP -eitalumiSnethcardpo

-egmuiretirCweivretnithcir

-kjitkarPthcardpo

-eitcelfeRkerpseg

-rooebdniEPOP+gniled

secorpreelsjiwrednoninelednaH.A

navnedielegebtehtotnegomreV.1secorpreelnuhninegnilreel

X X X

navnegardrevotehtotnegomreV.2eitacinummoc

X X X

neeitacinummoctotnegomreV.3eitcaretni

X X X X

neeitasinagronessalknegomreV.4tnemeganamspeorg

X X

leenoisseforpneemeglABnelednah

diehgidnuksedkaV.5 X X X X X

gniduohspeoreB.6 X X X X

feitaitinineeitcelfertotnegomreV.7 X X X X X X

nelekkiwtnototnegomreV.8tietilanoisseforpnegie

X X X

71

Twee assessoren beoordelen de competenties aan dehand van gedragsindicatoren. De assessor geeft bijieder instrument per competentie op een checklist(zie bijlage 1 van de instrumentenmap) aan of dekandidaat al of niet over deze competentie beschikt.Afhankelijk van de competenties die wel of nietbehaald zijn, geeft een assessor een eindwaarderingvoor het betreffende instrument: goed, voldoende ofonvoldoende (Klarus, e.a. 2000, p. 51). Of een stan-daard voor deze eindwaardering gehanteerd wordt,wordt niet vermeld. Ook lijken er geen formele regelste zijn om uitgaande van de afzonderlijkeassessorbeoordelingen van dezelfde competentie bijverschillende instrumenten tot de eindwaarderingvan een competentie te komen. Vermeld wordt dat detwee assessoren in overleg tot een definitieve eind-

waardering voor de verschillende instrumenten eneen eindbeoordeling komen.De eindbeoordeling kent drie kwalificaties:� Volledig geschikt: de kandidaat kan direct in het

onderwijs ingezet worden en kan bij een leraren-opleiding een aanvraag voor een bevoegdheiddoen.

� Bijna volledig geschikt: de kandidaat kan direct inhet onderwijs ingezet worden maar moet voor debevoegdheidsverklaring afspraken maken met delerarenopleiding om bepaalde competenties viascholing of anderszins aan te vullen binnen tweejaar.

� Niet (volledig) geschikt: de kandidaat kan niet ofniet direct in het onderwijs ingezet worden en

dient een opleiding te volgen tot docent.

eitasinagroneenennibnekreWC

neeni(nerednatemmonegomreV.9nekrewetnemas)maet

X X X

tehnisjiwrednotehnavsinneKDneemegla

sjiwrednotehnavsinneK.01 X X

72

DOOR WIE WORDT BEOORDEELD?Het zij-instromers assessment duurt in de huidigevorm gemiddeld 15-20 uur per kandidaat. Per kandi-daat zijn er twee assessoren, een docentopleider eneen praktiserende docent. De assessoren zijn ge-traind in het afnemen van de diverse instrumentenen het geven van beoordelingsadviezen. Met uitzon-dering van het portfolio worden de instrumentendoor de assessoren onafhankelijk van elkaar beoor-deeld.

4.1.2 Evaluatie van �Bewezen Geschikt�

VALIDITEITUitgangspunt bij de ontwikkeling van deassessmentprocedure �Bewezen Geschikt� was hetdocument �Startbekwaamheden leraar primaironderwijs (1997)� dat gelegitimeerd is door hetonderwijsveld. Volgens Klarus e.a. (2000, p. 52) zijnde startbekwaamheden door de ontwikkelaarsvertaald naar een competentiegerichte beoordelings-situatie waarbij enerzijds een selectie heeft plaatsge-vonden naar relevantie voor de beroepspraktijk,anderzijds een groepering van startbekwaamhedennaar competenties die werkelijk in de beroeps-

praktijk voorkomen. Het voorgaande heeft geresul-teerd in de selectie van tien competenties metbijbehorende gedragsindicatoren. Geen informatiewordt gegeven over wie deze competenties gelegiti-meerd heeft, zodat hier aangenomen wordt dat hetde ontwikkelaars zelf geweest zijn. De ontwikkelaarsgebruiken een combinatie van verschillende instru-menten per competentie om zodoende met �verschil-lende brillen� dezelfde competentie te beoordelen(Klarus, 2000, p. 22). Hiervoor werd reeds naaraanleiding van onderzoek bij assessment centers(Jansen, 1993) opgemerkt dat zonder nader onder-zoek niet kan worden aangenomen dat �vermogen totcommunicatie en interactie� bij het criteriumgerichtinterview dezelfde competentie is als �vermogen totcommunicatie en interactie� bij de praktijkopdracht.Aan de representativiteit van de assessment-procedure is, zowel wat betreft het aspect volledig-heid als het aspect authenticiteit, door de ontwikke-laars veel aandacht besteed. Een tekortkoming vande assessmentprocedure die waarschijnlijk niet deontwikkelaars te verwijten valt, is dat het bij deassementprocedure uitsluitend gaat het om hetvaststellen van pedagogische en (vak)didactischecompetenties. Of de kandidaten een goede basisken-nis hebben van vakken zoals Nederlands en rekenen

73

wordt in de assessmentprocedure niet nagegaan.Niet duidelijk is of deze basiskennis door de leraren-opleiding in een later stadium beoordeeld wordtvoordat een bevoegdheid verstrekt wordt. Indien datniet het geval is, wordt er voor gepleit dit wel te doen.Bij de rol van de assessoren in de assessment-procedure kunnen vraagtekens gezet worden. Hoewel�de criteria waaruit kan blijken of van succesvolfunctioneren sprake is� (Klarus e.a. 2000, p. 15) alseen van de drie wezenlijke elementen voor eenbeoordeling beschouwd worden, vindt men in�Bewezen Geschikt� nergens criteria of standaarden.Het ontbreken van standaarden kan afbreuk doenaan de validiteit van de beoordeling omdat zonderstandaarden de oordelen van (subjectieve)assessoren een grotere rol kunnen spelen dan de(objectieve) instrumenten bij het beantwoorden vande vraag of kandidaten wel of niet geschikt zijn.Een gemiste kans is dat in het kader van deproefassessments geen onderzoek gedaan is naar devaliditeit van de eindbeoordelingen door bijvoordeeldeen beperkt aantal, aan de assessoren onbekende,praktiserende docenten met deze assessment-procedure te beoordelen. Verwacht zou mogenworden dat praktiserende docenten als �vollediggeschikt� beoordeeld zouden worden.

Indien dat ook inderdaad het geval geweest zou zijn,zou dat het vertrouwen in de validiteit van deeindbeoordelingen van de assessmentprocedurevergroot hebben.

BETROUWBAARHEIDEmpirische gegevens over de betrouwbaarheid vande assessmentprocedure ontbreken zodat nietbepaald kan worden of beslissingen die op basis vande procedure genomen worden voldoende betrouw-baar zijn. Aan één aspect dat van invloed is op debetrouwbaarheid, de assessoren, is veel aandachtbesteed. Door training van de assessoren en hetgebruik van gedetailleerde checklists heeft mengetracht de overeenstemming tussen de verschil-lende assessoren te verhogen. Of men daar ook ingeslaagd is, is moeilijk te beoordelen omdat derapportage (Klarus, 2000, p. 54) hierover te wensenoverlaat. Om de overeenstemming tussenassessoren te kwantificeren worden correlatiesgebruikt, maar correlaties zijn indicaties van rela-tieve overeenstemming en niet van absolute over-eenstemming Dit laatste is hier aan de orde omdatzo zou moeten zijn dat verschillende assessorendezelfde, dat wil zeggen identieke, oordelen geven enniet dat de ene assessor systematisch lagere of

74

hogere oordelen geeft dan de andere assessor. Deabsolute overeenstemming kan nooit hoger zijn dande relatieve overeenstemming en mogelijk vallen dietwee hier samen maar dat kan op basis van deverstrekte gegevens niet beoordeeld worden.

UITVOERBAARHEIDDe planning en de uitvoering van deassessmentprocedure zijn arbeidsintensief. Zovarieerde de tijdsinvestering per assessor van 12 tot20 uur per kandidaat waarbij voor de eind-beoordeling een dagdeel nodig is. Van alle opdrachtenis de praktijkopdracht het meest intensieve onder-deel van de procedure. De praktijkopdracht vergt nietalleen veel werk van de kandidaten, maar ook van deassessoren. Die moeten een groot organisatie-vermogen aan de dag leggen. Ook de simulatie-opdrachten vereisen veel aandacht. Voor deimplementatie in het veld betekent het voorgaandedat docenten van opleidingen geschoold moetenworden in het opzetten en uitvoeren van deassessmentprocedure en opgeleid dienen te wordentot assessor. De instrumentontwikkelaars hebbeneen programma voor scholing en training vanassessoren ontwikkeld.De vraag of met minder instrumenten volstaan zou

kunnen worden, kan zonder kwantitatieve gegevensover de betrouwbaarheid van de assessmentproce-dure niet beantwoord worden. Indien de betrouw-baarheid hoog zou blijken te zijn, zou op basis van deevaluatie van Tillema (2001, p. 35) het portfoliowellicht weggelaten kunnen worden, ook al omdatvolgens de competentiematrix de competenties diemet het portfolio beoordeeld worden ook reeds doorandere instrumenten gedekt worden.

TRANSPARANTIEGezien de hoeveelheid informatie die aan kandidatenter beschikking wordt gesteld, mocht worden aange-nomen dat de kandidaten wisten wat van henverwacht werd en hoe ze beoordeeld zouden worden.Dat dit niet het geval was, blijkt uit de kwalitatieveevaluatie van de assessmentprocedure door Tillema(2001, p. 35-36). Zo was voor kandidaten van buitenhet onderwijs het invullen van de portfolio ondankstussentijdse aanpassingen een probleem. Depraktijkopdracht riep veel onzekerheid op omdat hetde kandidaten niet duidelijk was wat precies van henverlangd werd in de te geven les. Veel kritiek was erop wat er na de praktijkles gebeurde of juist nietgebeurde. De verkregen eindbeoordeling werd nogaleens als vaag en vrijblijvend ervaren doordat er ofwel

75

geen duidelijk advies gegeven werd ofwel het verderetraject niet duidelijk werd aangegeven. Wat betreft deassessoren waren er volgens Klarus e.a. (2000, p. 56)in eerste instantie problemen bij het scoren van deverschillende gedragsindicatoren. In de definitieveversie van de assessmentprocedure is dit aangepast.

4.2 Competentie-instrument �Bekwaam Beoor-deeld�

4.2.1 Beschrijving van �Bekwaam Beoordeeld��Bekwaam beoordeeld� is de naam van eenassessmentprogramma voor pabostudenten datontwikkeld is door de EOS projectgroep �BekwaamBeoordeeld�. EOS staat voor Educatief OostelijkSamenwerkingsverband waarin acht pabo�s enhogescholen participeren. De beschrijving en evalua-tie zijn gebaseerd op de in 2000 verschenenpublicatie getiteld �De Balans�.

WIE WORDT BEOORDEELD?Het assessmentprogramma is gericht op de beoorde-ling van kerncompetenties van pabostudenten, metname studenten die het derde jaar van de opleidingnagenoeg afgerond hebben.

WAARTOE WORDT BEOORDEELD?Het antwoord op deze vraag wordt niet expliciet in dedocumentatie gegeven. Volgens de ondertitel van �DeBalans� gaat het om �ontwikkelingsgerichteassessments voor pabostudenten�. Volgens �DeBalans (p. 7)� is het assessmentprogramma in eersteinstantie gericht op derdejaars studenten die zichvoorbereiden op de LIO-stage. In �De Balans (p. 23)�wordt echter opgemerkt dat het resultaat van alleontwikkelingsinspanningen een assessment-programma is dat operationeel is voor tweede, derdeen vierdejaarsstudenten. Op basis van het voor-gaande wordt hier geconcludeerd dat hetassessmentprogramma bedoeld is voor het nemenvan doorstroombeslissingen over studenten inverschillende fasen van de lerarenopleiding.

WAT WORDT BEOORDEELD?Uitgangspunt voor het assessmentprogramma zijnde kenmerkende en kritische situaties die in �Start-bekwaamheden leraar primair onderwijs (1997)�beschreven worden. Na literatuurstudie, analysevan representatieve praktijksituaties en de reedseerder beschreven kenmerkende en kritische situa-ties en onderzoek via de proefafnamen, zijn er negen

76

zogenaamde kerncompetenties geselecteerd die methet assessmentprogramma beoordeeld worden.Bij de beschrijving van een kerncompetentie kunnende volgende stappen onderscheiden worden:1. Het formuleren van een definitie waarbinnen de

verschillende aanwezige componenten alshandelingsdimensies binnen de competentiebeschreven worden. Handelingsdimensies zijnclusters van gedrag die gezamenlijk en in be-paalde volgorde de gehele competentie vormen.

2. Op basis van deze handelingsdimensies wordenin termen van gedrag in een vijfpuntsschaal deonderscheiden beheersingsniveaus beschreven.Niveau 4 wordt beschouwd als het beheersings-niveau aan het einde van het opleidingstraject.

3. Vanuit de vijfpuntsschalen worden voor elkonderscheiden niveau observatiepunten intermen van concreet waarneembaar gedragbenoemd met behulp waarvan een assessor hetgedrag kan beschrijven en beoordelen.

Om een zo eenduidig mogelijke omschrijving vande verschillende kerncompetenties te krijgen, is

een format ontwikkeld. Voor de kerncompetentie�lesvoorbereiding (didactiseren)� worden hieronderdelen van het format gepresenteerd (De Balans, p. 61-65).

DefinitieOnder �lesvoorbereiding/didactiseren� verstaan we: devaardigheid om leerstof geschikt te maken voor over-dracht aan verschillende doelgroepen met specifiekekenmerken en dit middels een schriftelijke weergavete kunnen verantwoorden.

Handelingsdimensies binnen de competentielesvoorbereiding1. Leerstofselectie: het kiezen en formuleren van

doelstellingen en leerinhouden aansluitend opeen beschreven beginsituatie.

2. Didactische opbouw: het kiezen en beschrijvenvan structuur, activiteiten en werkvormen,inclusief middelen.

3. Adaptiviteit: het planmatig aanpassen van 1 en 2aan individuele verschillen.

4. Evaluatie/toetsing: het kiezen en beschrijven vande afsluitingsprocedures.

De vijf beheersingsniveausVan de vijf beheersingsniveaus wordt hierbeheersingsniveau 4 vermeld die luidt:

77

� Selecteert leerstof uit het aangeboden materiaalop basis van veronderstelde verschillen in begin-situatie en gegeven doelen.

� Stemt de les, instructie, werkvormen, begeleiding,af op de interesse, het verschil in tempo, niveau,en voorkennis in de groep.

� Plant een controle van de beginsituatie.� Plant toetsing/evaluatie.

ObservatiepuntenVoor beheersingsniveau 4 zijn de observatiepunten(gedragsindicatoren) bij leerstofselectie:� Beschrijft beginsituatie in detail.� Selecteert de leerstof uit het aangeboden materi-

aal.� Kiest en beschrijft doelstellingen, gerelateerd aan

specifieke situatie (leerinteresse, ontwikkelings-kenmerken, niveau, omstandigheden).

Voor de observatiepunten voor de dimensies �didacti-sche opbouw�, �adaptiviteit� en �evaluatie/toetsing�wordt verwezen naar de voornoemde documentatie.

Verantwoording keuzesVoor het assessmentprogramma is de kern-competentie �lesvoorbereiding� van belang omdat:

� De competentie voorwaardelijk is voor het gevenvan goede lessen - het voorbereiden van lessen iseen primaire beroepsfactor.

� Het vooraf (schriftelijk) verantwoording afleggenover de gemaakte keuzes, de planning en hetvervolg van een les geeft onder andere informatieover de vraag of de student kan denken in kleineleerstappen en leerstofgehelen overziet, over deschriftelijke communicatie vaardigheden van destudent

BegripsafbakeningBij de competentie �lesvoorbereiding� gaat het om hetvormgeven van onderwijs, waarbij wordt overwogenhoe en in welke mate het gericht wordt op de speci-fieke kenmerken van de groep en de individuelekenmerken.

Relaties met andere kerncompetentiesVoor de beschrijving met welke andere kern-competenties behalve voorwaardelijke kennis er eenrelatie is, wordt verwezen naar de voornoemdedocumentatie.

78

Relatie met de startbekwaamhedenVoor de beschrijving van de relatie met de algemenestartbekwaamheden, de vakspecifieke start-bekwaamheden en met de kenmerkende en kritischesituaties, wordt verwezen naar de voornoemdedocumentatie.

UitvoeringDe student krijgt een �at random� geselecteerdthemapakket toegewezen, waaruit een les van 10minuten over een specifiek onderwerp of vraagstukbinnen dit thema moet worden voorbereid vooroverdracht aan een specifieke doelgroep (de groepmedestudenten plus de rollenspeler). De opdracht iszodanig samengesteld, dat het voor de studentmogelijk is de opdracht op elk van de beschrevenbeheersingsniveaus uit te voeren. Van de voorberei-ding wordt een schriftelijke verantwoording gegevendie door een assessor beoordeeld wordt.

Voor een kerncompetentie zijn vijf beheersings-niveaus gedefinieerd. Hiervoor werden voor de

kerncompetentie �lesvoorbereiding� degedragsindicatoren of observatiepunten vanbeheersingsniveau 4 aangegeven.

Of bij het bepalen van het beheersingsniveau eenbeheersingsstandaard gehanteerd wordt, wordt nietvolledig duidelijk uit de documentatie. Het lijkt dataan alle observatiepunten die bij een bepaaldbeheersingsniveau genoemd worden, voldaan moetzijn om met dat beheersingsniveau gewaardeerd teworden.

HOE WORDT BEOORDEELD?In het assessmentprogramma worden de negenkerncompetenties beoordeeld met drie opdrachten,een reflectieverslag en een afrondend gesprek. Eenvragenlijst vooraf en zelfbeoordelingen na elkeopdracht en een schriftelijke verantwoording van delesvoorbereiding complementeren het programma.De drie opdrachten zijn een samenwerkingsopdracht(duur 2 uur), een lesvoorbereiding (duur 70 minuten)en de presentatie van de voorbereide les (duur 15minuten). Naast de kerncompetenties worden ooknog twaalf persoonskenmerken (motivatie, stress-bestendigheid etc.) en de schriftelijke en mondelingetaalvaardigheid beoordeeld.

De competentiematrix van het assessmentpro-gramma staat in tabel hiernaast.

79

De kerncompetenties worden met behulp vanobservatielijsten op vijfpuntsschalen beoor-

deeld. Uit de documentatie blijkt niet of er formeleregels zijn om de afzonderlijke assessorbeoordelingenvan dezelfde kerncompetentie bij verschillendeinstrumenten samen te vatten in één eind-waardering van de betreffende kerncompetentie. Ooklijken formele regels die leiden tot een eind-

beoordeling van de student te ontbreken. Vermeldwordt dat twee assessoren over vier studentenrapporteren. De rapportage gaat naar de student ende opleidingsbegeleider. Op basis van deze rapportagebepalen begeleider en student samen of er sprake isvan eventuele achterstand en stellen zij vervolgenssamen een persoonlijk ontwikkelplan op.

-sgnikrewnemaSthcardpo

gnidierebroovseL selednaveitatneserP -eitcelfeRgalsrev

dnednorfAkerpseg

nekrewnemaS X

neveggnidieL X X

neresitcadiD X

neretneserP X

nelednahthciregleoD X X X

neresinagronenennalP X X X

tietivisnopseR X X

tietilibixelF X X X X X

negomrevfeitcelfeR X X X X

80

DOOR WIE WORDT BEOORDEELD?Het assessmentprogramma duurt anderhalve dagwaarbij de studenten in groepen van acht, peronderdeel telkens door twee assessoren wordenbegeleid en geobserveerd. In voorkomende gevallenwordt de student ook door de rollenspeler beoordeeld.Om assessor te kunnen worden, moet men eentraining van acht dagdelen volgen. Het voornemen iseen procedure voor de certificering van getraindeassessoren te gaan ontwikkelen.

4.2.2 Evaluatie van �Bekwaam Beoordeeld�

VALIDITEITHet doel van �Bekwaam Beoordeeld� is een beeld tekrijgen van het beheersingsniveau van alle relevantgeachte kerncompetenties en persoonskenmerkenvan pabostudenten. Hoewel volgens �De Balans (p.5)�het assessmentprogramma (nog) niet alle kern-competenties bevat, wordt geen informatie gegevenover de vraag hoe cruciaal die ontbrekende kern-competenties zijn. Van de kerncompetenties wordtook gezegd dat ze nog niet volledig en uitputtendomschreven zijn. Over hoe de kerncompetenties�reflectief vermogen� en �responsiviteit� benoemd

moeten worden, bestaan verschillende opvattingen.Overwogen wordt om de beoordeling van de kern-competentie �responsiviteit� bij de volgende versievan het assessmentprogramma te laten vervallen.Uit het voorgaande blijkt dat de ontwikkeling vanhet assessmentprogramma zich nog in een experi-mentele fase bevindt.Wat betreft de representativiteit van het assess-mentprogramma, kunnen zowel bij het aantal en deomvang van de opdrachten als de authenticiteit vande opdrachten vraagtekens gezet worden. Wat betreftde omvang is de duur van de presentatie van de lesnogal kort en wat betreft de authenticiteit lijkt derollenspeler die bepaalde gedragingen probeert uit telokken een te cruciale rol te spelen bij het realiserenvan de beoogde authenticiteit. Deze afhankelijkheidvan een rollenspeler maakt de authenticiteit van deopdrachten erg kwetsbaar. Wat ook afbreuk doet aande authenticiteit van de opdrachten is dat ze nietuitgevoerd worden met kinderen maar met mede-studenten. Het is zeer de vraag of het gedrag vanmedestudenten wel vergelijkbaar is met dat vankinderen.Ook hier geldt wat bij de bespreking van de validiteitvan �Bewezen Geschikt� reeds opgemerkt werd,namelijk dat zonder nader onderzoek niet aangeno-

81

men mag worden dat een bepaalde kerncompetentienog steeds dezelfde kerncompetentie is bij verschil-lende opdrachten.Onderzoek naar de validiteit van het assessment-programma is gepland waarbij het functioneren in destage vergeleken zal worden met de uitvoering van deopdrachten uit het assessmentprogramma.

BETROUWBAARHEIDDe betrouwbaarheid van het assessmentprogrammais niet onderzocht. Van één aspect dat van invloed isop de betrouwbaarheid, de assessoren, wordt welvermeld welke inspanningen naast een uitgebreideassessorentraining verricht zijn om de mogelijkeverschillen tussen assessoren te minimaliseren,bijvoorbeeld het toevoegen van observatiepuntenaan de vijfpuntsschaal, maar kwantitatieve gegevensover assessoren worden niet gepresenteerd.

UITVOERBAARHEIDDe uitvoering van het assessmentprogramma vereistvolgens de documentatie een uitstekende planning,organisatie en logistiek. Een draaiboek van hetassessmentprogramma en handleidingen voorassessoren en studenten zijn beschikbaar. Overmogelijke problemen met betrekking tot de

uitvoerbaarheid wordt in de documentatie nietgerept.

TRANSPARANTIEIn voornoemd draaiboek staat dat een beschrijvingvan de inhoud van elke opdracht in de handleidingvoor de kandidaat staat. Voorafgaand aan elkeopdracht en zelfbeoordeling krijgt de kandidaataanvullend een toelichting van één van deassessoren en is er gelegenheid tot het stellen vanvragen. De zelfbeoordelingen, de verantwoording vande lesvoorbereiding en het reflectieverslag van destudent zijn aan richtlijnen gebonden. Deze docu-menten zijn opgenomen in de kandidaten-handleiding zodat alle kandidaten over dezelfde enzo eenduidig mogelijke informatie beschikken.De assessoren beschikken over dezelfde informatieen hulpmiddelen zoals observatielijsten, observatie-punten, handelingsdimensies en vijfpuntsschaale.d., alsmede richtlijnen voor het voeren van hetgesprek en het schrijven van de rapportage. Er is eenprocedure ontworpen via welke de assessor tot eenvoorlopige beoordeling komt, voorafgaande aan hetassessorenoverleg.

82

4.3 Competentie-instrument �IntegratiefBeoordelingsMoment�

4.3.1 Beschrijving van �Integratief Beoordelings-Moment�Het �Integratief BeoordelingsMoment (IBM)� is eendoor de Educatieve Faculteit Amsterdam (EFA)ontwikkeld assessment. De beschrijving en debeoordeling van het �IBM� zijn gebaseerd op eenpublicatie van Oudkerk Pool en Snoek (2000), getiteld�Beoordeling als koersbepaler voor een competentie-gericht curriculum�.

Wie wordt beoordeeld?Met het �IBM� worden eerstejaarsstudenten van drieopleidingen van de Educatieve Faculteit Amsterdambeoordeeld.

WAARTOE WORDT BEOORDEELD?Met het �IBM� wordt een doorstroombeslissinggenomen, dat wil zeggen dat op basis van het �IBM�beslist wordt of een student toegelaten wordt tot dehoofdfase van de opleiding.

WAT WORDT BEOORDEELD?Volgens voornoemde publicatie (p. 12) worden methet �IBM� de competenties van de student beoordeeld.Die competenties beschrijven de essentieel geachtebekwaamheden van een persoon die bepalend zijnvoor het professioneel uitvoeren van taken in deconcrete beroepssituatie. De competenties hebbendaarom betrekking op een samenhangende engeïntegreerde verzameling van kennis, vaardighedenen attitudes.Een HBO-er hoort over beroepsonafhankelijke enberoepsspecifieke competenties te beschikken.De beroepsonafhankelijke competenties zijn:� Het methodisch kunnen handelen in complexe

situaties.� Het in staat en bereid zijn tot het verantwoorden

en legitimeren van gemaakte keuzes.� Het willen bijdragen aan de ontwikkeling van

methodiek en beroep.� De behoefte om het handelen te verankeren in

een wetenschappelijke kennisbasis.� Het combineren van het geven van leiding en

bieden van ondersteuning aan medewerkers.

83

De beroepsspecifieke competenties kunnen onderver-deeld worden in:� Competenties die te maken hebben met het

algemene gedrag van een docent als professioneelmedewerker in een veranderende schoolorganisa-tie (mesoniveau van het beroep).

� Competenties die te maken hebben met hetpedagogisch didactisch handelen van de docent(microniveau van het beroep).

� Competenties die te maken hebben met het vak-gebied waar de docent les in geeft.

In het �IBM� staan met name de competenties die temaken hebben met het algemene gedrag van een

docent als professioneel medewerker centraal. Ditheeft te maken met het feit dat het �IBM� beoordeelt ofde student hoofdfasebekwaam is. Binnen het oplei-dingsconcept van de EFA betekent dit dat de studentin staat moet zijn om zelfstandig en zelfverant-woordelijk vorm te geven aan zijn eigen leerproces.

Informatie over de tweede stap van decompetentieanalyse, het omschrijven van de

competenties in gedragsindicatoren, is ontleend aande beschrijving van de kritische opdracht die eentelefoongesprek betrof (zie hiernaast).

Tijdens het telefoongesprek, de evaluatie en depresentatie letten de assessoren op de volgendebeoordelingsaspecten:� Luisterende houding.� Onderzoekende, vragende houding.� Analyseren (verschillende gezichtspunten).� Samenwerken.� Koppeling praktijk en theorie.� Initiatief nemen.� Omgaan met (eventuele) weerstand.� Planmatig werken.� Telefoongesprek voeren.� Samenvatten.

Bij deze opdracht is de volgende beheersings-standaard, de derde stap van de competentie-

analyse, vastgesteld:� De student scoort onvoldoende wanneer hij op

twee of meer van de beoordelingsaspecten niethandelingsbekwaam is en zich hiervan ook nietbewust is.

� De student scoort voldoende wanneer hij op éénof twee beoordelingsaspecten niet handelingsbekwaam is maar zich hiervan wel bewust is endit kan vertalen in leervragen.

84

� De student scoort goed wanneer hij handelings-bekwaam is op alle beoordelingsaspecten en kanaangeven hoe hij zich op deze gebieden verder kanontwikkelen.

HOE WORDT BEOORDEELD?Het �IBM� bestaat uit de volgende onderdelen:1. Beoordeling van het portfolio (voorafgaand aan de

IBM-dag).Met behulp van de in het portfolio verzameldegegevens (eigen producten, feedback van docentenen medestudenten, reflecties op eigen leerproces,etc.) maakt de student een zelfevaluatie. Hierinlaat hij het team van assessoren zien hoe ver hijis in zijn ontwikkeling op de door de opleidingvastgestelde competentiegebieden. In dezezelfevaluatie verwijst de student naar zijn port-folio als het gaat om bewijsvoering voor zijnbeweringen.

2. Feedback op het portfolio.Op basis van het portfolio geven de assessoren ineen kort gesprek individuele feedback aan destudent. Indien de assessoren bepaalde compe-tenties onvoldoende bewezen achten, krijgt destudent aanvullende opdrachten om alsnog telaten zien dat hij wel over deze competenties

beschikt. De student gebruikt de feedback om zijninbreng in het rondetafelgesprek voor te bereiden.

3. Kritische situatie.Aan een groep van drie studenten wordt eenkritische situatie voorgelegd waarin de belang-rijkste competenties op integratieve wijze aan deorde komen.Tijdens de uitvoering van dezeopdracht observeren de assessoren. De assessorenbespreken hun beoordeling en bereiden op basishiervan het rondetafel gesprek voor waarbij deresultaten uit voorgaande stappen en de beoorde-ling van de eventuele aanvullende opdrachtworden meegenomen.Een voorbeeld van een kritische situatie is eencasus waarbij de mentor van een leerling deouders opbelt omdat de betreffende leerling inkorte tijd twee keer verzuimd heeft. Door destudent wordt een telefoongesprek gevoerd met deleerling (jongerentelefoon), één van de ouders vande leerling (opvoedtelefoon) en de mentor van deleerling (onderwijstelefoon). In deze casus wordteen beroep gedaan op de handelingsbekwaamheidvan de student als toekomstig HBO-pedagoog. Destudent krijgt voor deze opdracht tien minutenvoorbereidingstijd en vijf minuten voor elkgesprek. Daarna krijgen de drie studenten twintig

85

minuten de tijd om met elkaar de gesprekken teanalyseren. Deze analyse moet in een betoog vantien minuten aan de drie assessoren gepresen-teerd worden.

4. Ronde Tafel (RT).Het rondetafelgesprek is een evaluatief gesprektussen assessoren en drie studenten aan de handvan voorgaande stappen. Assessoren en studen-ten beschikken hiervoor over een protocol.Assessoren en studenten zijn in dit gesprekgelijkwaardige gesprekspartners wat betekent datvan studenten ook feedback op elkaar, met nameover functioneren tijdens de kritische situatie,gevraagd wordt

5. Eindoordeel.Op basis van de oordelen op voorgaande stappenkomen de drie assessoren tot een eensluidendeindoordeel. De student krijgt dit eindoordeelschriftelijk en kan dit opnemen in zijn portfolioten behoeve van sturing van het eigen leerprocesen van voorbereiding van de assessments in dehoofdfase.

Hoewel in de documentatie vermeld wordt dat inhet �IBM� met name de competenties centraal

staan die te maken hebben met het algemene gedrag

van een docent als professioneel medewerker in eenveranderende schoolorganisatie, wordt er geenoverzicht gegeven van de competenties die met deverschillende instrumenten beoordeeld worden.Vandaar dat van het �IBM� geen competentiematrixopgesteld kon worden.In de documentatie wordt ook geen informatiegegeven over de vraag hoe een eindwaardering vaneen competentie en hoe een eindbeoordeling van eenstudent tot stand komt. Wel wordt vermeld dat deassessoren uiteindelijk tot drie verschillendebeoordelingsuitslagen kunnen komen:1. De student wordt door de assessoren voldoende

competent beoordeeld om door te gaan naar dehoofdfase.

2. De student wordt als onvoldoende competentbeoordeeld en krijgt een bindend negatief studie-advies.

3. De student krijgt een voorlopige beoordeling doorde assessoren omdat hij nog niet voldoende

competent geacht wordt maar naar verwachtingbinnen een half jaar wel de competenties heeftom toegelaten te worden tot de hoofdfase. Destudent sluit een individueel leercontract metzijn mentor af gericht op het alsnog voldoen aande eisen van het �IBM�.

86

Na een half jaar kan de student weer opgaan vooreen �IBM�.

DOOR WIE WORDT BEOORDEELD?Het �IBM� wordt afgenomen door professioneleassessoren. Assessoren ondergaan een uitgebreidetraining waarin de assessor moet laten zien dat hijvoldoende bekwaam is. De assessor is niet alleenbeoordelaar maar ook ontwerper van beoordelings-situaties. Bovendien moet hij inhoudelijk deskundigzijn en op zo�n manier feedback kunnen geven datstudenten daar constructief mee omgaan. Verdermoet de assessor ontwikkelingsgericht zijn tenopzichte van zijn eigen bekwaamheden en kunnenlaten zien over de noodzakelijke reflectieve be-kwaamheden te beschikken die essentieel zijn voorde eigen ontwikkeling op weg naar �expert� assessor.De docent zou hiervoor gebruik moeten maken vanzijn eigen docentportfolio waarin hij bewijst aan degevraagde competenties te voldoen.Bij het �IBM� worden per zes studenten drieassessoren ingezet die gezamenlijk de studentenbeoordelen. Er wordt gewerkt met gemengde teamsvan beoordelaars, bijvoorbeeld door minimaal éénassessor afkomstig te laten zijn uit een andereopleiding.

4.3.2 Evaluatie van �Integratief Beoordelings-Moment�

VALIDITEITOver de vraag welke competenties beoordeeld wordenmet het �IBM�, bevat de documentatie (Oudkerk-Pool& Snoek, 2000) weinig informatie. Van het �IBM� kondan ook geen competentiematrix gereconstrueerdworden. Ook ontbreken verwijzingen naar de start-bekwaamheden en andere bekende documenten overcompetenties van docenten.De representativiteit van het assessment is beperkt.Er wordt slechts een enkel aspect van het functione-ren van een docent beoordeeld maar wellicht wordtdoor de opleiding niet meer van studenten geëist en/of mag van eerstejaars studenten niet meer ver-wacht worden. Aan de authenticiteit van de op-dracht is voldoende aandacht besteed.

BETROUWBAARHEIDOver onderzoek naar de betrouwbaarheid van het�IBM� wordt niet gerapporteerd. Er is veel aandachtbesteed aan maatregelen om de intersubjectiviteitvan de assessoren te verhogen, maar kwantitatievegegevens hierover ontbreken.

87

Indien men die gegevens wel verzameld zou hebben,had men evenals bij vergelijkbare beoordelings-instrumenten wellicht kunnen constateren dat tweein plaats van drie assessoren voldoende zouden zijngeweest. Indien drie of meer assessoren nodig zijnvoor een hoge intersubjectiviteit, zou nog eenskritisch naar de beoordelingsvoorschriften bij deverschillende onderdelen van het assessmentgekeken moeten worden.

UITVOERBAARHEIDDe planning en uitvoering van het �IBM� zijn minderarbeidsintensief dan die van de twee assessments diehiervoor beschreven zijn. In de documentatie wordtgeen melding gemaakt van problemen ten aanzienvan de uitvoerbaarheid.

TRANSPARANTIEOp basis van de informatie die in verband met decasus van de kritische situatie gegeven wordt, krijgtmen de indruk dat de studenten goed geïnformeerdworden over wat van hen verwacht wordt bij deuitvoering van de opdracht en hoe zij beoordeeldzullen worden. Aan de assessoren worden hoge eisengesteld zodat verwacht mag worden dat zij geenproblemen zullen hebben bij het afnemen en beoor-delen van het �IBM�.

4.4 Competentie-instrument �Als Docent inBeeld�

4.4.1 Beschrijving van �Als Docent in Beeld��Als Docent in Beeld� is een assessment voor deafsluiting van de propedeuse, het eerste jaar van hetreguliere voltijdsprogramma, dat ontwikkeld is doorde Faculteit Educatieve Opleidingen (FEO) van deHogeschool van Utrecht (HvU). De beschrijving enbeoordeling zijn gebaseerd op de publicatie Proevehoofdfase bekwaam �Als Docent in Beeld (2000)� vanvoornoemde faculteit.

WIE WORDT BEOORDEELD?Met het assessment worden eerstejaars studentenvan de FEO beoordeeld.

WAARTOE WORDT BEOORDEELD?Met het assessment wordt een doorstroombeslissinggenomen, dat wil zeggen dat de uitslag van hetassessment direct bijdraagt aan het geven van een(bindend) studieadvies aan het einde van het eerstejaar.

88

WAT WORDT BEOORDEELD?Met de startbekwaamheden als uitgangspunt zijndoor de FEO samen met andere educatieve partnerscompetenties voor een startbekwame docent vastge-steld. Voor het onderhavige assessment is uitgegaanvan de competenties zoals die in het EPS-project vande HvU/FEO voorgesteld zijn. Hiervan worden voorhet assessment de volgende competenties gebruikt:� Kan ik goed leiding geven aan een groep, stel ik

grenzen? (Domein Pedagoog)� Kan ik een goede presentatie geven? (Domein

Didacticus)� Kan ik samenwerken? (Domein Teamlid)� Kan ik goed plannen? (Domein Professional)� Kan ik evalueren en reflecteren? (Domein Profes-

sional)� Heb ik een goed beeld van de taak en van mijzelf?

(Domein Professional).

De tweede stap van de competentieanalysebestaat hieruit dat bij een competentie een

aantal rollen onderscheiden worden en dat bij dierollen gedragscriteria geformuleerd worden. Zoworden bij het �domein pedagoog� drie rollen onder-scheiden: opvoeder; begeleider van groepsdyna-

mische processen; verstrekker van zorg, gericht opindividu en groep. In de documentatie wordt vanbeheersingsstandaards voor de onderscheidencompetenties, de derde stap van de competentie-analyse, geen melding gemaakt. Uit de scorelijst voorde assessor blijkt dat er geen �scores� worden gegeven(zie hieronder).

HOE WORDT BEOORDEELD?Op het einde van het eerste jaar vindt een assess-mentgesprek plaats tussen de opleiding en de stu-dent over zijn competenties op het gebied van deberoepsvoorbereiding (BVC). Het gesprek leidt tot eenadvies aan de vakexamencommissie (VEC). De VECgeeft een bindend studieadvies op basis van het BVC-advies en de behaalde resultaten bij cursussen uithet eerste jaar. In het gesprek toont de student dathij klaar is voor de hoofdfase en hij doet dit aan dehand van bewijsmateriaal dat hij in de loop van hetjaar opgebouwd heeft. Het materiaal is gebundeld inhet portfolio met de titel �Als docent in beeld�.

Nevenstaande competentiematrix van het port-folio laat zien dat het portfolio uit vijf onderde-

len bestaat. Wat die vijf onderdelen inhouden, wordtna de presentatie van de competentiematrix toege-licht.

89

neveggnidieL neretneserP nekrewnemaS nennalP nereulavE dleeB)kaat/flez(

2ne1eitatneserP.1

reilumrofsgnidierebrooV X

galsrevgnireovtiU X

nerednakcabdeeF X X

galsrevne)1(oediV X X

tietivitcaeveitacudE.2

nalpkrew/.mrof.brooV X

galsreV X X X

nerednakcabdeeF X X

nenekatskeozrednO.3gnikrewnemas X

X X X

laatoteitaulavefleZ.4

galsreveitavitoM X X X

nerednakcabdeeF X X X X X X

esylana-etkawz/etkretS X X X X X

kerpsegtnemssessA.5 X X

90

Het portfolio bestaat uit vijf onderdelen:1. Twee presentaties bestaande uit een voorberei-

dingsformulier, een verslag van de uitvoering vande lessen en feedback van een medestudent envan de begeleider.Tevens een kort videofragmentvan één presentatie met een reflectieverslagwaarbij de inzichten die hierbij zijn opgedaan,verwerkt worden in het verslag.

2. De educatieve activiteit bestaande uit een voor-bereidingsformulier/werkplan, een verslag van deuitvoering van een les, feedback van mede-studenten, van leerlingen en van de begeleider.

3. Opdrachten gemaakt bij de oriënterende stagewaaronder een onderzoeksverslag over de takenvan een docent in de klas en school en de meningvan de student hierover in relatie tot het beroeps-perspectief.

4. Een zelfevaluatie bestaande uit: een motivatie-verslag waarbij de student zelf aangeeft zich wel/niet geschikt te achten voor het leraarsberoep enwel/niet toegang tot de hoofdfase te willenverkrijgen; feedback op papier over zijn compe-tenties door een medestudent en de mentor;sterkte/zwakte analyse op basis van het voor-gaande.

5. Een assessmentgesprek dat hiervoor reedsbesproken is.

Het portfolio bestaat uit een verplicht deel en een vrijdeel dat de student zelf kan vormgeven.

Twee assessoren beoordelen de student metbetrekking tot de zes onderscheiden competen-

ties. De beoordelingscategorieën zijn: goed; vol-doende, nog aan werken; matig, nog veel aan werken;grote twijfel of deze competentie voldoende ontwik-keld kan worden; niet genoeg materiaal/ervaring omiets van te kunnen zeggen. Over (regels over) hoe diebeoordeling tot stand komt, wordt geen informatiegegeven. De twee assessoren vergelijken hun beoor-delingen en geven een eindbeoordeling. De eind-beoordeling kan zijn dat de student geschikt geachtwordt voor toelating tot de hoofdfase of dat er twijfelbestaat over zijn geschiktheid voor de hoofdfase.

DOOR WIE WORDT BEOORDEELD?De beoordeling gebeurt door twee assessoren: eendocent uit de hoofdfase (bij voorkeur uit de BVC) eneen docent die tevens lid van de VEC is. Het streven isdat de student één docent al langer kent (les vangehad heeft) en de ander niet.

91

4.4.2 Evaluatie van �Als Docent in Beeld�

VALIDITEITDe competenties die geselecteerd zijn voor hetassessment, zijn bedoeld om de competenties vanstudenten aan het einde van het eerste jaar van deopleiding te beoordelen. Hoewel niet duidelijk is doorwie de keuze van de competenties gelegitimeerd is,worden een aantal van deze competenties ook inandere assessments gebruikt. Aan de representativi-teit van het assessment, zowel de volledigheid als deauthenticiteit, is de nodige aandacht besteed. Watbetreft de authenticiteit dient opgemerkt te wordendat niet alleen aan leerlingen van het voortgezetonderwijs les gegeven wordt maar ook dat aan deleerlingen expliciet om feedback gevraagd wordt. Inde documentatie wordt niet vermeld of onderzoeknaar de validiteit en de betrouwbaarheid van hetassessment gepland is.

BETROUWBAARHEIDDe documentatie bevat geen gegevens over onderzoeknaar de betrouwbaarheid van het assessment. Ookwordt geen informatie gegeven over maatregelen diede intersubjectiviteit van de assessoren bij de

beoordeling van de competenties van de studentenkunnen verhogen. Als de assessoren echter uitslui-tend met behulp van de in de documentatie ver-melde evaluatieformulieren de studenten beoorde-len, mag verwacht worden dat de assessoren een (te)groot aantal studenten verschillend zullen beoorde-len.

UITVOERBAARHEIDHoewel het samenstellen van het portfolio eenarbeidsintensieve zaak moet zijn, bevat de docu-mentatie geen informatie over problemen metbetrekking tot de uitvoerbaarheid van hetassessment.

TRANSPARANTIEDe instructies bij de instrumenten zijn van dienaard dat aangenomen mag worden dat de studentengoed op de hoogte zijn van wat van hen verwachtwordt en hoe zij beoordeeld zullen worden.De documentatie over het assessment bevat geeninformatie over het trainen van assessoren of andereinformatie over hoe de assessoren op hun beoorde-lingstaak voorbereid worden. De evaluatieformu-lieren waarmee de assessoren de competenties vande studenten moeten beoordelen zijn zeer summier.

92

4.5 Beschrijving van instrumenten voor debeoordeling van competenties van praktiserendedocentenPelkmans (1998) heeft geïnventariseerd welkeinstrumenten in het onderwijs momenteel gebruiktworden bij het beoordelen van leraren en school-leiders. Hij heeft zijn inventarisatie niet beperkt totNederland maar hij is ook nagegaan hoe beoordelingvan leraren in verschillende andere landen plaatsvindt. Interessant is in de tabel hiernaast, ontleendaan Pelkmans (1998, p. 26), die de resultaten bevatvan een onderzoek uit 1996 bij 68 grote school-districten in de Verenigde Staten naar methoden eninstrumenten die gebruikt worden bij het beoordelenvan leraren.

Uit het schooldistrictenonderzoek blijkt dat overalobservatie toegepast wordt en dat daarnaast ookandere evaluatiemethoden gebruikt worden. Deevaluatiemethoden worden bij beginnende docenteningezet bij indiensttreding en bij docenten in vastedienst voor het remediëren in geval van onvoldoendefunctioneren, ten behoeve van professionele ontwik-keling en bij het vernieuwen van aanstellingen. Debeoordeling van een docent wordt veelal uitgevoerddoor de schooldirecteur en een andere docent.

netnemurtsninenedohtemetkiurbeG )%(eitneuqerF

tehnaveitavresboehcsitametsySnevegsel

1,49

eitavresboelemrofnI 8.68

s'agellocnavserocssgniredraaW 2,61

negnilreelnavserocssgniredraaW 8,8

seitatserpgnilreeL 0,52

nemaxekjiletfirhcS 5,1

raarelednavoiloftroP 5,32

raarelednaveitaulavefleZ 6,54

93

De situatie in het Amerikaanse onderwijs verschiltsterk van die in het Nederlandse onderwijs.VolgensPelkmans (1998, p.112) vindt beoordeling vanzittende leraren in Nederland vooral plaats via eenfunctioneringsgesprek, terwijl meer directe instru-menten zoals observatie, portfolio en assessmentcenter slechts incidenteel toegepast worden. Welworden de laatste jaren beginnende leraren meerbegeleid en geëvalueerd door middel van observatie,terwijl bij de selectie van directieleden steeds vakereen assessment center ingezet wordt. Als gevolg vanhet lerarentekort zijn er recentelijk wijzigingen ophet gebied van het personeelsbeleid geïntroduceerd.In de onderwijsbegroting 2001 wordt opgemerkt datop het gebied van het personeelsbeleid scholen in hetprimair onderwijs nog te weinig eigen beleidsruimtehebben. Om die beleidsruimte te vergroten, wordenextra middelen uitgetrokken om functie- enbeloningsdifferentiatie mogelijk te maken. Scholenkunnen ook goed functionerende leraren of lerarendie beschikken over bepaalde expertise, bijvoorbeeldtaalcoördinatoren en interne begeleiders, extrabelonen door hen in een hogere salarisschaal teplaatsen. Zo ontstaan meer carrièreperspectieven inhet primair onderwijs. Als onderdeel van de CAO-afspraken zijn ook middelen beschikbaar gesteld

voor de bevordering van integraal personeelsbeleiden competentiebeoordeling en -beloning. Integraalpersoneelsbeleid wordt in de nota �Maatwerk voormorgen� (1999) omschreven als �systematischeafstemming van de kennis en bekwaamheden vanhet personeel op geformuleerde inhoudelijke enorganisatorische doelen van de onderwijsinstelling:de school als lerende organisatie.�Voordat met competentiebeoordeling en competen-tiebeloning van praktiserende docenten begonnenkan worden, zal er eerst een competentieanalysedienen plaats te vinden. Door Berenschot is eencompetentieanalyse uitgevoerd die heeft geresul-teerd in het zogenaamde competentiemodel vanBerenschot (Twisk e.a., 1999). Uit voornoemd docu-ment wordt hierna vrijelijk geciteerd en geparafra-seerd. Het competentiemodel is gebaseerd op be-staande profielen en gelegitimeerd in panelbijeen-komsten met schooldirecteuren en leraren. Hetcompetentiemodel bestaat uit tien competenties dieelk uitgewerkt zijn in drie competentieniveaus(basis, ervaren en excellent niveau). Door per compe-tentie het niveau van een bepaalde leraar vast testellen, ontstaat een individueel competentieprofiel.Hieronder staat, ontleend aan Twisk e.a. (p. 17), eenvoorbeeld van een individueel competentieprofiel.

94

Uitgangspunt bij de ontwikkeling van het competen-tiemodel was de gedachte dat het voor het onderwijsvan essentieel belang is dat leraren een loopbaankunnen doorlopen in het primaire proces van hetonderwijs. Het competentiemodel richt zich op eenloopbaanontwikkeling van juniorleraar tot ervarenof zelfs excellent leraar.

Het competentiemodel speelt een cruciale rol alsinstrument om onderwijsinstellingen in staat testellen de gewenste bekwaamheden van leraren teformuleren en te beoordelen. Integraal personeels-beleid impliceert dat het management van eenonderwijsinstelling eerst haar visie moet ontwikke-len op de doelstellingen van de instelling. Dezedoelen kunnen vervolgens vertaald worden incompetenties die van de medewerkers wordenverlangd. Als een gewenst competentieprofiel isvastgesteld, wordt dit met de docent besproken ineen gesprekkencyclus die uit een doelstellingen-gesprek, een aantal functioneringsgesprekken en eenbeoordelingsgesprek bestaat. Naar aanleiding vanhet doelstellingengesprek waarbij het huidige profielvan de docent vergeleken wordt met het gewensteprofiel, wordt een persoonlijk ontwikkelingsplan vande docent opgesteld. De ontwikkeling van de docenten de realisatie van het persoonlijk ontwikkelings-plan is onderwerp van het functioneringsgesprek.Realisatie van het persoonlijk ontwikkelingsplan ismogelijk door het volgen van opleidingen, het latenbegeleiden door ervaren of excellente collega�s(coaching) etc. Het doel van het beoordelingsgesprekis vast te stellen in hoeverre de in het functione-ringsgesprek gemaakte afspraken zijn nagekomen en

sisaB neravrE tnellecxE

nekrewdreeitnereffideG X

tnemeganamspeorG X

diehraabdnewegidnuksjiwrednO X

gnisreehebegitamkaV X

nekneddnewueinreV X

gniwueinrevtotnerelumitS X

gnikrewnemaS X

nennalplaanidutignoL X

eitatlusnocelaigelloC X

netcatnocenretxE X

95

of de gestelde doelen bereikt zijn. Naar aanleidingvan het beoordelingsgesprek wordt voor elk van detien competenties aangegeven welk beheersings-niveau de docent heeft bereikt. De competentiesworden beoordeeld als: uitstekend, goed, voldoendeen onvoldoende. Op basis van voorgaande beoorde-lingen worden de volgende competentieniveaus vandocenten onderscheiden: basis, ervaren en excellentniveau. Bij verschillende competentieniveaus horenook verschillende taken en verschillende salarissen.Uit het voorgaande blijkt dat het hier om het nemenvan competentiemanagementbeslissingen gaat.Door Twisk e.a (1999, p. 48) wordt aangegeven datonderwijssectoren en instellingen het model opverschillende manieren kunnen aanpassen aan huneigen behoeften. De aanpassing die wij hier zoudenwillen voorstellen is dat bij het beoordelen vancompetenties van docenten expliciet rekeninggehouden wordt met evaluaties van docenten doorleerlingen en met door leerlingen behaalde resultatenop toetsen, tentamens en examens. Voor evaluatiesdoor leerlingen bestaan verschillende leerling-vragenlijsten die hun waarde bewezen hebben. Het isopmerkelijk dat geen van de in dit hoofdstuk be-schreven competentie-instrumenten de door leerlin-gen behaalde resultaten bij de beoordeling van de

docent betrekt terwijl het onderwijs van de docenttoch met name beoordeeld zou moeten worden opdiens bijdrage aan het leren van de leerlingen.

96

Afgaande op de programmering van congressenen studiedagen, op de inhoud van onderwijs-

tijdschriften, op de gesprekken in veel docenten-kamers en op de aard van in gang gezette onderwijs-innovaties, lijkt er geen andere conclusie mogelijkdan dat competentiegericht opleiden �leeft� in kringenvan onderwijsgevenden en opleiders. De levensvat-baarheid moet echter nog blijken en zal medeafhangen van de vraag of men er in zal slagen om deinstrumenten te ontwikkelen die nodig zijn om deintake, voortgang en afsluiting van competentie-gerichte onderwijstrajecten in goede banen te leiden.In dit boekje hebben we proberen duidelijk te makendat het vaststellen van competenties geen eenvou-dige zaak is. Dat zal voor menigeen een bittereteleurstelling zijn. Dacht men op basis van compe-tenties eindelijk op eenvoudige en eenduidige wijzede bokken van de schapen te kunnen scheiden,blijken vraagstukken van toetsing en afsluitingeigenlijk nog lastiger te liggen dan bij de meertraditionele vormen van opleiden.We zijn ons ervan bewust dat dit boekje hiervoor

geen oplossing kan bieden; het kan de complexiteitvan de problematiek niet verkleinen. Wèl hopen wedat het een bijdrage kan leveren aan de bewustwor-ding van de problematiek en ook dat het aanleidingmag geven tot discussie onder docenten en, in hetverlengde daarvan, samenwerking op het gebied vande ontwikkeling van instrumenten. Zeker als datlaatste het geval zou zijn, is het verstandig rekeningte houden met de volgende aanbevelingen die allevoortkomen uit de evaluaties van bestaande instru-menten in hoofdstuk 4.� Meer aandacht voor het formuleren van compe-

tenties. Het is ons opgevallen dat ontwikkelaarsop basis van hetzelfde uitgangsmateriaal (start-bekwaamheden) vaak tot verschillende formule-ringen van competenties komen. En ook dat erzaken worden genoemd die volgens ons meer temaken hebben met persoonlijkheidseigenschap-pen dan met competenties, zoals bijvoorbeeld�flexibiliteit� en �reflectief vermogen�. (Dimensiesen situaties van het AC worden dan niet goed uitelkaar gehouden; zie paragraaf 2.4.1). Waarschijn-lijk wordt met �flexibiliteit� bedoeld dat de (aanstaande) docent in bepaalde (relevante) situatiesin staat is signalen op te pikken die nopen tot het

Tot slot

97

afwijken van geleerde en beproefde standaard-procedures. Dergelijke situaties zouden gespecifi-ceerd moeten worden en in één of meerdereinstrumenten aan bod moeten komen. Datvergroot de kans om de bedoelde competentie te�meten�.

� Aandacht voor leerlingprestaties. In geen van debesproken en beoordeelde instrumenten wordtaandacht besteed aan de resultaten van deinspanningen van docenten. Toch vinden wij,met name bij het beoordelen van praktiserendedocenten, dat dit aspect aandacht zou moetenkrijgen. Niet dat docenten beoordeeld moetenworden door de prestaties van hun leerlingen tevergelijken met een of andere (nationale) stan-daard, wel dat van tijd tot tijd gekeken zoumoeten worden naar de vorderingen (ten opzichtevan een eerder meetmoment) van de leerlingenals onderdeel van het bewijs voor competentie.

� Aandacht voor kennis van het vak of vakken diede docent moet verzorgen. Waar men er vroegervaak vanuit ging dat gedegen kennis van het teonderwijzen vak voldoende was om een goeddocent te zijn, lijkt nu de aandacht te eenzijdiggericht op didactische en algemeen-professionelecompetenties.

In de reguliere lerarenopleiding speelt dit pro-bleem niet, maar bij zij-instromers wel degelijk.

98

De volgende websites bevatten informatie over onderandere startbekwaamheden, zij-instromers,competentiebeoordelingen en andere assessments.

http://www.stoas.nl

http://www.toetswijzer.nl

http://www.kenniscentrumevc.nl

http://www.citogroep.nl

http://www.feo.hvu.nl/stage

http://portfolioinfo.efa.nl

http://www.minocw.nl

http://www.educatiefpartnerschap.nl

http://www.wordleraar.nl/

Interessante websites

99

Ackley, B.C., & Arwood, E.L. (1999). The goals ofeffective preservice teacher education candidates. Alongitudinal study. Unpublished manuscript.

Als Docent in Beeld (2000). Utrecht: Faculteit Educa-tieve Opleidingen (Hogeschool van Utrecht).

Beirendonck, L. van. (1999). Beoordelen en ontwikke-len van competenties. Leuven: Acco.

Bie, D. de, & Mostert, P. (2000). Competentie, over deoverbodigheid van een modieus begrip. Onderzoekvan Onderwijs, juni.

Bos, E.S. (1998). Competentie: verheldering van eenbegrip. OTEC-rapport 98/R01. Heerlen: Open Univer-siteit.

Broek, L. van den, Giessen, R. van der, & Oers-vanDorst, A. van. (2000). Performance management.Groningen: Samson.

De Balans. (2000). Arnhem: Pabo Arnhem (HAN).

Dierick, S., Dochy, F., & Van de Watering, G. (2001).Assessment in het hoger onderwijs: over de implica-ties van nieuwe toetsvormen voor de edumetrie.Tijdschrift voor Hoger Onderwijs, 19, 1, 2-18.

Dietze, A., Jansma, F., & Riezebos, A. (2000). Eenkijkkader voor competenties voor de tweedegraadslerarenopleidingen (concept). Programma-management Educatief Partnerschap.

Elsen, M., Wolters, l., Pilot, A., & Nedermeijer, J.(2001). Geschiktheid van toetsvormen voor hetmeten van academische competenties. Tijdschriftvoor Hoger Onderwijs, 19, 1, 33-43.

Fitzpatrick, R., & Morrison, E.J. (1971). Performanceand Product Evaluation. In R.L. Thorndike (Ed.).Educational Measurement (pp. 237-270). Washing-ton DC: American Council on Education.

Frederiksen, N. (1984). The real test bias: influencesof testing on teaching and learning. AmericanPsychologist, 39, 193-202.

Literatuur

100

Gagné, R.M. (1985). The conditions of learning andtheory of instruction. New York: Holt, Rinehart &Winston.

Glaser, R. (1991). Expertise and assessment. In M.C.Wittrock & E.L. Baker (Eds.). Testing and Cognition.Englewood Cliffs, NJ: Prentice Hall.

Gonczi, A. (1994). Competency based assessment inthe professions in Australia. Assessment inEducation,1, 1, 27-44.

Groot, A.D. de, & Naerssen, R.F. van (1977). Studie-toetsen: construeren, afnemen, analyseren. Deel II.Den Haag: Mouton Publishers.

Hager, P. & Gillis, S. (1995). Assessment at higherlevels. In Hall, W.C. (Ed.). Key aspects of competency-based assessment. Adelaide: NCVER.

Hooft, E.A.J. van. (1999). 360-graden beoordeling bijGITP. Een onderzoek naar de betrouwbaarheid envaliditeit. Tilburg: Katholieke Universiteit Brabant,Departement Personeelspsychologie.

Instituut voor Leraar en School (2000). Projectbrief 2.DDC Docenten Development Center.http://www.ils.han.nl.

Houston, W.R. (1974). Exploring Competency BasedEducation. Berkeley (CA): McCutchan.

International Task Force on Assessment CenterGuidelines (2000). Guidelines and EthicalConsiderations for Assessment Center Operations.Endorsed by the 28th Internationla Congress onAssessment Center Methods. San Francisco, Ca.

Jansen, P.G.W. (1991). Het beoordelen van managers.Effectiviteit van assessment-center-methodes bijselectie en ontwikkeling van managers. Baarn:Nelissen.

Jansen, P.G.W. (1993). Opleiding en ontwikkeling metde assessment-center methode. In: H. Tillema (Red.).Assessment en opleiden in organisaties. Opleiders inorganisaties. Capita Selecta afl. 14. (pp. 23-45)Deventer: Kluwer Bedrijfswetenschappen.

101

Jellema, F. (2000). Toepassing van 360-gradenfeedback in Nederlandse organisaties. Opleiding &Ontwikkeling, 13, 7/8, 21-25.

Kammen, D. van, Melisse, R., & Oudkerk-Pool, I.(2000). Beoordeling als koersbepaler voor eencompetentiegericht curriculum. In Idsinga, Tj. (Red.).Assessments in de lerarenopleidingen. Brochure naaraanleiding van de conferentie op 22 februari 2000.(pp. 34-43) Leeuwarden: Repro NHL.

Kane, M.T. (1992). The validity of assessments ofprofessional competence. (ERIC DocumentReproduction Service No. ED 343 958).

Kane. M.T., Crooks, T., & Cohen, A. (1999). Validatingmeasures of performance. EducationalMeasurement: Issues and Practice, 18 (summer), 5-17.

Klarus, R., Schuler, Y., Eising, M., & Groenen, N. (2000).Bewezen geschikt: instrumentenmap. Wageningen:Stoas.

Klarus, R., Schuler, Y., Wee, E. ter, Eising, M., Drijf-hout, P., & Tillema, H. (2000). Bewezen geschikt.Wageningen: Stoas.

Krol, J.D. (1992). Computer en triage: gewonden uiteen databank. COKL-blad. Maandblad van het com-mando opleidingen Koninklijke Landmacht, maart1992.

Maatwerk voor morgen: het perspectief van een openarbeidsmarkt.(1999). Den Haag: Ministerie vanOnderwijs, Cultuur en Wetenschappen.

Madaus, G.F. (1988). The influence of testing on thecurriculum. In Tanner, L. (Ed.). Critical Issues inCurriculum. The 8th Yearbook of the NationalSociety for the Study of Education. Chicago:University of Chicago Press.

Maessen de Sombreff, P. van der, Westen, G., & Veer, J.de (2000). De validiteit van de SQ-test. Gids voorPersoneelsmanagement, 7/8, 38-43.

Oudkerk-Pool, I., & Snoek, M. (2000). Beoordeling alskoersbepaler voor een competentiegericht curricu-lum. Amsterdam: Educatieve Faculteit Amsterdam.

102

Pelkmans, A. (1998). Evaluatie van leraren enschoolleiders. Wageningen: Vakgroep AgrarischeOnderwijskunde.

Richert, A.E. (1990). Teaching teachers to reflect: Aconsideration of programma structure. Journal ofCurriculum Studies, 22, 6, 509-527.

Rijke, T.R. de, & Dochy, F.J.R.C. (1995). AssessmentCenters in bedrijf en onderwijs: stand van zaken. InDochy, F.J.R.C. & Rijke, T.R. de (Red.). AssessmentCenters. Nieuwe toepassingen in opleiding, onder-wijs en HRM. (pp. 17-38) Utrecht: Uitgeverij LEMMABV.

Sanders, P.F. (1998). Generaliseerbaarheidstheorie. InVan den Brink, W.P., & G.J. Mellenbergh (red.). Testleeren testconstructie (p. 93-131). Amsterdam: Boom.

SLO/VSLPC (1997). Startbekwaamheden leraarprimair onderwijs. Utrecht: APS.

Smith, H.A., & Pratt, D. (1996). The use of biodata inadmissions to teacher education. Journal of TeacherEducation, 47, 1, 43-52.

Straetmans, G.J.J.M. (1993). Het vaststellen vancompetentie met vaardigheidstoetsen. Tijdschriftvoor Hoger Onderwijs, 11, 3, 188-204.

Straetmans, G.J.J.M. (2000). Assessment van vaardig-heden door middel van zelfbeoordeling. Arnhem:Citogroep.

Thijssen, J. (2000). Competentiemanagement en HR-beleidsfuncties. Opleiding & Ontwikkeling, 13, 7/8,13-19.

Tillema, H. (2001). Gewaardeerd meesterschap. Velontijdschrift voor lerarenopleiders, 22, 2, 36-43.

Twisk Th. F., Daniëls, J.J.M.C., & Bolweg J.F. (1999).Competenties van docenten. Utrecht: Berenschot.

Wiggins, G.P. (1993). Assessing Student Performance.Exploring the Purpose and Limits of Testing. SanFrancisco: Jossey-Bass Publishers.

103

104

105

106

107

108

Colofonpublicatie: Programmamanagement EPS (i.s.m. HBO-raad)

(eind)redactie: Boezeman Teksten en trainingen · Lex Boezeman

vormgeving en productiebegeleiding: Jack of all Trades · Marion E. Vegter

druk: Drukkerij van Mechelen · Utrecht

uitgave: oktober 2001

Eerder in deze reeks verschenen:EPS-reeks 01 - oktober 2000 - �Advies Werkgroep Verkenning OPLEIDING LERAAR FUNDEREND ONDERWIJS�EPS-reeks 02 - maart 2001 - �Het Zweedse model - Een nieuw systeem voor het opleiden van leraren�EPS-reeks 03 - april 2001 - �Landelijk Programmamanagement Educatief Partnerschap - Voortgangsrapportage 2000�EPS-reeks 04 - april 2001 - �Naar een vernieuwde samenwerking tussen lerarenopleiding en school�

Documents

van docenten delen van competenties · voor kwaliteit bij het beoordelen van leraren en wat er aan kwaliteitsbevordering kan worden gedaan. Dit laatste hoeft niet per se inge wikk