1

Teachers’s room: 488437

Toetsen, voorkennis en leeropbrengsten

Stephan Ramaekers, PhD

Collegereeks thema Didactiek

20 november 2015

Hoe stel ik de leeropbrengsten van mijn leerlingen vast? Hoe zie ik of ze voldoende progressie maken? In hoeverre beïnvloedt toetsing 

het leren? Waar moet een goede toets aan voldoen? Etc.   

Dit college

1. Toetsen: waarover hebben we het? Waarom doen we het?

2. Waarom is toetsen moeilijk? Welke eisen worden gesteld?

3. Toetsen van leren, toetsen voor leren, toetsen als leren

4. Hoe maak je toetsen? Hoe kun je de kwaliteit borgen?

werkobservatie

Multiple choice

examen

PTAProefwerk

DTT

opdracht

feedback

tentamen

werkstuk

oefentoets

Centraalexamen

simulatie

Mondelinge overhoring

ERK-toetsen

Onderlinge beoordeling

CITO-toets

vaardighedentest

instaptoets

Peerfeedback

Open-boek toetsen

beoordeling

Classroom assessment

TIA

RTTI

a. Om het bereikte niveau bij leerlingen vast te stellen

b. Om leerlingen feedback te (kunnen) geven

c. Om ouders / collega’s te informeren

d. Om leerlingen aan het werk te zetten

e. Om effectiviteit van eigen onderwijs te evalueren

Waarom toetsen? Functies

• Beginniveau / voorkennis bepalen

• Tussentijds: hoe verder?

• Vaststellen: leerresultaten bereikt?

• Beslissen over vervolgtraject

• Evaluatie: effectiviteit van lessen?

2

Functies van toetsing

• Formatief ‐ summatief

• Diagnostisch ‐ voorspellend

• Stimulerend ‐ concluderend

• Selecterend – adviserend

• Etc.

“Als ‘goed onderwijs’ – in de zin, dat je er veel van leert – niet gepaard gaat 

met hogere cijfers en minder onvoldoendes, dan is het slecht onderwijs”. (de 

Groot, 1966)

“Als leerling c.q. student kun je gebrekkig onderwijs vaak wél maar 

gebrekkige toetsen meestal niet ontwijken”. (Boud, 1995)

“Prestaties van leerlingen hebben pas waarde als die uitstijgen boven het 

schoolse leven of het halen van goede cijfers voor triviale of betekenisloze 

kennis”. (Newmann, 1996)  

“Toetsing heeft een diepgaande invloed op wat, hoe en hoe lang studenten 

studeren”. (Dochy et al, 2001)

Wat maakt toetsen gecompliceerd?

Toetsen; onvolkomen meetinstrumenten

Menselijke bekwaamheden; moeilijk te meten

toetsen met grote consequenties

3

toetsen met kleine consequenties

Toetsing stuurt het leren

Toetsing stuurt het leren

o.a. Thomas & Bain 1984; Ramsen 1992; Scouller & Prosser 1994; Scouller

1995, 1996, 1998; Scouller & Chapman 1999; Biggs 1999, 2011; Dochy 2003, 

2011, 2014, etc. Voorbeelden:

o Toetsvormen die leiden tot stress en die het herinneren van feiten 

benadrukken leiden tot een oppervlakkige studieaanpak (Ramsden, 1992). 

o Strategisch leergedrag gericht door verwachtingen over: type toets, 

perceptie van wat docent belangrijk vindt, en inschatting van benodigde 

tijd voor leerstof (Dochy, 2014)

o Bij MC meer oppervlakkig leren; bij OV/essays meer diepgaand leren 

(gepercipieerd als het meten van hogere niveaus)

Meervoudige effecten van toetsen (Gielen, Dochy & Dierick, 2003)

• Post‐ assessment effect: leren op basis van feedback n.a.v. 

de evaluatie

• Pre‐assessment effect: anticiperen op verwachte toetseisen 

en ‐vorm (Scouller)

• True (‘ ware’)‐assessment effect: leren tijdens het uitvoeren 

van evaluatie/assessment taken

Verklaringen voor invloed van toetsen op leerresultaten

• Time on task is vergroot

• De toetsen genereren juiste leeractiviteiten

• Goede toetsing geeft snelle feedback: “To get better in 

playing darts, you have to be able to see where the darts 

land”.

• Internalisatie van de criteria die kwaliteit bepalen. 

• Geoefend raken in het toetsformat. 

Uit college 2 (doelen, werkvormen, etc.)

4

Wat maakt toetsen gecompliceerd?

• Menselijke capaciteiten zijn moeilijk te meten

• Toetsen zijn onvolkomen meetinstrumenten

• Toetsresultaten kunnen grote consequenties hebben

• Toetsen beïnvloeden wat en hoe leerlingen leren

• We stellen het samenstellen van toetsen vaak uit

“Toetsgericht leren is minder problematisch als toetsen nauw aansluiten bij de leerdoelen”

Uit college 2 (doelen, werkvormen, etc.)

a. Inhoudelijk juiste vragen /opgaves

b. Eenduidige uitslag / resultaten

c. Eerlijk / objectief

d. Gemakkelijk / goedkoop

e. Zet leerlingen aan tot leren

Kwaliteitseisen/ ‐aspecten

Validiteit

Betrouw‐baarheid

Kosten

Impact

Transparantie acceptatie

U = (Vg x Bg x Ig x Ag) /Kg

V= validiteitB= betrouwbaarheidI= impact op onderwijsA= acceptatieK= kosten(g= gewogen)

Validiteit: inhoud

5

Validiteit: inhoud

Validiteit: inhoud

• Kritisch denken

• Vraagstukken / problemen oplossen

• Een onderbouwd oordeel …

• oorspronkelijkheid (bv. in werkstuk)

• Burgerschap

• Morele ontwikkeling

• Etc.

Validiteit: inhoud

Taxonomie Bloom (Krathwohl, 2002)

Niveau: voorbeeld overeenstemming

30,0%

50,0%

10,0% 10,0%

0,0% 0,0%

44,3%

38,3%

15,7%

0,9% 0,9% 0,0%0%

20%

40%

60%

Kennen Begrijpen Toepassen Analyseren Synthetiseren Evalueren

Doelen Vragen

Niveau: voorbeeld discrepantie

0,0%

33,3%

20,0%

13,3%

20,0%

13,3%

41,0%

18,4%

29,2%

11,5%

0,0% 0,0%0%

20%

40%

60%

Kennen Begrijpen Toepassen Analyseren Synthetiseren Evalueren

Doelen Vragen

6

Betrouwbaarheid

Toetsen; betrouwbare resultaten?

Wet van Posthumus: bij het 

beoordelen van proefwerken 

en tentamens in het 

onderwijs krijgt standaard 

een kwart van de leerlingen 

een onvoldoende, de helft 

een middelmatig cijfer en 

een kwart een goed cijfer, 

onafhankelijk van het niveau 

van het geleverde werk. 

(Kees Postumus, 1940)

a. Vragen rechtstreeks ontleend aan boek

b. Gesloten toetsvorm (= eenduidig)

c. Eerlijk in beoordeling / blind nakijken

d. Objectief

e. Afgestemd met collega’s

Taxonomie Bloom (Krathwohl, 2002)

Niet‐consistente beslissingen als functie van betrouwbaarheid en % onvoldoende

% gezakt

Betrouwbaarheid (α)

0.50 0.60 0.70 0.80 1.00

10 14 12 11 9 0

20 23 20 17 14 0

30 29 25 22 18 0

40 32 29 24 20 0

50 33 30 25 20 0

• Bij schriftelijke toetsen zoals Multiple Choice: interne 

consistentie (Cronbach’s alpha) en afgeleiden

• Bij werkstukken: via beoordeling door meerdere personen en 

bepaling van interbeoordelaars betrouwbaarheid

• Bij complexere vaardigheden en competenties: door vaak 

herhaalde beoordelingen (test‐hertest betrouwbaarheid)   

Betrouwbaarheid

7

beginner geoefend gevorderd competent

criteria

1

2

3

4

…..

Rubrics: criteria en niveaus

Rubrics: criteria en niveaus

Optimalisatieprobleem

.40.30

.15

0

.50.60

.70

.80.90

1.0

.40.30

.15

0

.50.60

.70

.80

.90

1.0

.40.30

.15

0

.50.60

.70

.80

.90

1.0

.40.30

.15

0

.50.60

.70

.80.90

1.0

Betrouwbaar /valide

Uitvoerbaar /kostenimpact studiegedrag

Transparant /fair

Samengevat op hoofdlijnen

• goede toetsing is gericht op totaalbeeld

• enkelvoudige toetsen zijn onvolkomen meetinstrumenten

• inhoud van de toets blijkt bepalender voor resultaten dan vorm

• betrouwbaarheid ≠ objectiviteit

• toetsing stuurt het leren in sterke mate

• eenvoudige kwaliteitscontrole heeft al sterk effect

Veel succes!

8

vervolg

1. Toetsen: waarover hebben we het? Waarom doen we het?

2. Waarom is toetsen moeilijk? Welke eisen worden gesteld?

3. Toetsen van leren, toetsen voorleren, toetsen als leren

4. Hoe maak je toetsen? Hoe kun je de kwaliteit borgen?

Ontwikkelingen in perspectief

• Toetsen van leren

• Toetsen voor leren 

• Toetsen als leren

Alignment (Biggs)

Afstemming van onderwijs en toetsing, via de doelen

Ontwikkelingsgericht toetsen

• Leerling volgsysteem / leerlingprofielen

• Diagnostische tussentoets

• RTTI‐methoden

• Portfolio

• Adaptief toetsen

• Frequent formatief toetsen

Voorbeelden op programmaniveau

Progressie in niveaus

9

Wanneer? in de klas

Hoofdvragen toetsing

1. Waarom? (Functie)

2. Wat? 

3. Wanneer?

4. Hoe? 

5. Wie beoordeelt? 

Ontwerpen

Construeren

Controleren

AfnemenNakijken

Analyseren

Normeren

toetscyclus

Ontwerpen    

‐ toetsmatrijs

‐ procedure

‐ normering

Construeren‐ Keuze Vragen / opdracht ‐Antwoordmodel / rubrics

‐ tijdens onderwijs‐meerdere afnames

Controleren

‐ collegae  

‐ ouderejaars, leken

‐ analyse vooraf

Afnemen

‐ instructie

‐ condities

‐ tijd

Nakijken

‐Nakijkmodel

‐ nakijkprocedure 

Analyseren‐ verwachte vs gebleken 

kwaliteit‐ evt. aanpassen items, 

sleutel, cesuur

Normeren‐ resultaten

‐ itemverbetering– invoer vragenbank

kwaliteit borgen

Voorbeeld toetsmatrijs

DoelenSchriftelijke toets Totaal lesoefening Grote opdrachten

Onderwerp kennis Inzicht toepassing

A 4 1 5 1

B 2 2 2 6 2 1

C 2 4 6 2

D 2 1 3 2

Totaal 8 5 7 20 6 2

Cijfer‐aandeel

50% 30% 20%

Voorbeeld toetsmatrijs

10

Taxonomie Bloom (Krathwohl, 2002)

Van niveau naar activiteiten

Welke vormen gebruik jij?

Knows

Shows how

Knows how

Does

format: kennis georiënteerdMethode: schriftelijk, open, computer-based, mondeling

format: scenario, simulatie, oefeningmethode: schriftelijk, opdrachten, mondeling, computer-based

format: hands-on standaard (scenario) of simulatiemethode: directe observatie, checklists, beoordelingsschalen

format: beoordeling dagelijkse praktijk methode: directe observatie, checklijsten, beoordelingsschalen (rubrics), narratieven

Keuze van toetsvormen (Miller)

Open versus gesloten toetsvormen

Gesloten vragen Open vragen

constructietijd Nakijktijd

Leesvaardigheid Schrijf‐ / formuleervaardigheid

Breedte toetsing Diepte toetsing

Objectieve scoring Subjectieve scoring

Anonimiteit Performance

Gokken Bluffen

11

Vraag: Wat is een verkavelingspatroon? En geef daarvan twee 

voorbeelden

Antwoord 1: Een bepaalde regelmaat in kavelvormen. 

Voorbeelden: strookverkaveling, blokverkaveling

Antwoord 2: De wijze waarop een gebied verkaveld is. 

Voorbeelden: ‐ regelmatig, ‐ onregelmatig

Antwoord 3: De vorm en verdeling van kavels over een 

gebied. Voorbeelden: – rationeel bepaald, – door erfrecht 

bepaald

constructproblemen

Context/intro: Uit bijgaand artikel blijkt dat Duisenberg

voorstander was van het verlagen van de reële arbeidskosten

t.o.v. rendementen. Duisenberg maakt daarbij gebruik van de

zgn. jaargangentheorie.

Vraag/opdracht: Laat m.b.t. het jaargangenmodel van het CPB

zien dat de verlaging van de reële arbeidskosten kan leiden tot

meer werkgelegenheid. Maak daarbij gebruik van een grafische

weergave en de elementen: economische veroudering,

arbeidscoëfficiënt en economische levensduur

Voorbeeld essay

Aantal deelnemers 90 Cronbach's alfa 0.920Aantal vragen 9 Standaardmeetfout 4.95

totaal vr 1 vr 2 vr 3 vr 4 vr 5 vr 6 vr 7 vr 8 vr 9

maximum score 74.27 8.88 9.5 9.5 9 10 9 7.5 9 8minimum score 2 0 0 0 0 0 0 0 0 0moeilijksheidsgraad 0.43 0.43 0.41 0.48 0.43 0.33 0.41 0.39 0.37 0.61

item-totaal correlatie (Rit) 0.71 0.73 0.73 0.74 0.74 0.75 0.84 0.83 0.40item-rest correlatie (Rir) 0.63 0.64 0.66 0.68 0.62 0.68 0.80 0.78 0.31variantie 305.76 5.27 7.58 6.35 4.68 12.50 6.22 4.47 5.21 3.45standaard deviatie 17.49 2.30 2.75 2.52 2.16 3.54 2.49 2.11 2.28 1.86

slaagpercentage 33%, hoogste score 7,4

Toetsanalyse open vragen

Cesuurbepaling

Absoluut of relatief ? 

Beoordelen en toetsen op programmaniveau

a. Bewust geplande combinaties en reeksen van 

beoordelingsmomenten,

b. Waardoor de beperkingen van enkelvoudige toetsen 

worden opgeheven,

c. Gericht op ontwikkeling: samenhang, opbouw en 

accumulatie (constructive alignment)

d. En het bereiken van het niveau van basiscompetentie

e. Met als functies: monitoring van voortgang in niveau en 

zorgen voor feedback / feedforward