Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
0
DE VOOR(OOR)DELEN VAN GESTANDAARDISEERD
TOETSEN
VLOR – Zenitdialoog13 december 2017
Jan Vanhoof
1
Als het Vlaamse onderwijssysteem niet oplet, dan loopt ze het gevaar het goede en bruikbare te verwerpen
omdat het niet onderscheiden wordt van het misleidende en onwenselijke.
2
3
4
(Waarom) Leerwinst?
Leerwinst uit LVS CITO (Janssens et al., 2014)
5
(Waarom) Leerwinst?
6
(Waarom) Leerwinst?
7
Leidende vragen in onze studie
8
Onze aanpak
9
Wenselijke effecten
• Wat is volgens u het belangrijkste voordeel van het over
verschillende scholen heen op een gestandaardiseerde
wijze monitoren van leerprestaties en/of leerwinst van
leerlingen?
Neveneffecten
• Wat zijn volgens u nadelige neveneffecten van het over
verschillende scholen heen gestandaardiseerd monitoren
van leerprestaties en/of leerwinst van leerlingen?
Vooraf: Uw inschatting?
10
Wat leert bestaande literatuur?
Positieve effecten Onwenselijke neveneffecten
Mic
ro
• Beter beeld leerprestaties
• Garantie op gelijke lat
• Betere leerprestaties
• Beter lesgeven
• Groeiende doelmatigheidsbeleving bij lln
• Betere evaluatie door leraren
• Betere onderbouwing schoolkeuze
• Betere onderbouwing studiekeuze
• Emotionele impact
• Teaching to the test
• Neg impact op motivatie van leerlingen
• Neg impact op studieloopbaan
• Onwenselijk strategisch gedrag bij lln
• Werkt ongelijkheid in de hand
• Neg impact op motivatie en
professionaliteit van leraren
Meso
• Betere IKZ
• Betere professionalisering
• Betere inzet inspecties
• Onwenselijk strategisch gedrag scholen
• Rankings
11
Positieve effecten
Mic
ro
• Beter beeld leerprestaties
• Garantie op gelijke lat
• Betere leerprestaties
• Beter lesgeven
• Groeiende doelmatigheidsbeleving bij lln
• Betere evaluatie door leraren
• Betere onderbouwing schoolkeuze
• Betere onderbouwing studiekeuze
Meso
• Betere IKZ
• Betere professionalisering
• Betere inzet inspecties
Vlaanderen doet er goed aan deze
positieve effecten doelbewust na te
streven (in BaO én SO).
12
Teaching to the test
Gesteld dat scholen in hun LVS systematisch gebruik zouden (kunnen) maken van gestandaardiseerde toetsen voor begrijpend lezen, zouden we dan ‘teaching to the test’ de voorbije week als een probleem gezien hebben?
• Is nastrevenswaardig als…
- je doelgerichtheid/focus in leer- en onderwijsproces wil bevorderen (= teaching thestandard)
- je leren en evalueren wil aligneren
• Is een probleem…
- als aandacht voor andere belangrijke zaken verslapt
- de invulling van het curriculum vernauwt
- als het geheel van toetsen de rijkdom van leerdoelen niet dekt
- leerlingen strategisch gecoacht worden (= teaching the test)
13
Literatuurstudie: Bouwstenen van een leer(winst)monitoringssysteem
Opzet van het leer(winst)monitoringssysteem
• (Perceptie van) validiteit en betrouwbaarheid
• Inzet de toets bepaalt (neven)effecten
• Openbaarheid, rankings, competitie als kernoorzaken neveneffecten
• Bruikbare presentatie van feedback
Kenmerken van leraren en scholen
• Houding van leraren, datageletterdheid, beleidsvoerend vermogen, professionele ontwikkeling
14
AanpakDelphi-studie
24 respondenten
Beleidsmakers (3)
Inspecteurs (1)
Koepelorganisaties (3)
Pedag. begeleidingsdiensten (3)
Schooldirecties (4)
Leraren (3)
Studenten (1)
Inhoudsdeskundigen (3)
Ontwikkelaars (3)
Beleidsmakers (4)
Onderwijsverstrekkers (6)
Scholen (8)
Inhoudsdeskundigen (6)
15
ResultatenDelphi-studie
Globale inschatting behoefte aan een monitoringssysteem
Effecten – neveneffecten: • Globale consensus over deze (neven)effecten
• Geen consensus over het gewicht
Verschillende inschattingen
21/24 respondenten: implementatie
3/24 respondenten: geen implementatie (onderwijsverstrekkers)
Doelstelling: • Ontwikkeling micro-niveau (19/21)
• Ontwikkeling meso-niveau (20/21)
• Verantwoordingsgerichte doelen (11/21)
16
Lessen uit de Delphi-studie
Randvoorwaarden
- Bewaak brede evaluatie
- Geen openbaarheid van resultaten
- Gebaseerd op ODET en leerplannen
- Snelle en duidelijke feedback
- Cultuuromslag en beleidsvoerend vermogen nodig
- Actief werken aan een draagvlak, geleidelijkheid
17
Variatie in invullingen internationaal
18
Lessen uit internationale studie
- Omtrent implementatie• Een duidelijk en eenduidig doel is cruciaal
• Aantonen van een vaak nog ongekende behoefte
• Bij aanvang op vrijwillige basis aanbieden
• Een ontwikkelingsgerichte impact is niet makkelijk te bereiken
- Eigenschappen van het leer(winst)monitoringssysteem• Digitale toetsen om snelle feedback te voorzien
• (Getrapt) adaptieve toetsen
• Brede toetsenbatterij
• Sterke procedures voor kwaliteitszorg bij afname en correctie
- Rapportering• Gedetailleerd en interactief
• Vermijd publieke rapportering
- Ondersteuning scholen verzekeren
19
- Sleutelfactoren: 3 centrale dimensies
- Micro-, meso- of macroniveau
- Verantwoording versus ontwikkeling
- Mate van vrijblijvendheid in deelname (al dan
niet deels verplicht)
Scenario-ontwikkeling
20
Uw scenario
Verantwoordings-gericht
Ontwikkelingsgericht
OptioneelVerplicht
Micro
Meso
21
Acht scenario’s
Verantwoordings-gericht
Ontwikkelingsgericht
OptioneelVerplicht
Micro
Meso
S1. Eindtoetsen High-stakes (leerlingen)
S2. Adaptief leerwinst-monitoringssysteem
S3. Toetsenbank (leerlingen)
S4. Eindtoetsen High-stakes
(leerlingen & school)
S5. Leerwinst-monitor (openbaar op schoolniveau)
S6. Leerwinst-monitor (afgeschermd)
S7. Toetsenbank (school)
S8. Geen gestandaardiseerde toetsen
22
ResultatenDelphi-studie: derde onderzoeksronde
Inschatting wenselijkheid en haalbaarheid
• Kwantitatieve bevraging
- Likertschaal van 1 (helemaal mee oneens) tot 5 (helemaal mee eens)
• Kwalitatieve bevraging
- Standpunten en motieven verduidelijken
23
Acht scenario’s
Verantwoordings-gericht
Ontwikkelingsgericht
OptioneelVerplicht
Micro
Meso
S1. Eindtoetsen High-stakes (leerlingen)
(2.22) S2. Adaptief leerwinst-monitoringssysteem
(3.83)
S3. Toetsenbank (leerlingen)
(3.56)
S4. Eindtoetsen High-stakes
(leerlingen & school)(1.53)
S5. Leerwinst-monitor (openbaar op schoolniveau)
(1.71)
S6. Leerwinst-monitor (afgeschermd)
(3.43)
S7. Toetsenbank (school)(3.51)
S8. Status quo (2.98)
(scores variëren van 1 (onwenselijk) to 5 (wenselijk))
24
Beleidsaanbevelingen
1. Kijk en beslis voorbij de karikatuur
2. Bouw op vanuit de beoogde doelstellingen
3. Stel ontwikkeling centraal, niet een enge focus op verantwoording
4. Bouw (verder) aan een informatierijke omgeving voor scholen
5. Verplicht het principe van leer(winst)monitoring, niet de keuze voor een systeem
25
Beleidsaanbevelingen
6. Voorzie in een breed aanbod dat recht doet aan de veelzijdigheid van het leren van leerlingen en van de onderwijsopdracht van scholen
7. Zet waar mogelijk in op leerwinst
8. Voorzie in een pallet aan initiatieven voor deskundigheidsontwikkeling
9. Werk met pilootprojecten en monitor de werking van het systeem
26
Als het Vlaamse onderwijssysteem niet oplet, dan loopt ze het gevaar het goede en bruikbare te verwerpen
omdat het niet onderscheiden wordt van het misleidende en onwenselijke.