p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolkwaliteit:
Wat zou je willen weten/meten
naast de CITO-toets?
dr. paul jungbluth
Deze powerpoint-presentatie is gebruikt in het
Studium Generale van de masterclass voor
Amsterdamse leraren op 9 maart 2011. De
cijfers stammen voor het grootste deel uit
uitstroommetingen van Zuid-Limburgse
basisscholen (project ‘balaans’).
Meesterschap’ is een masterclass voor
ambitieuze, talentvolle Amsterdamse leraren
van het primair onderwijs en de onderbouw
van het voortgezet onderwijs.
www.meesterschap.nu
Meer over het onderzoek op:
www.kaans.nl
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolkwaliteit:
Wat zou je willen weten/meten
naastde CITO-toets?
Maar nu eerst de CITO-toets zelf …
Suggesties
-Personeelsbeleid
(ziekte, welbevinden, wisselingen)
- Populariteit bij ouders
(marktaandeel, aantallen)
- Milieubestendig, - neutraal
- Veiligheid omgeving
- Veilig pedagogisch klimaat
- Hygiëne
- Omgangsvormen
- Financieel
- Multiculti
- Oudertevredenheid
- Leerlingtevredenheid
In deze presentatie gaat het in het eerste
uur/deel om het meten van schoolkwaliteit.
Dat is geen eenvoudige en ook geen
uitgemaakte zaak.
In het tweede uur gaat het om segregatie. En
om de vraag wat dat te maken heeft met
kwaliteit.
In deze presentatie kijken we voor kwaliteit
naar diverse schoolresultaten bij de leer-
lingen. Dat is meer dan alleen de CITO-toets.
Verklaringsmodel
talent
personality
zelfvertrouwen
welbevinden
SCHOOL
Prestatie
VO-advies
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
VO-vertrouwen
steun van docenten
tevredenheid ouders
Wij hanteren in onze onderzoeken een simpel model
voor het in beeld brengen en verklaren van resultaten.
Daarin is de school zelf voorlopig een ‘black box’: de
leerling brengt relevante ingrediënten mee en vertrekt
na afloop met een zekere bagage die – zo veronder-
stellen we - het product is van de wat de school met
die ingrediënten heeft gedaan.
Verklaringsmodel
talent
personality
zelfvertrouwen
welbevinden
SCHOOL
Prestatie
VO-advies
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
VO-vertrouwen
steun van docenten
tevredenheid ouders
Sociaal milieu (opleiding ouders, herkomst, thuistaal, adres)
Maar zo simpel is het niet: overal speelt
‘sociaal milieu’ doorheen: de omstandigheden
waaronder je buitenschools leeft, in het gezin
en ook in de wijk of regio.
Huidige onderwijsstructuur
(V)SO
ZMLK
Kleuters in Zuid-Limburg: het ‘nut’ van aandacht
Formeel is het primair
onderwijs voor allen
gelijk, in werkelijkheid
werkt het toe naar de
selectie die vorm krijgt
aan het eind van
leerjaar 8: zeg maar bij
de CITO-eindtoets.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
6
Groeicurves voor (0,6% 50% en 99,4%)
Nederlandse groeistudie 1997
Om helder te maken
wat die CITO-toets
meet, helpt het om naar
de groeitabel te kijken
voor Nederlandse
kinderen: je zou de
lengtemeting eind groep
8 met die CITO-toets
kunnen vergelijken.
Eigenlijk zou die ook
eerder al kunnen
worden afgenomen,
alleen wordt het dan
misschien minder
valide.
Nou wordt lengtegroei
niet door school bepaald
netzomin als de ‘groei-
winst’ tussen 4 en 12,
maar weten we eigenlijk
zeker dat de groei bij
rekenen en taal wel
helemaal voor rekening
van de school komt?
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Groeicurves voor taal en rekenen (10. 20. 50, 80 en 90 %)
in de PRIMA-cohortonderzoeken (1996)
Jaargroep
Taal Rekenen
kl 2 kl 4 kl 6 kl 8 kl 2 kl 4 kl 6 kl 8 .900
950
1.000
1.050
1.100
1.150
1.200
750
850
950
1.050
1.150
1.250
1.350
Percentiel
10% 20% 50% 80% 90%
7
Reken- en taalcurves
hebben net zo’n soort
verloop tussen 4 en 12
als de lengtegroei en
wie laag start eindigt
vaak ook laag, maar er
zijn wel schommelin-
gen, net als bij de
lengtegroei.
Of je nu alleen kijkt
naar het slot (de CITO-
eindtoets) of die score
vergelijkt met metingen
bij binnenkomst of in
groep 2 (‘leerwinst’), je
loopt het risico dat je
de school beloont voor
wat op zijn minst
gedeeltelijk thuis
gebeurt of daar juist
achterwege blijft.
Bron: Balaans-Gr8
CITO-toets en talentreserves: Herkomst, OVB-gewicht en Impulsgebied
Tweederde van de
populatie is ‘Limburger’.
Ook binnen ‘1.0’ scoren
zij aanmerkelijk zwakker
dan ‘Nederlanders’.
10% van de ‘Limburgers’
heeft een gewicht;
tweederde van hen
woont in een
armoedegebied.
Hun CITOscores zijn
vergelijkbaar met die
van de Turks-
Marokkaanse categorie.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
8
Om te laten zien dat een vergelijking van Zuid-
Limburg met de rest van Nederland geen onzin is,
worden de CITOscores van een aantal ‘achter-
standscategorieën’ vergeleken. Daarbij wordt
onderscheid gemaakt tussen Limburgse en overig-
Nederlandse leerlingen op basis van de geboorte-
plaats van de grootouders.
Buitenschoolse determinanten van de CITO-toets
Er zit een enormetalentreservevooral bij kinderenvan ouders met een opleidingop MBO-niveau of lager.
Deze grafiek laat de feitelijke gemiddelde CITO-
scores zien van ruim 8.000 leerlingen met een
bepaald nonverbaal IQ en een bepaald opleidings-
niveau van moeder (een indicatie voor sociaal
milieu of omgeving). Duidelijk wordt, hoezeer
een meer of minder stimulerende omgeving eigen
invloed heeft op de toetsprestatie en grote
verschillen in nonverbaal IQ kennelijk kan
compenseren. De tabel wordt verderop gebruikt
als normering voor elke leerling: ze resulteert
voor ieder in een ‘expected score’ op grond van
buitenschoolse factoren. Wie feitelijk hoger of
lager scoort dan ‘expected’ wordt verondersteld
relatief veel of relatief weinig geleerd te hebben.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
10
CITO-eindtoets en de rol van leeftijd;
Drie geboortecohorten in één schooljaarcohort
De veronderstelling dat
CITO-scores behalve
door nonverbale
intelligentie en sociaal
milieu ook nog worden
bepaald door leeftijd,
die veronderstelling
pakt andersom uit dan
verwacht:
Juist degenen die al een
jaar inliepen en nu dus
het jongst zijn, hebben
de hoogste CITO-scores,
wie gedoubleerd heeft
blijft desondanks
gemiddeld achter bij de
rest. Hoe en of je
daarvoor moet
corrigeren is nog
onduidelijk. < 12.6 jr 11.6 – 13.0 jr > 13.1 jr
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
11
De proportie laag – en de proportie hoog-scoorders
op scholen met onderscheiden effectiviteit
Op hoog-effectieve
scholen tref je drie keer
zoveel hoog-
presteerders aan als op
laag-effectieve en vier
keer zoveel laag-
presteerders.
Vraag is of dat de
uitkomst is van meer of
minder effectiviteit of
de determinant ervan.
Schooleffectiviteit in (Zuid-)Limburg: populatie-check
Wat betreft nonverbale intelligentie werken meer en minder effectieve scholen met
vergelijkbare leerlingen (links), minder effectieve scholen hebben relatief wat meer
kansarm en relatief wat minder kansrijk publiek (rechts; segregatie-effect!)
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schooleffectiviteit in (Zuid-)Limburg
CITO-eindtoets naar nonv IQ en hoogst opgeleide ouder (Nsch=165)
op de 20% minst (links) en op de 20% meest (rechts) effectieve scholen (2009+2010)
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
14
Cito-scores op laag en hoog-effectieve basisscholen
Door de ‘expected CITOscore’ te vergelijken met de feite-
lijke en van het individuele verschil per school het gemid-
delde te berekenen, kun je scholen onderscheiden waar
leerlingen relatief veel en waar ze relatief weinig leren:
zij worden op de X-as afgebeeld van I t/m V.
Op ‘effectieve scholen’ (V) leren vergelijkbare leerlingen dus
relatief meer. Zulke scholen zijn kennelijk effectiever voor
allen. Om te weten of je effectief bent moet je wel meten.
Schooleffectiviteit in (Zuid-)Limburg
CITO-eindtoets naar nonv IQ-quint en hoogst opgeleide ouder (Nsch=165)
Op 20% minst en 20% meest effectieve scholen (zonder correctie voor toeval)
Wie een effectieve school bezoekt maakt bij eenzelfde
intelligentie meer kans op een hoge CITO-score; voor
slimme kansrijken is de school het minst van belang.
Onderstaande grafieken laten hetzelfde zien als op de
vorige pagina, nu met links de 20 % minst en rechts de
20% meest effectieve scholen (Dus alleen I en V).
Duidelijk wordt hoeveel winst bijna allen zouden halen
als alle scholen het hoge resultaat zouden halen;
alleen de allermeest kansrijken doen het overal goed.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
16
VO-adviezen op laag en hoog-effectieve basisscholen
En mate waarin VO-advies gebaseerd is op CITO-scores
6=vwo
4=havo
2=vbo
Effectievere scholen (V) leveren alle intelligentiegroepen af met een
hoger vervolgadvies, minder effectieve scholen adviseren vergelijkbare
leerlingen dus lager. Beide gaan vooral uit van de bereikte CITO-scores .
17
Wat telt eigenlijk echt mee in het VO-advies naast de CITO-score?
Scholen en leerkrachten houden vast aan het geven van een eigen advies voor VO naast de CITO-toets.
Waarmee houdt dat VO-advies zoal verband naast het verband met de CITO-toets? Dat onderzoeken we
zonder het de leerkrachten zelf te vragen.
Om de vraag te beantwoorden worden op de volgende slide diverse rekenmodellen losgelaten op onze
data. Daaruit blijkt om te beginnen dat het VO-advies voor 17 % verband houdt met het sociaal milieu
van de leerling als je met niks anders rekening houdt.
Kijk je alleen naar de CITO-score (‘std_sco in model 1), dan verklaart die liefst 75% van het VO-advies:
leerkrachten letten dus eigenlijk op dezelfde prestaties die ook gemeten worden via de toets.
Voeg je beide variabelen tegelijk in in het model (model 2) dan stijgt de verklaringskracht maar met 1
procent. 16 procent van de verklaringskracht van sociaal milieu zit dus ook al in de CITO-score.
Voeg je vervolgens (model 6) ook persoonlijkheidskarakteristieken toe, dan blijkt dat leerkrachten
enkele daarvan inderdaad verdisconteren in hun advies, maar de totale verklaringskracht blijft
alsmaar dezelfde en het gewicht van de CITO-score neemt af: die persoonskarakteristieken zitten dus
ook al in de CITO-score, ze hebben dus eerder al geleid tot een bepaalde beheersing van de leerstof.
Ook in het laatste model blijft het sociaal milieu een rol spelen, groter dan de persoons-
karakteristieken en los van die karakteristieken en los van de leerstofbeheersing: leerkrachten voegen
dus in hun VO-advies nog weer een extra stukje sociale ongelijkheid toe, bovenop de CITO-toets en de
persoonskarakteristieken. Vraag is of dat nou is wat ze eigenlijk wilden.
Model % verkl.var.Unstandardized Coefficients Stand. Coeff.
t Sig.B Std. Error Beta
1 (Constant)
75%-80,058 ,697 -114,802 ,000
std_sco ,157 ,001 ,866 120,695 ,000
2 (Constant)
76%-77,333 ,728 -106,295 ,000
std_sco ,151 ,001 ,833 109,150 ,000
SES adhv opl ouders (5) ,141 ,012 ,088 11,531 ,000
6 (Constant)
76%-74,447 ,759 -98,125 ,000
std_sco ,144 ,001 ,799 99,342 ,000
SES adhv opl ouders (5) ,136 ,012 ,085 11,258 ,000
doorzetter, maakt ook moeilijke dingen af ,068 ,014 ,040 4,704 ,000
planmatig, precies en kritisch ,048 ,012 ,034 4,031 ,000
stelt hoge eisen aan zichzelf ,052 ,012 ,038 4,378 ,000
snel van streek, maakt zich vaak zorgen -,032 ,011 -,022 -3,005 ,003
a. Dependent Variable: advies-VO
b. Indien alléén SES(5): 17% verklaarde var bij Beta=.406 18
Wat telt mee in VO-advies naast CITO-score?
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
19
Wat telt mee in VO-advies naast CITO-score?
De grafiek laat
zien hoe het VO-
advies bij
leerlingen met een
vergelijkbare CITO-
score varieert met
de opleiding van
de ouders: wie
kansrijk geboren
wordt krijgt bij
een gelijke CITO-
score een beetje
hoger advies en
omgekeerd.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
20
Welke andere mogelijke schooleffecten zijn van belang?
Schoolgebonden:Leuke school 13%
Ervaren steun doc. 10%
Leuke klas 6%
Zelfb.acad. 6%
Zelfb. gelden 4%
Zelfb. sociaal 4%
Zelfb.ict-vdgh. 5%
Tevr.oud.schlk. 9%
Effectiviteit school
correleert met …Leuke school .042
Steun doc. .026
Leuke klas .029
Zelfb.acad. .035
Zelfb.d.gelden .023
Zelfb.sociaal -
Zelfb.ict-vdgh. -
Tevr.oud.schlk. .058
De grafieken laten zien dat schoolwelbevinden en het
zelfbeeld van leerlingen (mogelijke effectmaten van
onderwijs naast de CITOtoets) vooral variëren met
geslacht. Meisjes vinden de school leuker, vinden zichzelf
slimmer en socialer, maar laten zich minder gelden.
Of een school leuk is, of leerlingen
zich er gesteund voelen en of
ouders achteraf tevreden zijn
varieert sterk per school. Een
beetje ook met haar effectiviteit.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Segregatie:
“Het gaat om de
kwaliteit”
Zou er een verband zijn
tussen segregatie en
kwaliteit?
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolsegregatie:Welk soort effecten moet je verwachten?
Op grond van
gegevens van ouders
hebben we de
scholen in Zuid-
Limburg in zeven
typen onderverdeeld:
criterium is het
percentage
leerlingen uit de
laagste
opleidingsniveaus
van ouders.
Wat de grafiek laat
zien is ongeveer
hetzelfde als wat de
Inspectie en het
departement zien:
de segregatie naar
het percentage
gewichtenleerlingen.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolsegregatie:Welk soort effecten moet je verwachten?
De zojuist
gemaakte
typologie blijkt
meteen ook
indicatief voor het
percentage
‘erkende
minderheden’ op
de verschillende
typen scholen, zeg
maar kansarme
minderheden.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolsegregatie:Welk soort effecten moet je verwachten?
Kijken we naar de
aanwezigheid van
leerlingen uit andere
sociale milieus op
diezelfde typen scholen,
dan blijkt er een minstens
net zo grote segregatie in
de verdeling van de
kansrijksten. Dat kunnen
inspectie en ministerie
niet zien, want het zit
niet in de ‘gewichten’.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Schoolsegregatie:Welk soort effecten moet je verwachten?
En kijken we vervolgens
naar de aanwezigheid van
leerlingen uit ‘andere
etnische’ groepen (we
onderscheiden in Zuid-
Limburg op goede gronden
ook degenen met
overwegend in Limburg
geboren grootouders
(‘LB’) van de ‘overige
autochtonen (‘NL’)), dan
blijkt dat onze segregatie-
typologie ook indicatief is
voor de aanwezigheid van
‘kansrijke minderheden’.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Op de scholen met de
meeste kansarmen (1 op
de X-as) scoren leerlingen
uit vrijwel alle sociale
milieus relatief lager op
de CITO-toets dan elders.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Check op segregatie-effect: alléén ‘Limburgers’
Naarmate er minder kansarmen en
dus ook meer kansrijken op een
school zitten (dus van links naar
rechts op de X-as)
scoren alle intelligentiegroepen in
principe (sommige iets, andere veel)
beter op de CITO-toets.
Die trend is links duidelijker dan
rechts: het gaat er dus vooral om,
scholen met veel kansarmen (of met
weinig kansrijken) te voorkomen.
Bron: regiorapport
Ouderverwachtingen
extra laag op scholen met
veel kansarmen
Bij hoge verwachtingen:
grote betrokkenheid, evt.
intens conflict, grote kans
op reparatie.
Bij lage verwachtingen:
geringe betrokkenheid,
conflictvrij, geen reparatie.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
29
Eerder al concludeerden we in onderzoek
onder ouders van jonge kinderen (schooljaren
1,2 en 3) dat daar segregatie verband houdt
met de verwachtingen van ouders over het
latere schoolsucces van hun kind.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
30
Het verband tussen segregatie en effectiviteit (links absoluut, rechts relatief)
Onder de scholen met relatief veel kansarme
leerlingen (1,2,3) is het aandeel effectieve scholen
relatief geringer dan onder de scholen met relatief
veel kansrijke leerlingen (6.7,8) (terwijl we bij het
berekenen van die effectiviteit juist de individuele
sociale achtergrond al hadden verdisconteerd, zie
het begin van deze presentatie.
p.ju
ngb
luth
@m
aast
rich
tun
iver
sity
.nl
Samenvattende conclusies
1. Scholen verschillen onderling in opbrengst als je eerst controleert voor sociaal milieu en intelligentie. Of dat
restverschil alleen aan de school ligt (en niet aan buitenschoolse omstandigheden buiten het onderzoek), dat
weet je eigenlijk niet. In ieder geval is het de taak van de school om bij allen de prestaties zo goed mogelijk te
krijgen: de effectiefste scholen slagen daarin (ook al weten we nog niet hoezo) beter. Hun ‘best practice’ zou je
tot norm kunnen verheffen (tenzij zou blijken dat zij slechts profiteren van gunstige externe omstandigheden).
2. Scholen die effectiever zijn, zijn dat in doorsnee voor al hun leerlingen. Wie dus voor kwaliteitsbeleid gaat, kan
claimen daarmee alle groepen tegelijk te dienen. Maar scholen met relatief veel kansarme leerlingen tonen
relatief minder vaak die effectiviteit. (En dat is sociologisch gezien niet onlogisch, zie 5.)
3. Wat scholen in hun VO-advies toevoegen aan de CITOscore leidt tot grotere sociale ongelijkheid dan de CITO-
score alleen. Het is maar de vraag of je kansarmen een plezier doet met voorzichtige adviezen.
4. Scholen verschillen behalve in hun effectiviteit onderling ook nog sterk in
- hoe leuk ze worden gevonden door de leerlingen
- hoeveel steun de leerlingen ervaren van het team en
- hoe tevreden de ouders achteraf zijn met de schoolkeuze.
Al die dingen hangen vervolgens wel (enigszins) positief samen met schooleffectiviteit.
5. (Deels uit de cijfers, grotendeels op grond van algemene sociologische inzichten kun je stellen:)
Segregatie bedreigt (zeker op den duur) de uniforme kwaliteit van scholen: in hun leerplan, schoolklimaat,
docentencorps en in hun organisatie dreigen ze zich ongelijk te ontwikkelen. (Organisaties gaan lijken op het
marktsegment dat ze bedienen.) Segregatie draagt slechts enigszins bij tot kansenongelijkheid; de op goede
gronden terechte strijd tegen segregatie zal dus vermoedelijk maar weinig helpen tegen kansenongelijkheid.
6. Verschillen in schooleffectiviteit lijken vooralsnog wezenlijker dan segregatieverschillen!!