De Cito-illusie van staatssecretaris Sander Dekker

OPINIE - Staatssecretaris van Onderwijs Sander Dekker wil scholen gaan beoordelen op hun scores voor de Cito-toets. Hij hoopt hiermee scholen aan te zetten om hun onderwijs te verbeteren zodat ze beter scoren op de Cito-toets. Een onzalig idee.

Vorige week maandag verkondigde de staatssecretaris nog eens in een interview met het TV-programma Radar de boodschap dat hij scholen wil gaan vergelijken op basis van de scores op de Cito-toets. Maar het afrekenen van scholen op basis van leerlingprestaties is net zoiets als een dokter afrekenen op de gezondheid van zijn patiënten. Het doet de realiteit ernstig tekort. Het risico op een averechts effect is levensgroot, omdat Dekker een aantal zaken over het hoofd ziet.

Eenzijdige toetsvorm

De Cito-toets is op meerdere manieren eenzijdig. Zo bepaalt de vorm van een toets wat er met de toets gemeten wordt. Meerkeuzevragen zijn meer gericht op feiten dan op kennis. Verder kan slechts een beperkte set aan vaardigheden en kennis worden gemeten. Een blik op de kerndoelen van het basisonderwijs leert al snel dat lang niet alle leerdoelen met meerkeuzevragen kunnen worden getoetst. Schrijfvaardigheid is bijvoorbeeld beter te toetsen door leerlingen een opstel te laten schrijven dan door door ze een paar meerkeuzevragen voor te leggen. Hetzelfde is van toepassing op spelling (pdf).

Eenzijdige vaardigheden

Taal, rekenen en studievaardigheid zijn belangrijk, maar niet de enige vaardigheden die een kind nodig heeft. Een eenzijdige nadruk op toetsen en de te behalen niveau’s heeft als risico dat vaardigheden die lastiger te toetsen zijn, maar wel belangrijk, in de verdrukking komen. Een tweede vorm van eenzijdigheid.

School is bedoeld om talenten van kinderen tot bloei te laten komen. Taal, rekenen en studievaardigheden zijn daarvoor belangrijk, maar ook lastiger meetbare aspecten als zelfvertrouwen, kritisch leren denken, nieuwsgierigheid en zelfstandigheid. Een eenzijdige focus op vakken met economisch nut (Nederlands, wiskunde (rekenen) en Engels) kweekt volgens de filosoof Graham Lock gezapige koeien. Niet handig als je een goed functionerende kennismaatschappij voor ogen hebt. Wellicht kan staatssecretaris Dekker ook zijn oor eens te luisteren leggen bij de denktank van zijn eigen VVD.

Scorebord onderwijs

Tot op zekere hoogte zal het beoordelen van scholen op de behaalde scores het gewenste effect hebben. Scholen zullen zeker met een kritischere blik kijken naar waar het beter kan. Echter, het afrekenen op output is ook een stimulans om de uitkomsten er zo mooi mogelijk uit te laten zien. Het zet aan tot strategisch gedrag: toetstrainingen (met bijbehorend commercieel circus), leerlingen uitsluiten van deelname, meerdere herkansingen tot fraude aan toe. Of heeft de staatssecretaris dan helemaal niets geleerd van het InHolland debacle? Of van de fraudeschandalen in de VS? De focus van het onderwijs komt daardoor op de toets te liggen en niet op het eigenlijke leerproces.

Sociale context

Een school is een onderdeel van de maatschappij. De instroom van met name basisscholen wordt voor een belangrijk deel bepaald door de geografische lokatie. Een in een zogenaamde ‘prachtwijk’ gelegen school krijgt een ander type leerling, met andere cognitieve vaardigheden, binnen dan een school in een doorsneewijk in Huizen. Zoals de figuur laat zien, heeft de school (leraar en schoolleiding) een grote invloed op de leerprestaties van leerlingen. Echter, de helft van de leerlingprestaties worden verklaard door de karakteristieken van de leerlingen zelf. Heeft een school de pech om veel leerlingen binnen te krijgen uit achterstandssituaties, dan wordt het een stuk lastiger om hoge gemiddelde scores te halen bij de Cito-toets. Ook al scoort een school lager, dan wil dat nog niets zeggen over het leerrendement dat de school heeft behaald.

Invloed van leraren

Conclusie

Niet doen dus. Het is een onzalig plan om scholen te vergelijken met behulp van Cito-scores. Het is dan ook aan te bevelen dat de staatssecretaris zijn energie steekt in andere aanpakken voor de verbetering van de onderwijskwaliteit. Maatregelen waarvan de werking is bewezen.

  1. 1

    Je zou de score natuurlijk ook kunnen proberen te corrigeren voor vooral sociale factoren.

    Overigens is het al zo dat scholen in achterstandswijken minder leerlingen per leraar hebben (tot soms de helft vergeleken met een school in een goede wijk).

  2. 2

    Hear Hear. Goed stuk. Meten is maar één vorm van bepalen en de kerndoelen van het onderwijs zijn voor het grootste deel niet te kwantificeren. Het misverstand dat taal en rekenen de belangrijkste vakken zijn is wijdverbreid. Taal en rekenen zijn instrumentele vakken, die de basis vormen voor een goede onderwijscarrière, maar geen doel op zich. Vertaal de CITO naar de voetbalwereld en Messi zou afgerekend worden op zijn uithoudingsvermogen in plaats van op “vage begrippen” als creativiteit en spelinzicht.

  3. 3

    @1: De score corrigeren voor sociale factoren is een mogelijkheid, maar waarom zouden we zaken onnodig complex maken? Je krijgt dan geheid discussie over de wegingsfactoren en dat leidt af van het doel om goed onderwijs te verzorgen. Daarnaast kunnen dergelijke wegingsfactoren weer allerlei strategische gedrag uitlokken. Al met al lijkt me dat niet verstandig.

    Dat scholen in achterstandswijken minder leerlingen per leraar hebben is goed te rechtvaardigen, maar dat betekend niet gelijk dat de prestaties op gelijk niveau zijn met ‘normale’ scholen. Het gat is misschien alleen wat kleiner.

  4. 5

    Goed stuk. Een belangrijke andere overweging is dat de Citoscore een normaalverdeling is van de scores van alle deelnemende leerlingen. Het is voor 50% van de leerlingen dus onmogelijk beter te scoren dan het gemiddelde. Waar sommige scholen het beter gaan doen, gaan andere scholen het automatisch slechter doen. Je geeft dus 50% van de kinderen (en hun leraren) de indruk dat ze slecht gepresteerd hebben, terwijl ze daar niets aan kunnen doen. Dat vind ik onethisch.

    Een voorbeeld met andere getallen. Stel, de gemiddelde volwassen man is 85 kilo. En nu zou de staatssecretaris roepen dat om obesitas tegen te gaan, alle mannen minder dan dit gemiddelde moeten wegen. Daarvoor wordt het gemiddelde omgezet naar een score tussen 500 (te licht) en 550 (te zwaar). 85 kilo is dan 525. Alle mannen gaan op dieet en over een jaar is het gemiddelde gewicht 80 kilo. Volgend jaar heeft de man met score 525 plotseling 530: hij is te zwaar! Terwijl hij nog steeds dezelfde man is.
    En heel veel andere mannen, die met veel moeite van 90 naar 85 kilo zijn afgevallen, en nu hopen dat ze op de norm zitten, zullen als uitslag ook krijgen: 530, te zwaar! Dat is frustrerend!

    Iedereen snapt dat het absurd is om een algemene ‘prestatie’ aan een relatieve maar af te meten, als het om lichaamsgewicht gaat. Waarom dat voor de Cito-toets niet geldt, en zelfs Cito er niets aan doet om dit beeld tegen te gaan, is mij een raadsel.

  5. 7

    Er is nog een ander nadeel (voor VVD-ers) aan deze aanpak. Even met het voorbeeld van @5. Stel dat de norm van 85 kg absoluut word. Er wordt opgedragen om het gewicht onder 85 kg te krijgen.

    Wat gebeurd er dan: Het heeft geen nut om aandacht te besteden aan personen lichter dan 80 kg, die zullen niet snel 5 kg aankomen. Aan de andere kant is het ook lastig om 5 kg kwijt te raken. Aandacht die daar aan besteed wordt is ook verloren moeite. Dit soort maatregelen zal er voor zorgen dat scholen zich vooral gaan richten op de middelmaat en niet op de uitschieters (in welke richting dan ook) of in andere woorden: “Nivelleren is een feest!”

    P.S. Kenniswerkers zijn helemaal niet (op korte termijn) voordelig voor fabrikanten. Goedkope, snel inwisselbare arbeiders die geen vragen stellen en niet moeilijk doen zijn daarvoor veel geschikter.

  6. 8

    @5: Wat is daar immoreel aan? Als je daalt ten opzichte van andere scholen, ondanks dat je je best doet, betekent dat dat je misschien niet op de goede manier bezig bent. Of dat je demografie aan het veranderen is. Dat mag misschien wel frustrerend zijn, maar dat maakt het niet minder waar.

    Maar beiden zijn toch gewoon te kwantificeren?

    @3: Zo moeilijk is dat niet. En ja, discussie hou je altijd.

  7. 9

    En wat gaat er gebeuren? Scholen die “slecht” presteren krijgen straks minder geld en gaan dan dus nog minder presteren.

    Uitstekend stuk, en onzalig plan van de staatssecretaris. Alles wat fout is in het onderwijs nog even erger maken. Je zou toch beter moeten weten.

  8. 10

    @8: op een bepaald moment is je relatieve positie meer afhankelijk van toevallige variatie dan kwaliteit van lesgeven. (Het hoeft dus niet eens om structurele verschillen te gaan.)

  9. 11

    @9, Waar haal je vandaan dat scholen die slecht beoordeelt worden minder geld zouden krijgen? Basisscholen die in het huidige systeem niet door een inspectie komen krijgen juist extra geld om orde op zaken te stellen. Ik zie nergens staan dat ze dat willen gaan omkeren.

  10. 12

    Een uitstekend stuk, dat publicatie in een landelijk dagblad verdient. Doen!

    Nu zit ik in het onderwijs, en heb helaas dus altijd wat te zeuren. Doe er je voordeel mee :-)

    “Meerkeuzevragen zijn meer gericht op feiten dan op kennis.”

    Ik zou zeggen: ondanks de potentie van meerkeuzevragen blijken de meeste in de praktijk bij toetsing gebruikte meerkeuzevragen meer gericht op feitenkennis en eenvoudige deductie dan op andere soorten kennis.

    “Een blik op de kerndoelen van het basisonderwijs leert al snel dat lang niet alle leerdoelen met meerkeuzevragen kunnen worden getoetst.”

    Ik zou zeggen: een blik op de kerndoelen leert dat slechts een beperkte selectie, interpretatie en operationalisatie van deze zeer algemeen en abstract geformuleerde doelen wordt getoetst.

    “Hetzelfde is van toepassing op spelling.”

    Ik zou zeggen: Bij de technisch betrouwbaarder te toetsen deelvaardigheden, zoals spelling en rekenkunde, ligt een gebrekkige ecologische validiteit op de loer: de toepassing buiten de toets hodut niet over. Spelt men wel bij het schrijven? Rekent men wel bij economische vraagstukken?

    “Taal, rekenen en studievaardigheden zijn daarvoor belangrijk, maar ook lastiger meetbare aspecten als zelfvertrouwen, kritisch leren denken, nieuwsgierigheid en zelfstandigheid.”

    Ik zou aanvullen: “Maar ook reguliere schoolse inhouden die verder gaan dan wat nu als ‘basisvaardigheden’ wordt gepresenteerd, namelijk het lezen van literatuur & de beheersing van vreemde talen; maatschappijkennis, aardrijkskunde & geschiedenis; biologie & natuurkunde; verkeer & muziek. Geen van dit alles zit in de landelijke CITO-toets. Meer aandacht voor de deelvaardigheden van rekenen en taal gaat ten koste van de leerstof voor deze reguliere schoolvakken. Een uur geschiedenis, muziek of Engels er af, een uur spelling er bij. Willen we dat eigenlijk?”

  11. 13

    @2 Bullie: “De kerndoelen van het onderwijs zijn voor het grootste deel niet te kwantificeren”.

    O nee? Waarom krijgen alle kinderen in Nederland dan een paar keer per jaar een lijst met gekwantificeerde operationalisaties van die kerndoelen? Ik heb het hier natuurlijk over de rapporten. Daarop staan cijfers, of bolletjes, of dubbele plussen enzovoorts, die een evidente kwantificering inhouden van hun schoolse prestaties. Óók voor ‘moeilijk te kwantificeren’ vakken als muziek, gym, opstelschrijven, werkhouding, ruimtelijk inzicht en wereldoriëntatie. Scholen en leraren zien daar kennelijk niet zo’n been in.

  12. 14

    Ik heb een dubbel gevoel over de CITO-toets. Enerzijds is het niet heiligmakend, anderzijds is de uitslag (ik ga er voor ’t gemak uit dat CITO-scores goed correleren met IQ-scores) de meest betrouwbare voorspeller van sociaal-economisch succes.

    Betrouwbaarder dan diploma’s zelfs.

  13. 16

    @Hannes: Ik zit ook in het onderwijs, waar de meningen dus al net zo verschillen als elders.
    Het blote feit dat er cijferschalen, bolletjes, beoordelingsgesprekken en portfolio-evaluaties bestaan geeft al aan dat leerprestaties moeilijk te kwantificeren zijn. Er bestaat geen overeenstemming over de meting van schoolprestaties, het rapport is daarvoor het meest overtuigende bewijs.

    Neem nou Kerndoel 36: Meningvorming

    “De leerling leert betekenisvolle vragen te stellen over maatschappelijke kwesties en verschijnselen, daarover een beargumenteerd standpunt in te nemen en te verdedigen, en daarbij respectvol met kritiek om te gaan.”

    Rate it!

  14. 17

    Het gaat bij de cito beoordeling niet om de absolute beoordeling, maar over de groei die een leerling doormaakt. Een school die een achterstandsleering laat groeien in taalbeheersing en rekenen, zal een grotere sprong maken dan een leerling van hoogopgeleide ouders. En juist die sprong is een indicatie voor het succes van een school.

    Maar een CITO blijft een middel om te een oordeel te vormen en kan en mag geen doel worden Het enge is dat dit waarschijnlijk gaat gebeuren. Daarom moeten we het misschien maar niet doen

  15. 18

    De waan van Walhout.

    Taak van primair onderwijs en vervolg erop, is het instampen van kennis: tafels van 1-20, woordjes*, niet het aanboren van talenten. De meeste kinderen hebben geen talent; met een beetje aanleg van ze mag je al blij zijn, en wonderkinderen zijn schaars. Imbecielen genoeg. En zelfs getalenteerd hebben kinderen baat bij basisinstructie, en die lijkt mij goed Cito-toetsbaar. Verder mag bijbrengen van enig elementair fatsoen: in de rij gaan staan, niet voordringen, spullen netjes opruimen, en de meester met U aanspreken. Zo leren ze het.

    Walhout’s onderwijsdeuntje is afgezaagd. De zoveelste onderwijsidealist! De talentlozen! Ze leren het niet en nooit, op zoek naar nieuwe slachtoffers voor hun aliënerende, geldverspillende idealen. Rousseau die niet eens zijn eigen kinderen kon opvoeden, is er geloof ik mee begonnen. En wat is ervan het onderwijs terecht gekomen? Vraag het de huidige Minister van Financiën D. maar. Nog niet zo lang geleden moest die per enquête vaststellen dat het NL-onderwijs er slecht aan toe is, failliet zowat. Zeker door die andere ‘aanpakken waarvan ‘de werking volgens Wal. ‘is bewezen.’Hoe durf hij! Hij durft die maatregelen of zeg maar rampen niet eens te definiëren. Begrijpelijk.

    * Dit is geheel i.o.m. één van Talcott Parsons ‘Funtionele Problemen, nl. dat van : I. Pattern-Maintenance = opvoedingssystemen.

  16. 19

    Enkel focussen op (manipuleerbare) cijfers werkt fraude in de hand. Zo gaan er de op de school waar mijn vriendin les geeft kinderen over die voor 14 van de 15 vakken een onvoldoende staan omdat ouders kijken naar de overgangscijfers bij de schoolkeuze.

    We moeten niet verbaast opkijken dat als kinderen hun hele jeugd verteld wordt dat cijfers boven alles gaan ze deze mentaliteit aanleren, met alle gevolgen van dien.

  17. 20

    @17 (Toko Senang): Ik zou het een beetje willen omdraaien: het gaat *in het onderwijs* niet om de absolute beoordeling, maar om de groei die leerlingen doormaken. School heeft de opdracht zowel de achterstandsleerling als de leerling van hoogopgeleide ouders te laten groeien. Daarbij hebben beide leerlingen wellicht ouders die de groei van hun kind toejuichen, maar ze zijn waarschijnlijk niet in gelijke mate geëquipeerd om het daarbij concreet te helpen met het schoolwerk. Daardoor zal de groei van beide kinderen, all other things equal, niet gelijk uitpakken.

    Wat heeft de CITO-Eindtoets daar nu mee te maken? Op zich niet zoveel. Die Eindtoets alleen kan niet ‘de groei’ meten, en wel om twee redenen. Ten eerste vanwege de beperkte dekking van de in werkelijkheid verworven kennis & vaardigheden. En omdat je voor het aantonen van een groei een toename van A naar B moet vaststellen, en in het onderwijs A niet valide wordt bepaald (een leerlingvolgsysteem of een toets in groep 3 of 5 is niet zomaar compatibel met de CITO-Eindtoets).

    Maar zelfs als meten van ‘groei’ mogelijk zou zijn (doordat we alle verworven kennis zouden kunnen ‘meten’ en daarbij bv. begin groep 3 zouden nemen als startpunt), dan nog kunnen we daar ‘het succes van de school’ niet aan ophangen, zoals u zegt. Want wat is het aandeel van de school in die groei, wat van de leerling en wat van de ouders? Hebben school X en Y soms dezelfde populatie? Opereert een school in Groningen in dezelfde omstandigheden als een school in Rotterdam? Een school in de stad en een school op het platteland? Een school in Amsterdam-Zuid en een school in Amsterdam-West?

    Ik zie weinig heil in het managementdenken dat wil ‘sturen op output’ en de illusie heeft kwantificeerbare ‘targets’ te realiseren waarvoor dan ‘stakeholders’ verantwoordelijk gehouden worden. Het probleem is dat we in Nederland overal dat ‘corporate model’ hebben losgelaten in de voormalige publieke sector, en de managers naar de macht (en het geld) hebben geleid. Dat blijkt veel te kosten en weinig op te leveren. Toch zal men er – uit eigenbelang of ideologische verblindheid – nog een hele tijd aan vasthouden, zo valt te vrezen.

  18. 22

    Waar komt toch die angst vandaan voor het meten van prestaties? Scholen in achterstandswijken krijgen nu ook al extra geld. Niet omdat ze in achterstandswijken staan, maar omdat er gemeten wordt en ze slechter scoren.

    Het is allemaal niet zaligmakend, maar bij gebrek aan beter is het wel de enige houvast die je hebt!

    Nu denk ik dat op Sargasso een hoop mensen rondhopsen die eerder underachievers dan overachievers waren op school, en dus bang zijn voor Amerikaanse toestanden. Vandaar al dat gemin van mij, denk ik, en dat geplus van totale onzin zoals de opmerking van @inkwith

  19. 23

    @22: Waarom stel je botweg dat de hier genoemde argumenten tegen het afrekenen van scholen op toetsscores voortkomt uit ‘angst’? Ik vind dat aanmatigend. Ik schrijf toch ook niet dat jouw mening voortkomt uit ‘betweterij’ of iets dergelijks? Dat zou behalve zinloos ook respectloos wezen.

    Hoe komt je er bij dat scholen in achterstandswijken extra geld krijgen ‘omdat ze gemeten worden en ze slechter scoren’? Volgens mij krijgt elke school voor een achterstandsleerling een bedrag extra, of die school nu in Wassenaar staat of in Dordrecht Krispijn, of die leerling nu met 29 of met nul andere achterstandsleerlingen in de klas zit, of iets daar tussenin; en of zijn school nu ‘slechter scoort’ of niet. Ook denk ik dat elke school die ‘slechter scoort’ (slechter dan wat eigenlijk?), waar die ook staat, op vergelijkbare wijze wordt aangesproken door de Inspectie en bij recidive eenzelfde reparatietraject tegemoet kan zien. Niet zomaar een zak geld of zo.

    Jij hebt daar blijkbaar een heel andere kijk op. Ik ben benieuwd naar jouw evidentie daarvoor.

    Een slechte werkwijze is helemaal niet ‘je enige houvast bij gebrek aan beter’. We moeten geen onzinbeleid voeren omdat sommigen te dom of te lui zijn om beter beleid te bedenken. Misschien, het is maar een idee, zouden we iets kunnen leren van succesvolle aanpakken elders. En die gaan niet in de richting van high-stakes testing, sturen op output, prestatieloon en steeds lager opgeleide leraren die andermans beleid uitvoeren.

    Tot slot weet ik niet waarom je denkt dat je medediscussianten hier tot de ‘underachievers’ behoorden. Voor Jaap en mij geldt dat in ieder geval niet. Misschien is het een kwestie van de waard die zijn gasten op een bepaalde manier vertrouwt.

  20. 26

    @Joost: Totale onzin van Inkwith? Dan misschien deze pagina eens lezen – het standpunt van ons aller VVD.

    Daarnaast: meten van prestaties heeft inderdaad grote nadelen. Of nou ja, het te eenzijdig meten en afrekenen op grond van prestaties. Dat is nauwelijks een nieuw inzicht. De hierboven genoemde nadelen zijn op allerlei fronten allang bekend: men gaat zich richten op het behalen van goede scores ipv het goed uitvoeren van het werk (en de oorspronkelijke doelstelling). Wie is er nog zo gek om kinderen te laten tekenen, toneel te spelen, muziekles te geven, als dat niet kan worden omgezet in klinkende cito-munt? Creativiteit en sociale ontwikkeling meet je niet met meerkeuzevragen.

    Ten tweede, het eenzijdig meten en afrekenen lokt het omzeilen van de regels uit. Ook dat is niet nieuw of onbekend. In dit geval: leerlingen die het waarschijnlijk slecht doen op de cito, mogen niet meer meedoen. Nog meer kinderen die gewoon niet zo goed zijn, worden richting stempels en hokjes en speciaal onderwijs geduwd, alleen al omdat ze de score verpesten. De bereidheid om risico te nemen wordt een stuk kleiner.

    (Ik wil hier ook even mijn middelbare school aanhalen, die al afgerekend werden op het slagingspercentage. En hun slagingspercentage was dan ook prima: 98%-100%. En niemand die het slagveld zag in het jaar voor het eindexamen. Alle twijfelgevallen (en dat waren er heel wat, omdat het onderwijs eigenlijk best wel beroerd was) bleven zonder meer zitten. Nooit werd er eens een risico genomen van ‘we weten niet of je het gaat halen, maar we gaan het proberen.’ Want dergelijk risico’s leveren slechte statistieken op. Liever wat leerlingen onnodig een jaar langer houden dan een slechte score.)

    Ten derde is het overduidelijk dat je 1 meetinstrument niet voor 2 doelen kunt gebruiken. De cito-toets wordt nu gebruikt om een voorspelling te doen voor het voortgezet onderwijs. Als de school zo van invloed is op de citoscore, dan zou je die score niet meer kunnen gebruiken voor toelating van de leerlingen. (Dat is al een bezwaar, maar door hetzelfde cijfer voor 2 gedeeltelijk onafhankelijke doelen in te zetten, krijg je nog meer verwarring.)

  21. 28

    Laatste opmerking van Inca is een heel goeie. Cito-toets is voor een heel ander doel opgezet dan voor het afrekenen van scholen. Je bent op oneigenlijke wijze een instrument voor iets anders aan het gebruiken.

  22. 30

    @29: HPax, maar dan nog steeds enkelvoud, dus wordt het “verraadt” en niet “verraden”. Ook zonder rood streepje van de Sargasso-spellingchecker kun je nog een fout maken.

  23. 31

    @ c 25, 30. Jullie krijgen van mij groot gelijk. Ik heb mijn fout 2x over het hoofd gezien, en schut het vertwijfeld.

    ‘Zij’ blijft, het werkwoord moet in enkelvoud staan.