Eind oktober 2013 kwam het ministerie van OC&W met het juichende bericht dat in 2013 meer leerlingen – en bovendien met hogere cijfers – waren geslaagd voor eindexamens in het voortgezet onderwijs dan in voorgaande jaren. Deze verbetering vond met name plaats in het havo en het vwo. Een nadere analyse van de door het Cito gepubliceerde data leert dat in ieder geval voor het vwo deze claim boterzacht is.
Staatssecretaris Dekker reageerde destijds als volgt:
De Belangrijkste conclusie is dat het hoger leggen van de lat een positief effect heeft. De cijfers bij een aantal kernvakken zijn flink verbeterd, en ondanks de aangescherpte eisen zijn de slaagpercentages juist omhooggegaan. Leerlingen en scholen hebben hard gewerkt en daardoor een goed resultaat behaald. Dat verdient een groot compliment!
Afgezien van het feit dat hij hiermee suggereert dat leerlingen en leraren in voorgaande jaren niet hard genoeg hebben gewerkt om een goed resultaat te behalen, is het nog maar de vraag of de conclusie van het ministerie klopt.
Strengere eisen eindexamens
Toenmalig staatssecretaris Van Bijsterveldt besloot in 2008 om de zak/slaagregeling voor het voortgezet onderwijs aan te scherpen. Met ingang van het examenjaar 2012 werd de regel ingevoerd dat leerlingen gemiddeld over alle vakken van het centraal eindexamen minimaal een 5,5 moesten halen. In 2013 werd dit gevolgd door de eis dat een leerling voor de kernvakken Nederlands, Engels of Wiskunde niet meer dan één vijf mag hebben.
Ervan uitgaande dat de leerlingen even slim blijven en de examens even moeilijk, zouden deze fors strengere eisen moeten leiden tot een lager slagingspercentage. Het is dan ook verrassend dat het slagingspercentage juist is gestegen. Als verklaring geeft het Ministerie van Onderwijs dat de leerlingen vaardiger zijn geworden. Onderstaande grafiek laat zien dat na 2012 het gemiddelde examencijfer een sprong heeft gemaakt en structureel ongeveer 0,2 punt hoger ligt dan in de voorafgaande jaren.
Allesbepalende rol voor de N-term
In de brief aan de kamer gaat de staatssecretaris expliciet in op de mogelijkheid dat de verrassend goede cijfers het gevolg zijn van een (te) soepele beoordelingsnorm. Deze mogelijkheid wijst hij echter van de hand door te verwijzen naar een bijlage waarin de normeringsystematiek van de eindexamens wordt beschreven:
Het College voor Examens (CvE) heeft de opdracht om de prestatie-eisen die aan leerlingen worden gesteld constant te houden. Het uitgangspunt bij de normering van het centraal examen is dat de vaardigheid die een leerling moet tonen om een voldoende te scoren door de jaren heen gelijk is. Als er sprake is van een dalend of stijgend gemiddeld cijfer, correspondeert dit met een dalende of stijgende vaardigheid van de betreffende leerlingen.
Om die constante prestatie-eisen te waarborgen, worden de scores voor de eindexamens gecorrigeerd met de normeringsterm (N-term). Deze normeringsterm is een ijkvariabele die zo wordt vastgesteld dat het examen vergelijkbare eisen stelt als in voorgaande jaren. In principe varieert deze N-term tussen 0 en 2. In het kort komt het erop neer dat hoe meer vragen van een examen goed werden beantwoord, hoe lager de N-term behoort te zijn (en omgekeerd). De N-term wordt elk jaar apart voor elk vak van elk schooltype vastgesteld. Globaal worden de cijfers volgens de volgende formule berekend:
Cijfer = 9 x (punten / maximaal aantal punten) + N
De vaststelling van deze N-termen is een delicaat proces: leerlingen in het ene jaar mogen niet worden bevoordeeld ten opzichte van leerlingen in andere jaren. Onderstaande grafiek laat per jaar de gemiddelde N-term zien ten opzichte van de verhouding goed beantwoorde vragen (p-waarde) voor de jaren 2005 tot en met 2016.
De jaren 2013 t/m 2016 staan meer in de rechterbovenhoek dan de overige jaren. Een en ander wordt nog duidelijker als je trendlijnen toevoegt voor de jaren t/m 2012 en de jaren vanaf 2013.
Duidelijk is te zien dat de trendlijn voor de periode vanaf 2013 naar rechts/rechtsboven is verschoven. Dit betekent dat in de jaren vanaf 2013 voor eenzelfde percentage goed beantwoorde vragen een naar verhouding hogere N-term is vastgesteld dan in voorgaande jaren. Dit effect is ongeveer 0,25 punt, hetgeen ongeveer overeenkomt met de stijging van het gemiddelde cijfer. Logisch gevolg is dat de cijfers in 2013 en daarna hoger liggen dan in de jaren daarvoor. Eenzelfde patroon is te zien bij alleen de kernvakken (Nederlands, Engels, wiskunde A & wiskunde B).
Om te bepalen of er sprake is van toeval of niet, is het ten eerste noodzakelijk om te kijken naar de procedure waarmee de N-term wordt vastgesteld en vervolgens naar de mogelijke oorzaken van deze afwijking.
De procedure om tot vaststelling van de N-term te komen bestaat uit drie stappen. Eerst maakt het CITO een technisch normeringsadvies. Dit technisch advies baseert het CITO onder meer op een analyse van de toets als geheel, de individuele vragen van de toets en eventueel de gegevens van een pre-test of een post-test.
Vervolgens gaat dit technisch advies naar de vaksecties van het College van Examens. Indien de vaksecties dit wenselijk achten, kunnen zij dit technisch advies aanpassen. Tijdnood of onduidelijkheden in de vraagstelling kunnen hier bijvoorbeeld aanleiding toe geven. Op basis van de uitkomsten van de eerste twee stappen stellen uiteindelijk de voorzitter, de directeur en de sectormanagers van het College van Examens de N-termen vast.
Mogelijke oorzaken
De grote vraag is nu hoe het komt dat de N-term in de jaren vanaf 2013 zo hoog is vastgesteld. Hiervoor zijn een aantal mogelijke verklaringen aan te voeren.
Het zou kunnen zijn dat de lichting die in 2013 examen deed slimmer was dan voorgaande lichtingen. Hoewel volgens het Flynn-effect het IQ in de loop der jaren stijgt, is het niet aannemelijk dat dit de verklaring is voor de plotselinge stijging in de eindexamencijfers. Statistisch gezien, is het onwaarschijnlijk dat leerlingen van het ene op het andere jaar intelligenter zijn geworden.
Iets waarschijnlijker is het dat leerlingen vaardiger zijn geworden. Een toename in vaardigheid kan een gevolg zijn van beter onderwijs, gerichtere voorbereiding op de eindexamens of meer selectie doordat zwakke leerlingen eerder afstromen naar lagere schooltypen. Hoewel het onwaarschijnlijk is dat het onderwijs in één jaar significant verbetert, is het niet onaannemelijk dat door de strengere normen harder is geoefend voor de eindexamens.
Onderstaande grafiek laten de verdeling zien van eindexamenkandidaten over verschillende schooltypen gedurende de periode 2004-2016. Opvallend is dat na een jarenlange daling vanaf 2012 het vmbo naar verhouding weer meer eindexamenleerlingen heeft. Bij het havo vlakt de stijging van het aandeel af terwijl het aandeel van het vwo afneemt. De afname van het aandeel van het vwo kan verschillende oorzaken hebben. Strengere selectie aan de poort en een hogere afstroom naar het havo kunnen mogelijke de afname van het aandeel van het vwo verklaren. In beide gevallen leidt dit ertoe dat het gemiddelde niveau van de vwo-leerlingen hoger wordt.
Het uiteindelijke plaatje
Zoals de staatssecretaris terecht opmerkt hoort een dalende of stijgende vaardigheid te corresponderen met een dalend of stijgend gemiddeld cijfer. Hoewel het aannemelijk is dat de gemiddelde leerling vaardiger is, is dat niet direct een reden om de leerlingen een extra cadeautje te geven in de vorm van een hogere N-term en dus een hoger cijfer.
Het lijkt er in ieder geval erg sterk op dat voor de jaren vanaf 2013 de N-term te soepel is vastgesteld. Aangezien een kleine aanpassing grote gevolgen kan hebben, is het slagingspercentage in de afgelopen jaren eigenlijk te hoog geweest. Vele vwo leerlingen hebben dan ook mogelijk hun diploma te danken aan de soepele normering die de afgelopen jaren is gebruikt. De conclusie van het ministerie van OC&W dat het aanscherpen van de eisen leidt tot betere prestaties kan dus hoogstwaarschijnlijk de prullenbak in.
Gebruikte data:
Examenverslagen (Cito)
Leerlingaantallen (CBS)
