Normering eindexamens wellicht te soepel

Eind oktober 2013 kwam het ministerie van OC&W met het juichende bericht dat in 2013 meer leerlingen – en bovendien met hogere cijfers – waren geslaagd voor eindexamens in het voortgezet onderwijs dan in voorgaande jaren. Deze verbetering vond met name plaats in het havo en het vwo. Een nadere analyse van de door het Cito gepubliceerde data leert dat in ieder geval voor het vwo deze claim boterzacht is. Staatssecretaris Dekker reageerde destijds als volgt: De Belangrijkste conclusie is dat het hoger leggen van de lat een positief effect heeft. De cijfers bij een aantal kernvakken zijn flink verbeterd, en ondanks de aangescherpte eisen zijn de slaagpercentages juist omhooggegaan. Leerlingen en scholen hebben hard gewerkt en daardoor een goed resultaat behaald. Dat verdient een groot compliment! Afgezien van het feit dat hij hiermee suggereert dat leerlingen en leraren in voorgaande jaren niet hard genoeg hebben gewerkt om een goed resultaat te behalen, is het nog maar de vraag of de conclusie van het ministerie klopt. Strengere eisen eindexamens Toenmalig staatssecretaris Van Bijsterveldt besloot in 2008 om de zak/slaagregeling voor het voortgezet onderwijs aan te scherpen. Met ingang van het examenjaar 2012 werd de regel ingevoerd dat leerlingen gemiddeld over alle vakken van het centraal eindexamen minimaal een 5,5 moesten halen. In 2013 werd dit gevolgd door de eis dat een leerling voor de kernvakken Nederlands, Engels of Wiskunde niet meer dan één vijf mag hebben. Ervan uitgaande dat de leerlingen even slim blijven en de examens even moeilijk, zouden deze fors strengere eisen moeten leiden tot een lager slagingspercentage. Het is dan ook verrassend dat het slagingspercentage juist is gestegen. Als verklaring geeft het Ministerie van Onderwijs dat de leerlingen vaardiger zijn geworden. Onderstaande grafiek laat zien dat na 2012 het gemiddelde examencijfer een sprong heeft gemaakt en structureel ongeveer 0,2 punt hoger ligt dan in de voorafgaande jaren. Allesbepalende rol voor de N-term In de brief aan de kamer gaat de staatssecretaris expliciet in op de mogelijkheid dat de verrassend goede cijfers het gevolg zijn van een (te) soepele beoordelingsnorm. Deze mogelijkheid wijst hij echter van de hand door te verwijzen naar een bijlage waarin de normeringsystematiek van de eindexamens wordt beschreven: Het College voor Examens (CvE) heeft de opdracht om de prestatie-eisen die aan leerlingen worden gesteld constant te houden. Het uitgangspunt bij de normering van het centraal examen is dat de vaardigheid die een leerling moet tonen om een voldoende te scoren door de jaren heen gelijk is. Als er sprake is van een dalend of stijgend gemiddeld cijfer, correspondeert dit met een dalende of stijgende vaardigheid van de betreffende leerlingen. Om die constante prestatie-eisen te waarborgen, worden de scores voor de eindexamens gecorrigeerd met de normeringsterm (N-term). Deze normeringsterm is een ijkvariabele die zo wordt vastgesteld dat het examen vergelijkbare eisen stelt als in voorgaande jaren. In principe varieert deze N-term tussen 0 en 2. In het kort komt het erop neer dat hoe meer vragen van een examen goed werden beantwoord, hoe lager de N-term behoort te zijn (en omgekeerd). De N-term wordt elk jaar apart voor elk vak van elk schooltype vastgesteld. Globaal worden de cijfers volgens de volgende formule berekend: Cijfer = 9 x (punten / maximaal aantal punten) + N De vaststelling van deze N-termen is een delicaat proces: leerlingen in het ene jaar mogen niet worden bevoordeeld ten opzichte van leerlingen in andere jaren. Onderstaande grafiek laat per jaar de gemiddelde N-term zien ten opzichte van de verhouding goed beantwoorde vragen (p-waarde) voor de jaren 2005 tot en met 2016. De jaren 2013 t/m 2016 staan meer in de rechterbovenhoek dan de overige jaren. Een en ander wordt nog duidelijker als je trendlijnen toevoegt voor de jaren t/m 2012 en de jaren vanaf 2013. Duidelijk is te zien dat de trendlijn voor de periode vanaf 2013 naar rechts/rechtsboven is verschoven. Dit betekent dat in de jaren vanaf 2013 voor eenzelfde percentage goed beantwoorde vragen een naar verhouding hogere N-term is vastgesteld dan in voorgaande jaren. Dit effect is ongeveer 0,25 punt, hetgeen ongeveer overeenkomt met de stijging van het gemiddelde cijfer. Logisch gevolg is dat de cijfers in 2013 en daarna hoger liggen dan in de jaren daarvoor. Eenzelfde patroon is te zien bij alleen de kernvakken (Nederlands, Engels, wiskunde A & wiskunde B). Om te bepalen of er sprake is van toeval of niet, is het ten eerste noodzakelijk om te kijken naar de procedure waarmee de N-term wordt vastgesteld en vervolgens naar de mogelijke oorzaken van deze afwijking. De procedure om tot vaststelling van de N-term te komen bestaat uit drie stappen. Eerst maakt het CITO een technisch normeringsadvies. Dit technisch advies baseert het CITO onder meer op een analyse van de toets als geheel, de individuele vragen van de toets en eventueel de gegevens van een pre-test of een post-test. Vervolgens gaat dit technisch advies naar de vaksecties van het College van Examens. Indien de vaksecties dit wenselijk achten, kunnen zij dit technisch advies aanpassen. Tijdnood of onduidelijkheden in de vraagstelling kunnen hier bijvoorbeeld aanleiding toe geven. Op basis van de uitkomsten van de eerste twee stappen stellen uiteindelijk de voorzitter, de directeur en de sectormanagers van het College van Examens de N-termen vast. Mogelijke oorzaken De grote vraag is nu hoe het komt dat de N-term in de jaren vanaf 2013 zo hoog is vastgesteld. Hiervoor zijn een aantal mogelijke verklaringen aan te voeren. Het zou kunnen zijn dat de lichting die in 2013 examen deed slimmer was dan voorgaande lichtingen. Hoewel volgens het Flynn-effect het IQ in de loop der jaren stijgt, is het niet aannemelijk dat dit de verklaring is voor de plotselinge stijging in de eindexamencijfers. Statistisch gezien, is het onwaarschijnlijk dat leerlingen van het ene op het andere jaar intelligenter zijn geworden. Iets waarschijnlijker is het dat leerlingen vaardiger zijn geworden. Een toename in vaardigheid kan een gevolg zijn van beter onderwijs, gerichtere voorbereiding op de eindexamens of meer selectie doordat zwakke leerlingen eerder afstromen naar lagere schooltypen. Hoewel het onwaarschijnlijk is dat het onderwijs in één jaar significant verbetert, is het niet onaannemelijk dat door de strengere normen harder is geoefend voor de eindexamens. Onderstaande grafiek laten de verdeling zien van eindexamenkandidaten over verschillende schooltypen gedurende de periode 2004-2016. Opvallend is dat na een jarenlange daling vanaf 2012 het vmbo naar verhouding weer meer eindexamenleerlingen heeft. Bij het havo vlakt de stijging van het aandeel af terwijl het aandeel van het vwo afneemt. De afname van het aandeel van het vwo kan verschillende oorzaken hebben. Strengere selectie aan de poort en een hogere afstroom naar het havo kunnen mogelijke de afname van het aandeel van het vwo verklaren. In beide gevallen leidt dit ertoe dat het gemiddelde niveau van de vwo-leerlingen hoger wordt. Het uiteindelijke plaatje Zoals de staatssecretaris terecht opmerkt hoort een dalende of stijgende vaardigheid te corresponderen met een dalend of stijgend gemiddeld cijfer. Hoewel het aannemelijk is dat de gemiddelde leerling vaardiger is, is dat niet direct een reden om de leerlingen een extra cadeautje te geven in de vorm van een hogere N-term en dus een hoger cijfer. Het lijkt er in ieder geval erg sterk op dat voor de jaren vanaf 2013 de N-term te soepel is vastgesteld. Aangezien een kleine aanpassing grote gevolgen kan hebben, is het slagingspercentage in de afgelopen jaren eigenlijk te hoog geweest. Vele vwo leerlingen hebben dan ook mogelijk hun diploma te danken aan de soepele normering die de afgelopen jaren is gebruikt. De conclusie van het ministerie van OC&W dat het aanscherpen van de eisen leidt tot betere prestaties kan dus hoogstwaarschijnlijk de prullenbak in. Gebruikte data: Examenverslagen (Cito) Leerlingaantallen (CBS)

Foto: Universidad de Antioquia (cc)

Manipuleert ministerie van Onderwijs eindexamencijfers?

DATA - In 2012 en 2013 werd in twee stappen de eisen voor het eindexamen voortgezet onderwijs verscherpt. De hogere gemiddelde eindexamencijfers voor de jaren vanaf 2013 zijn door het ministerie van OCW geclaimd als resultaat van het beleid om de lat hoger te leggen. Analyse van de beschikbare data leert dat een hogere N-term eerder de oorzaak is.

Op het eerste gezicht lijkt het ministerie de juiste conclusie te trekken. Het gemiddelde eindexamencijfer ligt vanaf 2013 duidelijk hoger, rond de 6,5 in plaats van rond de 6,3.

Gemiddeld cijfer eindexamens VWO

Vanaf 2012 en 2013 mogen leerlingen in het voortgezet onderwijs niet lager dan gemiddeld een 5,5 voor het centraal eindexamen hebben en mogen ze voor slechts één van de kernvakken (Nederlands, Engels of Wiskunde) een vijf halen. Het is echter lastig om examens te maken die ieder jaar exact even moeilijk zijn.

Om te zorgen dat de eisen over de jaren heen vergelijkbaar zijn, wordt ieder jaar voor ieder vak een correctiewaarde (de zogenaamde N-term) vastgesteld. Deze correctiewaarde wordt in een procedure kort na de examens vastgesteld. Een belangrijke input hier voor is het percentage behaalde punten. Het technisch advies van de Cito kan daarna nog met kwalitatieve argumenten worden bijgesteld. In onderstaande grafiek wordt de correctiewaarde (N-term) afgezet tegen het percentage behaalde punten (de P-waarde).

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Foto: Serge de Beer (cc)

Follow the money bij OCW

ACHTERGROND - Zo kleurig als de uitgave Kerncijfers, zo sober is het Jaarverslag van OCW over 2012, dat op dezelfde dag verscheen. Zelfs de grafiek is in zwart/ wit.

Maar uiterlijk is schijn. Het huishoudboekje van OCW is interessant leesvoer, met veel details over de uitgaven van het ministerie en verantwoording over het gevoerde beleid. Wie wil weten wat OCW doet: “follow the money.”

Bron: OCW Rijksjaarverslag 2012.

Via Onderwijs in Grafieken.

Foto: atelier PRO (cc)

Kwaliteit van hoger onderwijs (6) – Slecht gedrag belonen

Lees ook deel één, twee, drie, vier en vijf.

Het vorige artikel ging over één van de doelstellingen die de minister heeft met een nieuw stelsel van controle op ons hoger onderwijs: meer vertrouwen. Een andere doelstelling van het nieuwe systeem is het beperken van de ‘ervaren last’ van het stelsel. Het gaat er dus niet om dat de werkelijke lasten laag zijn. Dat is op zichzelf al bijzonder.

De stuurgroep* die de doelstellingen heeft opgesteld stelt overigens al dat instellingen verantwoordelijk zijn voor een deel van de lasten waar zij zichzelf mee opzadelen. Uit de notitie van de stuurgroep:

“Er wordt gesproken over ervaren lasten, want het gaat om zowel feitelijke (administratieve) lasten als de door alle betrokkenen gevoelde lasten. Het is niet eenvoudig vast te stellen wat de precieze lasten zijn, deze te kwantificeren en om te bepalen in hoeverre deze zijn toe te schrijven aan het accreditatiestelsel zelf. … Daarnaast blijkt dat instellingen soms zelf ook debet zijn aan de hoge lasten. Door het grote belang van accreditatie en de daaraan verbonden consequenties willen instellingen het niet riskeren de accreditatie mis te lopen en nemen in zo’n geval het zekere voor het onzekere. Hierdoor leveren instellingen regelmatig meer gegevens aan dan noodzakelijk.”

Foto: Serge de Beer (cc)

Burgerbrieven aan OCW

ACHTERGROND - Kijk, dat vind ik nou leuke statistieken. OCW ontving in 2012 per dag gemiddeld 2600 brieven van burgers. In 2011 waren dat er nog 2100 per dag. Ik zie een hele grote postkamer voor me, maar de brieven kunnen ook in de vorm van e-mails binnenkomen.

Onder de term ‘burgerbrief’ wordt volgens de definitie van de Nationale ombudsman verstaan: Elk schriftelijk stuk dat een overheidsinstantie van een burger ontvangt. Het medium (brief, fax of e-mail) maakt daarbij niet uit. Ook het begrip burger is breed. Hieronder worden niet alleen individuele burgers verstaan, maar ook groepen burgers en organisaties.

In het rapport worden de soorten brieven verder toegelicht. Het aantal aanvragen is het sterkst gestegen, maar dat heeft te maken met een adminstratieve verandering bij DUO.

Bron: OCW (2013). DEPARTEMENTALE RAPPORTAGE BURGERBRIEVEN 2012.

Bij het beleidsdepartement OCW gingen de meeste vragen (de ‘top 10’) over:
1. Hoe dien ik een klacht in over een basisschool of een school voor voortgezet onderwijs?
2. Waarom moet ik een startkwalificatie hebben?
3. Wie houdt toezicht op de leerplicht?
4. Wanneer heb ik recht op studiefinanciering en een studenten ov-chipkaart?
5. Wanneer zijn de schoolvakanties?
6. Hoeveel collegegeld moet ik betalen als langstudeerder in het hoger onderwijs?
7. Waar dien ik een klacht in over een instelling voor beroepsonderwijs?
8. Mag ik mijn kind buiten de schoolvakanties mee op vakantie nemen?
9. Wat is de rol van de vertrouwensinspecteur in het onderwijs?
10. Waar vind ik een overzicht van erkende opleidingen?

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.