Thema Data

Normering eindexamens wellicht te soepel

DATA - Eind oktober 2013 kwam het ministerie van OC&W met het juichende bericht dat in 2013 meer leerlingen – en bovendien met hogere cijfers – waren geslaagd voor eindexamens in het voortgezet onderwijs dan in voorgaande jaren. Deze verbetering vond met name plaats in het havo en het vwo. Een nadere analyse van de door het Cito gepubliceerde data leert dat in ieder geval voor het vwo deze claim boterzacht is.

Staatssecretaris Dekker reageerde destijds als volgt:

De Belangrijkste conclusie is dat het hoger leggen van de lat een positief effect heeft. De cijfers bij een aantal kernvakken zijn flink verbeterd, en ondanks de aangescherpte eisen zijn de slaagpercentages juist omhooggegaan. Leerlingen en scholen hebben hard gewerkt en daardoor een goed resultaat behaald. Dat verdient een groot compliment!

Afgezien van het feit dat hij hiermee suggereert dat leerlingen en leraren in voorgaande jaren niet hard genoeg hebben gewerkt om een goed resultaat te behalen, is het nog maar de vraag of de conclusie van het ministerie klopt.

Strengere eisen eindexamens

Toenmalig staatssecretaris Van Bijsterveldt besloot in 2008 om de zak/slaagregeling voor het voortgezet onderwijs aan te scherpen. Met ingang van het examenjaar 2012 werd de regel ingevoerd dat leerlingen gemiddeld over alle vakken van het centraal eindexamen minimaal een 5,5 moesten halen. In 2013 werd dit gevolgd door de eis dat een leerling voor de kernvakken Nederlands, Engels of Wiskunde niet meer dan één vijf mag hebben.

Ervan uitgaande dat de leerlingen even slim blijven en de examens even moeilijk, zouden deze fors strengere eisen moeten leiden tot een lager slagingspercentage. Het is dan ook verrassend dat het slagingspercentage juist is gestegen. Als verklaring geeft het Ministerie van Onderwijs dat de leerlingen vaardiger zijn geworden. Onderstaande grafiek laat zien dat na 2012 het gemiddelde examencijfer een sprong heeft gemaakt en structureel ongeveer 0,2 punt hoger ligt dan in de voorafgaande jaren.

Ontwikkeling gemiddeld cijfer eindexamens

Allesbepalende rol voor de N-term

In de brief aan de kamer gaat de staatssecretaris expliciet in op de mogelijkheid dat de verrassend goede cijfers het gevolg zijn van een (te) soepele beoordelingsnorm. Deze mogelijkheid wijst hij echter van de hand door te verwijzen naar een bijlage waarin de normeringsystematiek van de eindexamens wordt beschreven:

Het College voor Examens (CvE) heeft de opdracht om de prestatie-eisen die aan leerlingen worden gesteld constant te houden. Het uitgangspunt bij de normering van het centraal examen is dat de vaardigheid die een leerling moet tonen om een voldoende te scoren door de jaren heen gelijk is. Als er sprake is van een dalend of stijgend gemiddeld cijfer, correspondeert dit met een dalende of stijgende vaardigheid van de betreffende leerlingen.

Om die constante prestatie-eisen te waarborgen, worden de scores voor de eindexamens gecorrigeerd met de normeringsterm (N-term). Deze normeringsterm is een ijkvariabele die zo wordt vastgesteld dat het examen vergelijkbare eisen stelt als in voorgaande jaren. In principe varieert deze N-term tussen 0 en 2. In het kort komt het erop neer dat hoe meer vragen van een examen goed werden beantwoord, hoe lager de N-term behoort te zijn (en omgekeerd). De N-term wordt elk jaar apart voor elk vak van elk schooltype vastgesteld. Globaal worden de cijfers volgens de volgende formule berekend:

Cijfer = 9 x (punten / maximaal aantal punten) + N

De vaststelling van deze N-termen is een delicaat proces: leerlingen in het ene jaar mogen niet worden bevoordeeld ten opzichte van leerlingen in andere jaren. Onderstaande grafiek laat per jaar de gemiddelde N-term zien ten opzichte van de verhouding goed beantwoorde vragen (p-waarde) voor de jaren 2005 tot en met 2016.

P-waarde versus N-term eindexamens 2005 - 2016

De jaren 2013 t/m 2016 staan meer in de rechterbovenhoek dan de overige jaren. Een en ander wordt nog duidelijker als je trendlijnen toevoegt voor de jaren t/m 2012 en de jaren vanaf 2013.

P-waarde versus N-term eindexamens 2005 - 2016; inclusief trendlijnen

Duidelijk is te zien dat de trendlijn voor de periode vanaf 2013 naar rechts/rechtsboven is verschoven. Dit betekent dat in de jaren vanaf 2013 voor eenzelfde percentage goed beantwoorde vragen een naar verhouding hogere N-term is vastgesteld dan in voorgaande jaren. Dit effect is ongeveer 0,25 punt, hetgeen ongeveer overeenkomt met de stijging van het gemiddelde cijfer. Logisch gevolg is dat de cijfers in 2013 en daarna hoger liggen dan in de jaren daarvoor. Eenzelfde patroon is te zien bij alleen de kernvakken (Nederlands, Engels, wiskunde A & wiskunde B).

P-waarde versus N-term eindexamens 2005 - 2016: kernvakken met trendlijnen

Om te bepalen of er sprake is van toeval of niet, is het ten eerste noodzakelijk om te kijken naar de procedure waarmee de N-term wordt vastgesteld en vervolgens naar de mogelijke oorzaken van deze afwijking.

De procedure om tot vaststelling van de N-term te komen bestaat uit drie stappen. Eerst maakt het CITO een technisch normeringsadvies. Dit technisch advies baseert het CITO onder meer op een analyse van de toets als geheel, de individuele vragen van de toets en eventueel de gegevens van een pre-test of een post-test.

Vervolgens gaat dit technisch advies naar de vaksecties van het College van Examens. Indien de vaksecties dit wenselijk achten, kunnen zij dit technisch advies aanpassen. Tijdnood of onduidelijkheden in de vraagstelling kunnen hier bijvoorbeeld aanleiding toe geven. Op basis van de uitkomsten van de eerste twee stappen stellen uiteindelijk de voorzitter, de directeur en de sectormanagers van het College van Examens de N-termen vast.

Mogelijke oorzaken

De grote vraag is nu hoe het komt dat de N-term in de jaren vanaf 2013 zo hoog is vastgesteld. Hiervoor zijn een aantal mogelijke verklaringen aan te voeren.

Het zou kunnen zijn dat de lichting die in 2013 examen deed slimmer was dan voorgaande lichtingen. Hoewel volgens het Flynn-effect het IQ in de loop der jaren stijgt, is het niet aannemelijk dat dit de verklaring is voor de plotselinge stijging in de eindexamencijfers. Statistisch gezien, is het onwaarschijnlijk dat leerlingen van het ene op het andere jaar intelligenter zijn geworden.

Iets waarschijnlijker is het dat leerlingen vaardiger zijn geworden. Een toename in vaardigheid kan een gevolg zijn van beter onderwijs, gerichtere voorbereiding op de eindexamens of meer selectie doordat zwakke leerlingen eerder afstromen naar lagere schooltypen. Hoewel het onwaarschijnlijk is dat het onderwijs in één jaar significant verbetert, is het niet onaannemelijk dat door de strengere normen harder is geoefend voor de eindexamens.

Onderstaande grafiek laten de verdeling zien van eindexamenkandidaten over verschillende schooltypen gedurende de periode 2004-2016. Opvallend is dat na een jarenlange daling vanaf 2012 het vmbo naar verhouding weer meer eindexamenleerlingen heeft. Bij het havo vlakt de stijging van het aandeel af terwijl het aandeel van het vwo afneemt. De afname van het aandeel van het vwo kan verschillende oorzaken hebben. Strengere selectie aan de poort en een hogere afstroom naar het havo kunnen mogelijke de afname van het aandeel van het vwo verklaren. In beide gevallen leidt dit ertoe dat het gemiddelde niveau van de vwo-leerlingen hoger wordt.

Verdeling kandidaten eindexamens 2004 - 2016

Het uiteindelijke plaatje

Zoals de staatssecretaris terecht opmerkt hoort een dalende of stijgende vaardigheid te corresponderen met een dalend of stijgend gemiddeld cijfer. Hoewel het aannemelijk is dat de gemiddelde leerling vaardiger is, is dat niet direct een reden om de leerlingen een extra cadeautje te geven in de vorm van een hogere N-term en dus een hoger cijfer.

Het lijkt er in ieder geval erg sterk op dat voor de jaren vanaf 2013 de N-term te soepel is vastgesteld. Aangezien een kleine aanpassing grote gevolgen kan hebben, is het slagingspercentage in de afgelopen jaren eigenlijk te hoog geweest. Vele vwo leerlingen hebben dan ook mogelijk hun diploma te danken aan de soepele normering die de afgelopen jaren is gebruikt. De conclusie van het ministerie van OC&W dat het aanscherpen van de eisen leidt tot betere prestaties kan dus hoogstwaarschijnlijk de prullenbak in.

Gebruikte data

Manipuleert ministerie van Onderwijs eindexamencijfers?

DATA - In 2012 en 2013 werd in twee stappen de eisen voor het eindexamen voortgezet onderwijs verscherpt. De hogere gemiddelde eindexamencijfers voor de jaren vanaf 2013 zijn door het ministerie van OCW geclaimd als resultaat van het beleid om de lat hoger te leggen. Analyse van de beschikbare data leert dat een hogere N-term eerder de oorzaak is.

Op het eerste gezicht lijkt het ministerie de juiste conclusie te trekken. Het gemiddelde eindexamencijfer ligt vanaf 2013 duidelijk hoger, rond de 6,5 in plaats van rond de 6,3.

Gemiddeld cijfer eindexamens VWO

Vanaf 2012 en 2013 mogen leerlingen in het voortgezet onderwijs niet lager dan gemiddeld een 5,5 voor het centraal eindexamen hebben en mogen ze voor slechts één van de kernvakken (Nederlands, Engels of Wiskunde) een vijf halen. Het is echter lastig om examens te maken die ieder jaar exact even moeilijk zijn.

Wereldtemperatuur | Update september 2016

DATA - Sinds onze vorige update is het klimaatakkoord van Parijs in werking getreden en was er in Nederland een grote klimaattop waar allerlei bobo’s goede voornemens uitspraken.
Intussen gaat de opwarming gewoon door. Daarom hier weer onze maandelijkse update waarin dat zeer zichtbaar is.
wereldtemp_201609

Wereldtemperatuur | Update augustus 2016

DATA - Bij deze korte maandelijkse update over de ontwikkeling van de wereldtemperatuur even geen artikelen of nieuwe inzichten. Alleen de constatering La Nina niet lijkt te gaan optreden. Waardoor de verwachte terugval van de wereldwijde temperatuur waarschijnlijk niet zo groot zal zijn.

Hier de bijgewerkte grafiek.
wereldtemp_201608_475

Analyse register CBP: tienduizenden databases met (gevoelige) persoonsgegevens

DATA - Analyse register CBP: tienduizenden databases met (gevoelige) persoonsgegevens.
Niet iedereen staat overal in natuurlijk. Maar dat op ten minste 12.000 een database is waar een BSN wordt vastgelegd is best heftig. Al die databases zijn vast niet allemaal even goed beveiligd. Of de eigenaren zijn niet allemaal goedbedoeld en zorgvuldig….
Oh, en de registratie zelf is een puinhoop. Dat geeft ook weinig vertrouwen.

Europol rapporteert over terrorisme in de EU in 2015

DATA - Jaarlijks brengt Europol een rapport uit over terrorisme in de Europese Unie. Die over 2015 kwam vandaag uit.
We hebben de gegevens van de eerdere rapporten net als eerdere jaren samengevoegd om een overzicht te geven van de ontwikkeling sinds 2006.

Een verslag in 5 grafieken.

Het meest opvallende is natuurlijk de enorme stijging in het aantal dodelijke slachtoffers. Met 151 doden het slechtste jaar sinds 2006. De aanslagen in Madrid (2004) en Londen (2005) liggen voor deze periode. De twee aanslagen in Parijs en die in Brussel doorbreken een periode van relatieve rust.
ep2016_1

Terrorismehysterie

DATA, VISUALISATIE - Eindelijk is het hoge woord er uit! Er zitten mogelijk terroristen tussen de migranten die naar Europa gekomen zijn het afgelopen jaar. En heel misschien zijn die ook wel naar Nederland gekomen. Paniek!

Maar niet alleen reden voor paniek. Nee, reden om iedereen die in het verleden het aandurfde om bewust op dat moment feitelijk correcte uitspraken te doen om de oren te slaan. Sterker nog, dit is het moment om duidelijk te maken dat er eigenlijk sprake is van een enorme false flag operatie van Europa! U bent gewaarschuwd! De wereld vergaat binnenkort! En u wordt voorgelogen.

Tot zo ver de hysterie en zij die er belang bij hebben.
Hoe zit het met de feiten?
terrorisme_nl3_475

Wereldtemperatuur | Update mei 2016

DATA - Kennelijk heeft Brexit ook MetOffice van slag gemaakt. Hun cijfers over mei 2016 kwamen pas vandaag binnen. Dus bij deze weer wat verlaat de maandelijkse update van de opwarming van de aarde. In deze reeks het dertiende maandrecord op rij. En daarmee zijn alle langjarige gemiddelden ook op nieuwe records uitgekomen.

wereldtemp201605_475