Vandaag plaatsen wij een gastbijdrage van Sven Stevenson. Hij is student economie aan de Universiteit van Amsterdam en behaalde zijn bachelor economie aan de Universiteit Utrecht met het onderzoek: “De invloed van de sociaaleconomische achtergrond: leerprestaties verklaard voor leerlingen van een middelbare school in Almere”.
Met de publicatie van het rapport ‘Basisschooladviezen en etniciteit’ veroorzaakt de gemeente Amsterdam een storm in onderwijsland. PvdA, SP, VVD, Groenlinks en D66 buitelen over elkaar heen om een landelijk onderzoek van de onderwijsinspectie te verlangen. Toch zijn de resultaten van het onderzoek niet meer dan een bevestiging van wat economen en onderwijskundigen al langer weten.
Punt van discussie is de vermeende ‘onderadvisering’ van allochtone leerlingen. De discrepantie tussen Cito-advies en schooladvies blijkt in het Amsterdams onderzoek namelijk het sterkst voor de groep Turkse en Marokkaanse leerlingen met een Cito-score hoger dan 534. De Cito geeft op basis van een score hoger dan 534 minimaal een HAVO advies. Echter, van deze groep leerlingen krijgt respectievelijk 41% en 44% een schooladvies dat lager is dan het Cito-advies. Ter vergelijking: van de groep Nederlandse leerlingen met een Cito-score hoger dan 534 krijgt slechts 28% een lager advies.
Wat zit er achter deze verschillen? In een bachelorthesis is dit onderwerp door mij verder uitgediept. Voor 400 leerlingen van een middelbare school in Almere werd gekeken naar de verklarende factoren voor het onderwijsniveau dat zij volgden. De resultaten laten zien waar docenten zich door laten beïnvloeden.
Om de rol van leerlingkenmerken nader te bekijken moet eerst worden vastgesteld wat de waarde van een Cito-toets is. De toets is in veel gevallen de enige onafhankelijke meting van de leerprestaties van een leerling. Het geeft aan welk niveau de leerling in staat zou moeten zijn te volgen. De Cito-score is daarmee de gemeten potentiële capaciteit van de leerling.
In dat licht bezien is het niet verbazingwekkend dat er in de schooladvisering wordt afgeweken van het Cito-advies, dat immers gebaseerd is op de potentiële capaciteit. Er zijn tal van redenen aan te wijzen waarom een leerling niet de kans heeft om zijn maximale capaciteit te benutten. Motivatie, sociale vaardigheden, doelgerichtheid en familieachtergrond zijn slechts enkele voorbeelden.
Het Amsterdamse onderzoek laat zien dat de etnische achtergrond één van de indicatoren is die door docenten in Amsterdam gebruikt wordt om te bepalen in hoeverre een leerling de verwachtingen van de Cito-toets waar kan maken. De enige juiste conclusie op basis van dit rapport is dan ook dat docenten de verwachting hebben dat leerlingen van allochtone afkomst hun capaciteit niet ten volle zullen benutten.
Deze conclusie wordt verder ondersteund door de resultaten van het onderzoek naar de middelbare school in Almere. Er werd gekeken naar verklaringen waarom een leerling in de 3e klas op VMBO dan wel HAVO-VWO zat. Met behulp van econometrische analyse zijn in dat onderzoek de invloedrijke factoren op het schoolniveau van de leerlingen geïsoleerd. Als we twee identieke leerlingen nemen, waarbij het enige verschil is dat de ene leerling een jongen is en de andere een meisje, blijkt het meisje 14% meer kans te hebben om op HAVO-VWO in plaats van VMBO te komen. Is het enige verschil tussen twee leerlingen dat de ene van westerse afkomst is en de andere van niet-westerse afkomst, dan heeft de leerling van niet-westerse afkomst 10% minder kans om op HAVO-VWO terecht te komen. Let wel, de Cito-score blijft veruit de belangrijkste verklaring van het niveau waarop een leerling terecht komt.
De resultaten van beide onderzoeken leren ons dat de etnische achtergrond, maar ook geslacht, sterk bepalend is voor de discrepantie tussen Cito-advies en schooladvies. Kennelijk geldt voor zowel allochtone leerlingen als jongens, dat scholen verwachten dat zij minder in staat zullen zijn om hun potentiële capaciteit te benutten.
In eerste instantie mag dit misschien tot somberheid leiden, maar de slotsom is een positieve. Met gericht beleid en individuele aandacht moet het mogelijk zijn om ook deze groep leerlingen tot bloei te laten komen. Hun Cito-score is het signaal dat zij die aandacht ook verdienen.
::Het onderzoeksrapport is op verzoek verkrijgbaar::
Reacties (60)
Ik zie dat ik de econometrische resultaten enigszins wazig heb geformuleerd. Het gaat om de volgende passage:
“Als we twee identieke leerlingen nemen, waarbij het enige verschil is dat de ene leerling een jongen is en de andere een meisje, blijkt het meisje 14% meer kans te hebben om op HAVO-VWO in plaats van VMBO te komen.”
Ter verduidelijking, de interpretatie is dat een meisje, ceteris paribus, 14% meer kans heeft om op HAVO-VWO te komen, dan een jongen.
Vroeger hield de kerk het canaille dom, nu doe je het heel ‘beschaafd’ met de cito-toets.
Mwah, leugens, grote leugen en econometrische analyses. Zoals Rob Alessie zou zeggen: wáár is je theoretische model, als in: waarom krijgen jongens en allochtonen vaker een lager advies? Ik kan wel iets noemen: onrustigheid en (pre-)machogedrag. Voor mannen, en allochtone mannen in het bijzonder, is niet- schools zijn stoer.
@Sven:
Ik heb je thesis niet gelezen dus misschien heb je dit wel degelijk behandeld, maar toch een vraagje c.q. opmerking.
Als je gaat relateren aan ethniciteit en geslacht dan vind ik dat je moet specificeren. Turkse en Marrokaanse leerlingen bijvoorbeeld zijn, in het heel algemeen gesproken, ‘achterbuurtkinderen’. De groep Nederlandse (‘blanke’) leerlingen heeft daarentegen een hoger percentage ‘goede buurt’-kinderen (hoe zat dat op die school?).
Daar gaat een heel scala van sociale omgangsvormen en andere, meer subjectieve, zaken mee gepaard.
Ook meisjes hebben, weer in het heel algemeen gesproken, betere (wat is ‘beter’?) omgangsvormen dan jongens voor wie, zéker op de middelbare schoolleeftijd, grof en stoer gedrag een must is.
In de maatschappij zijn het niet alléén de meetbare vaardigheden waar je mee verder komt (en ook hier de vraag: wat is ‘verder’?). Uiteráárd moet je ‘iets kunnen’ maar sociale omgangsvormen en presentatie zijn zeer zeker een heel belangrijk en bepalend punt voor een eventuele verdere bedrijfscarrière.
Daarnaast is, zéker in het hogere onderwijs, een adequate en bij voorkeur actieve steun van het thuisfront een must die bij –pardonnez le mot– ‘achterbuurtkinderen’ vaak ontbreekt.
Je had dan ook imho in je onderzoek bij wijze van zij-vergelijking het verschil mee kunnen/moeten nemen tussen hoevaak ‘achterbuurtkinderen’ van HAVO/VWO uiteindelijk teruggaan naar de VMBO versus hetzelfde bij ‘goede buurt’- c.q. ‘blanke’ kinderen (en eenzelfde vergelijking tussen meisjes vs. jongens), al was het maar om te kijken of leraren die onder-adviseren daar nou echt zo’n ongelijk in hebben.
Door de economisch-sociale aspecten te negeren leest in ieder geval je artikeltje alsof ‘zwarte’ kinderen slechter worden gewaardeerd dan ‘blanke’, terwijl dat helemaal niet het geval hoeft te zijn.
En eigenlijk vind ik dat het, door deze onvolledigheid, bijna kwalijk suggestief wordt.
Desalniettemin dank voor je interessante bijdrage en uiteraard geldt dat als deze zaken in je onderzoeksrapport wèl aan bod zijn gekomen, het bovenstaande als niet geschreven beschouwd dient te worden.
Ik ga er maar gewoon van uit dat je overal significantie op hebt berekend enzovoorts (daar lees ik helaas nooit eens iets over).
Hoewel JSK het lullig formuleert heeft hij wel een punt. Uiteindelijk is de discrepantie zelf niet zo interessant – ik veronderstel dat er ook discrepanties zullen zijn tussen brildragers en niet-brildragers, mensen in bezit van een step en mensen niet in bezit van een step et cetera – maar wat volgens mij relevanter is, is de hoe komt die discrepantie dan?
Scholen geven zelf ook ruiterlijk toe af te wijken van de cito-score. Mijn moeder is basischooldocent en zij geeft duidelijk aan dat er niet één citoscore is, er zijn een hele boel tussentijdse toetsen, op basis waarvan ontwikkelingen bij worden gehouden en waarmee kan worden geextrapoleerd (al zou ik mijn moeder nou niet bepaald met een bak statistisch materiaal willen vertrouwen :))
Het lijkt mij bovendien niet per se een onwenselijke situatie: liever jongeren met een diploma dan een hogere schooluitvalk doordat leerlingen motivatie verliezen agv slechtere cijfers. Dat het kan – al is hij geen allochtoon – is mijn Neef Maarten, die eerst de MAVO doorliep, toen de HAVO, vervolgens het HBO en toen nog een academische studie economie afrondde.
@De Kaasploeg:
Wat is lullig? Statistiek op een potentieel misleidende wijze benutten is kwalijk voor de (economie als) wetenschap. Dat niet aankaarten vind ik ‘lulliger’.
Het afgeven en doorvoeren van een van een foutief schooladvies kan behoorlijke impact hebben op de leerling. Zelf kwam ik in de vergaarbak terecht die burgklas heette en ik sterk het idee had dat automatisch de besten naar opnieuw een havo/vwo klasje terecht ging. Het gevolg was dat goede leerlingen maar mavo advies kregen omdat er al een aantal havo/vwo advies hadden gekregen en anderen er niet thuishoorden. Voordeel is wel zoals Kaasploeg meldt dat diversiteit, een op specifieke opleiding op jouw niveau, het schooluitval kan beperken en uiteindelijk kwaliteit toch boven komtdrijven ookal is het via een andere leerweg.
Overigens ken ik ook een aantal gevallen waarbij leerlingen/studenten zichzelf totaal overschatten:
genoeg vrienden (studenten) gezien die totaal wegzakten in hun studie enkel en alleen vanwege zelfoverschatting,
voornamelijk bij technische unversitaire studies.
Vind ik lullig. Heb je het complete rapport gelezen? Je stelt een terechte vraag, maar dit stukje ‘leugens’ noemen vind ik lullig.
@ allen. Ik heb even een kopie van de regressie toegevoegd. Zo kunnen jullie in ieder geval zien welke variabelen er zijn opgenomen, alsmede welke significantie de verklarende variabelen hebben. Er is gebruik gemaakt van een logistische regressieanalyse.
@ TheRule (4): wat betreft etniciteit hebben we volgens goede CBS-traditie de tweedeling [ niet-westerse allochtonen ] en [ westerse allochtonen + autochtonen ] gebruikt. Om de invloed van etnische achtergrond te isoleren is er nog een rits van andere sociale en geografische (wijk) variabelen opgenomen.
Het onderzoek is uitgevoerd onder leerlingen in de 3e klas. We hebben geprobeerd hun leerniveau te verklaren, dus op basis van informatie die over deze leerlingen beschikbaar. Dit betekend dus inderdaad dat er geen aandacht is besteed aan de ontwikkeling van hun schoolloopbanen. Dit zou inderdaad een nuttige extensie van het onderzoek zijn.
Ik ben benieuwd of je het met me eens bent dat, door het opnemen van variabelen ten aanzien van sociale omgeving, beroep ouders, wijk en dergelijke, we zo goed mogelijk hebben getracht de sociaaleconomische achtergrond van de leerlingen op te vangen in het onderzoek.
Blijkens de empirische resultaten hebben deze echter, in isolatie, geen significante invloed op het schoolniveau van de leerling.
woops. Sargasso filter de afbeelding eruit.
De regressie valt hier te bekijken:
http://img120.imageshack.us/img120/1880/regressiexo3.jpg
Eerlijk gezegd kan ik die afbeelding an sich niet beoordelen omdat ik geen idee heb hoe je constructen (bijvoorbeeld talent / wijkkenmerken) in elkaar zitten. Op zich ziet het eruit alsof je er in elk geval over hebt nagedacht, hetgeen is te prijzen. Heb je geen pdf je van scriptie ergens? Ik ben eigenlijk wel geïnteresseerd.
@ De Kaasploeg (11)
Ik heb wel een PDF van de scriptie, maar dat is (nog) geen anonieme versie t.a.v. participerende partijen in het onderzoek. Die wordt dus niet gepubliceerd, maar zoals gezegd in het artikel, op verzoek kan ik hem toemailen.
Overigens heb ik nu wel de bijlage met de constructie van de variabelen online gezet:
http://docs.google.com/Doc?id=ddctfb7x_3c63bg5
Ha, leuk. Ik zal er straks, als ik vrij ben – werk gaat voor het meisje – even naar kijken.
Leuk onderzoek!
Blijft natuurlijk de grote vraag wie er gelijk heeft. Cito of de leraren. Toen ik nog jong was, kreeg ik het advies van de basisschool om mavo te gaan doen, terwijl het cito advies vwo was… Later heb ik na een aantal zware jaren op het vwo mijn havo diploma gehaald en een hbo bull. Welk percentage van de allochtone/autochtone leerlingen haalt de eindstreep van het vwo/havo?
Helaal apart werd het op het hbo, ik begon met heel veel Marokkaanse meisjes maar in het laatste jaar waren ze bijna allemaal afgehaakt.
“De enige juiste conclusie”
Hahahahahahahahaha! Religieuze pruts-causaliteit.
Overigens lijkt je conclusie te vallen of te staan met de relatieve waardeschaal van je variabelen, of niet?
Hoe zit het met 3e generatie immigranten?
En uit onderzoek is het ook bekend dat meisjes bijvoorbeeld minder presteren in een gemengde klas (meisjes/jongens), hetgeen ik me ook heel goed kan voorstellen bij zwart/wit klassen. Ik heb altijd geloofd dat mogelijkerwijs zwarten beter presteren op een zwarte school, dan op een gemengde (zwart/wit) school. Ik geloof niet dat je verschillende collecties hebt gebruikt voor zwarte/witte/gemengde scholen?
Maakt het nog uit of de leraar zwart of wit is trouwens?
Prima Sargasso stukje trouwens!! Deed Wilders ook maar meer statistisch onderzoek.
@15: welke relatieve waardeschalen?
@17: het door mij uitgevoerde onderzoek betrof een cross-sectionele analyse van één school. Ter aanvulling: in de steekproef (n=399) is 64% vrouw en 26% niet-westers.
@18: Er is niet sprake van één leraar. Kijk nog eens goed naar de onderzoeksvraag:
“Het onderzoek is uitgevoerd onder leerlingen in de 3e klas. We hebben geprobeerd hun leerniveau te verklaren, dus op basis van informatie die over deze leerlingen beschikbaar.”
@Sven
Ik vermoed toch sterk dat het hier om een bekend statistisch effect gaat. Wanneer je twee groepen hebt (westers en niet-westers) die beide een normaal verdeelde (CITO-) score hebben maar met ongelijke gemiddelden (wat hier het geval is). In dat geval is de gemiddelde score van de groep met het hoge gemiddelde boven een bepaalde cut-off value (in dit geval 534) ook hoger. In dit geval betekend dit dat de groep westerse kinderen met cito-score>534 dus een hoger gemiddelde heeft dan de groep niet westerse kinderen met een cito-score>534. Wanneer de kans om naar een havo-vwo school te gaan afhangt van je cito-score, dan is het logisch dat de westerse kinderen vaker dit advies krijgen omdat hun gemiddelde kans ook hoger ligt. Je kunt hiervoor niet zomaar corrigeren door de scores en andere variabelen mee te nemen in een logistische regressie. Dit is makkelijk te controleren met behulp van een Monte Carlo simulatie. Sven, aangezien je toch op de UvA zit. Als je hierover verder wil discusseren kan dat natuurlijk op dit blog, maar je kunt ook even langslopen op kamer A 5.25 (psychologie gebouw).
@ Sven:
Ik zie dat je idd de sociaaleconomische elementen hebt ondervangen.
Blijft het punt staan (dat ik niet zo expliciet als ‘punt’ naar voren heb gebracht maar Chinaman wel) dat je stelt dat je onderzoek gaat over “de vermeende ‘onderadvisering’ van allochtone leerlingen”, maar dat ik -nogmaals, ik heb je onderzoek niet gelezen- nergens tegenkom dat de ‘onder-adviseurs’, de docenten dus, gevraagd is over het waaróm van hun advies.
Ik ben van mening dat het inschatten van de mogelijkheid dat iemand een latere schoolkeuze ook daadwerkelijk afmaakt uitermate belangrijk is voor de leerling in kwestie. Het later degraderen in, of zelfs helemaal niet afmaken van, een opleiding is funest voor verdere maatschappelijke motivatie. Cijfertjes vangen dat ‘onderbuikgevoel’ van een docent niet, daar komt zoiets vaags en onmeetbaars als ‘gevoel’ bij kijken.
En daarmee kom ik terug op die cijfertjes, maar nu andersom: hebben de docenten naast de toetsgegevens op ‘kleur’ geselecteerd (wat ik ernstig betwijfel) of op omgangsvormen en persoonlijkheidskenmerken?
Ergo het lijkt er dus volgens mij op dat je, na je onderzoeksresultaten, verzuimd hebt om mogelijke ‘zwart wordt gediscirmineerd!’-interpretaties (door journalisten en zo) te ondervangen door de motivatie van de docenten niet mee te nemen.
Maar goed, op basis van ‘alleen maar cijfertjes’-rapportages wordt ons land nu eenmaal geregeerd en worden de kranten volgeschreven, dus ik ga weer-es wat zinnigs doen.
Evengoed dank voor je reactie!
In navolging van mezelf: kijk, ook HIER weer zo’n ‘zinvol’ onderzoek dat schrikbarend lijkt te zijn.
‘LIJKT’, want ik zie zo uit dat artikeltje dat er alleen Turken, Marokkanen, Surinamers en Antillianen zijn ondervraagd, en dan lijkt dit een heel spectaculaire uitslag.
Maar ik kijk óók amper naar NL1-2-3, net als mijn ‘blanke’ vrienden (en nee, dat is niet verruild voor de commerciëlen maar tv sucks, we zitten meestal heel iets anders te doen. Op internet posten bijvoorbeeld :-) ).
Dus als het onderzoek (of de berichtgeving daarover!) vollediger was geweest was dit misschien niet eens een nieuwsfeit geweest.
Ook hier geldt weer dat ik het originele onderzoek niet ken, maar dit soort insinuerende berichtgeving is wel het gevolg van halve onderzoeken.
Waarom eigenlijk niet de (interessante!) interactie tussen afkomst en geslacht bekeken?
@TheRule: het niet navragen naar het waarom is juist het hele punt van dit soort onderzoek. Je probeert interpretaties te vermijden dmv statistiek, omdat interpretaties niet wetenschappelijk verifieerbaar/weerlegbaar zijn, en dus geen hard nut hebben.
@Sven: met relatieve waardeschalen verwijs ik naar de columnetjes van 1,2,3,4,5,6 die je aanneemt in het begin. Je geeft wit/zwart zijn een bepaald gewicht neem ik aan. Dat lijkt me de clue.
@Kees: ik kan me vergissen maar volgens mij zitten beide variabelen in de functie.
@Kaas:
Oh… pardon. Het is mijn variant op ‘leugens, grote leugens en statistieken’. :$
Wat ik er mee zeg: waarneming zonder theorie is blind.
De voor de hand liggende theorie is ‘leraren zijn (onbewust of bewust) racistisch’ – die krijg ik van de media en wijblijvenhier.nl mee – maar zonder dat de schrijver zelf een theoretische verklaring geeft voor het significante (zij het omstreden, zie #21)statistische effect, blijven wij maar gissen.
@Sven:
Hoe geef je overigens een numerieke waarde aan het beroep van de vader of moeder?
En daarom is statistiek op zichzelf staand nutteloos.. zeker als je het vrij direct betrekt op een actuele maatschappelijke discussie.
@TheRule,
Het is de schuld van de onderzoeker wanneer de pers ermee wegloopt en er een rare draai aangeeft?
“Het Amsterdamse onderzoek laat zien dat de etnische achtergrond één van de indicatoren is die door docenten in Amsterdam gebruikt wordt om te bepalen in hoeverre een leerling de verwachtingen van de Cito-toets waar kan maken.”
Dit klinkt erg alsof er een causaal verband bestaat tussen afkomst en gegeven advies terwijl ik in dit artikel niks anders kan vinden dan een statistisch verband. Waar is het bewijs voor deze uitspraak?
@JSK: integendeel omdat je wel degelijk conclusies trekt, maar gebaseerd op wetmatigheden, mathematische zekerheden, ipv getover van zichzelf intellectueel overschattende egos zoals jij en ik.
@MP (29): Nee, het is niet de schuld van de onderzoeker. Het is wel zijn verantwoording, hij moet gewoon een zo volledig mogelijk onderzoek neerzetten zodat er geen ruimte voor suggestiviteit is.
@Caprio (25): “het niet navragen naar het waarom is juist het hele punt van dit soort onderzoek. Je probeert interpretaties te vermijden dmv statistiek, omdat interpretaties niet wetenschappelijk verifieerbaar/weerlegbaar zijn, en dus geen hard nut hebben”.
Merkwaardig. Met statistieken die niet geïnterpreteerd worden kun je álles bewijzen: ‘er valt eens in de 65.000 jaar een grotere komeet op aarde’ sluit niet uit dat er op één dag drie tegelijk vallen en vervolgens 3x 65.000 jaar niks. Ergo niet geïnterpreteerde statistieken zijn van nul en generlei waarde. Dat is één.
Twee is dat m.i. ‘het waarom’ heel iets anders is dan een ‘interpretatie’. Imho is ‘het waarom’ juist een balangrijk te onderzoeken item. Aangezien jij deze twee woorden op één hoop gooit doe ik even hetzelfde, maar dan omgekeerd: dan zeg jij dus dat een ‘waarom’ dat niet verifieerbaar/weerlegbaar is geen hard nut heeft. Dat is merkwaardig: bij menselijke aangelegenheden gaat het juist vrijwel altijd om het ‘waarom’ en niet om de meetbaarheid ervan. Vraag maar aan de doorsnee gemeenteambtenaar die de verkeersplanning doet: je kunt de meest efficiënte stoplichtfrequentie berekenen (harde cijfertjes dus) maar als de automobilist zich er niet senang bij voelt (onmeetbaar dus) rijdt-ie tóch door rood.
En nou ga ik ècht wat anders doen.
@TheRule:
1) die 3 kometen op 1 dag worden ook helemaal niet ontkend door de statistische waarschijnlijkheid van 3 per 65.000 jaar. Die 3 kometen per dag die volgens jou van zoveel waarde zijn, is gebaseerd op niets dan een religieuze mogelijkheid. Ergo, je bent een religieus mens, daar is niks mis mee, maar wetenschappelijke waarde heeft je metaphysica niet.
2) als je causaliteit/oorzaak bedoelt met ‘waarom’ moet het statistisch aantoonbaar zijn. Als je reden/motivatie bedoelt met ‘waarom’ is het van generlei waarde omdat het slechts een subjectieve interpretatie betreft.
@TheRule,
Ik kan je niet volgen, Sven ziet een effect en mag dat alleen naar buiten brengen als hij dat volledig kan verklaren? En dan is hij ook nog verantwoordelijk voor interpretatie die anderen eraan willen geven? Zo werkt wetenschap toch niet in de praktijk. Dat gaat in stapjes. Je ziet een effect je komt met een eerste verklaring. Dit publiceer je. Dan komen er vervolgonderzoeken als het belangrijk genoeg is (wellicht kan de politiek zich sterk maken voor financiering daarvan). Die kunnen dan de eerste verklaring verwerpen of bevestigen. Je kunt dan gaan overwegen iets te veranderen aan het systeem en daar de effecten van gaan meten. Oeee wat eng, waar is die 100% zekerheid ;)
Bovendien zou een wetenschapper in beginsel niets te maken moeten hebben met politiek en media als hij een onderzoek doet.
Dank voor al jullie reacties. Waardevol en interessant om ze allemaal te mogen lezen! Het hier gepubliceerde artikel is in de eerste plaats opiniërend bedoeld. Ik signaleer dat er afgelopen week door de gemeente Amsterdam een “rapportje” is gepubliceerd wat kennelijk nogal wat stof heeft doen opwaaien.
Omdat het onderzoek van de gemeente Amsterdam vrij primitief is, probeer ik het onderwerp in een breder perspectief te plaatsen door mijn eigen onderzoek aan te halen. Het betoog in mijn artikel is dan ook geen conclusie van mijn eigen onderzoek, maar gebruikt enkele bevindingen uit mijn onderzoek als voedingsbodem voor argumenten in mijn opiniestuk. Ik denk dat ik hiermee een hoop vragen heb beantwoord aangaande wat wel en niet is onderzocht, alsmede het gemak waarmee ik bepaalde “feiten” presenteer in het verhaal.
Verder over de inhoud:
@22: ”je stelt dat je onderzoek gaat over “de vermeende ‘onderadvisering’ van allochtone leerlingen”, maar dat ik -nogmaals, ik heb je onderzoek niet gelezen- nergens tegenkom dat de ‘onder-adviseurs’, de docenten dus, gevraagd is over het waaróm van hun advies.”
Mijn onderzoek gaat hier niet over, dat beweer ik ook hopelijk ook niet, anders zou ik de titel van mijn onderzoek (zie artikel) tegenspreken. Wat ik wel concludeer is dat de interpretatie die aan het Amsterdamse onderzoek wordt gegeven, ook op mijn onderzoek van toepassing is. Als onderadvisering gedefineerd wordt als een negatieve afwijking van advies t.o.v. CITO-score, dan komt een soortgelijke uitkomst ook uit mijn resultaten.
@22: ”En daarmee kom ik terug op die cijfertjes, maar nu andersom: hebben de docenten naast de toetsgegevens op ‘kleur’ geselecteerd (wat ik ernstig betwijfel) of op omgangsvormen en persoonlijkheidskenmerken?”
Wederom, ik begrijp dat jullie graag een “verklaring” zien, ik stel alleen vast dat etnische achtergrond kennelijk een proxy is voor een beslissingsvariabele die een leraar meeneemt in het plaatsen van een leerling op een bepaald niveau. Zonder dit te onderbouwen, lijkt mij dat ook een begrijpelijke keuze, de uiteindelijke prestaties laten dat zien. Máár zeg ik, als deze leerlingen in de praktijk presteren onder hun “Cito-niveau” is er sprake van onbenut potentieel. De uitdaging is om ook bij deze groep leerlingen het maximale uit hun potentie te behalen.
@25: ”met relatieve waardeschalen verwijs ik naar de columnetjes van 1,2,3,4,5,6 die je aanneemt in het begin. Je geeft wit/zwart zijn een bepaald gewicht neem ik aan. Dat lijkt me de clue.”
Neen, zo zit het niet in elkaar. “Advies” is de enige categoriale variabele die een bepaald gewicht heeft toegewezen gekregen in het onderzoek. Maar dat moet ook kunnen in dit geval: VWO staat boven HAVO staat boven MAVO staat boven IVBO. Een advies voor een hogere vergroot de kans om op HAVO-VWO terecht te komen.
Als je doelt op de 0 en 1 voor westers en niet-westers, dat zijn dummyvariabelen. Die geven géén gewicht aan (alles behalve) maar isoleren het effect van al dan niet aan de variabele te voldoen.
Voor een opiniestuk is de conclusie dat je geen standpunt inneemt mbt de waarom vraag nogal mager.
Hm. dat van die dummy variabelen moet je nog eens uitleggen dat snap ik dan niet helemaal.
Regressie: Bij een simpele, lineaire regressie wordt het verband onderzocht tussen verschillende variabelen x op een bepaalde grootheid y. Dus: y = constante + a*x1 + b*x2 + … + z*xn. De letters a,b,… zijn de coefficienten. Als een grote hoeveelheid data wordt verzameld kunnen waarden voor de coefficienten geschat worden. Door middel van statistiek kan de betrouwbaarheid van deze schattingen bepaald worden. Dit kan onder andere gebruikt worden om voorspellingen te doen of de invloed van een factor te schatten.
Dummyvariabelen: Deze methode werkt intuitief heel gemakkelijk voor bepaalde factoren. Bijvoorbeeld: het effect van het aantal jaren scholing om het salaris. Andere factoren zijn niet op deze manier meetbaar, denk aan geslacht of etniciteit. De oplossing: Geef voor de factor geslacht alle vrouwen en 1 en alle mannen een 0, doe een regressie en bekijk de bijbehorende coefficient. De waarde van deze coefficient c heeft geen enkele invloed op mannen. Immers: c*0 = 0. Op vrouwen wel want c*1 = 0. Als de geschatte waarde van c nu -1000 is betekent dit dat vrouwen ceteris paribus 1000 minder verdienen.
@Sven: hoe zit je model er precies uit?
@ Bootvis (37): http://img120.imageshack.us/img120/1880/regressiexo3.jpg
En dank voor je uitleg van dummyvariabelen. Ik had het zelf niet beter kunnen doen ;-)
Mij lijkt dat dit aangeeft hoe vooroordelen blijven voortbestaan. De docent bepaald dat een bepaalde groep ‘het waarschijnlijk toch niet haalt’ en dus blijft die groep minder kansen krijgen en wordt het vooroordeel fijn bevestigd. Bovendien zijn we in Nederland maar weer bar voorzichtig. Stel je eens voor dat er misschien wel enige moeilijkheden langs de weg kunnen optreden, laten we dat maar voorkomen door een te laag advies te geven.
Vraag je je toch af hoe dit kleinburgerlijke niet-idealistische gedrag is te rijmen met de notie dat ons onderwijzend personeel politiek links is angehaucht.
Kleinburgerlijk links ? O ja.
Ook interessant in dit kader misschien: “CNN/Opinion Research Corporation poll conducted December 5-7, 2006, found that 65 percent of whites thought America was ready [for a black president], compared with 54 percent of blacks.”
Hoe zit het eigenlijk met het zelfbeeld van zwarte scholieren? Vragen die zelf om een lager studieadvies?
@mescaline: met je eens dat het een nadeel van links is, het makkelijk maken in plaats van het beste eruit willen krijgen.
@caprio: een deel van de leerlingen niet geloof ik, een deel van de ouders schijnt niet goed te weten wat er mee te doen.
Ik weet dat ik destijds mavo advies kreeg ook omdat ‘we het maar niet te moeilijk moesten maken’ en mijn ouders hebben de lerares onderhand bedreigd om er een ander advies uit te slepen. Mejuffrouw vroeg later mijn rapporten op. Niet om blij te zijn dat het goed ging maar om te checken of het inderdaad mis zou gaan. Ze was enigzins teleurgesteld dat ik met het havo advies in de brugklas havo/vwo terecht kwam en op mijn sloffen vwo bereikte. Als ik alle reportages zo eens zie, is dat rare gedoe niet veel veranderd.
Ik zie dat er niet gereageerd wordt op het statistisch argument dat ik geef (in 21) waarom de conclusie dat etniciteit een proxy is voor iets waarop leraren hun advies baseren. Dat is jammer omdat we nu onjuiste conclussies aan het bediscuseren zijn. De regresie die is uitgevoerd is simpelweg onjuist. Wanneer een verklarende variabele onderworpen is aan een cut-off effect (de CITO score van 534) dan vind je bij deze manier van regressie doen per definitie onzuivere schatters. In dit geval is er ook duidelijk sprake van een onzuivere schatter, die ervoor zorgt dat het net lijkt of niet-westerse leerlingen minder vaak HAVO-VWO advies krijgen (al het andere gelijk)….. Uit dit soort stukken blijkt maar weer hoe belangrijk het is dat analyses goed worden uitgevoerd, omdat er anders ophef over niets ontstaat.
een econometrist
En ik maar denken dat docenten juist moeten stimuleren, in plaats van zich neer leggen bij wat zij denken dat de situatie is….
@zultan:
Och ja, op onweerlegbare kritiek wordt natuurlijk niet gereageerd… je weet toch?
@Sven:
Nou nee. Je leest de coefficient-waarde van een allochtoon-dummy af en interpreteert die. Zonder enig theoretisch model snap ik niet waar je de interpretatie dat ‘etnische achtergrond kennelijk meespeelt in de keuze van de leraar’ vandaan haalt*.
Misschien is presteren tijdens toetsen en klaplopen tijdens lessen wel iets typisch Turks of Marokkaans. Misschien groeien de hersenen van Antillianen langzamer dan die van autochtonen, en dat de hogere mentale functies zich pas openbaren rond de leeftijd van 11 a 12. Who knows? Jij ieder geval niet, wat je geeft niks meer dan een statistisch verband.
Wat Zultan zegt is zeker interessant, maar ik wil dan wel graag weten hoe groot dat effect is gegeven de gemiddelden en spreiding van de CITO-scores in de twee groepen (staan die ergens?). Hij geeft jammer genoeg geen voorbeeld hoe dat cut-off effect werkt. Dit effect kan dan wel een rol spelen maar kan nog steeds onvoldoende zijn om het verschil te verklaren. En bovendien is het wenselijk dat een dergelijk statistisch effect een rol speelt bij schoolkeuze? Lijkt mij niet. Dat is dan zeker een punt van aandacht in de toekomst.
Natuurlijk moet je niet blind statistiek bedrijven en maar wat gaan roepen. Maar ik neem aan dat Sven dat niet gedaan heeft in zijn eindrapportage. Om maar te eisen dat hij een volledige theorie moet hebben is ook wel wat teveel gevraagd lijkt mij.
Ook al zijn het klaplopers etc etc, dan is het nog steeds gerelateerd aan etniciteit. En speelt het dus wel een rol in het schooladvies. Reden genoeg om dan nog eens beter naar dit fenomeen te kijken in een vervolg onderzoek.
Sven zegt toch niet dat er sprake is van racisme. Hij zegt alleen dat er een effect te zien is.
ok, dan ga ik het proberen uit te leggen (wat ik zonder plaatjes wel lastig vind)
Wanneer je twee groepen hebt, zeg allochtonen en autochtonen, waarvan de ene groep een lagere gemiddelde score heeft. Laten we voor het gemak zeggen dat allochtonen gemiddeld 450 scoren en autochtonen gemiddeld 500, want in Nederland is het bekend dat allochtonen lager scoren op CITO toetsen dan autochtonen. Verder nemen we aan dat beide groepen normaal verdeelde scores hebben. Wanneer je deze twee normaal verdelingen bij elkaar in een figuur zet en je zet een streep bij 534 punten, dan is het aantal autochtonen dat rechts naast deze streep valt veel groter. Dit opzich is niet belangrijk, maar wat wel belangrijk is, is dat ook de gemiddelde score van autochtonen met een score boven de 534 veel groter is dan allochtonen met een score boven de 534. Hierdoor is de kans voor autochtone leerlingen met een score boven de 534 om HAVO-VWO advies te krijgen automatisch groter, omdat hun gemiddelde score hoger is.
Kortom, wanneer autochtonen gemiddeld hoger scoren leidt dit aan de hand van deze analyse automatisch tot de conclusie dat er sprake is van discriminatie. Ik ben dus benieuwd of autochtonen in deze steekproef ook daadwerkelijk gemiddeld hoger scoorden dan allochtonen, want anders kun je echt geen conclusies trekken. Het gebruik van een logistische regressie met controle variabelen veranderd hier niets aan.
Nou goed, ik zou verbaasd zijn als binnen deze steekproef de westerse leerlingen gemmideld net zo goed presteren als de niet-westerse. Wanneer deze gemiddeldes echter gelijk zijn is het gewoon een prima analyse en is een niet-westerse afkomst inderdaad een proxy voor iets waar leraren hun advies op baseren.
Wanneer de gemiddelde niet overeen komen dan zijn er een paar statistische trucjes nodig waar ik niets over lees en waarvan ik weet dat ze in de economie vrij onbekend zijn maar waar in de psychometrie wel gebruik van gemaakt wordt.
Najah, begrijp me niet verkeerd, ik ga geen kritiek leveren op slecht onderzoek, dat is zonde van mijn tijd, ik ben eigenlijk gewoon benieuwd…
@Zultan,
Lijkt mij zeker iets voor Sven om naar te kijken. Hij zou dan bijvoorbeeld alleen leerlingen kunnen vergelijken die exact dezelfde CITO-score hebben? En niet alle leerlingen die boven een bepaalde CITO-score zitten in 1 groep gooien. Dit omdat binnen die groep variatie zit.
@43 Zultan:
”Wanneer een verklarende variabele onderworpen is aan een cut-off effect (de CITO score van 534) dan vind je bij deze manier van regressie doen per definitie onzuivere schatters. In dit geval is er ook duidelijk sprake van een onzuivere schatter, die ervoor zorgt dat het net lijkt of niet-westerse leerlingen minder vaak HAVO-VWO advies krijgen (al het andere gelijk)….. Uit dit soort stukken blijkt maar weer hoe belangrijk het is dat analyses goed worden uitgevoerd, omdat er anders ophef over niets ontstaat.”
Ik bedacht me vanochtend dat ik jouw commentaar nog van repliek had voorzien. Bekijk allereerst de bijgevoegde bijlage op
http://docs.google.com/Doc?id=ddctfb7x_3c63bg5 …
Er is geen sprake dat de verklarende variabele Cito-score een cut-off effect heeft ondergaan. De “pure” Cito-score is opgenomen. Dit is niet vertaald in een hoegenaamd advies op basis van Cito-score. Daarnaast is simpelweg het basisschooladvies opgenomen, vertaald in een categoriale variabele die 10 verschillende waarden aan kan nemen.
Ik ga nu de reacties vanaf 43 lezen ;-)
@ Zultan 47:
Dank voor je aanvullend commentaar. Ik kan je nu met zekerheid vertellen dat je reageert op iets wat niet in het onderzoek staat. Er heeft in ons onderzoek géén translatie plaatsgevonden van Cito-score naar advies.
Je haalt ook hier weer twee dingen door elkaar. In mijn betoog breng ik naar voren dat 535 een HAVO advies van de Cito met zich meebrengt. Dit betekent echter niet dat we dit zogenaamde Cito-advies meenemen in de regressie. Dat is niet nodig en ongewenst, wegens een direct verband met de Cito-score. En hoe zit dat dan met jongens en meisjes? Wordt het verschil daar ook verklaard door een verschil in gemiddelde score? Lijkt me onwaarschijnlijk daar dat verschil er niet of nauwelijks is. Jammer dat ik niet meer mensen heb gehoord over de significante invloed van geslacht op plaatsing op HAVO-VWO of VMBO…
Oh, ik denk dat ik het cut-off effect nog niet goed heb uitgelegd. Het gaat er hierbij niet om of je wel of niet de pure CITO-scores meeneemt, het gaat er om dat er op basis van de CITO een bepaalde Cut-off bestaat voor het wel of niet krijgen van een advies, namelijk 534. Het gaat hierbij om het volgende stukje dat je schrijft.
Punt van discussie is de vermeende ‘onderadvisering’ van allochtone leerlingen. De discrepantie tussen Cito-advies en schooladvies blijkt in het Amsterdams onderzoek namelijk het sterkst voor de groep Turkse en Marokkaanse leerlingen met een Cito-score hoger dan 534. De Cito geeft op basis van een score hoger dan 534 minimaal een HAVO advies. Echter, van deze groep leerlingen krijgt respectievelijk 41% en 44% een schooladvies dat lager is dan het Cito-advies. Ter vergelijking: van de groep Nederlandse leerlingen met een Cito-score hoger dan 534 krijgt slechts 28% een lager advies.
De belangrijkste oorzaak van deze percentages is het cut-off effect.
Verder zeg je:
Je haalt ook hier weer twee dingen door elkaar. In mijn betoog breng ik naar voren dat 535 een HAVO advies van de Cito met zich meebrengt. Dit betekent echter niet dat we dit zogenaamde Cito-advies meenemen in de regressie. Dat is niet nodig en ongewenst, wegens een direct verband met de Cito-score.
Ik verwachte ook niet dat je het CITO advies meeneemt in je regressie, maar dit zorgt ook niet voor het cut-off effect. De cut-off is een onderliggende oorzaak van het advies zelf (je afhankelijke variabele), en daardoor ontkom je er niet aan dat dit invloed heeft op je resultaten.
Het punt van jongens en meisjes is zeker interessant, als hierbij inderdaad geen verschil is in gemiddelde scores dan moet er een andere onderliggende (niet statistische ;) oorzaak voor bestaan.
@Zultan,
Je hebt vast wel een eenvoudige formule om het even uit te rekenen!
Nu weet ik namelijk nog steeds niet hoe groot het cut-off effect zal zijn gegeven het nog onbekende gemiddelde en nog onbekende spreiding van de twee groepen…
Als het echt nodig is kan ik natuurlijk ook zelf aan het modelleren slaan.
@Zultan,
Ik heb een poging gedaan om zo’n Monte Carlo simulatie te uit te voeren. Ik kwam er al snel achter dat je een kansmodel moet veronderstellen bij het toekennen van een schooladvies.
Dat wil zeggen, gegeven een bepaalde CITO-score is er een kans dat er een ander advies gegeven wordt. De crux is nu, kan iemand met een lagere CITO-score ook een hoger advies krijgen? En dus niet alleen de andere kant op, namelijk een lager advies bij hogere CITO-score.
Als beide richtingen mogelijk is, d.w.z. symmetrisch kansmodel dan krijg ik er geen effect uit dat door statistiek alleen te verklaren is.
Voordat je er echt wat over kan zeggen moet je volgens mij eerst dat kansmodel bepalen aan de hand van de scores en bijbehorende adviezen.
Maar goed het is alweer laat, dus ik steek mijn hand er niet voor in het vuur, ik ben tenslotte ook geen econometrist maar een biofysicus ;)
@ 51 & 54
Dat stel ik inderdaad in dit verhaal. Maar je kan ook lezen dat ik het Amsterdamse onderzoek weinig inhoudelijk vind en daarom mijn eigen onderzoek als een ietwat steviger fundament op basis waarvan uitspraken gedaan kunnen worden. Door Cito-score en basisschooladvies los te koppelen, is het directe verband tussen deze twee verbroken. Jouw cut-off effect doet zich dan ook niet meer voor in het geval van regressieanalyse. Waar zit het cut-off effect in als je voor elke waarneming de Cito-score gelijk kan stellen?
Bovendien, en dat is waar #54 ook achter is gekomen, heb ik een kansmodel gemodelleerd (namelijk een logit-analyse zoals ik eerder in één van de reacties heb laten weten).
De kracht van regressieanalyse moet hem toch juist zitten in het feit dat we verschillende verdelingen van verschillende groepen juist kunnen elimineren om generale uitspraken te doen?
… om geniale uitspraken te doen.
Dat ware beter. Leg de lat eens wat hoger Sven ;)
Van HAVO naar VWO in dit geval, dus. ;)
@sven,
Nu begrijp ik het niet meer goed. Je koppelt de CITO score en schooladvies los? Maar daar probeer je toch juist een effect in te meten?
Ik ben bang dat de verwarring reeds daar is…alleen een gedegen uitleg in jip-en-janneke-taal kan nog redding bieden ;)
Dat krijg je met al die geborneerde beta-alpha-mannetjes op Sargasso ;)
De verwarring is inderdaad daar, maar om dit recht te breien in Jip-en Janneke taal gaat mij niet lukken geloof ik…. toch even een poging wagen…..
@MP
leuk dat je die Monte Carlo hebt gedaan. Over die tweezijdige kans, volgens mij is het in principe genoeg wanneer je een “school advies” dummy creeert, waarbij de kans op een hoger nummer toeneemd bij hogere scores. Voor het gemak kun je een dummy maken, waarbij de kans op 1 (=HAVO-VWO) evenredig toeneemd met de score(gewoon binomiaal met p=score/hoogste score). Wanneer je dan de daadwerkelijke scores trekt uit normale verdelingen met andere gemiddelden vind je een effect van etniciteit (door de verschillende gemiddelden) wanneer je er een logit-regressie op los laat.
@Sven
Aha, je punt dat de conclusies uit het Amsterdams onderzoek kwamen had ik niet geheel begrepen geloof ik. Daarbij is namelijk duidelijk sprake van cut-off effect. In het geval van de regressie is het wel iets gecompliceerder.
Ik heb begrepen dat het schooladvies de afhankelijke (de te verklaren) variabele was, en de CITO-score een onafhankelijke (verklarende) variabele. Dan probeer je dus het schooladvies te verklaren vanuit de cito-score, maar tevens vanuit andere variabelen als etniciteit en sexe. Bij een regressie is het dan de bedoeling dat de effecten op het schooladvies tussen cito-scores en etniciteit worden losgekoppeld, zodat je zuivere effecten kan toewijzen aan de verschillende variabele. Dit klopt theoretisch (voor n naar oneindig enzo), maar wanneer verklarende variabelen onderling correleren (etniciteit en cito-scores) dan snoepen ze in de praktijk toch delen van elkaars effect op. In dit geval betekend het dat etniciteit een deel van het effect van lagere cito-scores meeneemd waardoor ze vaker een lager advies lijken te krijgen…..
Wegens brakheid ben ik nu even niet in staat te bedenken of het cut-off effect theoretisch nog een rol speelt in de regressie, of dat het vooral de correlatie is…. sorry dat ik af en toe verwarrend kan doen….
Najah, groet van een gamma-mannetje.
@Sven, Zultan,
Ondertussen loop ik ergens in een donker bos ;)
Toch zou het goed zijn een duidelijk antwoord te krijgen op deze kwestie, want de kans bestaat dat mensen nu blijven denken dat er iets aan de hand was met de analyse. Vooral JSK! die zich opstelt als een borneerde referee! ;)