Sociale wetenschappen berusten deels op drijfzand
Grote delen van de sociale wetenschap op drijfzand opgetrokken, stelt Han Oud, statisticus aan het Behavioural Science Institute van de Radboud Universiteit Nijmegen.
VSNU-voorzitter Noorda noemt het weglaten van statistische informatie om de conclusies van wetenschappelijke artikelen te verfraaien een ‘dagelijkse zonde’. Verbazingwekkend, omdat Noorda hiermee de hoofdoorzaak voor de onbetrouwbaarheid van sociaalwetenschappelijke onderzoeksresultaten miskent.
Wat is het geval? Sociaal-wetenschappelijk en ander statistisch geaard onderzoek is op steekproeven gebaseerd. Iedere steekproef heeft zijn eigen toevallige afwijkingen. Tamelijk willekeurig is afgesproken om alleen de 5 procent sterkste afwijkingen in de steekproefverdeling serieus te nemen: significantie-toetsing op het 5%-niveau.
Andere percentages treffen we veel minder aan. Het betekent dat, ook als er niets aan de hand is en dus geen enkel effect in de populatie, in 5 procent van de gevallen wordt besloten tot een (‘significant’) effect of resultaat.
Dat foutenpercentage van 5 is al heel wat maar hoe gaat het in de praktijk? Het uitblijven van het beoogde resultaat is voor veel sociale wetenschappers waaronder promovendi het startsein voor de significantiejacht.
Dit kan worden geïllustreerd aan de hand van een enquêteonderzoek, bijvoorbeeld naar houdingen en meningen met betrekking tot voeding. Dat zal al gauw 100 of meer vragen omvatten (een vraag gaat bijvoorbeeld over vlees eten en het antwoord op een andere vraag wordt indicatief geacht voor de ‘hufterigheid’ van de respondent).



