Caveat Lector

Leest u graag de wetenschapskaternen van kranten en tijdschriften voor de laatste weetjes? Dan leest u voor een groot deel statistische ruis, ondanks een aantal recente replicatie-impulsen in de wetenschap.

2015 is de tiende verjaardag van het welluidende artikel “Why most published research findings are false” van professor Ioannides. Hij laat zien dat een combinatie van (te) kleine steekproeven en statistisch gesjoemel ertoe leidt dat veel experimentele resultaten berusten op toevalstreffers. Eén belangrijke reden is dat het vinden van een effect van een bepaald medicijn, onderwijsmethode of subsidie veel spannender en verrassender is dan de absentie ervan.

Onderzoek met positieve resultaten komt daarom in veel betere tijdschriften – en in populair wetenschappelijke bladen. Onderzoekers gebruiken daarom, soms onbewust, allerlei technieken om de effecten groter te laten lijken, of rapporteren alleen de ‘gelukte’ studies, een fenomeen genaamd publication bias. Een teken dat Ioannides het bij het rechte eind heeft, is dat replicatiestudies bijna altijd kleinere effecten vinden dan het origineel. Veel resultaten “verdwijnen” dus simpelweg na een korte initiële hype.

Na Ioannides’ artikel werden wetenschappers op allerlei vakgebieden behoorlijk nerveus over wat ze eigenlijk weten. Om daarover duidelijkheid te verschaffen is er het laatste decennium een aantal grote replicatieprojecten gestart. Het Open Science Reprodicibility Project heeft doet replicaties op het gebied van kankeronderzoek en sociale psychologie. Een andere organisatie, de Open Science Collaboration heeft 13 veel geciteerde sociaalpsychologische onderzoeken gerepliceerd. Ze vond een replicatiepercentage van 77%, hoger dus dan Ioannides voorspelde. De komende projecten zullen moeten uitwijzen of deze score overeind blijft.

Een andere vraag is of wetenschappers zich bewust zijn welke resultaten in hun vakgebied niet deugen. Het Science Prediction Market Project onderzoekt dat door wetenschappers te laten wedden op de uitkomsten van replicaties. Ze verhandelen daarbij op een markt “aandelen” in een studie, die alleen uitbetalen als de replicatie succesvol is. Een hogere prijs van het aandeel reflecteert een groter vertrouwen in de replicatie.

Volgens Anna Dreber, een drijvende kracht achter het project, laten de eerste resultaten zien dat markten de meeste replicaties goed voorspellen. Een nieuwe markt die vandaag opengaat richt op replicaties van 18 belangrijke studies in de gedragseconomie, en zal binnenkort meer bewijs leveren.

Wetenschappers lijken dus redelijk goed te weten welke effecten echt bestaan en welke gebakken lucht zijn, wellicht omdat ze onder elkaar over hun ‘mislukte’ experimenten praten. Dat betekent dat de effecten van publication bias in de praktijk niet zo erg zijn als je op het eerste gezicht zou denken.

Als lezer van de wetenschapskaternen heeft u echter weinig aan al deze mooie initiatieven. De beste bladen blijven gereserveerd voor het afsteken van wetenschappelijk vuurwerk. De replicatieprojecten ruimen na het feest de statistische rommel op. Caveat Lector.