Caveat Lector
Leest u graag de wetenschapskaternen van kranten en tijdschriften voor de laatste weetjes? Dan leest u voor een groot deel statistische ruis, ondanks een aantal recente replicatie-impulsen in de wetenschap.
2015 is de tiende verjaardag van het welluidende artikel “Why most published research findings are false” van professor Ioannides. Hij laat zien dat een combinatie van (te) kleine steekproeven en statistisch gesjoemel ertoe leidt dat veel experimentele resultaten berusten op toevalstreffers. Eén belangrijke reden is dat het vinden van een effect van een bepaald medicijn, onderwijsmethode of subsidie veel spannender en verrassender is dan de absentie ervan.
Onderzoek met positieve resultaten komt daarom in veel betere tijdschriften – en in populair wetenschappelijke bladen. Onderzoekers gebruiken daarom, soms onbewust, allerlei technieken om de effecten groter te laten lijken, of rapporteren alleen de ‘gelukte’ studies, een fenomeen genaamd publication bias. Een teken dat Ioannides het bij het rechte eind heeft, is dat replicatiestudies bijna altijd kleinere effecten vinden dan het origineel. Veel resultaten “verdwijnen” dus simpelweg na een korte initiële hype.
Na Ioannides’ artikel werden wetenschappers op allerlei vakgebieden behoorlijk nerveus over wat ze eigenlijk weten. Om daarover duidelijkheid te verschaffen is er het laatste decennium een aantal grote replicatieprojecten gestart. Het Open Science Reprodicibility Project heeft doet replicaties op het gebied van kankeronderzoek en sociale psychologie. Een andere organisatie, de Open Science Collaboration heeft 13 veel geciteerde sociaalpsychologische onderzoeken gerepliceerd. Ze vond een replicatiepercentage van 77%, hoger dus dan Ioannides voorspelde. De komende projecten zullen moeten uitwijzen of deze score overeind blijft.