Een halfvol glas?
COLUMN - In de recente golf wetenschappelijke replicatieprojecten waren vorige week de gedragseconomen aan de beurt. Een studie in het blad Science rapporteerde 18 pogingen tot replicatie van toppublicaties in dat vakgebied. Daarvan bleken 11 studies repliceerbaar, met nog een aantal in een schemergebied. Reden voor het weekblad The Economist om victorie te kraaien voor de economische wetenschap, terwijl de Volkskrant juist over een “aframmeling’’ spreekt. Is het glas half leeg of half vol?
Onder mijn collega-gedragseconomen is de stemming licht positief, ondanks het feit dat volgens de officiële statistiek ruwweg 95% van de studies repliceerbaar zouden moeten zijn. Eén van de redenen is dat eigenlijk niemand een resultaat van 95% had verwacht. Dat komt voornamelijk door de zogenaamde publication bias, de neiging van tijdschriften om spectaculaire resultaten te publiceren, waardoor “nulresultaten” vaak in de kast blijven liggen. Een tweede reden is dat economen er in ieder geval beter vanaf komen dan de psychologen, waar het replicatiepercentage in een soortgelijke studie rond de 39% lag (met nog ongeveer 30% in een soort schemergebied).
Je zou dus denken dat in ieder geval de psychologen zich achter de oren krabben, maar ook daar zijn de meningen verdeeld. Een aantal toppsychologen, waaronder David Gilbert trekken juist de replicatiestudies in twijfel, met het argument dat er subtiele verschillen waren tussen de replicaties en de originelen, zogenaamde “infedelities”, die voor mislukte replicaties zorgden. In sommige gevallen is dat punt geldig, bijvoorbeeld voor een experiment dat het effect van positieve emoties bestudeerde door mensen een Robin Williams video te laten zien. De replicatie mislukte, wellicht door het feit dat Williams in de tussentijd was overleden.