Crowdsourcing
COLUMN - Eerder schreef ik in deze column over de wetenschappelijk druk tot het produceren van sexy resultaten, en het nut van replicatieprojecten die daar tegengas aan geven. De auteurs van een recent artikel in het tijdschrift Nature proberen een andere aanpak, en breken een lans voor het crowdsourcen van onderzoek.
De onderzoekers vroegen zich af wat er zou gebeuren als ze dezelfde vraag door verschillende wetenschappers lieten beantwoorden. De onderzoeksvraag in kwestie was of donkere voetbalspelers sneller een rode kaart krijgen dan hun blanke collega’s. De auteurs rekruteerden 29 academische teams via Facebook en Twitter. Elk team kreeg dezelfde dataset met gegevens uit meerdere Europese voetbalcompetities. Eerst gaven alle teams een beschrijving van hun beoogde statistische methode, die vervolgens geanonimiseerd onder alle deelnemers werd verspreid. Vervolgens gingen de onderzoekers aan de slag.
De gevonden antwoorden bleken sterk uiteen te lopen: 9 teams vonden geen verschil in de kans op een rode kaart tussen de twee groepen, 20 teams wel. Ook de grootte van het verschil varieerde, van een iets kleiner kans op rood voor donkere spelers, tot een meer dan twee keer zo grote kans.
Deze variatie onderstreept de meerwaarde van multiplicatie, zelfs als het gaat om professionele onderzoekers die de beschikking hebben over identieke data. Ook werpt het een positiever licht op de wetenschappelijke non-replicaties. Die duiden niet meteen op gesjoemel in het origineel: legitieme verschillen in onderzoeksmethoden leiden ook tot verschillende conclusies.
