COLUMN - Eerder schreef ik in deze column over de wetenschappelijk druk tot het produceren van sexy resultaten, en het nut van replicatieprojecten die daar tegengas aan geven. De auteurs van een recent artikel in het tijdschrift Nature proberen een andere aanpak, en breken een lans voor het crowdsourcen van onderzoek.
De onderzoekers vroegen zich af wat er zou gebeuren als ze dezelfde vraag door verschillende wetenschappers lieten beantwoorden. De onderzoeksvraag in kwestie was of donkere voetbalspelers sneller een rode kaart krijgen dan hun blanke collega’s. De auteurs rekruteerden 29 academische teams via Facebook en Twitter. Elk team kreeg dezelfde dataset met gegevens uit meerdere Europese voetbalcompetities. Eerst gaven alle teams een beschrijving van hun beoogde statistische methode, die vervolgens geanonimiseerd onder alle deelnemers werd verspreid. Vervolgens gingen de onderzoekers aan de slag.
De gevonden antwoorden bleken sterk uiteen te lopen: 9 teams vonden geen verschil in de kans op een rode kaart tussen de twee groepen, 20 teams wel. Ook de grootte van het verschil varieerde, van een iets kleiner kans op rood voor donkere spelers, tot een meer dan twee keer zo grote kans.
Deze variatie onderstreept de meerwaarde van multiplicatie, zelfs als het gaat om professionele onderzoekers die de beschikking hebben over identieke data. Ook werpt het een positiever licht op de wetenschappelijke non-replicaties. Die duiden niet meteen op gesjoemel in het origineel: legitieme verschillen in onderzoeksmethoden leiden ook tot verschillende conclusies.
Naast het feit dat 29 studies informatiever zijn dan één, heeft crowdsourcing als voordeel dat er minder druk op de onderzoekers ligt om een spectaculair resultaat te vinden. Dat leidt immers niet tot een beter publicatie als de andere onderzoekers niets vinden. Daarnaast geeft crowdsourcing een overzicht van de methodologische mogelijkheden, dat weer verder onderzoek kan stimuleren.
Natuurlijk is het wel een dure grap om 29 teams aan het werk te zetten. Die teams moeten daarnaast hun datasets delen, wat lastig is als onderzoekers veel tijd hebben gestoken in de datacollectie. In het algemeen is de keerzijde van de collectieve opzet een verminderde kans op individuele glorie, zodat veel wetenschappers wellicht liever aan hun eigen ideeën werken.
Toch lijkt crowdsourcing de moeite waard als het gaat om maatschappelijk belangrijke vragen. De auteurs noemen de impact van een minimumloon of austerity-maatregelen als economische voorbeelden. Om onderzoekssamenwerking op die gebieden te stimuleren zou de overheid speciale projecten kunnen financieren met een gemeenschappelijke datacollectie. De eerste wetenschappelijke crowdsourcing website bestaat overigens al, zij het voorlopig nog zonder voorstellen. Dus mocht je een leuke onderzoeksvraag hebben…