Kan de computer wetenschappelijke artikelen beoordelen?

Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen. Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes. Primitieve taal De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken. De Amerikanen zien zo’n leesrapport dan ook puur als een stilistische exercitie: je neemt een artikel als input en destilleert daar zo’n verslag uit met altijd een samenvatting van het artikel en een eindoordeel, dat ‘beleefd en vriendelijk’ moet zijn. Dat gaat volgens mij voorbij aan waar zo’n leesverslag eigenlijk om zou gaan of zou moeten gaan. Zo lijkt me de samenvatting vooral zinnig om te laten zien hoe de reviewer het artikel begrepen heeft; een samenvatting door de computer is daarvoor waardeloos, bijvoorbeeld omdat de auteurs doorgaans zelf ook al een samenvatting leveren (het ‘abstract’). Het belangrijkste van zo’n leesrapport lijkt mij echter: een expert vertelt de redacteur hoe je dit artikel moet plaatsen binnen de wetenschappelijke literatuur. Staan er zaken in die elders al zijn weerlegd? Worden er methodologische fouten gemaakt in het onderzoek? Is dit juist heel vernieuwend op een interessante manier? Zo’n verslag kan ook in heel primitieve taal zijn opgeschreven om toch nuttig te zijn. Voorgekookte oplossingen Ik kan me voorstellen dat je expertsystemen kunt maken, computers die de hele literatuur kunnen overzien en begrijpen en dan verslagen maken. Maar dat is nog heel ver weg en ook helemaal niet wat de onderzoekers beogen. Eigenaardig is dat hun artikel zelf een voorbeeld is van iets heel anders wat er mis dreigt te gaan met de stortvloed aan publicaties. Dat begint met de clickbait-achtige titel. Een goed wetenschappelijk artikel hoort een titel te hebben die op het saaie af neutraal is en beschrijft wat er in het artikel staat. Hier wordt een sensationele vraag gesteld die vervolgens in het artikel met nee wordt beantwoord – de methode van Story en Privé. Zoiets zit ook al in het precieze antwoord dat de auteurs geven: “not yet”. Het venijn zit natuurlijk in het yet – een weinig bruikbaar resultaat wordt weergegeven als een potentiële oplossing. Er is dus een voortdurende toon van hype – de enige manier om nog op te vallen. Dat lijkt me het feitelijke probleem met dit artikel: de stortvloed aan reviewwerk is een rechtstreeks gevolg van het feit dat de wetenschap steeds meer als een artikelenfabriek functioneert in plaats van als een plaats waar creatieve oplossingen gevonden worden, een oord waar niet het risico wordt genomen van de sprong in het onbekende maar alleen de veilige oplossingen van het invullen van schema’s. Maar de gekozen oplossing stimuleert datzelfde gedrag alleen maar, want stel dat dit type algoritmen inderdaad de wetenschap gaan beoordelen, dan hebben alleen de voorgekookte oplossingen nog een kans op acceptatie.

Nieuw: artikelen beoordelen

Sommigen zal het al opgevallen zijn, maar sinds gisteren zijn ook artikelen te beoordelen dmv de welbekende duimpjes. Uiteraard omdat erom gevraagd werd, maar ook omdat het zo makkelijker wordt om een artikel waardering (of juist niet) te geven zonder dat daarvoor een reactie gegeven hoeft te worden.

In eerste instantie zullen we dit een maandje evalueren, en daarna gaan we kijken of het iets toevoegt, of dat we het terugdraaien. Maar tot dan, duimze!

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Lezen: De wereld vóór God, door Kees Alders

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.