Kan de computer wetenschappelijke artikelen beoordelen?

Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen. Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes. Primitieve taal De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken. De Amerikanen zien zo’n leesrapport dan ook puur als een stilistische exercitie: je neemt een artikel als input en destilleert daar zo’n verslag uit met altijd een samenvatting van het artikel en een eindoordeel, dat ‘beleefd en vriendelijk’ moet zijn. Dat gaat volgens mij voorbij aan waar zo’n leesverslag eigenlijk om zou gaan of zou moeten gaan. Zo lijkt me de samenvatting vooral zinnig om te laten zien hoe de reviewer het artikel begrepen heeft; een samenvatting door de computer is daarvoor waardeloos, bijvoorbeeld omdat de auteurs doorgaans zelf ook al een samenvatting leveren (het ‘abstract’). Het belangrijkste van zo’n leesrapport lijkt mij echter: een expert vertelt de redacteur hoe je dit artikel moet plaatsen binnen de wetenschappelijke literatuur. Staan er zaken in die elders al zijn weerlegd? Worden er methodologische fouten gemaakt in het onderzoek? Is dit juist heel vernieuwend op een interessante manier? Zo’n verslag kan ook in heel primitieve taal zijn opgeschreven om toch nuttig te zijn. Voorgekookte oplossingen Ik kan me voorstellen dat je expertsystemen kunt maken, computers die de hele literatuur kunnen overzien en begrijpen en dan verslagen maken. Maar dat is nog heel ver weg en ook helemaal niet wat de onderzoekers beogen. Eigenaardig is dat hun artikel zelf een voorbeeld is van iets heel anders wat er mis dreigt te gaan met de stortvloed aan publicaties. Dat begint met de clickbait-achtige titel. Een goed wetenschappelijk artikel hoort een titel te hebben die op het saaie af neutraal is en beschrijft wat er in het artikel staat. Hier wordt een sensationele vraag gesteld die vervolgens in het artikel met nee wordt beantwoord – de methode van Story en Privé. Zoiets zit ook al in het precieze antwoord dat de auteurs geven: “not yet”. Het venijn zit natuurlijk in het yet – een weinig bruikbaar resultaat wordt weergegeven als een potentiële oplossing. Er is dus een voortdurende toon van hype – de enige manier om nog op te vallen. Dat lijkt me het feitelijke probleem met dit artikel: de stortvloed aan reviewwerk is een rechtstreeks gevolg van het feit dat de wetenschap steeds meer als een artikelenfabriek functioneert in plaats van als een plaats waar creatieve oplossingen gevonden worden, een oord waar niet het risico wordt genomen van de sprong in het onbekende maar alleen de veilige oplossingen van het invullen van schema’s. Maar de gekozen oplossing stimuleert datzelfde gedrag alleen maar, want stel dat dit type algoritmen inderdaad de wetenschap gaan beoordelen, dan hebben alleen de voorgekookte oplossingen nog een kans op acceptatie.

Nieuw: artikelen beoordelen

Sommigen zal het al opgevallen zijn, maar sinds gisteren zijn ook artikelen te beoordelen dmv de welbekende duimpjes. Uiteraard omdat erom gevraagd werd, maar ook omdat het zo makkelijker wordt om een artikel waardering (of juist niet) te geven zonder dat daarvoor een reactie gegeven hoeft te worden.

In eerste instantie zullen we dit een maandje evalueren, en daarna gaan we kijken of het iets toevoegt, of dat we het terugdraaien. Maar tot dan, duimze!

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.