Kan de computer wetenschappelijke artikelen beoordelen?

Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen. Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes. Primitieve taal De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken. De Amerikanen zien zo’n leesrapport dan ook puur als een stilistische exercitie: je neemt een artikel als input en destilleert daar zo’n verslag uit met altijd een samenvatting van het artikel en een eindoordeel, dat ‘beleefd en vriendelijk’ moet zijn. Dat gaat volgens mij voorbij aan waar zo’n leesverslag eigenlijk om zou gaan of zou moeten gaan. Zo lijkt me de samenvatting vooral zinnig om te laten zien hoe de reviewer het artikel begrepen heeft; een samenvatting door de computer is daarvoor waardeloos, bijvoorbeeld omdat de auteurs doorgaans zelf ook al een samenvatting leveren (het ‘abstract’). Het belangrijkste van zo’n leesrapport lijkt mij echter: een expert vertelt de redacteur hoe je dit artikel moet plaatsen binnen de wetenschappelijke literatuur. Staan er zaken in die elders al zijn weerlegd? Worden er methodologische fouten gemaakt in het onderzoek? Is dit juist heel vernieuwend op een interessante manier? Zo’n verslag kan ook in heel primitieve taal zijn opgeschreven om toch nuttig te zijn. Voorgekookte oplossingen Ik kan me voorstellen dat je expertsystemen kunt maken, computers die de hele literatuur kunnen overzien en begrijpen en dan verslagen maken. Maar dat is nog heel ver weg en ook helemaal niet wat de onderzoekers beogen. Eigenaardig is dat hun artikel zelf een voorbeeld is van iets heel anders wat er mis dreigt te gaan met de stortvloed aan publicaties. Dat begint met de clickbait-achtige titel. Een goed wetenschappelijk artikel hoort een titel te hebben die op het saaie af neutraal is en beschrijft wat er in het artikel staat. Hier wordt een sensationele vraag gesteld die vervolgens in het artikel met nee wordt beantwoord – de methode van Story en Privé. Zoiets zit ook al in het precieze antwoord dat de auteurs geven: “not yet”. Het venijn zit natuurlijk in het yet – een weinig bruikbaar resultaat wordt weergegeven als een potentiële oplossing. Er is dus een voortdurende toon van hype – de enige manier om nog op te vallen. Dat lijkt me het feitelijke probleem met dit artikel: de stortvloed aan reviewwerk is een rechtstreeks gevolg van het feit dat de wetenschap steeds meer als een artikelenfabriek functioneert in plaats van als een plaats waar creatieve oplossingen gevonden worden, een oord waar niet het risico wordt genomen van de sprong in het onbekende maar alleen de veilige oplossingen van het invullen van schema’s. Maar de gekozen oplossing stimuleert datzelfde gedrag alleen maar, want stel dat dit type algoritmen inderdaad de wetenschap gaan beoordelen, dan hebben alleen de voorgekookte oplossingen nog een kans op acceptatie.

Door: Foto: Chris Devers (cc)
Waan van de dag

Nieuw: artikelen beoordelen

, door

Sommigen zal het al opgevallen zijn, maar sinds gisteren zijn ook artikelen te beoordelen dmv de welbekende duimpjes. Uiteraard omdat erom gevraagd werd, maar ook omdat het zo makkelijker wordt om een artikel waardering (of juist niet) te geven zonder dat daarvoor een reactie gegeven hoeft te worden.

In eerste instantie zullen we dit een maandje evalueren, en daarna gaan we kijken of het iets toevoegt, of dat we het terugdraaien. Maar tot dan, duimze!

Steun ons!

Mededeling

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Lezen: Mohammed, door Marcel Hulspas

Mededeling

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Doe het veilig met NordVPN

Mededeling

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.