Kan de computer wetenschappelijke artikelen beoordelen?

Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen. Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes. Primitieve taal De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken. De Amerikanen zien zo’n leesrapport dan ook puur als een stilistische exercitie: je neemt een artikel als input en destilleert daar zo’n verslag uit met altijd een samenvatting van het artikel en een eindoordeel, dat ‘beleefd en vriendelijk’ moet zijn. Dat gaat volgens mij voorbij aan waar zo’n leesverslag eigenlijk om zou gaan of zou moeten gaan. Zo lijkt me de samenvatting vooral zinnig om te laten zien hoe de reviewer het artikel begrepen heeft; een samenvatting door de computer is daarvoor waardeloos, bijvoorbeeld omdat de auteurs doorgaans zelf ook al een samenvatting leveren (het ‘abstract’). Het belangrijkste van zo’n leesrapport lijkt mij echter: een expert vertelt de redacteur hoe je dit artikel moet plaatsen binnen de wetenschappelijke literatuur. Staan er zaken in die elders al zijn weerlegd? Worden er methodologische fouten gemaakt in het onderzoek? Is dit juist heel vernieuwend op een interessante manier? Zo’n verslag kan ook in heel primitieve taal zijn opgeschreven om toch nuttig te zijn. Voorgekookte oplossingen Ik kan me voorstellen dat je expertsystemen kunt maken, computers die de hele literatuur kunnen overzien en begrijpen en dan verslagen maken. Maar dat is nog heel ver weg en ook helemaal niet wat de onderzoekers beogen. Eigenaardig is dat hun artikel zelf een voorbeeld is van iets heel anders wat er mis dreigt te gaan met de stortvloed aan publicaties. Dat begint met de clickbait-achtige titel. Een goed wetenschappelijk artikel hoort een titel te hebben die op het saaie af neutraal is en beschrijft wat er in het artikel staat. Hier wordt een sensationele vraag gesteld die vervolgens in het artikel met nee wordt beantwoord – de methode van Story en Privé. Zoiets zit ook al in het precieze antwoord dat de auteurs geven: “not yet”. Het venijn zit natuurlijk in het yet – een weinig bruikbaar resultaat wordt weergegeven als een potentiële oplossing. Er is dus een voortdurende toon van hype – de enige manier om nog op te vallen. Dat lijkt me het feitelijke probleem met dit artikel: de stortvloed aan reviewwerk is een rechtstreeks gevolg van het feit dat de wetenschap steeds meer als een artikelenfabriek functioneert in plaats van als een plaats waar creatieve oplossingen gevonden worden, een oord waar niet het risico wordt genomen van de sprong in het onbekende maar alleen de veilige oplossingen van het invullen van schema’s. Maar de gekozen oplossing stimuleert datzelfde gedrag alleen maar, want stel dat dit type algoritmen inderdaad de wetenschap gaan beoordelen, dan hebben alleen de voorgekookte oplossingen nog een kans op acceptatie.

Nieuw: artikelen beoordelen

Sommigen zal het al opgevallen zijn, maar sinds gisteren zijn ook artikelen te beoordelen dmv de welbekende duimpjes. Uiteraard omdat erom gevraagd werd, maar ook omdat het zo makkelijker wordt om een artikel waardering (of juist niet) te geven zonder dat daarvoor een reactie gegeven hoeft te worden.

In eerste instantie zullen we dit een maandje evalueren, en daarna gaan we kijken of het iets toevoegt, of dat we het terugdraaien. Maar tot dan, duimze!

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.