Kan de computer wetenschappelijke artikelen beoordelen?
COLUMN - Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen.
Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes.
Primitieve taal
De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken.