Het systeem van wetenschappelijk publiceren is kapot

Maar liefst twee voorbeelden kreeg ik deze week aangereikt: gevallen waarin een ‘peer reviewed’ wetenschappelijk artikel in een prestigieus tijdschrift duidelijk door kunstmatige intelligentie geschreven was. Het eerste was dit artikel in het tijdschrift Radiology Case Reports. Op het oog is het wat het tijdschrift belooft: een beschrijving van een radiologisch kennelijk interessant geval, maar vlak boven de sectie ‘conclusion’ gaat het mis: In summary, the management of bilateral iatrogenic I’m very sorry, but I don’t have access to real-time information or patient-specific data, as I am an AI language model. I can provide general information about managing hepatic artery, portal vein, and bile duct injuries, but for specific cases, it is essential to consult with a medical professional who has access to the patient’s medical records and can provide personalized advice. It is recommended to discuss the case with a hepatobiliary surgeon or a multidisciplinary team experienced in managing complex liver injuries. Het tweede artikel, in Surfaces and Interfaces, ontspoort zelfs al aan het begin, als het opent met de volgende mededeling: Certainly, here is a possible introduction for your topic:Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities [1], [2]. Beide artikelen verschijnen in tijdschriften van Elsevier, die hiermee weer eens bewijst wat een roversbende het is. De artikelen zijn allebei open access verschenen (dat wil zeggen dat ze voor lezers gratis toegankelijk zijn), en de auteurs hebben daar zo te zien bijna 2500 euro voor betaald. Waarvoor dat bedrag? Volgens commerciële uitgevers omdat daarmee de kwaliteit gewaarborgd wordt. Maar wat is dat voor kwaliteit? Je kunt er natuurlijk over discussiëren of het erg is als auteurs de inleiding van hun artikel of de slotparagrafen door een chatbot laten maken. De belangrijkste vraag is dan waarom die auteurs dat zouden doen. Als zulke tekst zo voorspelbaar is dat hij door een computer kan worden geschreven, waarom moet hij dan überhaupt worden gemaakt? Laat de lezer anders zelf lekker een inleiding laten schrijven door zijn eigen favoriete chatbot. Het grootste probleem is echter dat het hier zo evident gebeurd is. Hier staan zinnen in de tekst die er niet in hadden moeten staan. De conclusie: voor het artikel verscheen heeft niemand het echt een keer doorgelezen. De auteurs niet, de reviewers niet, de redactie niet, de eindredactie niet. A raison van 2500 euro is hier iets op het internet gekwakt dat zelfs de meest betrokkenen niet echt interesseerde. En dat alles omdat een wetenschapper nu eenmaal artikelen moet publiceren. Het systeem van wetenschappelijk publiceren is kapot.

Door: Foto: Michael Eisen, CC BY 3.0 , via Wikimedia Commons.

Peer review: ergernis en kwaliteitscontrole

, door

ACHTERGROND - De afgelopen maanden heb ik het weer regelmatig met jullie gehad over de bijstandsexperimenten, en dan met name over de inhoud daarvan. En hoewel de inhoud natuurlijk het belangrijkst is, zou ik nu graag toch weer een moment nemen om het over ‘de wetenschap’ te hebben. En dan specifiek over mijn ervaringen tijdens mij promotietraject met het publicatieproces en peer review.

Peer review is, denk ik, vaak wel een nuttig iets. Zoals ik eerder in deze serie beschreef zit op de meeste wetenschappelijke publicaties wel een soort van een collegiale check. De strengheid van die check draagt vaak bij aan hoe serieus een wetenschappelijk artikel wordt genomen. De strengste vorm van zo’n collegiale check is de anonieme peer review, zoals gedaan bij wetenschappelijke tijdschriften. Die laten twee, drie of soms vier experts mee kijken naar een ingediend artikel. Die zorgen dat de echte rotzooi er tussenuit wordt gehaald, en dat de artikelen die uiteindelijk gepubliceerd worden naar een wat hoger niveau worden getild. De wederzijdse anonimiteit moet dan objectiviteit garanderen. Hier zitten wel de nodige haken en ogen aan. In semiwillekeurige volgorde een aantal waar ik me het meest aan stoor.

Hemeltergend traag

Geheel persoonlijk: wat duurt dat proces ongelooflijk irritant lang soms. Ik ben niet het geduldigste mens op aarde, dat speelt vast mee. Maar het proces van:

Lezen: Venus in het gras, door Christian Jongeneel

Mededeling

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Doneer!

Mededeling

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Foto: Brian Rinker (cc)

Anoniem commentaar

, door

Het weblog bedreigt de sociologische wetenschap. Althans, momenteel is vooral een bepaald deel van de sociologie in gevaar: het sterk op statistiek gerichte deel. Maar dat is slechts toeval – het komt doordat bloggers nu eenmaal relatief vaak geïnteresseerd zijn in rekenen. Het zou weleens de voorbode kunnen zijn van een grotere verandering.

De Amerikaanse socioloog Andrew Lindner schreef er onlangs over op zijn weblog. Hij had jarenlang gewerkt aan een artikel waarin hij met veel datageweld probeerde aan te tonen waarom films waarin intelligente vrouwen spelen, relatief weinig geld opleveren. (kortweg: omdat er relatief weinig geïnvesteerd wordt in zulke films).

Die jaren waren vooral heengegaan met het gebruikelijke proces van aanbieden aan redacties, allerlei commentaar krijgen over de vraag of er niet eigenlijk een andere theorie had moeten worden gebruikt, het artikel aanpassen, dan toch afgewezen worden, en doorgaan naar een ander tijdschrift waarin de reviewers weer andere obsessies bleken te hebben.

Knallen

Ondertussen kwam een blogger met een post waarin een zeer gelijksoortig onderzoek werd gepresenteerd. Het was wat rommeliger, de data waren van wat mindere kwaliteit, een en ander werd minder goed in de literatuur geïntegreerd. Maar de resultaten waren wel vrijwel dezelfde.

Foto: Bill Dickinson (cc)

Ring van wetenschapsfraudeurs ontdekt

, door

ACHTERGROND - Wetenschapsfraude is niet alleen een probleem van de geesteswetenschappen, zoals de bèta’s wel eens graag lijken te denken.

Veel bèta’s deden de recente gevallen van wetenschapsfraude af als een probleem van de geesteswetenschappen. ‘Onze’ vakken zijn zo ingekaderd door de empirie en natuurwetten, dat fraude bijna niet mogelijk is, zo redeneren veel van mijn collega’s. Een voorbeeld van een groot fraudegeval uit de natuurkunde werd terzijde geschoven als een interessant freak accident.

Het idee dat fraude makkelijker in de geesteswetenschappen zou plaatsvinden is echter erg naïef! Het wordt gevoed door de notie dat fraude alleen kan plaatsvinden aan de start van de keten, het analyseren van de data en het schrijven van het artikel. Maar fraude kan worden gepleegd in het hele proces: data-aquisitie, schrijven, artikel aanbieden, en refereeing.

Peer review is het systeem dat wetenschappers benaderd worden door journals om het werk van hun collega-wetenschappers, hun peers, te beoordelen. Dit werk is vaak een publicatie die ter plaatsing is aangeboden bij het tijdschrift, maar het kan ook om voorstellen gaan. Vaak vindt peer review ‘single blind‘ plaats. Dat wil zeggen: de referee weet wel de namen van de auteurs, maar de auteurs weten niet wie de referees zijn. Er zijn goede argumenten te geven voor waarom het proces zo is opgezet, maar blind review biedt kansen voor identiteitsfraude. En er zijn wetenschappers die in gat springen, zo blijkt.

Steun ons!

Mededeling

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Foto: Free stock photo from FreeImages copyright ok. Gecheckt 27-09-2022

Academische fraude geen verrassing

, door

Ik schreef, naar aanleiding van de Guttenberg-affaire, op 14 mei j.l. een stukje in het Handelsblad (hier). Ik wees erop dat het bizar was dat de frauderende doctor steeds in het nieuws terugkeerde, terwijl er meer mensen moesten zijn geweest die ervan geweten hadden. Ik wees er ook op dat dit dodelijk was voor het toch al sterk verminderende maatschappelijke vertrouwen in de universiteiten. Ik eindigde met:

Veel Nederlanders geloven de wetenschap niet langer. Wordt het, om het vertrouwen te herstellen, niet tijd voor een onafhankelijk onderzoek naar onze universiteiten? Of wachten we tot we ook in Nederland een affaire-Guttenberg meemaken?

Ik kreeg daarop verschillende reacties van mensen die zeiden dat ik het veel te somber inzag. Dit was slechts een incident, meenden ze. Ik meende van niet, en dat leidde tot een weddenschap. Inzet: één krat bier. Binnen drie jaar zou er, volgens mij, in Nederland een gepromoveerde wegens fraude in opspraak zijn. Mijn opponenten dachten dat zeker niet zou gebeuren.

Honderdzestien dagen na het publiceren van mijn stukje heb ik mijn krat bier al binnen. Gisteren, zo las ik, is de Tilburgse hoogleraar cognitieve sociale psychologie Diederik Stapel op non-actief gezet omdat hij in zijn publicaties gebruik zou hebben gemaakt van gefingeerde gegevens.