Peer review: ergernis en kwaliteitscontrole

De afgelopen maanden heb ik het weer regelmatig met jullie gehad over de bijstandsexperimenten, en dan met name over de inhoud daarvan. En hoewel de inhoud natuurlijk het belangrijkst is, zou ik nu graag toch weer een moment nemen om het over ‘de wetenschap’ te hebben. En dan specifiek over mijn ervaringen tijdens mij promotietraject met het publicatieproces en peer review. Peer review is, denk ik, vaak wel een nuttig iets. Zoals ik eerder in deze serie beschreef zit op de meeste wetenschappelijke publicaties wel een soort van een collegiale check. De strengheid van die check draagt vaak bij aan hoe serieus een wetenschappelijk artikel wordt genomen. De strengste vorm van zo’n collegiale check is de anonieme peer review, zoals gedaan bij wetenschappelijke tijdschriften. Die laten twee, drie of soms vier experts mee kijken naar een ingediend artikel. Die zorgen dat de echte rotzooi er tussenuit wordt gehaald, en dat de artikelen die uiteindelijk gepubliceerd worden naar een wat hoger niveau worden getild. De wederzijdse anonimiteit moet dan objectiviteit garanderen. Hier zitten wel de nodige haken en ogen aan. In semiwillekeurige volgorde een aantal waar ik me het meest aan stoor. Hemeltergend traag Geheel persoonlijk: wat duurt dat proces ongelooflijk irritant lang soms. Ik ben niet het geduldigste mens op aarde, dat speelt vast mee. Maar het proces van: - passend wetenschappelijk tijdschrift zoeken - tekst aanpassen aan journal in kwestie (bijvoorbeeld aantal woorden en citatiestijl) - het insturen van het artikel met begeleidende brief en titelpagina en auteursoverzicht en etc. etc. etc., via een (vaak bewerkelijk) digitaal portal - wachten tot editor laat weten of het goed genoeg is om door te sturen naar reviewers - wachten tot reviewers zijn gevonden en die daadwerkelijk feedback hebben gegeven - verwerken van die feedback - terugsturen naar journal via dat ellendig portal - wachten op nieuwe feedback - nieuwe feedback verwerken - hoera een publicatie! … is op zichzelf al ellendig lang genoeg. Maar zo’n feest als hierboven beschreven is het in de praktijk helemaal niet. Het is veel erger. Naast af en toe nog een derde ronde wijzigingen is een veel groter probleem dat vaak ergens halverwege een afwijzing zit. Sorry, toch niet goed genoeg, of past toch niet, probeer het maar bij een ander journal. Zonder moeite ben je zo een jaar verder. Los van dat dat irritant is, gaat er heel veel tijd zitten in het opnieuw indienen: nieuw journal zoeken, 2000 woorden schrappen want ander maximum aantal woorden, citatiestijl aanpassen, stuk eventueel iets herschrijven zodat het beter aansluit bij het nieuw gekozen tijdschrift. Vaak willen ze ook dat je een paar keer refereert naar onderzoek dat eerder in dat journal verscheen. En zo’n afwijzing en vervolgens opnieuw moeten gaan leuren gebeurt soms drie of vier keer, of nog vaker. Terwijl de uitkomst van het onderzoek echt niet anders wordt. Tijdschriften kunnen soms maar 5 tot 15 procent van de artikelen plaatsen die ze binnenkrijgen, dus heel veel afwijzingen zijn niet op basis van ‘slechte kwaliteit’ maar ‘gebrek aan capaciteit’. Dat betekent een obscene verspilling van tijd van wetenschappers wereldwijd, die teksten zitten te redigeren en administratie zitten te doen in plaats van dat ze wetenschappelijk zitten te wetenschappen for the benefit of all. Het betekent óók dat er een behoorlijke vertraging op zit voor een eventueel maatschappelijk nuttige wetenschappelijke vondst gedeeld kan worden met de wereld. Zinnig? En het zou op zich niet zo erg zijn als de feedback bij afwijzing altijd zinnig was, en een nieuwe versie van zo’n artikel door die feedback echt veel beter wordt. Maar dat brengt me bij een volgens probleem: de feedback van peers en editors is vaak nuttig, maar niet altijd. In één van mijn eerste bijdragen aan de serie ‘proef bijstand’, bijna 4 jaar geleden alweer, had ik daar met Bismarck een gesprek over in de comments. In het kort: je vindt in mijn ervaring zelden een expert op alle aspecten van een artikel. Als ik iets schrijf over de effecten van een bijstandsexperiment in Nederland op participatie, wat voor reviewers heb je dan nodig? Wetenschappers met ervaring met de gebruikte methode (in dit geval: zowel kwalitatief als statistisch)? Met kennis van het Nederlandse sociale stelsel en bijstandsbeleid? Met ervaring met dit onderzoeksdesign (sociaal experiment)? Met expertise op het gebied van de bestudeerde uitkomsten (in dit geval onder andere vrijwilligerswerk en mantelzorg)? Dat is natuurlijk zelden te vinden in enkele personen, die ook nog tijd en zin moeten hebben. Dat kan tot gevolg hebben dat bij de uiteindelijk reviewende peers expertise op enkele vlakken ontbreekt. En dat vanwege die ontbrekende kennis, zwakheden in een stuk niet geïdentificeerd worden (jammer voor de wetenschap). Of dat een artikel wordt afgewezen op basis van ondeugdelijke argumenten (ergerlijk voor de auteur, want die moet weer opnieuw gaan leuren – zie hierboven). Soms, al gebeurt dat gelukkig niet zo vaak, slaat de feedback ook helemaal nergens op. Kan het opvolgen van de ongetwijfeld goedbedoelde adviezen leiden tot vertekende resultaten of foutieve interpretaties. Of wordt iets afgewezen “omdat het echt niet kan dat de auteurs niets zeggen over X” TERWIJL X VERDORIE MINSTENS TWEE KEER DUIDELIJK GENOEMD WORDT. (Geen frustratie hier hoor, neen, hoe komen jullie erbij?) Vrijwillige uitbuiting & overige problemen Wat me brengt bij een volgend probleem: peer reviewers doen hun werk gratis. Terwijl wetenschappelijke uitgeverijen krankzinnige winstmarges boeken, moeten wetenschappers het gewoon doen als onderdeel van hun baan. Behalve dat ze daar normaal gesproken geen uren voor krijgen. Het is dus vaak liefdewerk, en ergens is het dus best begrijpelijk dat de wetenschappers die reviewen te snel lezen en daarom iets missen, of heel veel tijd nodig hebben. Aan mensen buiten de wetenschap is het overigens moeilijk uitleggen waarom de hoogst opgeleide beroepsgroep ter wereld zich vrijwillig zo laat uitbuiten. Net als dat het lastig te begrijpen is dat we wetenschappers betalen van publiek geld, dat met publiek geld bekostigde onderzoek laten publiceren bij enkele stinkend rijke multinationals, die vervolgens nog een keer wetenschappers er naar laten kijken (wederom van publiek geld of onbetaald), en ze vervolgens dat werk kunnen verkopen aan onderzoeksinstellingen via abonnementen. En wil je als niet-wetenschapper een artikeltje lezen, bijvoorbeeld als ambtenaar die wil weten hoe iets zit? Hier kunt u 100 euro betalen om het door de overheid bekostigde onderzoek te lezen! Tenslotte: de reviewers zijn ook mensen. Ze hebben soms stokpaardjes of belangen. Vinden een bepaalde onderzoeksmethode gewoon stom, en kunnen dat moeilijk scheiden van of het wetenschappelijk wel of niet ok is. Of willen zelf iets soortgelijks publiceren en willen niet dat het gras voor de voeten wordt weggemaaid. In een klein veld of bij een zeer specifiek onderwerp is anonimiteit ook niet gegarandeerd wanneer je elkaars naam niet weet. Laten we wel wezen: een anonieme wetenschapper die een stuk te lezen krijgt over het Nijmeegse bijstandsexperiment weet na 2 minuten Google met vrij grote zekerheid wie de waarschijnlijke auteurs zijn van het stuk. Ook is het zo dat het vaak lastig is om iets gepubliceerd te krijgen op interessante grensvlakken. Mixed methods (deels kwalitatief en deels kwantitatief) is vaak lastig omdat beide benaderingen een aantal enthousiastelingen kennen die de wederhelft echt helemaal niets vinden. Een onderzoek tussen twee disciplines krijgt vaak afwijzingen om dat de peers vaak uit één van beide komen en niet altijd iets kunnen met de andere helft (zonder dat daar valide wetenschappelijke overwegingen aan ten grondslag liggen). Intermezzo: interactie met de lezer! Omdat we hier op Sargasso graag interacteren met de lezer, wil ik ook nog even teruggrijpen op een recente comment van Ron Ritzen op het stukje Hoe werkt dat nou, die wetenschap? Hij linkte naar een hoogst amusant geschreven kritische beschouwing op het peer review systeem door ene Adam Mastroianni. Lees het vooral. Zonder af te willen doen aan alle terechte punten die gemaakt worden in dat artikel, wil ik toch enige kanttekeningen plaatsen bij sommige kritiek. Peer review is natuurlijk geen censuur, zoals Mastroianni het noemt. En als hij stelt dat uit onderzoek blijkt dat tussen de 25% en 30% van de grote fouten in artikelen worden gevonden in het peer review proces, is dat natuurlijk relatief weinig maar ook nog steeds beter dan 0%. Daarbij: naast het verwijderen van grote fouten maakt per review gepubliceerde stukken soms ook gewoon (wat) beter, door te wijzen op relevante maar gemiste bestaande onderzoeken of door wat extra tests te vragen die uiteindelijk net een ander licht op de zaak werpen. Verder claimt hij dat peer review legitimiteit geeft aan slechte onderzoeken, omdat ze door de peer review zijn gekomen, maar dat lijkt me niet houdbaar. Want tenzij je wil dat de wetenschap an sich geen legitimiteit heeft, zijn die slechte onderzoeken er ook gewoon in een wereld zonder peer review, en dan met 25 – 30% extra grote fouten. Ten slotte: de relatie die de schrijver legt tussen peer review en gruwelijk saai en klinisch geschreven stukken is interessant. Aan de ene kant zie ik ook dat als wetenschappers een keer een boek of een blog schrijven ze stukken beter en leuker blijven te kunnen schrijven dan ze doen in hun artikelen. Dat lijkt de stelling van Mastroianni te bevestigen. Tegelijkertijd heb ik het idee dat het ook voor een deel iets is van de gamma-wetenschappen, waar men hard hun best doet om maar zo veel mogelijk een echte ‘science’ te kunnen zijn. Heel klinisch schrijven, geen metaforen, woordherhaling op de koop toe nemen ‘omdat alles helemaal duidelijk moet zijn’. Ik heb het idee dat daar minstens een deel van het probleem zit, want bij de Letteren / in de Humaniora kunnen wetenschappers wél prima en leesbaar artikelen schrijven. Maar dat terzijde. Conclusie: zit er nog een kind in het badwater? “Het is ingewikkeld” is natuurlijk een beetje deprimerende dooddoener. Er is genoeg kritiek te geven op het huidige systeem van publiceren en peer review, en veel van die kritiek is terecht. De vraag is wel of er ergens in het badwater niet toch nog een kind verscholen zit dat beter niet weg gekieperd kan worden. Mijn eigen publicaties zijn wel degelijk ook beter geworden in laatste, gepubliceerde vorm, ten opzichte van de eerste versies. Als persoon kan het proces van peer review en het lange wachten heel ergerlijk zijn, maar het heeft toch nut. Of dat opweegt tegen alle verspilde uren van wetenschappers: misschien. Ik ben zelf geloof ik nog niet zover geradicaliseerd (of geïrriteerd) dat ik voor zou willen stellen de hele bende maar af te schaffen. Maar dat is meer bij gebrek aan goed alternatief dan uit enthousiasme.

Door: Foto: Eigen foto Proefschrift bijstandsexperiment Nijmegen

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: Fibonacci Blue (cc)

Worden Nederlandse moslims bij wet tweederangsburgers?

‘De aanpassing van de Rijkswet op het Nederlanderschap heeft de weg geplaveid voor de PVV om met een simpele uitbreiding van de Rijkswet niet alleen jihadisme te bestraffen, maar ook de Nederlandse nationaliteit in te trekken van in Nederland woonachtige moslims die zich niet houden aan de Nederlandse wet- en regelgeving.’ Dat schrijft Walter Palm, die 35 jaar als ambtenaar ministers adviseerde over het integratiebeleid.

Toen ik in 2019 mijn essay Het sluipend gif van islamofobie, 1989-2019 publiceerde kon ik niet bevroeden dat vier jaar later een islamofobe partij de grootste zou worden in Nederland. In paragraaf 4.3 van dit essay heb ik Geert Wilders als volgt gekarakteriseerd:

‘Hij is de grote verdediger van vrijheid van meningsuiting, maar hij wil ook de Koran verbieden’. ‘Bij de Algemene Politieke Beschouwingen op 17 september 2015 verweet hij de Tweede Kamer een nep-parlement te zijn, maar zelf heeft hij een nep-politieke partij waarvan hij het enige lid is’. ‘Wilders eist … respect voor de minderheid van de kiezers die voor hem gekozen hebben, maar betoont zelf geen respect voor de islamitische minderheid in Nederland’. ‘Hij noemt zijn partij de partij voor de vrijheid, maar hij ontzegt moslims vrijheid van godsdienst en vrijheid van onderwijs’. ‘De strakke organisatiestructuur van de PVV gaat uit van het ‘Führerprinzip’. Een sterke leider die in direct contact zou staan met het volk en die simplistische oplossingen aandraagt voor gecompliceerde vraagstukken. De sterke leider roept ontegenzeggelijk associaties op met vooroorlogse fascistische bewegingen’ ‘Op 29 januari 2016 sloeg hij dreigende taal uit: ‘Als ik straks de grootste ben en andere politici willen niet met mij samenwerken, dan zullen de mensen dat niet accepteren. Dan komt er een revolte. Wij laten dat niet gebeuren’’.

Foto: fotdmike (cc)

Nederland en Israël al jaren wapenbroeders

ACHTERGROND - Het oplaaiende geweld in Israël en Palestina in de herfst van dit jaar zet de schijnwerper voluit op de gevolgen van de decennialange bezettings- en apartheidspolitiek van Israël. Terwijl de bevolking in Gaza zwaar te lijden heeft onder het geweld van het Israëlische leger en het afsluiten van toegang tot eerste levensbehoeften was de Nederlandse regering er snel bij om de gruwelijke aanval van Hamas scherp te veroordelen. De uitgesproken onvoorwaardelijke solidariteit met Israël staat in scherp contrast hiermee. Die krijgt ook vorm in Nederlandse betrokkenheid bij Israëlische bewapening en banden met de wapenindustrie in dat land, schrijft Mark Akkerman (Stop Wapenhandel).

Nederland voert sinds het begin van deze eeuw een ‘restrictief’ wapenexportbeleid jegens Israël, waarbij in principe geen wapenleveringen worden toegestaan tenzij duidelijk is dat deze niet bij mensenrechtenschendingen, in het bijzonder in Gaza en de Westbank, gebruikt kunnen worden. De rechtstreekse Nederlandse wapenuitvoer naar Israël is dan ook relatief beperkt, de waarde ervan over het laatste decennium bedraagt nog geen 20 miljoen euro. Opmerkelijk is wel dat meer dan de helft hiervan voor rekening komt van de export van ‘delen voor geleide projectielen en raketmotoren’ in 2022, waarbij niet duidelijk is wat dit precies inhoudt. In datzelfde jaar verkoopt de Nederlandse krijgsmacht ook overtollige munitie aan het Israëlische wapenbedrijf Rafael. Maar dat is niet het hele verhaal.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Closing Time | Where You Been?

Matthew Scott heeft een Youtube-kanaal waar hij zijn liefde voor oude gitaren deelt. Zo zien we hem onder andere een afgetakelde Gibson uit 1954 opknappen.

Scott kan echter ook een aardig partijtje spelen, zo blijkt.

Foto: Rob Bogaerts - Anefo, CC0, via Wikimedia Commons.

Koehandel met asielzoekers

De gemeente Amsterdam wil 1200 asielzoekers opvangen, als de andere 48 Noord-Hollandse gemeenten 1200 statushouders (asielzoekers met verblijfvergunning) gaan opvangen. De demissionaire bewindslieden Hugo de Jonge (minister Binnenlandse Zaken) en Eric van der Burg (staatssecretaris Asiel) lieten weten dat een goed idee te vinden.

RTL Nieuws kreeg een vertrouwelijke brief van de bewindslieden aan de provinciale regietafel (PRT) te pakken. Die brief is 19 december 2023 verstuurd. Op 5 januari berichtte RTL Nieuws er over. Nog dezelfde dag stelde BBB-Kamerlid Mona Keijzer (inwoner van de Noord-Hollandse gemeente Edam-Volendam) 37 schriftelijke vragen aan de bewindslieden.

De gemeente Amsterdam vangt momenteel ongeveer 3700 asielzoekers op, verspreid over tien locaties. Daar valt één regulier AZC (asielzoekerscentrum) onder, waar 700 mensen worden opgevangen. De overige negen locaties zijn allen noodopvang (4 x) of tijdelijke opvang (5 x) in zeven hotels, één voormalig kantoorpand en  één cruiseschip (met 1500 plaatsen).

Wat de huisvesting van vergunninghouders betreft had de gemeente Amsterdam op 1 januari 2024 een achterstand van 1360 mensen. Samen met 31 andere Noord-Hollandse gemeenten (waaronder Edam-Volendam) gaat het om een achterstand van 1859 mensen. Slecht 12 Noord-Hollandse gemeenten lopen met 228 mensen voor op de taakstelling die ze hebben gekregen.

Foto: DALL·E A dystopian future intertwined with European symbols featuring AI technology, the European Union flag and futuristic cityscapes

De onmogelijke dystopische maatschappij

COLUMN - Een van de meest absurde ideeën over deze wereld van 2024 stond 3 januari als hoofdartikel afgedrukt in NRC. Het gaat over de nieuwe Europese wetgeving over kunstmatige intelligentie:

Het totaalpakket dat in december rondkwam is stevig. Kunstmatige intelligentie wordt zo aan banden gelegd dat een dystopische maatschappij onmogelijk gemaakt wordt. Ongerichte gezichtsherkenningssystemen, sociale kredietscores, AI-tools die op het werk of op school emoties manipuleren en vrije wil ondermijnen worden verboden. Er zullen ook nieuwe toezichthoudende en adviserende instanties worden opgericht om grip te houden op toekomstige ontwikkelingen.

Aan de ene kant wordt dus aan kunstmatige intelligentie de macht toegeschreven om een dystopische maatschappij te veroorzaken. Aan de andere kant wordt Europese wetgeving geacht zo’n maatschappij onmogelijk te maken. Onmogelijk!

Hoera, nooit meer een dystopie, dankzij de Europese regels. En natuurlijk dankzij toezichthoudende en adviserende instanties.

Niet te regelen

Voor de duidelijkheid: het lijkt me goed dat er geprobeerd wordt om de ontwikkelingen in de kunstmatige intelligentie te reguleren. Er zijn grote problemen mee – naar mijn idee vooral omdat de huidige succesvolle systemen zo vreselijk duur zijn dat ze alleen maar door grote, meest Amerikaanse, bedrijven gemaakt kunnen worden. Zelfs de rijkste Amerikaanse universiteit heeft niet genoeg geld om het na te maken en zo meer onder publieke controle te krijgen. Om gebruik te kunnen maken van die nieuwe technologie moet je dus als burger je hebben en houwen overgeven aan die bedrijven.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Closing Time | Magic Bus

Alice Cooper weet een leuk verhaal te vertellen over de drummer van The Who, Keith Moon. Moon logeerde op enig moment een week bij Cooper en diens echtgenote. Die bleven uiteraard niet de hele dag thuis zitten.

Op zekere dag kwamen ze terug naar huis. Stond Moon daar in een Frans dienstmeisjeskostuum de woonkamer af te stoffen. ‘Wie is die kerel?’, vroeg mevrouw Cooper.

Ik weet niet of Moon daarna nog eens bij de familie Cooper heeft gelogeerd.

Closing Time | Crush

Met zo’n bandnaam vang je uiteraard wel de aandacht. Cigarettes after Sex is een dreampopband uit Texas die zich onder meer laat inspireren door Françoise Hardy, Julee Cruise en de Cocteau Twins.

Closing Time | The Bluest Blues

Het album Nineteen Ninety-Four (1993) werd in de Verenigde Staten uitgebracht onder de titel I Hear You Rockin’ en in 2021 nog eens heruitgebracht onder de titel Keep On Rockin’.

George Harrison van Beatles-faam speelt in deze opname ook nog een deuntje mee (de gitaarsolo is van hem).

 

Vorige Volgende