De afgelopen maanden heb ik het weer regelmatig met jullie gehad over de bijstandsexperimenten, en dan met name over de inhoud daarvan. En hoewel de inhoud natuurlijk het belangrijkst is, zou ik nu graag toch weer een moment nemen om het over ‘de wetenschap’ te hebben. En dan specifiek over mijn ervaringen tijdens mij promotietraject met het publicatieproces en peer review.
Peer review is, denk ik, vaak wel een nuttig iets. Zoals ik eerder in deze serie beschreef zit op de meeste wetenschappelijke publicaties wel een soort van een collegiale check. De strengheid van die check draagt vaak bij aan hoe serieus een wetenschappelijk artikel wordt genomen. De strengste vorm van zo’n collegiale check is de anonieme peer review, zoals gedaan bij wetenschappelijke tijdschriften. Die laten twee, drie of soms vier experts mee kijken naar een ingediend artikel. Die zorgen dat de echte rotzooi er tussenuit wordt gehaald, en dat de artikelen die uiteindelijk gepubliceerd worden naar een wat hoger niveau worden getild. De wederzijdse anonimiteit moet dan objectiviteit garanderen. Hier zitten wel de nodige haken en ogen aan. In semiwillekeurige volgorde een aantal waar ik me het meest aan stoor.
Hemeltergend traag
Geheel persoonlijk: wat duurt dat proces ongelooflijk irritant lang soms. Ik ben niet het geduldigste mens op aarde, dat speelt vast mee. Maar het proces van:
- passend wetenschappelijk tijdschrift zoeken
- tekst aanpassen aan journal in kwestie (bijvoorbeeld aantal woorden en citatiestijl)
- het insturen van het artikel met begeleidende brief en titelpagina en auteursoverzicht en etc. etc. etc., via een (vaak bewerkelijk) digitaal portal
- wachten tot editor laat weten of het goed genoeg is om door te sturen naar reviewers
- wachten tot reviewers zijn gevonden en die daadwerkelijk feedback hebben gegeven
- verwerken van die feedback
- terugsturen naar journal via dat ellendig portal
- wachten op nieuwe feedback
- nieuwe feedback verwerken
- hoera een publicatie!
… is op zichzelf al ellendig lang genoeg. Maar zo’n feest als hierboven beschreven is het in de praktijk helemaal niet. Het is veel erger. Naast af en toe nog een derde ronde wijzigingen is een veel groter probleem dat vaak ergens halverwege een afwijzing zit. Sorry, toch niet goed genoeg, of past toch niet, probeer het maar bij een ander journal.
Zonder moeite ben je zo een jaar verder. Los van dat dat irritant is, gaat er heel veel tijd zitten in het opnieuw indienen: nieuw journal zoeken, 2000 woorden schrappen want ander maximum aantal woorden, citatiestijl aanpassen, stuk eventueel iets herschrijven zodat het beter aansluit bij het nieuw gekozen tijdschrift. Vaak willen ze ook dat je een paar keer refereert naar onderzoek dat eerder in dat journal verscheen. En zo’n afwijzing en vervolgens opnieuw moeten gaan leuren gebeurt soms drie of vier keer, of nog vaker. Terwijl de uitkomst van het onderzoek echt niet anders wordt. Tijdschriften kunnen soms maar 5 tot 15 procent van de artikelen plaatsen die ze binnenkrijgen, dus heel veel afwijzingen zijn niet op basis van ‘slechte kwaliteit’ maar ‘gebrek aan capaciteit’. Dat betekent een obscene verspilling van tijd van wetenschappers wereldwijd, die teksten zitten te redigeren en administratie zitten te doen in plaats van dat ze wetenschappelijk zitten te wetenschappen for the benefit of all. Het betekent óók dat er een behoorlijke vertraging op zit voor een eventueel maatschappelijk nuttige wetenschappelijke vondst gedeeld kan worden met de wereld.
Zinnig?
En het zou op zich niet zo erg zijn als de feedback bij afwijzing altijd zinnig was, en een nieuwe versie van zo’n artikel door die feedback echt veel beter wordt. Maar dat brengt me bij een volgens probleem: de feedback van peers en editors is vaak nuttig, maar niet altijd. In één van mijn eerste bijdragen aan de serie ‘proef bijstand’, bijna 4 jaar geleden alweer, had ik daar met Bismarck een gesprek over in de comments. In het kort: je vindt in mijn ervaring zelden een expert op alle aspecten van een artikel. Als ik iets schrijf over de effecten van een bijstandsexperiment in Nederland op participatie, wat voor reviewers heb je dan nodig? Wetenschappers met ervaring met de gebruikte methode (in dit geval: zowel kwalitatief als statistisch)? Met kennis van het Nederlandse sociale stelsel en bijstandsbeleid? Met ervaring met dit onderzoeksdesign (sociaal experiment)? Met expertise op het gebied van de bestudeerde uitkomsten (in dit geval onder andere vrijwilligerswerk en mantelzorg)? Dat is natuurlijk zelden te vinden in enkele personen, die ook nog tijd en zin moeten hebben. Dat kan tot gevolg hebben dat bij de uiteindelijk reviewende peers expertise op enkele vlakken ontbreekt. En dat vanwege die ontbrekende kennis, zwakheden in een stuk niet geïdentificeerd worden (jammer voor de wetenschap). Of dat een artikel wordt afgewezen op basis van ondeugdelijke argumenten (ergerlijk voor de auteur, want die moet weer opnieuw gaan leuren – zie hierboven).
Soms, al gebeurt dat gelukkig niet zo vaak, slaat de feedback ook helemaal nergens op. Kan het opvolgen van de ongetwijfeld goedbedoelde adviezen leiden tot vertekende resultaten of foutieve interpretaties. Of wordt iets afgewezen “omdat het echt niet kan dat de auteurs niets zeggen over X” TERWIJL X VERDORIE MINSTENS TWEE KEER DUIDELIJK GENOEMD WORDT. (Geen frustratie hier hoor, neen, hoe komen jullie erbij?)
Vrijwillige uitbuiting & overige problemen
Wat me brengt bij een volgend probleem: peer reviewers doen hun werk gratis. Terwijl wetenschappelijke uitgeverijen krankzinnige winstmarges boeken, moeten wetenschappers het gewoon doen als onderdeel van hun baan. Behalve dat ze daar normaal gesproken geen uren voor krijgen. Het is dus vaak liefdewerk, en ergens is het dus best begrijpelijk dat de wetenschappers die reviewen te snel lezen en daarom iets missen, of heel veel tijd nodig hebben. Aan mensen buiten de wetenschap is het overigens moeilijk uitleggen waarom de hoogst opgeleide beroepsgroep ter wereld zich vrijwillig zo laat uitbuiten. Net als dat het lastig te begrijpen is dat we wetenschappers betalen van publiek geld, dat met publiek geld bekostigde onderzoek laten publiceren bij enkele stinkend rijke multinationals, die vervolgens nog een keer wetenschappers er naar laten kijken (wederom van publiek geld of onbetaald), en ze vervolgens dat werk kunnen verkopen aan onderzoeksinstellingen via abonnementen. En wil je als niet-wetenschapper een artikeltje lezen, bijvoorbeeld als ambtenaar die wil weten hoe iets zit? Hier kunt u 100 euro betalen om het door de overheid bekostigde onderzoek te lezen!
Tenslotte: de reviewers zijn ook mensen. Ze hebben soms stokpaardjes of belangen. Vinden een bepaalde onderzoeksmethode gewoon stom, en kunnen dat moeilijk scheiden van of het wetenschappelijk wel of niet ok is. Of willen zelf iets soortgelijks publiceren en willen niet dat het gras voor de voeten wordt weggemaaid. In een klein veld of bij een zeer specifiek onderwerp is anonimiteit ook niet gegarandeerd wanneer je elkaars naam niet weet. Laten we wel wezen: een anonieme wetenschapper die een stuk te lezen krijgt over het Nijmeegse bijstandsexperiment weet na 2 minuten Google met vrij grote zekerheid wie de waarschijnlijke auteurs zijn van het stuk. Ook is het zo dat het vaak lastig is om iets gepubliceerd te krijgen op interessante grensvlakken. Mixed methods (deels kwalitatief en deels kwantitatief) is vaak lastig omdat beide benaderingen een aantal enthousiastelingen kennen die de wederhelft echt helemaal niets vinden. Een onderzoek tussen twee disciplines krijgt vaak afwijzingen om dat de peers vaak uit één van beide komen en niet altijd iets kunnen met de andere helft (zonder dat daar valide wetenschappelijke overwegingen aan ten grondslag liggen).
Intermezzo: interactie met de lezer!
Omdat we hier op Sargasso graag interacteren met de lezer, wil ik ook nog even teruggrijpen op een recente comment van Ron Ritzen op het stukje Hoe werkt dat nou, die wetenschap? Hij linkte naar een hoogst amusant geschreven kritische beschouwing op het peer review systeem door ene Adam Mastroianni. Lees het vooral. Zonder af te willen doen aan alle terechte punten die gemaakt worden in dat artikel, wil ik toch enige kanttekeningen plaatsen bij sommige kritiek. Peer review is natuurlijk geen censuur, zoals Mastroianni het noemt. En als hij stelt dat uit onderzoek blijkt dat tussen de 25% en 30% van de grote fouten in artikelen worden gevonden in het peer review proces, is dat natuurlijk relatief weinig maar ook nog steeds beter dan 0%. Daarbij: naast het verwijderen van grote fouten maakt per review gepubliceerde stukken soms ook gewoon (wat) beter, door te wijzen op relevante maar gemiste bestaande onderzoeken of door wat extra tests te vragen die uiteindelijk net een ander licht op de zaak werpen. Verder claimt hij dat peer review legitimiteit geeft aan slechte onderzoeken, omdat ze door de peer review zijn gekomen, maar dat lijkt me niet houdbaar. Want tenzij je wil dat de wetenschap an sich geen legitimiteit heeft, zijn die slechte onderzoeken er ook gewoon in een wereld zonder peer review, en dan met 25 – 30% extra grote fouten. Ten slotte: de relatie die de schrijver legt tussen peer review en gruwelijk saai en klinisch geschreven stukken is interessant. Aan de ene kant zie ik ook dat als wetenschappers een keer een boek of een blog schrijven ze stukken beter en leuker blijven te kunnen schrijven dan ze doen in hun artikelen. Dat lijkt de stelling van Mastroianni te bevestigen. Tegelijkertijd heb ik het idee dat het ook voor een deel iets is van de gamma-wetenschappen, waar men hard hun best doet om maar zo veel mogelijk een echte ‘science’ te kunnen zijn. Heel klinisch schrijven, geen metaforen, woordherhaling op de koop toe nemen ‘omdat alles helemaal duidelijk moet zijn’. Ik heb het idee dat daar minstens een deel van het probleem zit, want bij de Letteren / in de Humaniora kunnen wetenschappers wél prima en leesbaar artikelen schrijven. Maar dat terzijde.
Conclusie: zit er nog een kind in het badwater?
“Het is ingewikkeld” is natuurlijk een beetje deprimerende dooddoener. Er is genoeg kritiek te geven op het huidige systeem van publiceren en peer review, en veel van die kritiek is terecht. De vraag is wel of er ergens in het badwater niet toch nog een kind verscholen zit dat beter niet weg gekieperd kan worden. Mijn eigen publicaties zijn wel degelijk ook beter geworden in laatste, gepubliceerde vorm, ten opzichte van de eerste versies. Als persoon kan het proces van peer review en het lange wachten heel ergerlijk zijn, maar het heeft toch nut. Of dat opweegt tegen alle verspilde uren van wetenschappers: misschien.
Ik ben zelf geloof ik nog niet zover geradicaliseerd (of geïrriteerd) dat ik voor zou willen stellen de hele bende maar af te schaffen. Maar dat is meer bij gebrek aan goed alternatief dan uit enthousiasme.