ACHTERGROND - De afgelopen maanden heb ik het weer regelmatig met jullie gehad over de bijstandsexperimenten, en dan met name over de inhoud daarvan. En hoewel de inhoud natuurlijk het belangrijkst is, zou ik nu graag toch weer een moment nemen om het over ‘de wetenschap’ te hebben. En dan specifiek over mijn ervaringen tijdens mij promotietraject met het publicatieproces en peer review.
Peer review is, denk ik, vaak wel een nuttig iets. Zoals ik eerder in deze serie beschreef zit op de meeste wetenschappelijke publicaties wel een soort van een collegiale check. De strengheid van die check draagt vaak bij aan hoe serieus een wetenschappelijk artikel wordt genomen. De strengste vorm van zo’n collegiale check is de anonieme peer review, zoals gedaan bij wetenschappelijke tijdschriften. Die laten twee, drie of soms vier experts mee kijken naar een ingediend artikel. Die zorgen dat de echte rotzooi er tussenuit wordt gehaald, en dat de artikelen die uiteindelijk gepubliceerd worden naar een wat hoger niveau worden getild. De wederzijdse anonimiteit moet dan objectiviteit garanderen. Hier zitten wel de nodige haken en ogen aan. In semiwillekeurige volgorde een aantal waar ik me het meest aan stoor.
Hemeltergend traag
Geheel persoonlijk: wat duurt dat proces ongelooflijk irritant lang soms. Ik ben niet het geduldigste mens op aarde, dat speelt vast mee. Maar het proces van:
– passend wetenschappelijk tijdschrift zoeken
– tekst aanpassen aan journal in kwestie (bijvoorbeeld aantal woorden en citatiestijl)
– het insturen van het artikel met begeleidende brief en titelpagina en auteursoverzicht en etc. etc. etc., via een (vaak bewerkelijk) digitaal portal
– wachten tot editor laat weten of het goed genoeg is om door te sturen naar reviewers
– wachten tot reviewers zijn gevonden en die daadwerkelijk feedback hebben gegeven
– verwerken van die feedback
– terugsturen naar journal via dat ellendig portal
– wachten op nieuwe feedback
– nieuwe feedback verwerken
– hoera een publicatie!
… is op zichzelf al ellendig lang genoeg. Maar zo’n feest als hierboven beschreven is het in de praktijk helemaal niet. Het is veel erger. Naast af en toe nog een derde ronde wijzigingen is een veel groter probleem dat vaak ergens halverwege een afwijzing zit. Sorry, toch niet goed genoeg, of past toch niet, probeer het maar bij een ander journal.
Zonder moeite ben je zo een jaar verder. Los van dat dat irritant is, gaat er heel veel tijd zitten in het opnieuw indienen: nieuw journal zoeken, 2000 woorden schrappen want ander maximum aantal woorden, citatiestijl aanpassen, stuk eventueel iets herschrijven zodat het beter aansluit bij het nieuw gekozen tijdschrift. Vaak willen ze ook dat je een paar keer refereert naar onderzoek dat eerder in dat journal verscheen. En zo’n afwijzing en vervolgens opnieuw moeten gaan leuren gebeurt soms drie of vier keer, of nog vaker. Terwijl de uitkomst van het onderzoek echt niet anders wordt. Tijdschriften kunnen soms maar 5 tot 15 procent van de artikelen plaatsen die ze binnenkrijgen, dus heel veel afwijzingen zijn niet op basis van ‘slechte kwaliteit’ maar ‘gebrek aan capaciteit’. Dat betekent een obscene verspilling van tijd van wetenschappers wereldwijd, die teksten zitten te redigeren en administratie zitten te doen in plaats van dat ze wetenschappelijk zitten te wetenschappen for the benefit of all. Het betekent óók dat er een behoorlijke vertraging op zit voor een eventueel maatschappelijk nuttige wetenschappelijke vondst gedeeld kan worden met de wereld.
Zinnig?
En het zou op zich niet zo erg zijn als de feedback bij afwijzing altijd zinnig was, en een nieuwe versie van zo’n artikel door die feedback echt veel beter wordt. Maar dat brengt me bij een volgens probleem: de feedback van peers en editors is vaak nuttig, maar niet altijd. In één van mijn eerste bijdragen aan de serie ‘proef bijstand’, bijna 4 jaar geleden alweer, had ik daar met Bismarck een gesprek over in de comments. In het kort: je vindt in mijn ervaring zelden een expert op alle aspecten van een artikel. Als ik iets schrijf over de effecten van een bijstandsexperiment in Nederland op participatie, wat voor reviewers heb je dan nodig? Wetenschappers met ervaring met de gebruikte methode (in dit geval: zowel kwalitatief als statistisch)? Met kennis van het Nederlandse sociale stelsel en bijstandsbeleid? Met ervaring met dit onderzoeksdesign (sociaal experiment)? Met expertise op het gebied van de bestudeerde uitkomsten (in dit geval onder andere vrijwilligerswerk en mantelzorg)? Dat is natuurlijk zelden te vinden in enkele personen, die ook nog tijd en zin moeten hebben. Dat kan tot gevolg hebben dat bij de uiteindelijk reviewende peers expertise op enkele vlakken ontbreekt. En dat vanwege die ontbrekende kennis, zwakheden in een stuk niet geïdentificeerd worden (jammer voor de wetenschap). Of dat een artikel wordt afgewezen op basis van ondeugdelijke argumenten (ergerlijk voor de auteur, want die moet weer opnieuw gaan leuren – zie hierboven).
Soms, al gebeurt dat gelukkig niet zo vaak, slaat de feedback ook helemaal nergens op. Kan het opvolgen van de ongetwijfeld goedbedoelde adviezen leiden tot vertekende resultaten of foutieve interpretaties. Of wordt iets afgewezen “omdat het echt niet kan dat de auteurs niets zeggen over X” TERWIJL X VERDORIE MINSTENS TWEE KEER DUIDELIJK GENOEMD WORDT. (Geen frustratie hier hoor, neen, hoe komen jullie erbij?)
Vrijwillige uitbuiting & overige problemen
Wat me brengt bij een volgend probleem: peer reviewers doen hun werk gratis. Terwijl wetenschappelijke uitgeverijen krankzinnige winstmarges boeken, moeten wetenschappers het gewoon doen als onderdeel van hun baan. Behalve dat ze daar normaal gesproken geen uren voor krijgen. Het is dus vaak liefdewerk, en ergens is het dus best begrijpelijk dat de wetenschappers die reviewen te snel lezen en daarom iets missen, of heel veel tijd nodig hebben. Aan mensen buiten de wetenschap is het overigens moeilijk uitleggen waarom de hoogst opgeleide beroepsgroep ter wereld zich vrijwillig zo laat uitbuiten. Net als dat het lastig te begrijpen is dat we wetenschappers betalen van publiek geld, dat met publiek geld bekostigde onderzoek laten publiceren bij enkele stinkend rijke multinationals, die vervolgens nog een keer wetenschappers er naar laten kijken (wederom van publiek geld of onbetaald), en ze vervolgens dat werk kunnen verkopen aan onderzoeksinstellingen via abonnementen. En wil je als niet-wetenschapper een artikeltje lezen, bijvoorbeeld als ambtenaar die wil weten hoe iets zit? Hier kunt u 100 euro betalen om het door de overheid bekostigde onderzoek te lezen!
Tenslotte: de reviewers zijn ook mensen. Ze hebben soms stokpaardjes of belangen. Vinden een bepaalde onderzoeksmethode gewoon stom, en kunnen dat moeilijk scheiden van of het wetenschappelijk wel of niet ok is. Of willen zelf iets soortgelijks publiceren en willen niet dat het gras voor de voeten wordt weggemaaid. In een klein veld of bij een zeer specifiek onderwerp is anonimiteit ook niet gegarandeerd wanneer je elkaars naam niet weet. Laten we wel wezen: een anonieme wetenschapper die een stuk te lezen krijgt over het Nijmeegse bijstandsexperiment weet na 2 minuten Google met vrij grote zekerheid wie de waarschijnlijke auteurs zijn van het stuk. Ook is het zo dat het vaak lastig is om iets gepubliceerd te krijgen op interessante grensvlakken. Mixed methods (deels kwalitatief en deels kwantitatief) is vaak lastig omdat beide benaderingen een aantal enthousiastelingen kennen die de wederhelft echt helemaal niets vinden. Een onderzoek tussen twee disciplines krijgt vaak afwijzingen om dat de peers vaak uit één van beide komen en niet altijd iets kunnen met de andere helft (zonder dat daar valide wetenschappelijke overwegingen aan ten grondslag liggen).
Intermezzo: interactie met de lezer!
Omdat we hier op Sargasso graag interacteren met de lezer, wil ik ook nog even teruggrijpen op een recente comment van Ron Ritzen op het stukje Hoe werkt dat nou, die wetenschap? Hij linkte naar een hoogst amusant geschreven kritische beschouwing op het peer review systeem door ene Adam Mastroianni. Lees het vooral. Zonder af te willen doen aan alle terechte punten die gemaakt worden in dat artikel, wil ik toch enige kanttekeningen plaatsen bij sommige kritiek. Peer review is natuurlijk geen censuur, zoals Mastroianni het noemt. En als hij stelt dat uit onderzoek blijkt dat tussen de 25% en 30% van de grote fouten in artikelen worden gevonden in het peer review proces, is dat natuurlijk relatief weinig maar ook nog steeds beter dan 0%. Daarbij: naast het verwijderen van grote fouten maakt per review gepubliceerde stukken soms ook gewoon (wat) beter, door te wijzen op relevante maar gemiste bestaande onderzoeken of door wat extra tests te vragen die uiteindelijk net een ander licht op de zaak werpen. Verder claimt hij dat peer review legitimiteit geeft aan slechte onderzoeken, omdat ze door de peer review zijn gekomen, maar dat lijkt me niet houdbaar. Want tenzij je wil dat de wetenschap an sich geen legitimiteit heeft, zijn die slechte onderzoeken er ook gewoon in een wereld zonder peer review, en dan met 25 – 30% extra grote fouten. Ten slotte: de relatie die de schrijver legt tussen peer review en gruwelijk saai en klinisch geschreven stukken is interessant. Aan de ene kant zie ik ook dat als wetenschappers een keer een boek of een blog schrijven ze stukken beter en leuker blijven te kunnen schrijven dan ze doen in hun artikelen. Dat lijkt de stelling van Mastroianni te bevestigen. Tegelijkertijd heb ik het idee dat het ook voor een deel iets is van de gamma-wetenschappen, waar men hard hun best doet om maar zo veel mogelijk een echte ‘science’ te kunnen zijn. Heel klinisch schrijven, geen metaforen, woordherhaling op de koop toe nemen ‘omdat alles helemaal duidelijk moet zijn’. Ik heb het idee dat daar minstens een deel van het probleem zit, want bij de Letteren / in de Humaniora kunnen wetenschappers wél prima en leesbaar artikelen schrijven. Maar dat terzijde.
Conclusie: zit er nog een kind in het badwater?
“Het is ingewikkeld” is natuurlijk een beetje deprimerende dooddoener. Er is genoeg kritiek te geven op het huidige systeem van publiceren en peer review, en veel van die kritiek is terecht. De vraag is wel of er ergens in het badwater niet toch nog een kind verscholen zit dat beter niet weg gekieperd kan worden. Mijn eigen publicaties zijn wel degelijk ook beter geworden in laatste, gepubliceerde vorm, ten opzichte van de eerste versies. Als persoon kan het proces van peer review en het lange wachten heel ergerlijk zijn, maar het heeft toch nut. Of dat opweegt tegen alle verspilde uren van wetenschappers: misschien.
Ik ben zelf geloof ik nog niet zover geradicaliseerd (of geïrriteerd) dat ik voor zou willen stellen de hele bende maar af te schaffen. Maar dat is meer bij gebrek aan goed alternatief dan uit enthousiasme.
Reacties (14)
Publicaties worden pas echt sexy als ze gerepliceerd worden. Dat kost nog meer tijd en geld en je wordt steeds niet uitgenodigd bij het verdelen van de (Nobel)prijzen. Dus tenzij het een opzienbarende doorbraak is gebeurt dat vaak niet, Zonder replicatie is een beetje vakkundige fraude moeilijk tot niet vast te stellen, helemaal in de wat zachtere wetenschappen. Diederik Stapel werd bijvoorbeeld niet door zijn peer reviewers ontmaskerd maar zijn ondergeschikten. Daarnaast heb je tegenwoordig ook nog het enorme volume van baggeruitgevers, vooral uit Azië, die soms niet eens een peer maar een pay ‘review’ hebben. Publicaties als eenheid van prestatie van wetenschappers is problematisch.
Jep. Nuttige aanvullingen, dank.
Vaak willen ze ook dat je een paar keer refereert naar onderzoek dat eerder in dat journal verscheen.
Dus die tijdschriften willen gewoon dat je hun citatie-index opkrikt?
“Wij zijn het tijdschrift dat het meest geciteerd wordt!”
Dat is de wat cynische versie. Maar eh, ja, dat kan meespelen. De vriendelijkere versie is dat, als er al een discussie in een tijdschrift loopt over een bepaald onderwerp, dat tijdschrift graag wil dat je daar bij aansluit. Valt ook wel wat voor te zeggen, bijvoorbeeld voor de vaste abonnees.
(ik schrijf liever “tijdschrift” dan “journal”)
Terzijde, voor de openheid: ja, ik ben zelf ook een aantal keer gevraagd als reviewer. Als het ging over de Nederlandse bijstandsexperimenten heb ik ja gezegd, en braaf binnen de tijd uitgebreid en in detail gereageerd. Bij een artikel over de bijstand in een ander land waar ik de context niet ken en aan de hand van een theoretisch kader waar ik niet bekend mee ben, heb ik geweigerd, omdat ik vond dat me de expertise ontbrak.
Ik begrijp dat aanpassen aan de stijl van een tijdschrift niet, er zijn zat standaarden waarmee je een document perfect kan opmaken (inclusief citatiestijl), waarna een redacteur van een tijdschrift het met een klik op een knop omzet naar de eigen opmaak.
Sommige hanteren een standaard format van kopjes (meestal iets van inleiding / theorie / methode / resultaten / conclusie), maar die zijn niet altijd precies zo (sommige vakgebieden hebben vaak geen theory sectie maar daar zit dat bij de inleiding). Als je van de ene naar de andere indeling moet is dat werk, ook als je van een vrije naar een voorgeschreven indeling moet. Sommige tijdschriften hebben ook formats voor de inleiding, of vragen (extra) kadertjes die je in moet vullen.
Als het gaat om citaties/referenties: er zijn idd citatie en referentie tools waarmee je dat kan fixen als je die gebruikt. Maar eh, sommige mensen vinden dat teveel moeite om uit te zoeken hoe dat precies werkt, en dan is het later werk als je van stijl moet switchen (mhhh, misschien moet ik toch een keer de tijd investeren om zo’n tool te leren gebruiken, want hier heb ik zelf invloed op).
Wat betreft ‘de redacteur kan het omzetten: ze vragen de schrijvers van het artikel om alles volledig aan te passen aan de eisen van het tijdschrift, die redacteur die doet niets van dat.
Weet ik, en dat maakt het nog meer kaakzakkend.
Ik mis iets in je verhaal: zelf werk ik pas een paar jaar binnen het academische wereldje. En ik zie de nodige cv’s de revue passeren.
Wat mij opvalt, is hoe men met een cv omgaat. Een onderdeel daarvan zijn de publicaties die iemand erop heeft staan. Dat werkt, zoals ik het zie, gunstig voor de wetenschapper omdat deze zich onderwerpt aan die peer reviews. Hoe meer, hoe beter want dat betekent ook acceptatie in bredere kring. Dat een universiteit/faculteit hiermee ook haar prestige kan verhogen, wordt als een pluspunt ervaren. En dan kan er natuurlijk ook meer geld binnen gehengeld worden. En de schrijver krijgt naast de waardering ook een prachtige cv, die daarna onderdeel wordt van het promotiecircus …
Zie ik dat goed? Of ben ik te cynisch?
Ja, ik denk dat je het goed ziet dat (peer reviewed) heel belangrijk zijn voor (het cv van) een wetenschapper. Ik denk overigens niet dat dat per se slecht is, want het zegt meestal wel /iets/ over de kwaliteit van een wetenschapper als hij veel gepubliceerd heeft in peer reviewed tijdschriften. Het probleem is echter dat men is doorgeslagen in hoe ‘kwaliteit’ gezien wordt in de wetenschap. Daarbij is kwantiteit (aantal publicaties, aantal citaties, de ranking van de tijdschriften waarin gepubliceerd wordt) bepalend geworden voor het vaststellen van die kwaliteit. En daarmee beslissend voor het krijgen van beurzen, voor het krijgen van een nieuwe of verbeterde aanstelling of vast contract (daarvoor is het binnenhalen van beurzen ook weer belangrijk), en bij onderzoeksvisitaties. En dan gaan die cijfertjes een eigen leven leiden en worden ze een doel op zich (en zijn ze manipuleerbaar, en wordt het hebben van een hoge ‘h-index’ voor sommigen belangrijker dan het doen van nuttig onderzoek).
De andere kant is dat wanneer je twee wetenschappers hebt in een veld waarin het gebruikelijk is om te publiceren in peer reviewed journals en de een heeft in 3 jaar vijf van zo’n publicaties en de ander nul en alleen een paar publicaties in vakbladen, dat ook wel weer wat kan zeggen.
Er is nu een soort van omslag bezig in de wetenschap, om het wat meer te kijken naar de kwaliteit achter de cijfers (onder het mom van ‘erkennen en waarderen’ in Nederland) maar daar zijn ze nog niet zo heel ver mee.
Ik kon er even niet opkopen toen ik bovenstaande tikte, maar zie ook de wet van Goodhart en de wet van Campbell:
https://en.wikipedia.org/wiki/Goodhart%27s_law
https://en.wikipedia.org/wiki/Campbell%27s_law
“Er is nu een soort van omslag bezig in de wetenschap, om het wat meer te kijken naar de kwaliteit achter de cijfers (onder het mom van ‘erkennen en waarderen’ in Nederland) maar daar zijn ze nog niet zo heel ver mee.”
Je merkt zelf terecht al op dat er verschil is in kwantiteit en kwaliteit. Maar daarnaast zie je ook dat de workload verschilt: sommigen hoeven minder onderwijstaken uit te voeren en dat vertaald zich dan in meer tijd voor onderzoek. En natuurlijke zijn er de mindere goden, die het niet allemaal komt aanwaaien en meer moeite hebben om iets op papier te krijgen.
Ik kan alleen maar voor de mensen hopen dat die omslag snel genoeg plaats gaat vinden, want ik zie nu te vaak dat mensen afbranden omdat ze bezwijken onder de onbalans die er nu is.
Jep, dat is inderdaad ook zuur: momenteel is ‘onderzoek’ meestal vooral datgene wat beloond wordt, carrièretechnisch. Maar wetenschappers geven ook onderwijs, wat betekent dat als jij 20% onderzoek 80% onderwijs hebt en veel collega’s hebben 50% / 50%, jij het bokje bent als het gaat om een bevordering/vaste aanstelling/beurs etc. Waardoor veel mensen in hun eigen tijd gaan zitten werken om bij te blijven qua publicaties. Maar diegenen met veel onderzoekstijd doen dat vaak óók, want veel ambitieuze vakidioten in dat wereldje.
Dus ja, eens dat die omslag (waarbij je bijvoorbeeld ook carrière moet kunnen maken op onderwijs, management of valorisatie (excuses voor het jargon)) zsm mag komen, de hoeveelheid opgebrande mensen aan de uni’s is al ruimte tijd zorgwekkend (en eigenlijk best schandalig).