Perverse trends in de wetenschap

ANALYSE - Zwarte schapen heb je overal, ook in de wetenschap. Toch is er in dit werkveld wel meer aan de hand. De drang te scoren is zorgwekkend.

Recentelijk zijn er enkele schandalen in de wetenschap geweest die de media hebben gehaald. Een psycholoog wist met verzonnen data reviewers van internationale tijdschriften te passeren en kon er carrière mee maken en een jurist publiceerde een leerboek met hoofdstukken van andere auteurs zonder hun namen te vermelden. Eigenlijk niets bijzonders. Het zou immers naïef zijn te denken dat er in de wetenschap geen zwarte schapen rondlopen. Potsierlijk zijn wel de pogingen van universiteitsbestuurders één en ander nog goed te praten, zoals is gebeurd met dat juridische leerboek.

Zorgerlijker is een aantal algemenere ontwikkelingen, die allemaal verband houden met de pressie op een specifieke manier te ‘scoren’. Om te scoren worden veel wetenschappers steeds opportunistischer, wordt het aantal nietszeggende artikelen groter, vieren systematisch slordige referenties hoogtij en neemt strategisch publiceren in groepsverband gestaag toe – één hoofdauteur en twee à vijf meelifters met bij volgende keren omgedraaide rollen. Dit zijn trends in de sociale wetenschappen en de economie.

Engels superieur

Dat je onderwijs moet geven, onderzoek moet verrichten en publiceren is vanzelfsprekend. Toch is met dat laatste iets aan de hand, want er zijn publicaties in soorten. Het meest tellend zijn internationale, Engelstalige vaktijdschriften die manuscripten anoniem laten reviewen. Artikelen in het Nederlands, Duits of Frans tellen minder – ook al worden ze gereviewd – boeken hebben ook minder prestige en bundelbijdragen – wederom: zelfs als ze gereviewd zijn – staan onderaan de ladder. Recensies en stukjes in ongereviewde tijdschriften schrijven is pure tijdverspilling.

Met het hoge prestige van internationale vaktijdschriften is niets mis. Met de privilegering van het Engels wordt het echter al dubieus. Op publicaties in deze bladen en citaties van die publicaties zijn allerlei ranglijsten van universiteiten en faculteiten gebaseerd, die regelmatig in de universitaire mededelingen worden vermeld. Angelsaksische universiteiten zijn altijd top (uiteraard niet allemaal), en Scandinavische en Nederlandse scoren goed. Altijd weer leuk om je een keer op de borst te mogen kloppen. Duitse, Franse en Japanse universiteiten bungelen ergens middenin de ranglijsten. Zij zijn slachtoffer van hun groot taalgebied en de gewoonte regelmatig in hun eigen taal te publiceren. Wanneer het om het innovatieve vermogen van economieën gaat, onder meer dus de praktische relevantie van wetenschap, krijg je echter ranglijsten waar naast de VS en Scandinavië (dat overal hoog scoort) ook Duitsland en Japan hoog genoteerd staan, maar het VK en Nederland niet in de top zitten (zie het vrij gedifferentieerde Innovatiescore­board van Pro Inno/Eurostat). Dat relativeert de eenzijdige concentratie op Engelstalige bladen.

Impact factor

Wat zijn dan de perverse trends? Met de verplichting in kwaliteitsbladen te publiceren en met peer reviewing is op zich niets mis. Men kan er veel op afdingen, maar ik zou niet we­ten wat het alternatief voor de vaststelling van kwaliteit zou zijn. Toch zijn er prikkels die bedenkelijke praktijken bevorderen. Meer en meer draait alles om de journals en om de citaties in de journals. De individuele onderzoeker wordt afgerekend op artikelen en citaties, de tijdschriften ontlenen aan de citaties hun ‘impact’ (ga naar de website van een blad opgenomen in de International Science Index (ISI) en je krijgt die factor direct voorgeschoteld) en universiteiten baseren hun ranking op citaties en het aantal artikelen in geïndiceerde tijdschriften.

Het is daarom begrijpelijk dat wetenschappers proberen in de bladen te komen, dat de tijdschriften zelf hun auteurs vragen alsjeblieft artikelen eruit aan te halen – dat is immers goed voor de impact factor – en dat instituten hun medewerkers aansporen een bijdrage aan de internationale ranking van hun werkgever te leveren. Gemakkelijk is het niet in die bladen te komen. Afhankelijk van het blad is de kans op succes één op vijf à één op twaalf. Wel kan men proberen zijn kansen te verbeteren. En daarop is het strategische gedrag gericht.

Aura van echte wetenschap

Strategie één is opportunisme: pas je aan bij de stroming van het aantal bladen dat je voor eventuele publicatie hebt uitgekozen. Spreek de taal van die bladen en wees niet kritisch jegens de theorie of aanpak die in de betreffende tijdschriften een thuishaven heeft. Of wees juist wel kritisch in een ander blad dat op kritiek gespecialiseerd is en daarbij een bepaald jargon bezigt. En vooral: doe kwantitatief onderzoek. Laat zien dat je kunt rekenen, bereken correlaties of rationele keuzes. Inhoudelijke kennis is minder belangrijk. Als je feilloos rekent – al bereken je slechts dat verschillen in consumptiegedrag met verschillen in generatie en inkomen correleren –, je verhaal goed opbouwt en goed kunt schrijven, maak je een betere kans op publicatie dan wanneer poogt aan te tonen dat iets helemaal anders moet. Zo is dan ook het aantal kwantitatief georiënteerde artikelen in  de twaalf toptijdschrijften van de ‘Internationale Politieke Economie’ van 20 procent in 1985 tot 90 procent in 2006 gestegen (volgens on­derzoek van Maliniak en Tierney in de Reveiw of International Political Economy).

Een wiskundige aanpak heeft de aura van echte wetenschap, maar de dominantie ervan in behalve economische ook sociologische en politicologische bladen heeft te maken met de zegetocht van de volstrekt rationele, volledig geïnformeerde homo economicus in de economische wetenschap en vervolgens, hoewel minder, in verwante disciplines. De rationele keuze-aanpak werd standaard. Biologen vinden het heel moeilijk het gedrag van bacteriën te voorspellen  schreef Rosanne Hertzberger op 2 maart in haar column in NRC Handelsblad, maar sociale wetenschappers berekenen het gedrag van mensen, groepen en organisaties dat het een vreugde is. Dat ze vijftien jaar geleden niet doorhadden dat China in de jaren 2000 de grote aanjager van de wereldeconomie zou worden, er in 2007 een financiële crisis in aantocht was of drie jaar later de Arabische Lente – wat maakt het uit? Het gaat monter door. Er kan immers gescoord worden. Het is strategisch verstandiger een academische succesformule te volgen dan rekening te houden met de realiteit.

Onzorgvuldigheid de prijs

‘Sloppy referencing’ is evenzeer strategisch verstandig. Hoe meer auteurs je vaker citeert des te groter de kans dat jouw potentiële reviewers onder de geciteerden zijn. En die zitten in hetzelfde systeem en willen ook graag geciteerd worden. De gemakkelijkste manier veel auteurs aan te halen is volgens het zogenaamde Harvard Manual reeksen van namen met publicatieja­ren tussen haakjes te plaatsen: (De Jong 2011, Engbersen 1999, Meijer 2007, van den Berg 2012, Visser 2010, Walraven 2008). Eigenlijk dient wetenschap zo precies mogelijk te zijn en altijd, als het mogelijk is, de bladzijden aan te geven waar iets staat. De lezer kan het dan controleren. Maar ja, als je dat doet zou kunnen opvallen dat niet iedereen in zo’n reeks als boven hetzelfde zegt of dat de tweede tot en met zesde aangehaalden slechts herhalen wat de eerste geciteerde beargumenteerd of uitgevonden heeft. Onzorgvuldigheid is dan maar de prijs die we voor betere scores over hebben. De meeste reviewers zijn ook auteurs, doen in die hoedanigheid hetzelfde en hebben weinig neiging tot kritiek. Op die manier wordt slordigheid standaard. Of slordig refereren strategisch gekozen is valt niet vast te stellen. We kunnen evengoed met imitatiegedrag en gemakzucht te maken hebben. Studenten doen het in hun werkstukken ook en zij hoeven niet te scoren.

Desgevraagd zeggen ze dat iedereen het doet. Dat is wetenschap.