Perverse trends in de wetenschap

ANALYSE - Zwarte schapen heb je overal, ook in de wetenschap. Toch is er in dit werkveld wel meer aan de hand. De drang te scoren is zorgwekkend.

Recentelijk zijn er enkele schandalen in de wetenschap geweest die de media hebben gehaald. Een psycholoog wist met verzonnen data reviewers van internationale tijdschriften te passeren en kon er carrière mee maken en een jurist publiceerde een leerboek met hoofdstukken van andere auteurs zonder hun namen te vermelden. Eigenlijk niets bijzonders. Het zou immers naïef zijn te denken dat er in de wetenschap geen zwarte schapen rondlopen. Potsierlijk zijn wel de pogingen van universiteitsbestuurders één en ander nog goed te praten, zoals is gebeurd met dat juridische leerboek.

Zorgerlijker is een aantal algemenere ontwikkelingen, die allemaal verband houden met de pressie op een specifieke manier te ‘scoren’. Om te scoren worden veel wetenschappers steeds opportunistischer, wordt het aantal nietszeggende artikelen groter, vieren systematisch slordige referenties hoogtij en neemt strategisch publiceren in groepsverband gestaag toe – één hoofdauteur en twee à vijf meelifters met bij volgende keren omgedraaide rollen. Dit zijn trends in de sociale wetenschappen en de economie.

Engels superieur

Dat je onderwijs moet geven, onderzoek moet verrichten en publiceren is vanzelfsprekend. Toch is met dat laatste iets aan de hand, want er zijn publicaties in soorten. Het meest tellend zijn internationale, Engelstalige vaktijdschriften die manuscripten anoniem laten reviewen. Artikelen in het Nederlands, Duits of Frans tellen minder – ook al worden ze gereviewd – boeken hebben ook minder prestige en bundelbijdragen – wederom: zelfs als ze gereviewd zijn – staan onderaan de ladder. Recensies en stukjes in ongereviewde tijdschriften schrijven is pure tijdverspilling.

Met het hoge prestige van internationale vaktijdschriften is niets mis. Met de privilegering van het Engels wordt het echter al dubieus. Op publicaties in deze bladen en citaties van die publicaties zijn allerlei ranglijsten van universiteiten en faculteiten gebaseerd, die regelmatig in de universitaire mededelingen worden vermeld. Angelsaksische universiteiten zijn altijd top (uiteraard niet allemaal), en Scandinavische en Nederlandse scoren goed. Altijd weer leuk om je een keer op de borst te mogen kloppen. Duitse, Franse en Japanse universiteiten bungelen ergens middenin de ranglijsten. Zij zijn slachtoffer van hun groot taalgebied en de gewoonte regelmatig in hun eigen taal te publiceren. Wanneer het om het innovatieve vermogen van economieën gaat, onder meer dus de praktische relevantie van wetenschap, krijg je echter ranglijsten waar naast de VS en Scandinavië (dat overal hoog scoort) ook Duitsland en Japan hoog genoteerd staan, maar het VK en Nederland niet in de top zitten (zie het vrij gedifferentieerde Innovatiescore­board van Pro Inno/Eurostat). Dat relativeert de eenzijdige concentratie op Engelstalige bladen.

Impact factor

Wat zijn dan de perverse trends? Met de verplichting in kwaliteitsbladen te publiceren en met peer reviewing is op zich niets mis. Men kan er veel op afdingen, maar ik zou niet we­ten wat het alternatief voor de vaststelling van kwaliteit zou zijn. Toch zijn er prikkels die bedenkelijke praktijken bevorderen. Meer en meer draait alles om de journals en om de citaties in de journals. De individuele onderzoeker wordt afgerekend op artikelen en citaties, de tijdschriften ontlenen aan de citaties hun ‘impact’ (ga naar de website van een blad opgenomen in de International Science Index (ISI) en je krijgt die factor direct voorgeschoteld) en universiteiten baseren hun ranking op citaties en het aantal artikelen in geïndiceerde tijdschriften.

Het is daarom begrijpelijk dat wetenschappers proberen in de bladen te komen, dat de tijdschriften zelf hun auteurs vragen alsjeblieft artikelen eruit aan te halen – dat is immers goed voor de impact factor – en dat instituten hun medewerkers aansporen een bijdrage aan de internationale ranking van hun werkgever te leveren. Gemakkelijk is het niet in die bladen te komen. Afhankelijk van het blad is de kans op succes één op vijf à één op twaalf. Wel kan men proberen zijn kansen te verbeteren. En daarop is het strategische gedrag gericht.

Aura van echte wetenschap

Strategie één is opportunisme: pas je aan bij de stroming van het aantal bladen dat je voor eventuele publicatie hebt uitgekozen. Spreek de taal van die bladen en wees niet kritisch jegens de theorie of aanpak die in de betreffende tijdschriften een thuishaven heeft. Of wees juist wel kritisch in een ander blad dat op kritiek gespecialiseerd is en daarbij een bepaald jargon bezigt. En vooral: doe kwantitatief onderzoek. Laat zien dat je kunt rekenen, bereken correlaties of rationele keuzes. Inhoudelijke kennis is minder belangrijk. Als je feilloos rekent – al bereken je slechts dat verschillen in consumptiegedrag met verschillen in generatie en inkomen correleren –, je verhaal goed opbouwt en goed kunt schrijven, maak je een betere kans op publicatie dan wanneer poogt aan te tonen dat iets helemaal anders moet. Zo is dan ook het aantal kwantitatief georiënteerde artikelen in  de twaalf toptijdschrijften van de ‘Internationale Politieke Economie’ van 20 procent in 1985 tot 90 procent in 2006 gestegen (volgens on­derzoek van Maliniak en Tierney in de Reveiw of International Political Economy).

Een wiskundige aanpak heeft de aura van echte wetenschap, maar de dominantie ervan in behalve economische ook sociologische en politicologische bladen heeft te maken met de zegetocht van de volstrekt rationele, volledig geïnformeerde homo economicus in de economische wetenschap en vervolgens, hoewel minder, in verwante disciplines. De rationele keuze-aanpak werd standaard. Biologen vinden het heel moeilijk het gedrag van bacteriën te voorspellen  schreef Rosanne Hertzberger op 2 maart in haar column in NRC Handelsblad, maar sociale wetenschappers berekenen het gedrag van mensen, groepen en organisaties dat het een vreugde is. Dat ze vijftien jaar geleden niet doorhadden dat China in de jaren 2000 de grote aanjager van de wereldeconomie zou worden, er in 2007 een financiële crisis in aantocht was of drie jaar later de Arabische Lente – wat maakt het uit? Het gaat monter door. Er kan immers gescoord worden. Het is strategisch verstandiger een academische succesformule te volgen dan rekening te houden met de realiteit.

Onzorgvuldigheid de prijs

Sloppy referencing’ is evenzeer strategisch verstandig. Hoe meer auteurs je vaker citeert des te groter de kans dat jouw potentiële reviewers onder de geciteerden zijn. En die zitten in hetzelfde systeem en willen ook graag geciteerd worden. De gemakkelijkste manier veel auteurs aan te halen is volgens het zogenaamde Harvard Manual reeksen van namen met publicatieja­ren tussen haakjes te plaatsen: (De Jong 2011, Engbersen 1999, Meijer 2007, van den Berg 2012, Visser 2010, Walraven 2008). Eigenlijk dient wetenschap zo precies mogelijk te zijn en altijd, als het mogelijk is, de bladzijden aan te geven waar iets staat. De lezer kan het dan controleren. Maar ja, als je dat doet zou kunnen opvallen dat niet iedereen in zo’n reeks als boven hetzelfde zegt of dat de tweede tot en met zesde aangehaalden slechts herhalen wat de eerste geciteerde beargumenteerd of uitgevonden heeft. Onzorgvuldigheid is dan maar de prijs die we voor betere scores over hebben. De meeste reviewers zijn ook auteurs, doen in die hoedanigheid hetzelfde en hebben weinig neiging tot kritiek. Op die manier wordt slordigheid standaard. Of slordig refereren strategisch gekozen is valt niet vast te stellen. We kunnen evengoed met imitatiegedrag en gemakzucht te maken hebben. Studenten doen het in hun werkstukken ook en zij hoeven niet te scoren.

Desgevraagd zeggen ze dat iedereen het doet. Dat is wetenschap.

  1. 2

    Dat relativeert de eenzijdige concentratie op Engelstalige bladen.

    Nee, het geeft aan dat fundamentele wetenschap en praktische innovatie twee verschillende dingen zijn.

    maak je een betere kans op publicatie dan wanneer poogt aan te tonen dat iets helemaal anders moet

    Ja, wetenschap is vooral werk en geen romantisch freewheeling activisme ofzo. Ook bij bedrijf en overheid krijg je met de boodschap “alles moet anders!” de handen niet op elkaar.

  2. 3

    @2: “Ja, wetenschap is vooral werk en geen romantisch freewheeling activisme ofzo. Ook bij bedrijf en overheid krijg je met de boodschap “alles moet anders!” de handen niet op elkaar.” Beetje flauwe opmerking bij een uit de context getrokken quote. Falsificatie is volgens mij juist onderdeel van wetenschap. Als je resultaten niet overeenkomen met bestaande algemene consensus kan dat vaak interessanter zijn dan wederom een onderzoek dat bijdraagt aan de algemene consensus. De auteur probeert volgens mij juist te stellen dat dat soort tegengeluiden meer moeite hebben om in gerenommeerd tijdschrift te worden gepubliceerd. En wellicht eens tijd om op te houden alles maar te benchmarken/te vergelijken met het bedrijfsleven. Ja wetenschap bedrijven is ook werk, hard werk vaak, maar wetenschap is geen bedrijf. (Net zoals de overheid/een staat geen bedrijf is)

  3. 4

    Drang om te scoren – drang om te presteren. Net zoals bij voetbal, wil je toch door jouw onderzoek/uitvinding je naam vestigen? Teveel van deze tijd – maar niet echt typisch deze tijd, want tussen Niels Bohr en Einstein was ook al een race van wie het eerste scoorde. Beter gezegd: publiceerde.

  4. 5

    Ja wetenschap bedrijven is ook werk, hard werk vaak, maar wetenschap is geen bedrijf.

    Daar denkt het management van een gemiddelde Nederlandse universiteit toch echt anders over.

    Vandaar dat opleidingen die weinig studenten trekken worden gekort, wetenschappers die weinig fondsen weten binnen te halen niet kunnen rekenen op contractverlenging, bestuurders vinden dat zijzelf recht hebben op marktconforme salarissen, en de TU Delft en de UvA grof geld bieden om populaire astronauten als Wubbo Ockels en André Kuipers binnen te halen (die dan gebombardeerd worden tot hoogleraar).

    Om zo maar eens wat te noemen.

  5. 7

    @5: het is ook niet handig als je een tak moet financieren die stagneert. Universiteiten zijn te groot geworden en moeten daarom efficienter, das lullig voor de kleine afdelingen but that’s life.

    Daarbij, wetenschap hoeft niet alleen maar baanbrekend en langzaam onderzoek uit te voeren, er is heel veel geld te verdienen in incrementele innovatie. Denk bv aan het verbeteren van de huidige zonnecellen. Met de opbrengst van dat onderzoek kan je weer heel goed het baanbrekende financieren.

  6. 8

    @3: En wellicht eens tijd om op te houden alles maar te benchmarken/te vergelijken met het bedrijfsleven. Ja wetenschap bedrijven is ook werk, hard werk vaak, maar wetenschap is geen bedrijf. (Net zoals de overheid/een staat geen bedrijf is)

    Ik vergelijk werken in de wetenschap met *werken* elders. Dat elders is in de huidige samenleving vooral “bedrijf” en “overheid”. En vooruit: NGO’s. Volgens mij is werken overal: onderop beginnen, de gebaande paden volgen, leren van mensen die er al langer zitten en misschien aan het einde van de rit de knuppel in het hoenderhok smijten (als je goed genoeg bent).

    Voor de duidelijkheid haal ik even de gehele quote aan:
    Laat zien dat je kunt rekenen, bereken correlaties of rationele keuzes. Inhoudelijke kennis is minder belangrijk. Als je feilloos rekent – al bereken je slechts dat verschillen in consumptiegedrag met verschillen in generatie en inkomen correleren –, je verhaal goed opbouwt en goed kunt schrijven, maak je een betere kans op publicatie dan wanneer poogt aan te tonen dat iets helemaal anders moet.

    Hier staat – zo lees ik het – dat over het algemeen vakmanschap (goed kunnen rekenen, schrijven en presenteren) in de (sociale) wetenschap hoger wordt aangeschreven dan het doen van wereldschokkende beweringen. Tsja, dat vind eigenlijk alleen maar positief (en in overeenstemming met werk in het algemeen).

  7. 9

    De auteur schopt wel erg gemakkelijk tegen de wetenschap aan. De druk om te publiceren is inderdaad erg hoog. Maar aan de andere kant is publiceren het delen van kennis, precies wat de wetenschap moet doen. De negatieve kanten in vorm van fraude en “snelle” wetenschap moeten natuurlijk worden bestreden, maar als we naar de ontwikkeling van wetenschap kijken lijkt het systeem niet zo slecht te zijn.

    De opmerking dat je 1 op de zoveel kans hebt om in een bepaald blad te komen is exemplarisch. Als ik zomaar iets instuur is de kans dat er gepubliceert wordt 0, als een gerenomeerde professor een gedegen studie aanlevert is die kans bijna 100%.

    Daarbij het vele refereren lijkt mij ook niet echt een probleem, daarmee kan je ook laten zien dat je op de hoogte bent van alle belangrijke literatuur.

  8. 10

    @7, snijden in de eeuwige nieuwbouw- en reorganisatiedrift, managementlaag terugbrengen (nu ong 1 niet-wetenschappelijke medewerker voor elke medewerker betrokken bij onderzoek en onderwijs), topsalarissen terugbrengen, en DAN eens kijken wat je moet opgeven aan fundamenteel onderzoek en aan de onderwijsfunctie?
    Dit artikel kan natuurlijk niet ontbreken.

  9. 11

    De wetenschap is al lang niet meer het onbevooroordeeld zoeken naar waarheid. We zitten nu in een tijdperk waarin externe belangen de richting van de wetenschap (mede-) bepalen. Laatst nog een interessant artikel over gelezen.

  10. 12

    De auteur is niet tegen publiceren (contra @9).
    De auteur is tegen de verkeerde dingen publiceren.
    De auteur is tegen publiceren om het publiceren.

    Er is inmiddels wel aandacht voor publicatieinflatie op beleidsniveau in universiteiten en bij organisaties zoals KNAW. De door de auteur geschetste situatie is die van nu en die zoals die de afgelopen 10 jaar gegroeid is. Maar er zijn ook andere dingen aan de hand:
    * de algemene roep om transparantie van wat er in instituties met gemeenschapsgeld gebeurd, en meteen ook het er maar niet mee eens zijn en het anders besteed willen zien.
    * de macht van uitgevers in het toptijdschriftenwereldje
    * de roep om open-access,
    * de roep om betere vertaling en bijsluiters bij nieuwe kennis zodat ze directer gebruikt kan worden door de b.v. nederland (‘topsectoren’), de overheid, de samenleving — valorisatie is het label dat universiteiten daar op plakken. De samenleving (bv. @7) wil eigenlijk alleen nog maar voor die valorisatie betalen, het voorwerk van iets nieuws ontdekken dat doen die wetenschappers er in de overtijd maar bij
    * de toegenomen werkdruk in de wetenschappelijke wereld. Minder mensen geven les aan meer studenten en produceren meer artikelen dan 5, 10, 15, 20 jaar geleden.
    * de afgenomen kwaliteit van peer-review (verdunning door meer productie en minder tijd),
    * de genadeloze wraak van de samenleving op de hele sector als ergens een geval van fraude ontdekt wordt – one paper too far….

    Minder betere artikelen publiceren zou goed de tendens van de komende 10 jaar kunnen worden voor de topuniversiteiten. Sloppy refereren zal zich verplaatsen naar de publicaties die in valorisatiekader veelal in de landstaal worden gepubliceerd. Daar zal ook een metric voor worden ingevoerd, want daar is meer geld voor dan voor de vorm van wetenschap die de auteur beschrijft.

  11. 13

    @8: Hier staat – zo lees ik het – dat over het algemeen vakmanschap (goed kunnen rekenen, schrijven en presenteren) in de (sociale) wetenschap hoger wordt aangeschreven dan het doen van wereldschokkende beweringen. Tsja, dat vind eigenlijk alleen maar positief (en in overeenstemming met werk in het algemeen).

    Je plaatst hier een valse vergelijking. Het daadwerkelijke vakmansschap van een wetenschapper is het doen van kwalitatief goed onderzoek, niet het schrijven van een paper dat aan de “norm” voldoet. Het probleem is dat veel publicaties een soort verkooppraatje lijken te worden en daar is voor reviewers soms lastig doorheen te prikken. Zo’n reviewer zou bijvoorbeeld TH(@9) kunnen zijn die op basis van het aantal referenties een conclusie kan trekken over het door de auteur op de hoogte zijn van de literatuur :/.

    Je plaatst dat vervolgens tegenover “wereldschokkende bewering”, maar dat is niet wat de auteur bedoeld met “poogt aan te tonen dat iets helemaal anders moet.”. Die wereldschokkende beweringen komen juist meer voor in de verkooppraatjes, waarin auteurs een fantastische (nieuwe) methode voorleggen (vaak door hen zelf bedacht in een ander paper) en vervolgens de lezer gaan proberen te overtuigen hoe geweldig die methode wel niet is met, zoals de auteur ook zegt, niets-zeggende complexe berekeningen. Publiceren dat een bepaalde methode niet goed werkt is veel moeilijker.