ACHTERGROND - Dit stuk gaat over het tellen van hoe vaak wetenschappelijk werk geciteerd wordt, en over soortgelijke zaken. En dat is natuurlijk keimegasuperbelangrijk, dat snapt u. Niet? Maakt niet uit, ik heb er toch een uitgebreid stukje over getikt. Want hoe mooi en nuttig de wetenschap ook is: er valt ook genoeg over te zeuren.
Hoe meet je kwaliteit van wetenschap?
De kwaliteit van een wetenschapper en de impact van wetenschappelijk werk wordt vaak bepaald door ‘tellen’. Er is zelfs een heel veld ontstaan, de bibliometrie, dat zich bezig houdt met het meten van de kwaliteit van wetenschappelijk werk. Maar ja, dat gebeurt, zoals helaas wel vaker, vervolgens op basis van kwantitatieve indicatoren. En het kwantificeren van kwaliteit is zoals bekend heel erg lastig en gevaarlijk vanwege mogelijke (onvoorziene) perverse neveneffecten.
Er zijn een aantal indicatoren opgesteld waarop kwaliteit wordt beoordeeld. Sommige zijn vrij recht toe recht aan. Voor een wetenschapper wordt bijvoorbeeld vaak gekeken naar het aantal keer dat ‘ie geciteerd is, en hoeveel artikelen er zijn geschreven. En voor een artikel wordt hoe vaak het geciteerd is gezien als een aanduiding van kwaliteit. Daar even over nadenken zou al tot een opgetrokken wenkbrauw kunnen leiden, want laten we wel wezen: als iemand een artikel publiceert en vervolgens citeren 100 mensen dat artikel als voorbeeld van slecht onderzoek of ondeugdelijke methodes, dan lijkt het puur op basis van de cijfers (100x geciteerd!) heel wat.
Maar er zijn ook wat complexere manieren van tellen ontwikkeld. Zo is er de ‘h-index’. Die is X als je als wetenschapper X artikelen hebt die X keer zijn geciteerd. Heb je 1 artikel dat 1 keer is geciteerd, is je h-index 1, met 5 artikelen die 5 keer zijn geciteerd, dan is hij 5, nou ja, u volgt ‘em wel. Een wetenschappelijk tijdschrift heeft ook zo’n h-index. Maar tijdschriften hebben ook een impactfactor (gebaseerd op het aantal citaties van artikelen), en omdat vakgebieden niet vergelijkbaar zijn qua hoeveel er geciteerd wordt is ook netjes aangegeven in welk kwartiel een tijdschrift zich bevindt binnen een vakgebied (Q1 staat voor de 25% beste, en dat betekent natuurlijk meest geciteerde, tijdschriften, en zo verder). Op handige sites als Scimago kun je vervolgens mooie overzichten vinden van elk (vrijwel) elk wetenschappelijk tijdschrift (al staan de predatory journals en sommige kleintjes er niet tussen).
Persoonlijke ervaring
De kritische lezer zal zich waarschijnlijk nog steeds afvragen wat bovenstaande nou echt zegt over de kwaliteit van een wetenschapper, artikel of tijdschrift. Een artikel kan wetenschappelijk heel goed zijn zonder vaak geciteerd te worden, en een tijdschrift dat historisch gezien een grote reputatie heeft verworven zal veel artikelen blijven trekken puur op basis van die reputatie uit het verleden (en de bijbehorende grote h-index).
Op basis van mijn persoonlijke ervaring (die, zeg ik er gelijk bij, bescheiden is voor iemand die pas een paar jaar wetenschapt, en dat ook nog in deeltijd), is de waarde van dit soort cijfers vrij betrekkelijk. Als ik kijk naar wie mijn werk gebruikt, zitten daar een aantal citaties bij die overduidelijk (inhoudelijk gezien) wetenschappelijk geen waarde hebben. Je ziet gewoon die reviewer schrijven “jullie moeten nog wat zeggen over selectie bias bij jullie reflectie”, en zo’n wetenschapper vervolgens braaf die term invoeren in Google Scholar en een referentie toevoegen naar een artikel van mijn hand met die term in de titel – terwijl de informatie die vervolgens gebruikt wordt uit mijn artikel net zo goed of beter uit tig handboeken gehaald had kunnen worden. Aan de andere kant is mijn werk gebruikt op plekken die echt invloed hebben, in de maatschappij, die niet meetellen. Zo heeft het CPB naar mijn bevindingen over het Nijmeegse experiment verwezen, en wordt er naar mijn proefschrift verwezen in de Memorie van Toelichting bij het wetsvoorstel Participatiewet in Balans – maar ja, die belanden niet in Google Scholar en tellen daar dus niet.
Citaties pretenderen iets te zeggen over impact – nou, ik weet wel waar in de bovenstaande gevallen mijn impact het grootste was. Soms zeggen aantallen zelfs helemaal niets. Op een gegeven moment kwamen er in Google Scholar zes citaties tegelijk bij van het rapport dat we schrijven over het Nijmeegse bijstandsexperiment voor de gemeenteraad. Wat bleek? De collega’s uit Amsterdam hebben een mooi boek geschreven over het experiment, maar op de één of andere manier is elk hoofdstuk ergens geüpload met de complete literatuurlijst, en die zijn weer in Scholar beland. Waarmee een enkele verwijzing naar ons Nijmeegse rapport in één hoofdstuk opeens zes keer in een lijstje staat. Citaties kunnen dus enorm variëren van ‘dit bouwt echt voort op mijn werk’ tot ‘eeeeeh geen idee waarom ik hier gerefereerd wordt’.
Goodheart en Campbell manen tot voorzichtigheid
En dan is er natuurlijk nog het probleem dat, wanneer citaties en impact en dergelijke cijfers opeens belangrijk worden voor geld, status of een vast contract, ze altijd manipuleerbaar zijn. Dat weten we overigens allang. In de wetenschap kennen we zelfs ‘de wet van Campbell’ en ‘de wet van Goodhart’, die beide ongeveer hetzelfde stellen, vrij samengevat: een indicator houdt op een goede indicator te zijn wanneer er te veel van af gaat hangen. Want dan kan deze gemanipuleerd worden.
En als je dat wil, is ook een systeem van impact, rankings en h-indexen makkelijk te gamen als je dat wil. Je kan met een clubje onderzoekers afspreken elkaars werk veel te citeren. Dat kan informeel, maar ook grootschalig waarmee je uitkomt op een heus citatiekartel. Als professor kun je je promovendi en post-docs suggereren (of dwingen) om vooral veel eigen werk te refereren. Als scriptiebegeleider trouwens ook – als studenten in hun scripties naar jouw werk verwijzen tellen deze in sommige systemen ook (via universitaire ‘repositories’ waar deze in worden geüpload komen deze ook in Google Scholar). En dan zijn er zelfcitaties: je kan natuurlijk ook ruimschoots citeren uit eigen werk. Ik ben overigens de eerste om toe te geven dat zelf graag te doen, want ik vind mijn eigen werk vrijwel zonder uitzondering relevant en belangrijk (en trouwens ook nog mooi geschreven).
Maar zonder gekheid: het lastige is dat al bovenstaande zaken niet per se slecht zijn. Een clubje onderzoekers die op dezelfde thema’s werkt kan ook gewoon veel naar elkaar verwijzen omdat ze elkaars werk goed kennen en met hetzelfde onderwerp bezig zijn, zonder kwade bedoelingen of expliciete afspraken. Het is logisch dat promovendi, postdocs en masterstudenten begeleid worden door iemand die iets weet van het onderwerp waar zij zich mee bezig houden, en daar zelf ook wel eens iets zinnigs over hebben geschreven. En zelfcitaties kunnen ook nuttig en zelfs logisch zijn. Weer naar mijn eigen werk kijkend: al mijn artikelen voor mijn proefschrift gingen over hetzelfde experiment, en het eerste artikel was een methodologische verdieping (wie deden mee aan het experiment en waarom en wat betekent dat voor het interpreteren van de resultaten?). Dan is het volstrekt logisch om daar op terug te komen als je in latere artikelen het gaat hebben over die resultaten.
Je eigen geweten
Maar er is een vrij groot grijs gebied, waarbij het de vraag is of die verwijzing die je suggereert aan je student of AiO écht nuttig en noodzakelijk is, zonder dat het overduidelijk onzinnige manipulatie van je h-index is. Je bent dan je eigen geweten. Voor een hoop mensen werkt dat. Maar je weet ook dat het niet bij iedereen zo werkt. In de wetenschap werken veel mensen voor wie status belangrijk is. En citaties en andere kwantitatieve indicatoren zijn bepalend voor iemands carrière, kans op een vast contract, en salaris.
Dat is ook wel een beetje vragen om problemen.
Reacties (2)
Zeker, dat is keimegas en uper belangrijk.
En het blijft toch een wonderlijk wereldje. Ik kreeg gister, na het verschijnen van bovenstaande, een notificatie van Google Scholar (jawel), dat mensen weer een stukje gebruikt hebben waar aan ik mee heb geschreven. Dan wil je doorklikken om te kijken waar het over gaat (wellicht nog relevant voor mijn eigen onderzoek), maar dat kan niet, want het artikel zit achter zo’n hoge betaalmuur dat je zelfs met je universiteitslogin er niet overheen komt. Voor wie wordt zo’n stuk dan geschreven? Nou ja, in ieder geval totdat het op een piratensite voor wetenschappelijke artikelen zoals Sci Hub komt.