Wetenschappelijk scoren
Wederom een bijdrage van het Rathenau Instituut, dit keer van onderzoekers Laurens Hessels Hij promoveerde op 19 november aan de Universiteit Utrecht op het proefschrift ‘Science and the Struggle for Relevance’.
Voor wetenschappers is het publiceren van artikelen een doel op zich geworden. Ooit publiceerden ze om te communiceren met collega’s, vandaag vooral om hun productiviteit te bewijzen. De macht van bibliometrische indicatoren moet worden ingeperkt.
Sinds de opkomst van onderzoeksevaluaties in de jaren ’80 hebben we steeds beter inzicht in de wetenschappelijke output van universitaire onderzoekers. Dankzij de Science Citation Index en Google Scholar krijg je met een druk op de knop een lijst met publicaties en citaties van iedere wetenschapper. Onderzoeksfondsen en universiteitsbestuurders wegen prestatiemetingen mee bij beslissingen over financiering en bezuinigingen. Steeds meer universiteiten werken zelfs met bonusregelingen, waarbij publicaties rechtstreeks worden vertaald in onderzoeksfinanciering. Een artikel in een bepaalde tijdschriftencategorie levert dan een geldbedrag op, zonder enige reflectie op de inhoud.
Deze ontwikkeling is niet onschuldig. Onderzoekers ervaren zo’n hoge druk om te publiceren, dat ze zich gaan blindstaren op het optimaliseren van hun publicatie-output. Het Leids Universitair Weekblad Mare publiceerde deze week een lijst met tips voor onderzoekers om hun citatie-impact te vergroten. Door de fixatie op publicaties dreigen onderwijs en kennisvalorisatie in de verdrukking te raken. Maar de doorgeschoten publicatiedrift kan ook de kwaliteit van het onderzoek zelf aantasten. Wetenschappers wringen zich in rare bochten om maar zoveel mogelijk te publiceren. Ze snijden hun werk op in de ‘smallest publishable units’ of schrijven meerdere versies van hetzelfde artikel voor verschillende tijdschriften. Voor jonge onderzoekers wordt het minder aantrekkelijk om zich op radicaal nieuwe onderzoeksfronten te begeven, want daar is publicatiesucces niet gegarandeerd. De publicatiedruk tast dus niet alleen de effectiviteit van het wetenschappelijke communicatiesysteem aan, maar dreigt ook de inhoud van het onderzoek te vervlakken!
Moeten we bibliometrische indicatoren dan maar afschaffen? Nee, ze kunnen een nuttig hulpmiddel zijn bij het verdelen van schaarse middelen. Maar ze zouden nooit de enige determinant moeten zijn: een rechtstreekse koppeling van onderzoeksfinanciering aan publicatie-indicatoren is onverantwoord. In de academische ‘afrekencultuur’ zouden ook successen op het gebied van valorisatie en onderwijs waardering moeten opleveren. Dit geldt in de eerste plaats in onderzoeksevaluaties, selectieprocedures en functioneringsgesprekken, maar ook in het informele circuit. Wetenschappers kunnen elkaar ook eens een schouderklopje geven voor een goed hoorcollege of een helder beleidsadvies. Subtiele culturele en organisatorische veranderingen kunnen de wetenschap bevrijden van de terreur van bibliometrische indicatoren. Ik ben ervan overtuigd dat dit het werk van wetenschappers niet alleen leuker, maar ook effectiever zal maken.
Valorisatie, onderwijs, het zelf binnenhalen van andere geldstromen, maatschappelijke betrokkenheid etc worden allemaal meegewogen voor de verdeling van interne geldstromen binnen de meeste instituten en voor je eigen aanstelling als Principle Investigator, Principle Lecturer, Universitair Docent, Hoofddocent of hoogleraar. Het is ook niet alleen het publicatie-aantal, maar ook de impact van je publicaties is enorm van belang, dus met alleen maar kleine “minimal publishable units” kom je er niet. Steeds meer wordt er gebruik gemaakt van bijvoorbeeld de h-index, waarbij niet de impact van het tijdschrift, maar de impact van je eigen publicatie van belang is. Daarnaast krijgt de afdeling ook geld als iemand promoveert, zelfs al is het op een onderwerp als dit.
Bij de interne verdeling van geld en tijdinzet, in veel afdelingen, wordt wel degelijk zwaar op publicatie quantiteit gestuurd. Vooral omdat dat zo makkelijk meetbaar zou zijn voor de buitenwacht. Als weer eens in het aantal onderzoeksrichtingen gesnoeid wordt, verdwijnt de richting met de minste publicaties. Onderwijs geven was al verdeeld en mag niet meer specialistisch, valorisatie doen we allemaal en is toch niet te meten, voor de promotiepremie maakt het niet uit. Het enige wat schijnbaar te meten is is publicatie aantallen, dus laten we daar maar op richten.
Het grappige is dat een wetenschappelijk publicatie offensief en maatschappelijke valorisatie heel moeilijk te combineren is. Daar zit niet genoeg uur voor in een dag. Als je een boek wil schrijven waar het een en ander up-to-date wordt samengebracht en uitgevent voor gebruik in de praktijk, wordt je er door (kortzichtige) collega’s en vakgroepsbesturen en faculteitsdiensten op gewezen dat, wat hun betreft, je maar beter aan je artikelendiaree en je zelfcitatie en de citatie van je medevakgroep collega’s kan blijven werken. Dat telt (letterlijk, op het telraam) – de rest is te moeilijk te beoordelen voor de buitenwacht, dus doen ze het niet.
… dus wat ik wilde zeggen is dat er een maatschappelijk belang is, af te stappen vanzwaar publicatie-gebaseerde wetenschapsfinanciering. Die laatste houdt ivoren torens mede in stand.
Ik wil Dr Banner niet kwaad maken, want volgens mij mag ik hem niet als ie kwaad is…
maar bij ons wordt kwaliteit steeds belangrijker. Liever 1 groot artikel (impact >10 oid) in je proefschrift dan 5 kleintjes. Kwaliteit is qua impact van tijdschrift, of aantal keer gerefereerd qua artikel, prima te meten. En wat bedoelt onze groene vriend met “valorisatie doen we allemaal en is niet te meten”?
en trouwens, mind if we call you Bruce?
One of the most commonly voiced criticisms of traditional peer review is that it discourages truly innovative ideas, rejecting field-changing papers while publishing ideas that fall into a status quo and the “hot” fields of the day—think RNAi, etc.[x]
Another is that it is nearly impossible to immediately spot the importance of a paper—to truly evaluate a paper, one needs months, if not years, to see the impact it has on its field.
reactie op Span:
Uit mijn promotieonderzoek blijkt dat de waardering voor onderwijs en valorisatie op de universiteit van een andere orde is dan die voor onderzoeksoutput. De gangbare criteria in sollicitatiegesprekken en functioneringsgesprekken prikkelen wetenschappers in de eerste plaats om veel te publiceren. Natuurlijk is het onderwijswerk ook nodig, en inderdaad zijn studentenaantallen medebepalend voor de beschikbare financiering. Maar met matig onderwijs kom je ook een heel eind. Al met al is het gangbaar om te denken in termen van je ‘onderwijslast’, dwz het deel van je tijd die je niet kunt besteden aan onderzoek. Dat is toch treurig?
Verder heb je gelijk dat citatie-scores steeds belangrijker worden. De eendimensionele indicator ‘aantal publicaties’ wordt langzamerhand vervangen door de bredere (maar methodologisch controversiële) Hirsch-index. Dit prikkelt wetenschappers om (ook) hoogwaardige papers te publiceren, maar het brengt ook een nieuwe molen van opportunistische reacties en strategisch gedrag op gang, zoals citatie-clubjes. Een referentielijst onderaan een artikel biedt binnenkort meer inzicht in de sociale omgeving van de auteur dan in zijn/haar cognitieve bronnen.