QUOTE - Wat? Nog een inspectie? Nog meer overheid en controle en bureaucratie? Nou ja, misschien wel ja. Kijk, we hebben het hier al vaker gehad over de schaduwkanten van het academisch bedrijf, zoals de publicatiedruk (publish or perish), de perverse effecten van het belang dat citatiescores en dergelijke hebben gekregen. De wetenschapsjournalist Stan van Pelt heeft er een heel boek over geschreven. In een interview met VOX geeft hij veel interessante inzichten, waaronder een aanzet voor een oplossing: een Inspectie voor de wetenschap:
‘Ja, ik pleit voor een beter controlesysteem. Allerlei beroepsgroepen die we belangrijk vinden, hebben inspecties. Denk aan de Voedsel- en warenautoriteit of de Inspectie Gezondheidszorg en Jeugd. Waarom heeft de wetenschap niet zoiets? Dat er af en toe eens iemand langskomt om te vragen hoe je data eruitzien en welke analyses je precies hebt gedaan. Als je in de analogie van de sport wilt blijven: waarom gebruiken wielrenners doping? Omdat ze de beste willen zijn, en vanwege die heftige competitie gaan ze hun boekje te buiten. Wetenschappers willen ook scoren en zoeken de grenzen op. Binnen het wielrennen zijn daarom dopingcontroles ingevoerd: elke dag kan er iemand voor je deur staan om je urine te controleren. Zo extreem hoeft het niet te worden binnen de wetenschap, maar het zou goed zijn als onderzoekers vaker denken “hé, ik moet wel zorgen dat ik de zaken netjes op orde heb”.’
Reacties (12)
Wetenschappers controleren elkaar. Al eeuwenlang. Gaat dat niet goed?
Goed punt. In de wetenschap zijn vakgenoten elkaars inspectie. Dat zit ingebakken in de wetenschappelijke methode. Vakgenoten zijn ook de enige die in staat zijn om de kwaliteit van elkaars werk te beoordelen. Meer overheidsbemoeienis via een of andere inspectie lijkt me het laatste dat de wetenschap nodig heeft. Omdat zo’n inspectie onmogelijk genoeg kennis kan hebben om wetenschap inhoudelijk te beoordelen, kun je raden waar ze zich op zullen concentreren: rendement, efficiëntie, dat soort dingen. De doodssteek voor alle wetenschap die verder kijkt dan de korte termijn.
De andere kant is: het eerlijke antwoord op Jos zijn vraag “gaat dat niet goed?” is dat het inderdaad niet altijd goed gaat. Voorbeelden te over, in dat artikel in Vox, in het boek van die wetenschapsjournalist en hier door ondergetekende (https://sargasso.nl/impact-schmimpact-citaties-tellen-en-impact-factor/ ). We hebben ‘wetenschappelijke’ neptijdschriften (predatory journals), er zijn citatiekartels, en bijvoorbeeld onschuldiger (maar niet onschuldig) wetenschappers die zich richten op onderwerpen waarvan ze weten dat er veel citaties te halen zijn (want goed voor de carrière) ten koste van ‘waar zit de meeste maatschappelijke winst’. En zo is er nog veel meer te noemen.
Dus ik ben niet per se tegen. Zo lang zo’n inspectie niet zelf wetenschapper gaat zitten spelen maar zich richt op gerichte checks bij verdachte situaties, of een rol pakt bij de bestrijding van predatory journals, zie ik best mogelijkheden.
Ik heb hier ooit een negendelige serie geschreven over de kwaliteitsbewaking in het hoger onderwijs, mijn conclusie daar is toch wel dat het niet uit maakt hoe zo’n systeem er precies uit ziet, maar puur het feit dat er een systeem is zorgt dat mensen zich beter gedragen en geen loopje nemen met allerlei verplichtingen (zie https://sargasso.nl/kwaliteit-van-hoger-onderwijs-9-opleidingen-controleren/ ).
Ik wil ook zeker niet zeggen dat alles goed gaat. Maar ik denk niet dat een inspectie de oplossing is. Want dat betekent uiteindelijk toch meer overheidstoezicht en meer regeltjes. Terwijl eerder het tegenovergestelde nodig is: meer vrijheid voor wetenschappers om hun eigen koers te bepalen. Met minder publicatiedwang (predatory journals zijn een symptoom van die kwaal), of noodzaak om te bewijzen dat hun onderzoek zichzelf (op korte termijn) terugbetaalt.
Wat je laatste punt betreft, denk ik dat je onderscheid moet maken tussen onderwijs en onderzoek. Want ik ben het er helemaal mee eens dat studenten waar mogen krijgen voor hun collegegeld en dat daar dus wel toezicht op mag zijn. Maar dat is echt een ander onderwerp.
Dit is het argument van elke beroepsgroep tegen beoordeling door derden.
Laten we het niveau van de gemiddelde wetenschapper niet overdrijven. Slechts een klein gedeelte van de vele mensen met een wetenschappelijke opleiding komt uiteindelijk ook als wetenschapper aan het werk; veel expertise en kwaliteit bevindt zich dan ook buiten de formele wetenschap in overheid en bedrijfsleven. Een onafhankelijke inspectie bemensen lijkt mij prima mogelijk (wetenschappers zelf zijn mogelijk ook geïnteresseerd).
En er gaat dus in de praktijk veel mis met het huidige controle. Het lijkt me op zijn minst het overwegen waard een inspectie op de kwaliteit van het wetenschappelijke proces op te tuigen, die de verschillende partijen als universiteiten en tijdschriften scherp houdt.
Zeker, en dat kleine gedeelte vormt de voorhoede (en de middenmoot, en de achterhoede) van hun vak. Dat je die voorhoede zomaar even van de rest zou kunnen onderscheiden als je zelf een universitaire opleiding hebt gehad is echt onzin. Daar zijn al die vakgebieden veel te specialistisch voor.
Maar het grootste probleem is en blijft dat zo’n inspectie criteria nodig heeft om wetenschap op te beoordelen. Die (mede) zullen worden bepaald door de politiek. Nog meer politieke bemoeienis lijkt me absoluut niet wenselijk, zeker niet zolang de politiek zich vooral laat leiden door kortzichtig rendementsdenken.
Nu ik er nog eens over nadenk, had ik mijn kritiek ook op een meer fundamentele manier kunnen verwoorden.
Ten eerste denk ik dat het voorstel berust op twee denkfouten die alomtegenwoordig zijn in de hedendaagse managersplaag:
1. Het idee dat alles meetbaar of objectiveerbaar moet zijn, en dus controleerbaar.
2. Het idee dat alles wat controleerbaar is ook gecontroleerd moet worden.
En ten tweede is zo’n inspectie in feite geïnstitutionaliseerd wantrouwen. En daar hebben we al teveel van, niet te weinig. Wat mij betreft is zoiets gerechtvaardigd voor activiteiten die potentieel gevaarlijk zijn, of maatschappijontwrichtend. En verder niet.
In principe eens over deze twee denkfouten. Ik ga ook niet hartstochtelijk pleiten voor zo’n inspectie, ik heb het stuk in eerste instantie gedeeld omdat de schrijver een belangrijk probleem signaleert en beschrijft, en ik vond dit wel een originele invalshoek die ik nog niet eerder had gezien (terwijl veel kritiekpunten die hij beschrijft al bekend zijn).
Niettemin: ik zou best wel eens een avond met een paar slimme mensen en een pot bier willen nadenken over of je zoiets toch niet vorm zou kunnen geven op een manier waarbij de voordelen groter zijn dan de nadelen. Want slechte en frauduleuze wetenschap is potentieel wel gevaarlijk of maatschappijontwrichtend: het meest directe voorbeeld is natuurlijk de medische wetenschap, maar bijvoorbeeld ook het idee dat een sociaal vangnet slecht is en mensen stimuleert to luiheid is een wetenschappelijk construct (van een paar Angelsaksische politicologen). Daar weer tegenin: als je met dat laatste iets zou willen zou zo’n inspectie wel iets moeten vinden van ‘kwaliteit van wetenschap’ en dat pad moet je niet op willen, denk ik.
Wat bedoel je met ‘natuurlijk de medische wetenschap’? Ik hoor daar toevallig nogal eens iets over. Mijn indruk is dat er daar bijvoorbeeld heel scherp gelet wordt op belangenverstrengeling.
“Natuurlijk” als in dat dat het meest evidente voorbeeld is van ‘potentieel gevaarlijk’, waar Hans het over heeft – als een medicijn op de markt komt dat toch niet veilig is, of een ingreep die wel werken zou kunnen zijn niet op de markt komt. Ik heb geen idee hoe het zit met belangenverstrengeling (tussen wetenschap en bedrijfsleven gaat dat over neem ik aan), heel mooi als daar scherp op wordt gelet. Maar dat betekent niet dat de algemene problemen die Van Pelt beschrijft niet ook in die sector opgaan.
In de gezondheidszorg is er al een inspectie. Ik vraag me af of een aparte inspectie voor de wetenschap daar nog wat aan toe zou kunnen voegen. Ook al omdat maar een klein deel van de medische behandelingen gebaseerd zal zijn op in Nederland uitgevoerd wetenschappelijk onderzoek.
Inderdaad is het peer review stelsel (althans in mijn vakgebied) verre van perfect, gelet op de aantallen
artikelen die mi. nooit zo gepubliceerd hadden mogen worden. Maar dat kan per onderzoeksdomein
verschillen.
Ik vind dat reviews te vaak een ‘ja, mits’ oordeel geven dan een ‘nee, tenzij’.
De overheid is daar ook zelf debet aan, dus is zo’n kwaliteitsinspectie voor mij een bevreemdend iets. In elk geval geldt voor onderzoeksaanvragen (mn. persoonsgerichte beurzen) dat aantallen publicaties vaak een belangrijke factor zijn. Volgens mij gebruikt NWO (een overheidsorgaan) dit bij dergelijke beurzen als selectiemiddel.
Gevolg: je wordt meer gestimuleerd om veel artikelen te schrijven (die echt niet allemaal opzienbarend
kunnen zijn) en niet zozeer om minder (maar gedegener) output te leveren. Incrementele kennisoutput weegt dan
zwaarder dan het verkrijgen van significante vooruitgang.
In een ideale wereld zou de cultuur dusdanig zijn dat je alleen iets publiceert als je echt iets zinnigs toe te voegen hebt aan de bestaande kennis.