Droom

OPINIE - Ik rommelde vanmorgen tegen een interessante vraag aan. In de huidige wetenschappelijke praktijk wordt kwaliteit vooral gemeten door wetenschappelijke publicaties te tellen. De gevolgen zijn bekend: publicatiedwang, een stortvloed aan artikelen over kleine onderwerpen en een neiging tot specialisme. De meeste artikelen worden vervolgens nauwelijks geciteerd.

Ik herinner me hoe, toen de publicatienorm werd geïntroduceerd, deze in eerste instantie was: publiceren in een internationaal tijdschrift. Al snel verschenen dus tijdschriften met titels als Münstersche Beiträge zur Antiken Handelsgeschichte, zodat er voor iedereen gelegenheid was om van elk belang gespeende bijdragen te publiceren. Ik koester “Der Waren- und Dienstleistungsaustausch zwischen dem Römischen Reich und dem Freien Germanien in der Zeit des Prinzipats – Eine Bestandsaufnahme”: ofwel een artikel waarvan de eigenlijke analyse nog moest beginnen. Destijds ging het gerucht dat de universiteiten waren gedwongen soortgelijke tijdschriften uit te geven, om die tegen andere pulpblaadjes te kunnen ruilen. Om dit soort excessen te vermijden ontstond een rating-systeem, werd vastgesteld welke tijdschriften er echt toe deden. Zo veranderde de eis in: publiceren in de tijdschriften met de grootste impact.

Kwaliteit werd zo een kwantiteit, en dat is niet per se wat we willen hebben. Maar is een puur kwalitatieve beoordeling eigenlijk wel mogelijk? De KNAW denkt van niet, getuige het adviesKwaliteitsindicatoren voor onderzoek in de geesteswetenschappen (2011). Men blijft hangen in het tellen van zaken, en wel van

  1. Wetenschappelijke output (ofwel: artikelen tellen)
  2. Wetenschappelijk gebruik van onderzoeksoutput (ofwel: recensies en citaten tellen)
  3. Blijken van wetenschappelijke erkenning (ofwel: prijzen tellen)
  4. Maatschappelijke output (opnieuw: artikelen tellen)
  5. Maatschappelijk gebruik van output (opdrachtonderzoek, projecten met maatschappelijke actoren)
  6. Blijken van maatschappelijke erkenning (opnieuw: prijzen tellen)

Kortom: men vertrouwt erop dat het huidige systeem met collegiale beoordeling door tijdschriftredacties goed genoeg is en dat méér publicaties een nastrevenswaardig doel vormen. Helaas zijn er verontrustend veel artikelen waaraan iets schort; iedereen kent voorbeelden. Nu vormen die ook maar een eerste indruk, dus de vraag is in feite hoe we haar empirisch onderbouwen. Er zijn wat cijfers bekend: vaak wordt verwezen naar Daniele Fanelli, die op tafel kreeg dat onderzoekers vaker rommelen met gegevens dan goed is. In eigen land constateerden Bakker en Wicherts dat uit de publicaties van de Nederlandse psychologen bleek dat ze moeite hadden met statistiek.

Wetenschappers zijn inmiddels zó gespecialiseerd, en worden beoordeeld door zó gespecialiseerde collega’s, dat er onvermijdelijk gaten zitten in de kennis van zowel de auteur als de beoordelaars van een artikel. Maar daar valt iets aan te doen. Eén heel simpele maatregel is dat artikelen niet langer uitsluitend door vakgenoten worden beoordeeld. Als die immers collectief dezelfde aannames hebben – bijvoorbeeld dat statistiek voor psychologen een leuk bijvak is zonder veel werkelijk belang – zullen ze een artikel dat die aannames deelt, niet afwijzen, ook als dat zou moeten. We kunnen echter redacties breder samenstellen. Bijkomend voordeel is dat zo de neiging tot hyperspecialisme wordt gebroken. Laat een archeoloog maar eens mee-oordelen over classici. Over het omgekeerde – dat het zinvol is als classici kijken naar het werk van archeologen – heb ik al eens geschreven in de Archeobrief (online).

Een tweede maatregel – moeilijker – is te kijken of resultaten doordringen naar de samenleving, en dan bedoel ik niet dat we het “maatschappelijk gebruik van output” meten aan de hand van projecten met maatschappelijke actoren of dat we “blijken van maatschappelijke erkenning” gaan turven. Mijn utopie is deze: dat doctorandi/masters elke vijf of tien jaar hertentamen doen, zoals ook een rijbewijs wordt verlengd. Daarbij zou dan enerzijds moeten worden gekeken of ze hun vakterrein nog beheersen en anderzijds of ze de wetenschap in het algemeen hebben gevolgd. Het voordeel van zo’n “examen over het Cultureel Woordenboek” is dat je het tegelijk kunt gebruiken om te zien in welke mate wetenschappelijke inzichten doorsijpelen. Gebeurt dat lange tijd niet, dan komt de vraag op of dat vakgebied wel zo zinvol is. (En ja, ik ken de tegenwerping dat er onderzoek bestaat dat pas na lange tijd ineens een toepassing bleek te hebben – maar met hoeveel van de duizenden en duizenden zelden geciteerde publicaties gebeurde dat?)

Ik realiseer me het utopische karakter van mijn voorstel, maar ik denk dat we opnieuw moeten gaan dromen over hoe wetenschap zou moeten zijn. Ik denk namelijk dat als we het wetenschappelijk bestel opnieuw konden ontwerpen, we niet opnieuw de universiteit zouden uitvinden. Het huidige systeem zou wel eens een doodlopende weg kunnen zijn, in elk geval voor de geesteswetenschappen.

Misschien is het wel een soort 1806. In Engeland had men alles goed voor elkaar: men had een wereldrijk, de industrialisering kwam op gang en men zou korte tijd later Napoleon verslaan. Investeren in wetenschap en onderwijs, dat hoefde niet, hoewel bijvoorbeeld Malthus daarop hamerde. In Pruisen likte men de wonden na de nederlaag bij Jena-Auerstedt. Daar kreeg Von Humboldt vrij baan en ontstond de moderne universiteit. De resultaten toonden zich natuurlijk niet direct, maar waren voor iedereen in de tweede helft van de negentiende eeuw zichtbaar. Als we energie als uitgangspunt nemen – een bekende maatstaf om samenlevingen onderling te vergelijken – zien we hoe Groot-Brittannië tussen 1860 en 1914 haar verbruik verdubbelde, terwijl dat in Duitsland verveertienvoudigde. Duitsland zou de grote culturele vernieuwer zijn van het negentiende-eeuwse Europa (en de grootste energieverslinder).

Inmiddels is de Humboldtiaanse universiteit ontaard in een bureaucratisch gedrocht, maar haar ontstaan is een van de inspirerendste gebeurtenissen uit de geschiedenis. Ik denk dat het tijd is voor een soortgelijke, revolutionaire vernieuwing van het academisch bedrijf, waarbij het voortbestaan van de bestaande instellingen niet het vertrekpunt is van de analyse, maar een mogelijke uitkomst. Een parlementair onderzoek zou een nuttige eerste stap kunnen zijn.

  1. 1

    Een herexamen voor wetenschappers? Wie moet ze dan toetsen aangezien ze zelf het meeste van het onderwerp wat ze studeren afweten?

    Verder dringen wetenschappelijke resultaten liefst niet gelijk door naar de samenleving. Want dan lopen ze niet genoeg voor op de tijdsgeest. Later blijkt pas of echt briljante ideeën zijn.

    Volgens mij plukken we nog steeds de vruchten van het huidige systeem, al zitten natuurlijk in elk systeem fouten. Maar het meer maatschappelijk maken van (natuur)wetenschappen lijdt alleen maar tot kortzichtige wetenschap.

  2. 2

    Slechts een definitiekwestie, maar kwaliteit in wetenschap wordt enkel en alleen bepaald door middels experimenten de juistheid van door die wetenschap voortgebrachte theorien of opgeschreven feiten vast te stellen. De rest is voornamelijk toegepaste statistiek, onderzoek, subsidie-aas, propaganda, sluikreclame en het documenteren van alledaagse handelingen in specifieke vakgebieden in de vorm van protocollen, handleidingen, best-practices en handboeken etc. Daarom niet per se zinloos, bijvoorbeeld daar waar het onderzoek betreft waar later alsnog wetenschap mee bewezen kan worden is het hartstikke interessant. Maar het is vaak geen wetenschap.

    En, zo bedenk ik mij nu, daarmee is voor dergelijke zaken de kwantiteitstoets misschien helemaal zo gek nog niet.

  3. 3

    Het probleem is niet de kwaliteit van de wetenschappelijke bijdragen, maar die van de beoordelaars. Als er zoveel schort aan de artikelen dan moeten die toch vaak af te schieten zijn. Je moet geen criteria stellen aan het gewetenschap maar aan het gebeoordeel. Een wetenschapper moet x aantal artikelen publiceren? Een beoordelaar moet y aantal artikelen afschieten! Verplicht wetenschappers niet alleen om te publiceren maar ook om te beoordelen en eis dan dat ze minstens z % van hun collegae aan de schandpaal knopen.

  4. 4

    Duitsland heeft inderdaad in de 19e eeuw grote innovaties voortgebracht in de chemie en geneeskunde (o.a. aspirine).
    Dat kwam met name door het goede onderwijs:
    Justus von Liebig had in Giessen het eerste universitaire laboratorium opgericht, en de studenten kregen heel veel praktijkervaring.

    Of er een verband bestaat met de Humboldt-universiteit weet ik niet.
    Giessen ligt dichter bij Köln dan bij Berlijn.

    Frankrijk liep tot 1800 voorop in scheikundig onderzoek (met name door Lavoisier) maar in Frankrijk kon maar een handjevol studenten een stage-plek krijgen bij een gerennommeerde onderzoeker, er waren dus minder faciliteiten en kennis werd met minder mensen gedeeld.

  5. 5

    Volgens de schrijver wordt teveel geoordeeld op kwantiteit.

    Dan prijst de schrijver Duitsland omdat daar het energieverbruik veel meer steeg dan in Engeland. Kwantiteit dus als maatstaf!