Als achtergrond bij deze serie over het Nijmeegse bijstandsexperiment, is het wellicht aardig voor mensen een beetje een idee te krijgen over hoe dat nou in zijn werk gaat, die wetenschap. In heel algemene zin. Want een historicus doet natuurlijk wat anders dan een chemicus, en een econoom wat anders dan een biomedicus. Maar aan het eind van de dag zijn er toch wel de nodige overeenkomsten – al zijn er ongetwijfeld op alles wat ik hieronder schrijf ook uitzonderingen, en pretendeer ik geen volledigheid.
Een vraag – en dan verder
Het begint met een vraag. Iemand wil weten hoe iets zit. Dat kan een wetenschapper zijn, of iemand met een zak geld die een wetenschapper opdracht geeft dat uit te zoeken. Of een aantal wetenschappers – voor het gemak schrijf ik hier in enkelvoud, maar meestal zal het gaan om meerdere mensen, of een heel team. Maar dat terzijde. Er is dus een vraag. Het eerste wat je dan gaat doen is je inlezen, de (wetenschappelijke) literatuur induiken. Wat weten we over dit vraagstuk, zijn er al mogelijke antwoorden, theorieën, soortgelijke vraagstukken in andere contexten die al beantwoord zijn? Eventueel kun je op basis van zo’n eerste studie komen tot hypothesen (‘ik denk dat het zo zit’) die je gaat toetsen. Er zijn mensen die aanhangen dat alleen hypothesetoetsende wetenschap ‘echte’ wetenschap is, maar dat is een vrij nauwe, Angelsaksische invulling van het begrip wetenschap (‘science’). Voor het verschil tussen ´wetenschap´ en het wat beperktere begrip ‘science’, zie hier.
Vervolgens gaat een wetenschapper aan de slag. Er wordt data verzameld: dat kan van alles zijn, van de historicus die oude dagboeken gaat lezen, tot de medicus die een groot ‘randomized controlled trial’ houdt en een groep patiënten heeft waarvan de helft een experimenteel medicijn krijgen en de andere helft een placebo. En van de antropoloog die ergens gaat zitten observeren, tot de econoom die macro-economische gegevens, uit verschillende landen en over meerdere jaren, uit databases trekt. Die data wordt geanalyseerd, met een methode die (hopelijk) past bij het type onderzoek en de verzamelde gegevens. Daar komen resultaten uit, en die leiden tot een conclusie. Hoera! We hebben wetenschappelijk onderzoek gedaan.
Een antwoord, maar ook nog niets
Dat antwoord, daar kun je dan eigenlijk nog niets mee. Het wordt pas geaccepteerd door de wetenschappelijke gemeenschap, en als het goed is ook door de rest van de wereld, als het gedane onderzoek wordt gecontroleerd, gevalideerd en (dus) geaccepteerd door andere wetenschappers. In de regel gaat dat via ‘peer review’. Wetenschappers, vaak anoniem, lezen het verslag van het onderzoek en Vinden Er Dan Dingen Van. Variërend van ‘prima, niets meer aan doen kan gelijk gepubliceerd worden’ (zeer zeldzaam) tot ‘rotzooi dit deugt allemaal niet’. Even uitgaande van een artikel in een wetenschappelijk tijdschrift: veelvoorkomend is dat de anonieme critici het wel acceptabel achten, míts de wetenschapper nog een aantal aanpassingen doorvoert (ontbrekende literatuur leest die relevant is en dat meeneemt in het verhaal, extra testen doet, een andere methode gebruikt, meer data verzamelt etc.). Uiteindelijk leidt zo’n proces, na een paar keer heen en weer gaan, tot een artikel dat gepubliceerd kan worden.
Wetenschappelijk gezien zijn de resultaten dan pas ‘echt’ – hoewel er natuurlijk nog steeds andere wetenschappers kunnen zijn die vinden dat het gedane onderzoek níet ok is. Het peer review systeem is een soort kwaliteitsborging, geen garantie voor uniformiteit (en gelukkig maar).
Hiërarchie in publicaties
Dit systeem zorgt wel voor een zekere hiërarchie qua publicaties. Sommige soorten publicaties worden beter (of strenger) gecontroleerd dan anderen, en dat weegt mee in hoe veel waarde wordt gehecht aan hetgeen gevonden is. Wat overigens ook weer kan verschillen per wetenschappelijke discipline, maar goed. Hieronder een (onvolledig) overzicht.
Vaktijdschriften zitten een beetje op de grens. Ze zijn bedoeld voor een specifieke groep vakmensen – zelf zit ik bijvoorbeeld in de redactie van Sociaal Bestek, dat schrijft voor ‘specialisten op het gebied van participatie, sociale zekerheid en maatschappelijke ondersteuning’. In vaktijdschriften verschijnen soms artikelen geschreven door wetenschappers, op basis van bovenstaande methode. Echter: er is geen peer review. Een redactie kijkt wel mee naar de stukken, en heeft in grote lijnen natuurlijk verstand van het onderwerp van het blad. Maar de redactieleden zijn lang niet altijd zelf wetenschappers, en er is ook geen specialist aanwezig voor ieder onderwerp waar een mogelijk artikel over kan gaan. Goede weblogs met wetenschappelijke insteek vallen ook in deze categorie, zoals het economenblog MeJudice en Sociale Vraagstukken waar we hier ook regelmatig stukken van overnemen.
Boeken zijn er in verschillende soorten. Zo zijn monografieën wetenschappelijke boeken, meestal van één auteur, over een bepaald onderwerp. Er is geen peer review, al zal de uitgever wellicht meekijken of er geen totale onzin in staat. Deze manier van publiceren is slechts nog gebruikelijk in een aantal disciplines, bijvoorbeeld bij studies in de letteren/humaniora. Voor bijvoorbeeld filosofie en geschiedenis wil je wel echt een boek (soms bestaande uit meerdere delen) hebben om een onderwerp echt goed aan te pakken. In bijvoorbeeld de sociale wetenschappen wordt veel meer gewerkt met losse artikelen, en zie je boeken vooral bij al gelauwerde wetenschappers die bijvoorbeeld een wat publieksvriendelijkere versie schrijven van hun werk (en deze hebben natuurlijk de status die past bij die van de schrijver).
Net als boeken hebben Boekhoofdstukken in de regel meer wetenschappelijk statuur dan vakpublicaties, maar in de regel minder dan de hierna beschreven wetenschappelijke artikelen in wetenschappelijke journals. Het moet dan natuurlijk wel gaan om een boek in lijn meet wetenschappelijke methodes en uitgegeven bij een wetenschappelijke uitgeverij. Deze hebben vaak één of enkele editors, die verantwoordelijk zijn voor het boek, en die specialist zijn op het totaalonderwerp. Zij kijken mee met de (door anderen geschreven) hoofdstukken, maar er is geen anonieme peer review.
Proefschriften zijn een bijzondere categorie, omdat het eigenlijk ook een onderwijsproduct is. Zo’n ding is natuurlijk eerst uitgebreid becommentarieerd door de promotor en copromotor(en). Daarna gaat het naar een onafhankelijke manuscriptcommissie, die beoordeeld of het geschikt is voor verdediging. En dáárna moet bij die verdediging ook nog langs enkele andere wetenschappers die de leescommissie vormen. Meer dan genoeg ‘peer feedback’ dus, want al deze lieden zijn expert op een onderwerp dat een proefschrift raakt. Maar het is niet anoniem. En, als ik me niet vergis, is het idee ook dat zo’n proefschrift alleen hoeft te bewijzen dat de schrijver kan functioneren als onafhankelijk wetenschappelijk onderzoeker. Er staat nergens dat het ook echt een hele goede onderzoeker hoeft te zijn.
Wetenschappelijke tijdschriften, of journals, hebben over het algemeen het meeste status. Ingezonden artikelen moeten origineel werk bevatten, dat echt iets toevoegt aan de bestaande kennis, en die aansluit bij het tijdschrift waarin men wil publiceren. Artikelen worden beoordeeld door tussen de twee en vier experts, die echt verstand hebben van het betreffende onderwerp. Meestal is dit anoniem. Ook is er een redactie en een verantwoordelijk editor, die meekijken en al een eerste schifting maken of iets acceptabel is. Daarbij geldt trouwens ook dat hoe bekender zo’n tijdschrift is (en hoe meer status het heeft), hoe meer het te kiezen heeft. En Engelstalige journals staan hoger aangeschreven dan niet-Engelstalige, dus ook die kunnen veel strenger zijn in de beoordeling. Sommige hebben acceptatie-percentages van tussen de 5 en 10 procent. Dus ja, er gaat dus in de wetenschap veel tijd verloren aan indienen, afgewezen worden, herschrijven, opnieuw indienen, enz. etc.
Risico’s van gebrek aan check
Er zijn ook wat tussenvormen bij bovenstaande. Het is gebruikelijk voor wetenschappers om ideeën in een eerder stadium, voor publicatie, alvast te presenteren op conferenties, of in ‘working papers’. Dan heb je een preprint, een artikel dat wel conform wetenschappelijke methoden tot stand is gekomen, maar dat nog niet de toets der kritiek van andere experts heeft doorstaan.
En daar zitten natuurlijk gevaren aan. Want met alle kritiek die mogelijk is op het systeem van peer review, het is wel een soort van kwaliteitsgarantie, waarbij je er van uit mag gaan dat de grootste rotzooi er in ieder geval uitgefilterd wordt. Als die controle er niet is geweest kan er natuurlijk van alles misgaan. Dat zag je in het geval van die Amsterdamse socioloog die in opspraak raakte, omdat hij controversiële dingen zei. Over onderwerpen buiten zijn eigen vakgebied. En wel als wetenschapper, maar dan op basis van blogs die geschreven waren en artikelen die nog ‘in voorbereiding’ waren. Maar dat heeft, zie hierboven, dus nog geen wetenschappelijke waarde totdat er een soort van collegiale check op is geweest.
Dit risico was ook waarneembaar tijdens het hoogtepunt van de Covid-pandemie. Vanwege de grote urgentie, de talloze doden en de wereldwijde ontwrichting werden medische papers vaak al nieuws in het preprint stadium. Daar kwamen dan soms heel opvallende zaken uit, die later weer ingetrokken moesten worden – na peer review bleek het toch anders te zitten, de methode niet te deugen, de conclusies veel te stellig, et cetera.
Ditzelfde risico heb je trouwens ook wanneer wetenschappers in opdracht een rapport tikken – dan is er ook geen extra controle op de uitkomsten, wat kan leiden tot allerlei ellende, van slordige wetenschap tot oneigenlijke beïnvloeding door de opdrachtgever. Ik beperk me tot één voorbeeld: een rapport van een paar wetenschappers voor de onderwijscommissie van het Europees Parlement, dat vrij verregaande uitspraken deed over het Nederlandse hoger onderwijs. Later bleek het, deels in ieder geval, zeer slordig. En bestond de basis uit twee blogs en een stukje in de Volkskrant. Waarvan één blog ook nog volledig verkeerd begrepen was.
Rommel en vertrouwen
Maar goed. Als ik heel eerlijk ben wordt ook met strenge peer review ook wel eens rommel gepubliceerd. Ook in grote internationale tijdschriften met veel status. Het hele wetenschappelijke systeem zoals we dat kennen biedt een check, maar geen absolute garantie voor kwaliteit.
Hoe je daar dan mee om moet gaan, als burger, vind ik zelf ook lastig. Ergens moet toch het midden worden gevonden tussen enerzijds blind alles voor waar aannemen waar iemand met een titel aan geschreven heeft, en anderzijds verwappen en niet meer geloven in ‘de wetenschap’ in het algemeen, of het nu gaat om klimaat, vaccins of stikstof. Volgens mij moet dat ergens uitkomen bij in principe vertrouwen in de gevestigde wetenschap, maar het wel houden van een kritische houding en weten dat daar ook wel eens de plank wordt misgeslagen of belangenverstrengeling is. Een goede vuistregel bij 'kritisch zijn' lijkt me sowieso kijken in hoeverre de wetenschapper in kwestie echt expertise heeft op het gebied waarover ‘ie iets zegt.
Tot slot
Naast het onderzoeken zelf, is er dus het hele proces van publiceren. En zoals ik de vorige keer al aanstipte, zorgen dat de resultaten bij de goede mensen terechtkomen, in de samenleving. Met een lelijk woord ook wel ‘valorisatie’ genoemd. En daar zijn blogs en niet-wetenschappelijke tijdschriften dan weer uitstekend geschikt voor. Alleen bij voorkeur dus ná iets van wetenschappelijke kwaliteitscontrole.
