ANALYSE - Beste Jona, beste Marcel,
Met belangstelling heb ik jullie gedachtenwisseling gelezen over nepnieuws. Misschien, dacht ik, kan ik daar ook iets aan bijdragen, waarbij ik mij van tevoren verontschuldig voor de lengte van mijn bijdrage, want ik had geen tijd om een korter stuk te schrijven.
Bij het lezen van jullie discussie viel mij het volgende in: Een belangrijke reden voor het welig tieren van nepnieuws, is wellicht dat het voor de ‘gewone burger’ nog helemaal niet zo gemakkelijk is om te bepalen wat wetenschappelijke informatie is, en wat niet.
En dat kunnen we die gewone burger volgens mij ook niet verwijten. Het komt omdat hem op scholen nooit geleerd is wat een onderzoek nu eigenlijk “wetenschappelijk” maakt. Misschien is het nuttig daar eens aandacht aan te besteden?
Doe je eigen onderzoek
Valt het jullie ook niet op dat de term “je eigen onderzoek doen” juist in zwang is bij mensen die blijken te zijn gevallen voor berichtgeving die doorgaans totaal niet voldoet aan de eisen voor het wetenschappelijk onderbouwen van informatie? De grap is: als je die berichtgeving echt gaat bestuderen, blijkt dat die complotsites zoals we ze noemen juist heel erg goed zijn in het doen alsof ze heel gedegen en kritisch ‘wetenschappelijk’ onderzoek doen. Vandaar de populariteit van die term.
Maar wat maakt nieuws nu wetenschappelijk verantwoord?
Jullie twee zijn net als ik wetenschappelijk geschoold, en bovendien geïnteresseerd in wetenschapsfilosofie. Voor jullie zal het dus wel duidelijk zijn aan welke voorwaarden een wetenschappelijk onderzoek of argument zal moeten voldoen. Maar deze informatie wordt doorgaans niet op scholen onderwezen. Niet op het basisonderwijs, en niet in het voortgezet onderwijs. Ja, het was voor mij pas in de masterfase dat ik echt met wetenschapsfilosofie geconfronteerd werd. Naar mijn mening is dat veel te laat.
Enfin, om ook voor de meelezers duidelijk te maken waar ik het over heb, zal ik een en ander bespreken, met behulp van enkele voorbeelden uit de recente discussie over corona en het coronabeleid.
Wat maakt een wetenschapper?
Om te beginnen: sites die mensen wat op de mouw willen spelden putten zich vaak tot uit den treure uit in het gebruik van het zogenaamde ‘autoriteitsargument’. Zij verwijzen naar iemand met heel veel titels en een indrukwekkend CV die iets gezegd zou hebben. Daarmee menen ze aan te tonen dat het om een heel wetenschappelijke bewering gaat. Alsof iets automatisch wetenschappelijk is als het gezegd wordt door iemand met een titel.
Dat is natuurlijk onzin. Een wetenschapper is geen wetenschapper vanwege een onderscheiding of functie, maar omdat (en zolang) hij of zij zich committeert aan de wetenschappelijke methode. Deze wetenschappelijke methode is een set afspraken en regels waar wetenschappers elkaar aan houden, om valpartijen in bekende al te menselijke valkuilen bij het zoeken naar hoe de werkelijkheid in elkaar zit zoveel mogelijk te voorkomen.
Die methode is er niet voor niets! Wij weten (uit allerlei onderzoek) dat ieder mens de realiteit zoals hij die ervaart maar al te graag vertekent. Als een mens dus zomaar in de wilde weg gaat zoeken naar een bevestiging van een idee dat hij heeft, dan heeft hij een grote kans dat hij zichzelf bedriegt.
Dit doet hij door ofwel zeer selectief informatie te vergaren, ofwel de informatie op een dubieuze manier te interpreteren. Dit doen wij allemaal, soms bewust, maar nog veel vaker doen wij dat onbewust.
De wetenschappelijke methode
De wetenschappelijke methode is een set regels die wetenschappers tegen dit soort fouten tracht te wapenen. Wat behoort daar allemaal toe?
Een makkelijk te begrijpen regel is dat een wetenschapper altijd gebruik moet maken van objectieve meetinstrumenten: meetinstrumenten die in verschillende situaties hetzelfde meten. Dat is in het geval van een maatcylinder makkelijk, maar in het geval van een vragenlijst is dat al lastiger op te stellen. Daar zijn echter trucs en regels voor, om een vragenlijst min of meer objectief te laten meten, deze te ‘ijken’.
Een ander voorbeeld is dat het onderzoek dusdanig opgezet moet worden dat iedereen het kan reproduceren, en dus kan controleren of hij of zij dezelfde uitkomsten krijgt. Dit natuurlijk om mogelijke onbewuste of zelfs bewuste meetfouten een grotere kans te geven om ooit uit te komen.
Weer een ander voorbeeld is de zogenaamde controlegroep-methode, waarin we de metingen in twee verschillende situaties doen, waarbij we alle condities hetzelfde houden, maar heel nauwgezet één conditie,die welke we willen onderzoeken, veranderen. Dit om te kijken of dat wat we meten wel echt ligt aan de variabele die we onderzoeken, en niet aan een ander effect.
Maar een heel belangrijk voorbeeld dat ik hieronder graag wat meer uitwerk, is dat modern wetenschappelijk onderzoek altijd uitgaat van één duidelijk meetbare onderzoeksstelling, waarvan vervolgens gekeken wordt of deze resistent is tegen kritisch onderzoek. We noemen dat falsificatie.
Waarom falsificatie
Een grote fout die wij mensen maken wanneer wij een stelling proberen te controleren, is dat wij gaan zoeken naar bevestiging daarvan. Dit klinkt logisch, maar het is precies de foute methode om een stelling te controleren, en niet zelden leidt het tot puur zelfbedrog.
Een simpel voorbeeld: ik ben overtuigd van de stelling dat alle Fransen van wijn houden, en ik wil dat bewijzen. De klassieke methode om dit te controleren is naar Frankrijk af te reizen en honderd willekeurige Fransen te vragen of ze van wijn houden. Zeggen ze alle honderd ja, dan acht ik de stelling bewezen.
Dit is echter een volstrekt verkeerde methode. Het kan zijn dat ik nu juist toevallig in een stad kom waar iedereen van wijn houdt, terwijl men in een andere landstreek juist walgt van dit vocht, en de voorkeur geeft aan groene thee. Of het kan zijn dat alle Fransen die juist niet van wijn hielden mijn rooie neus van verre aan zagen komen, en daarom een blokje om zijn gaan lopen, en zodoende mijn vraag nooit gehoord hebben.
Ik noem maar wat voorbeelden waar het fout kan gaan, zelfs als ik niet eens van zins ben de zaak te flessen (laat staan wat er fout kan gaan als ik opzettelijk de uitkomsten wil sturen).
Wat is dan de juiste methode om te kijken of mijn stelling klopt? Dat is door te proberen of ik hem kan falsificeren. Ik moet dus juist op zoek te gaan naar Fransen die niet van wijn houden.
Dat kan natuurlijk door enorme steekproeven te nemen van mensen die ik willekeurig selecteer uit het telefoonboek. Maar het kan in dit geval ook door gericht te gaan zoeken: ik zet een advertentie met de vraag of Fransen die niet van wijn houden zich bij mij willen melden.
Hoe grondiger dit onderzoek is, en hoe langer ik faal om mijn stelling te weerleggen, hoe waarschijnlijker het is dat zij klopt.
De wetenschappelijke cyclus
Dit noemt men dus het falsificatieprincipe. Het is een standaard in de wetenschappelijke methode sinds de filosoof Karl Popper het in de vorige eeuw (her)ontdekt heeft, en handen en voeten heeft gegeven.
Verwant hieraan is de wetenschappelijke cyclus, waarbij de wetenschapper als een stelling verworpen wordt door de feiten, een alternatieve verklaring gaat zoeken, die de gevonden verschijnselen wél goed verklaart.
Die alternatieve verklaring kan een heel andere verklaring zijn, maar vaak moet er aan de oude stelling slechts iets genuanceerd worden, om hem toch bruikbaar te maken. Mijn stelling over de Fransen die van wijn houden zou bijvoorbeeld aangepast kunnen worden naar “de meeste Fransen houden van wijn”.
Belangrijk is dat deze stelling op zijn beurt weer falsifieerbaar moet zijn. Zo kunnen wetenschappers ook deze stelling weer gaan toetsen, door actief op zoek te gaan naar manieren om de stelling onderuit te halen. Hoe moeilijker dat blijkt, hoe waarschijnlijker het is dat de stelling waar is, of om het in postmodern correcte termen te zeggen: hoe bruikbaarder de stelling is als model (want waarheid bestaat niet, of is onkenbaar).
Door de stellingen zo steeds aan te passen en te verfijnen werken we onze modellen van de werkelijkheid uit, en bewijzen we hun nut.
Fundamentele twijfel
Wat de slimme lezer bij bovenstaande zal opvallen, is dat er met deze methode nooit een moment is waarop de wetenschapper zegt: deze stelling is voldoende bewezen, deze stelling is waar!
En dat klopt. Een ware wetenschapper zal nooit de fout maken te zeggen dat zijn stelling honderd procent zeker waar is. Ook al is een stelling nog zo succesvol in het verklaren en misschien zelfs voorspellen van wat we waarnemen, het is nooit bewezen dat die stelling ook echt een adequate voorstelling is van de werkelijkheid.
Of om de Engelse verlichtingsfilosoof David Hume te parafraseren, naar wie bovengenoemde Karl Popper heel goed had geluisterd: als ik duizend keer een steen loslaat en hij valt iedere keer naar beneden, dan kan ik misschien aannemen dat dit in de toekomst ook altijd het geval zal zijn – zeker weten doe ik het nooit. Een stelling die gebaseerd is op ervaring is nooit honderd procent zeker waar.
Dat lijkt een beetje kinderachtig, maar die fundamentele twijfel is juist wat de wetenschap zo sterk maakt: dat ze haar eigen onzekerheden onderkent en blijft onderzoeken.
Helaas wordt de kracht van die fundamentele twijfel niet altijd goed gewaardeerd door het publiek.
De PCR test
Terug naar het nu. Laten we eens kijken naar de PCR-test. Veel mensen die graag geloven dat corona geen groot probleem is, houden zich vast aan twee kritiekpunten op die test.
Als eerste het verhaal van de false positives. De PCR test heeft een foutmarge van zo’n half tot een heel procent. We hoeven geen held in statistiek te zijn om te kunnen berekenen dat dit betekent dat als we een populatie personen testen waar één procent daadwerkelijk het coronavirus draagt, wij waarschijnlijk twee procent personen vinden met een positieve test. De helft is dus een ‘false positive’.
Die hele test is dus zo onbetrouwbaar als wat, menen mensen hierop te kunnen stellen. De totalen kloppen voor geen kant! Dit geluid hoorde je vooral veel in de nazomer, toen veel mensen nog dachten (of hoopten: de wens is maar al te vaak de vader van de gedachte) dat de tweede golf nooit zou komen.
Die mensen maken twee denkfouten. Ten eerste beseffen ze niet dat wanneer de populatie mensen die daadwerkelijk besmet is stijgt naar ongeveer 10%, het aantal vals positieven met een test met dezelfde gevoeligheid nog steeds hooguit 1% blijft. Dit aandeel is dus lang zo groot niet meer. Ten tweede beseffen ze niet dat de mensen die inchattingen maken van hoeveel procent van de bevolking daadwerkelijk besmet is dit effect kennen, en daarop corrigeren: het aantal geschatte besmette mensen wordt vastgesteld op basis van onder meer de testen, waarbij rekening gehouden wordt met dit effect, plus met de kennis of verwachting dat veel mensen zich ook met klachten niet willen laten testen, en aanvullende metingen, zoals in het rioolwater. Het effect heeft dus invloed op individuele uitslagen, maar niet op de schattingen van het daadwerkelijke aantal besmettingen.
In feite zou het erkennen van de false positives juist meer vertrouwen moeten geven in de wetenschap. Die lui erkennen hun onzekerheden, hebben die becijferd, en passen hun ramingen erop aan. Maar veel mensen denken oprecht dat het anders zit.
Als tweede het verhaal dat de PCR test geen besmettelijkheid meet. Dit argument hoor je vaak genoemd door mensen die daarmee verwijzen naar een filmpje van virologe Marion Koopmans, die voor de pers uitgebreid de onzekerheden van de PCR test besprak. Zij onderstreept in de video dat de test niet rechtstreeks kan meten of iemand besmettelijk is: de test meet alleen of het virus nog aanwezig is. In praktijk is het mogelijk dat iemand een virus met zich meedraagt, maar zelf niet besmettelijk (meer) is.
Zie je wel? Wordt geroepen: die test deugt voor geen kant! De cijfers rammelen!
En dat terwijl ook dit verhaal juist meer vertrouwen zou moeten wekken. De mensen die deze test ontwierpen, zijn zich bewust van de mogelijke fouten en hebben alles gedaan om zowel de metingen als de ramingen daarop te compenseren.
De kracht wordt gezien als zwakte
Wat we hier zien, is dat wetenschappers inzicht geven in de fundamentele twijfel in het wetenschappelijke proces, welke hen behoedt voor het trekken van overhaaste conclusies, en hen helpt om zorgvuldiger te werken.
Deze neiging wordt echter niet als kracht herkend, maar aangegrepen voor een algehele scepsis die al lang niet productief meer is, maar wordt misbruikt om ongemakkelijke waarheden te kunnen vervangen door een wenselijk alternatief, waarvoor verder eigenlijk alle onderbouwing ontbreekt (in dit geval dus de aanname dat corona helemaal niet (meer) aanwezig zou zijn, een stelling die meer vragen oproept dan dat ze ergens een verklaring voor is).
Veel mensen maken dit soort fouten. Sommigen doen dat vast bewust. Er zijn veel mensen die er een handig verdienmodel in hebben ontdekt om mensen geruststellende onwaarheden op de mouw te spelden. Een oplichter werkt natuurlijk wel een beetje intelligent, anders is hij geen goede oplichter. Maar ik denk dat het aantal mensen dat er onbewust intrapt, misleid door hun wensen, veel groter is. En dit is mogelijk doordat ze de wetenschappelijke discipline niet begrijpen, of in ieder geval niet goed toepassen.
Wanneer wij Koopmans en kornuiten zouden werkelijk willen corrigeren, zouden wij juist een vertekenend effect moeten vinden dat zijn juist niet zelf in het oog hebben, en dus niet meenemen in hun berekeningen. De besproken vertekenende effecten zijn echter juist wel bekend, en er wordt daarom juist rekening mee gehouden.
Onwetenschappelijke argumenten
Een en ander wordt overigens bemoeilijkt doordat wetenschappelijke argumenten nogal eens verward worden met argumenten die met de wetenschap helemaal niets te maken hebben. Dat wordt gedaan door tegenstanders van een ongemakkelijke wetenschappelijke waarheid, maar ook door politici die een moeilijk verhaal te verkopen hebben, of door wetenschappers met een politieke mening.
Ik noemde hierboven al het autoriteitsargument, dat eigenlijk helemaal geen argument is maar een drogreden. Een verwante drogreden die je vaak hoort is dit: die wetenschappers liegen, want ze worden toch maar gefinancierd door ‘big pharma’.
Dat is geen valide argument, want dat wetenschappers soms raar gefinancierd worden is inderdaad zo, en daar mogen we zeker wat van vinden, het is geen argument dat met de wetenschap zelf iets te maken heeft. Een onderzoek is al dan niet netjes via de wetenschappelijke methode uitgevoerd: als dat wel gebeurd is, dan is de kans dat de financiering invloed had op de resultaten geminimaliseerd.
Of kort gezegd: kritiek op wetenschappelijk onderzoek is goed, dat voedt juist de wetenschap, maar moet wel geleverd worden met een wetenschappelijke argumentatie. Ook de gewone menselijke criticaster die wetenschappelijke resultaten ter discussie stelt, zal dat moeten doen volgens de wetenschappelijke methode om een wetenschappelijk relevante bijdrage te leveren.
Het verschil tussen wetenschap en politiek
Maar denk ook aan een wetenschapper die bijvoorbeeld zegt dat je exponentiële groei helemaal niet zou moeten willen. Wat wij willen, namelijk, daar heeft een wetenschapper niets over te zeggen, laat staan wat wij moeten willen. Dat is aan de politiek.
De wetenschapper beschrijft alleen wat er gebeurt als we exponentiële groei toestaan, en eventueel wat eraan te doen zou zijn, en misschien wat en hoeveel dat dan kost. Hij doet slechts aan beschrijven, en misschien ook aan voorspellen. Wat wij dan vervolgens willen, daar heeft hij als wetenschapper helemaal geen mening over. Dat is een politieke discussie.
Laat ik hierbij benadrukken dat het feit dat iemand wetenschapper is geen garantie is voor dat hij zich altijd zomaar aan de wetenschappelijke methode houdt. Je zou zeggen dat dit voor wetenschappers een tweede natuur moet zijn geworden, maar helaas, dat is niet zo. Ook wetenschappers zijn mensen en er wordt gerommeld en gerotzooid bij het leven, bewust, maar vooral onbewust. De wetenschap als discipline probeert dit te controleren door alle wetenschappers elkaar te laten controleren. Ook dat maakt weer deel uit van de wetenschappelijke methode. Maar dit is dus de reden dat wij de wetenschap als instituut beter zouden moeten kunnen vertrouwen dan individuele wetenschappers. Die laatsten maken zich maar al te vaak bewust of onbewust schuldig aan het bedrijven van politiek, en het gebruiken van hun label als wetenschapper daartoe. Ziehier waarom het autoriteitsargument zeker bij wetenschappers vaak kan leiden tot misstanden.
Aan de andere kant de politicus zelf: hij maakt ook een fout als hij bijvoorbeeld stelt dat ‘de wetenschap ons voorschrijft’ dat we anderhalve meter afstand moeten houden. Dat zegt de wetenschap helemaal niet. De wetenschap kan ons zeggen dat dit de meest effectieve maatregel is om het virus te remmen in zijn verspreiding. Of wij dat vervolgens een goed idee vinden, is geen wetenschappelijke stelling, maar een politieke mening. De wetenschap gaat de facto niet over wat wij mensen van waarde vinden, behalve dan in puur beschrijvende zin.
Maurice de Hond
Mijn punt is dat het de moeite waard is dat mensen het recht hebben te leren hoe de wetenschappelijke methode werkt. Om het misschien toch wat minder abstract te maken geef ik nog twee voorbeelden waarom dat zo belangrijk is.
Het geval Maurice de Hond: met bovenstaande kennis kunnen wij meteen zien wat er nu bijvoorbeeld niet deugt aan de insteek van Maurice de Hond in het coronadebat. Deze man heeft een diploma in statistiek, doet zijn hele leven onderzoek, en hij heeft het voor elkaar gekregen om een artikel met zijn diagnose te publiceren in een gezaghebbend medisch vakblad over de verspreiding van het coronavirus door microdruppels. Moeten we wat hij daarnaast zegt dan niet wat meer serieus nemen?
Nee, want dit is nu juist dat autoriteitsargument. Met het genoemde artikel is verder niet zoveel mis. Maar wat wel heel mis is, is dat hij buiten dat artikel om de stelling aanhangt dat het coronavirus zich bijna uitsluitend via microdruppels verspreidt, en dat daarom de anderhalvemetersamenleving zinloos is. Het is die stellingname die hij nooit in het artikel geproduceerd zou krijgen. Immers, zijn modellen beschrijven wel een aantal grotere uitbraken op een correcte manier, maar hij heeft met zijn statistieken geenszins de totale verspreiding van het virus in beeld. Zijn onderzoek is waardevol, maar weerspreekt het nut van afstand houden nergens. Dit is echter wel de stellingname waarmee hij de bühne mee opgaat bij anticoronademonstraties.
Verder levert hij wel kritiek op de zorgvuldigheid van de onderbouwing van de anderhalve meter als maatregel: die vindt hij mager. Dat mag hij vinden, maar hij heeft daarmee de stelling nog allerminst gefasificeerd. En hij negeert de onderzoeken die dat juist wel hebben geprobeerd.
Daarbij valt ook zijn onwetenschappelijke houding op: de stelligheid waarmee de Hond zijn beweringen doet, heeft niets van de wetenschappelijke fundamentele twijfel. Daarbij doet hij alsof hij zo’n beetje eigenhandig de aerosool ontdekt heeft in het debat. Dat is alles behalve het geval. Daar werd al lang uitgebreid onderzoek naar gedaan. Alleen uit die onderzoeken kwamen nooit echt overtuigende resultaten, niet over de rol van die aerosolen. Die ‘mislukte’ onderzoeken laat hij weg in zijn analyse, terwijl mislukte pogingen tot falsificatie óók belangrijk zijn.
Een plausibele factor wordt verheven tot de enige belangrijke factor, en er wordt een hele werkelijkheid omheen gebouwd. De wetenschap is nog niet eens ondubbelzinnig overtuigd van de rol van aerosolen, laat staan over wat dan de beste maatregelen daartegen zouden zijn, maar Maurice de Hond heeft daar al een heel (kostbaar) plan voor liggen. Wensdenken is waarschijnlijk hiervan de oorzaak.
Zoeken naar bevestiging
Een laatste voorbeeld: Wat we vaak zien, is dat mensen in een discussie op de sociale media komen met een link naar een of ander onderzoek dat toevallig precies hun stelling (min of meer) ondersteunt.
Dat onderzoek mag dan misschien wetenschappelijk zijn, deze manier van discussies voeren is dat feitelijk niet. Wie een stelling rond een wetenschappelijk controversieel onderwerp wil verdedigen kan niet zomaar één onderzoek pakken en dat als bewijs aandragen. Dat is immers het zoeken naar bevestiging waar we het boven over hadden: zoeken naar Fransen die van wijn houden. Dit is het beruchte Cherry Picking, tegenwoordig ook wel bekend als Thierry Picking.
De juiste methode om wetenschappelijk bewijs te citeren is om een recent overzichtsonderzoek te nemen uit de literatuur, waarin alle relevante onderzoeken tot dan toe meegenomen zijn, en de gemiddelden en uitbijters in besproken en geanalyseerd worden.
(Overigens komt het naar mijn ervaring nogal vaak voor dat mensen die met links strooien geregeld links posten die hun stelling niet eens ondersteunen, en soms zelfs ronduit tegenspreken: zij lezen dan zelf de onderzoeken niet, of vertrouwen erop dat jij dat niet doet. Het heeft daarmee altijd zin om dit soort links te openen. Tijdrovend is dat natuurlijk wel. Dit terzijde. )
Educatie
Enfin, tot zover mijn lange uiteenzetting over zaken die mensen volgens mij over het wetenschappelijke bedrijf zouden mogen weten. Natuurlijk is er veel meer te leren: ik heb het bijvoorbeeld nog niet gehad over Ockhams Scheermes, de regel dat een wetenschapper voor een verklaring nooit onnodige extra stellingen moet verzinnen dan strikt nodig zijn om een verschijnsel te verklaren. Deze regel botst heftig met de manier waarop bijvoorbeeld complottheorieën worden verdedigd.
Maar dit stuk duurt al te lang. Laat ik afsluiten met de stelling dat het bij de bestrijding van nepnieuws zou kunnen helpen als pubers tijdens hun opleiding grondig kennis zouden nemen van het wetenschappelijk bedrijf. Zij dienen te leren dat iedereen recht heeft op een eigen mening, maar niet op eigen feiten.
Kennis van het wetenschappelijk bedrijf kan in de politieke discussie helpen om meningen van feiten te onderscheiden, en ons te behoeden voor de valkuilen die wij mensen voor onszelf opzetten. Mij lijkt het om meerdere redenen de moeite waard dat op jonge leeftijd al te leren.
[Nepwetenschap, partijdige geschiedschrijving en kwakzalverij? In de serie “Quack?!” geven diverse auteurs hun visie op deze trends.]
Reacties (32)
Ik denk dat je iets belangrijks over het hoofd ziet. Het allerbelangrijkste dat een wetenschapper nodig heeft om iets zinnigs te zeggen over zijn vakgebied en om daar iets aan toe te voegen is: vakkennis. Het kost jaren werk om gedegen kennis over een wetenschappelijk onderwerp op te bouwen. Dat is het punt waar de meeste betweters en ontkenners steeds aan voorbijgaan. Ze menen wetenschappers de loef af te kunnen steken met kennis op middelbareschoolniveau en anderhalf artikel dat ze van internet hebben geplukt.
Het autoriteitsargument is ook zeker niet altijd een drogreden. Het is helemaal terecht om veel waarde te hechten aan het oordeel van iemand die een heel leven lang onderzoek heeft gedaan. En veel minder aan dat van iemand die er wel eens een boek over heeft gelezen. Het wordt pas een drogreden als iemand een hoogleraarschap of academische titel gebruikt om indruk te maken, zonder echte expertise te hebben. Of als het wordt gebruikt om een inhoudelijk tegenargument te ontwijken.
“Het is helemaal terecht om veel waarde te hechten aan het oordeel van iemand die een heel leven lang onderzoek heeft gedaan.”
Helaas is dat lang niet altijd waar. Ik zie behoorlijk wat emeriti (of wat algemener, wetenschappers die ouder worden, of inmiddels niet meer in het vakgebied van onderwerp zitten) uit de bocht vliegen. Wat dat betreft heb ik meer vertrouwen in mensen die minder dan 10 jaar na hun PhD zitten (en dus meestal nog goed in de actuele stof; op veel terreinen veroudert kennis ook snel), dan mensen die 50 jaar onderzoek hebben gedaan.
Daar ben ik het wel mee eens. Emeriti hebben nog wel eens moeite met het accepteren van nieuwe werkwijzen of inzichten. Het zijn net mensen…
Meer algemeen is het natuurlijk zo dat niet elke wetenschapper de wijsheid en waarheid in pacht heeft, ook niet in zijn eigen vakgebied. Als een enkele, al dan niet emeritus, hoogleraar iets zegt, hoeft dat nog niet een breed geaccepteerde opvatting in zijn vakgebied te zijn. Maar als ze het vrijwel allemaal zeggen is dat een goede reden om het heel serieus te nemen.
[ Ik zie behoorlijk wat emeriti ]
Ik zie ook behoorlijk wat 80-plussers die niet meer hun eigen administratie kunnen doen, die gecompliceerde krantenartikelen niet meer goed begrijpen. We moeten er rekening mee houden dat dat ook bij wetenschappers gebeurt, zelfs bij de Nobelprijswinnaars.
Die 80-jarige arts op het Museumplein bijvoorbeeld, stond zulke aperte onzin uit te kramen dat je hem helemaal niet meer serieus kunt nemen. Bij sommigen zal dat al op 55-jarige leeftijd kunnen gebeuren.
Helaas, dit is nu juist de fout die ik mensen wil voorkomen te maken.
De wetenschappelijke methode is belangrijker dan de kennis. Iemand met veel vakkennis die op ondeugdelijke manier onderzoek doet, is juist als die persoon die Fransen die van wijn houden gaat tellen om een punt te maken.
Omgekeerd, iemand met weinig vakkennis die op gedegen manier onderzoek doet, verzamelt vanzelf genoeg kennis op het punt dat hij onderzoekt om tot een goed gedegen oordeel te komen.
De vakkennis is het resultaat van gedegen en deugdelijk onderzoek, niet andersom.
Daar geldt ook hetzelfde. Ook de methodes zijn gewoon verfijnd in de afgelopen halve eeuw en ik denk dat ook de kwaliteit van de algemene (buiten de directe inhoud) opleiding als PhD gewoon veel beter is dan een halve eeuw terug (maw. de huidige dertigers zijn beter in wetenschappelijk onderzoek geschoold dan de huidige zestig/zeventigers). Daarnaast zie je in de loop van de tijd binnen een persoon steeds meer starheid ontstaan, alsmede dat terugvallen op autoriteitsargumenten.
Maar los daarvan is kennis wel degelijk belangrijk. Iemand die op grond van decennia verouderde kennis loopt te redeneren, is uiteindelijk niet zo heel anders dan iemand “met kennis op middelbareschoolniveau en anderhalf artikel dat ze van internet hebben geplukt”. We hebben daar een voorbeeld van rondlopen hier bij Sargasso. Dat is prima als je daar zelf bewust van bent en dus ook voorzicht in bouwt in je stellingen en redeneringen, maar op het moment dat je je (verouderde) kennis of titel als autoriteitsargument gebruikt om mensen van bepaalde standpunten te overtuigen (denk bv. aan de vaccinatie = moord arts) gaat het mis.
@Bismarck: Helemaal eens en goede aanvulling. Waar het om gaat is niet zozeer de kennis zelf, maar de manier waarop we die kennis ordenen en aanwenden. En daarvoor hebben we de wetenschappelijke methode.
Er is trouwens nog een bekende psychologische valkuil waar juist veel experts in plachten te vallen: de beschikbaarheidsheuristiek. Dat houdt in, dat mensen de neiging hebben om gevallen waar ze vaak mee geconfronteerd zijn in het verleden te overschatten. Zo zijn er heel leuke onderzoeken gepleegd naar bijvoorbeeld psychiaters die gevraagd werd in te schatten hoe vaak een bepaalde stoornis onder de bevolking voorkwam. Het bleek dat deze professionals vaak aan de veel te hoge kant zaten, veel vaker dan leken. Natuurlijk wisten die psychiaters alles van de stoornissen die ze behandelden. Maar systematisch onderzoek naar hoe vaak het voorkwam kenden ze kennelijk niet, anders hadden ze het goede antwoord al paraat. Zij maakten echter juist een fout vanwége de extra kennis die zij over het onderwerp bezaten.
Een leuk (laagdrempelig) artikel over heuristieken vond ik hier.
Dat is te simpel. Vakkennis betreft ook kennis over de specifieke methoden die horen bij het vakgebied. Jona weet altijd mooie stukjes te schrijven over wetenschappers uit totaal andere vakgebieden die menen dat ze ook wel iets bij kunnen dragen aan de wetenschappelijke kennis over de oudheid, zonder dat ze kennis hebben van de methoden van de oudheidkunde (zie: ster van Bethlehem).
Wetenschappers moeten natuurlijk wel aantonen dat ze inderdaad het vertrouwen verdienen dat ze claimen, dus door hun kennisbronnen en methoden inzichtelijke te maken.
Meer een meta punt: het is onmogelijk om alle kennis zelf te verzamelen en te onderzoeken. Je vertrouwt dus per definitie op het werk van anderen. Dan is het hebben van een wetenschappelijke titel of status dus wel degelijk iets om mee te nemen bij het beoordelen van informatie. Als het maar niet het enige is waar je op af gaat.
Natuurlijk zijn er ook vakspecifieke methoden. Maar als je die toepast terwijl je de algemene wetenschappelijke methoden verwaarloost heb je daar niets aan. Gerenommeerde wetenschappers die een cardinale fout maken (al dan niet bewust) bestaan helaas. De titel is een aanbeveling maar geen garantie. Resultaten in het verleden bieden nooit garantie voor de toekomst.
Uiteraard is dit artikel, hoewel lang, geen totaal overzicht van alle methodologische regels waar wetenschappers zich aan moeten houden, laat staan voor ieder vakgebied.
Denken dat je er met kennis van algemene wetenschappelijke methoden wel bent, leidt juist tot veel zelfoverschatting. Algemene kennis over wetenschappelijke methoden is door de hoge opleiding wijdverbreid in Nederland. Het ontbeert Maurice de Hond niet aan kennis over algemene wetenschappelijke methoden en vaardigheden, juist niet. Het ontbreekt hem aan het inzicht dat dit onvoldoende is om iets bij te dragen aan de virologie of epidemiologie, daar is specifieke vakkennis voor nodig. Dat Maurice de Hond overtuigt is van zijn eigen gelijk en expertise maakt de zaak er niet beter op, maar is ook onder wetenschappers verre van uniek. Zeker degene met ambitie en status.
Maar ja, denkfouten bij jezelf erkennen is altijd het lastigst.
“Denken dat je er met kennis van algemene wetenschappelijke methoden wel bent, leidt juist tot veel zelfoverschatting.”
Dat is inderdaad helemaal waar, maar dat is dan ook niet wat ik zeg. Ik zeg dat dit de basis moet zijn van hoe je verdere kennis vergaart.
Mijn punt is juist dat Maurice fouten in de basis maakt. Daar is hij overigens helaas bepaald niet uniek in in hoog opgeleid Nederland, want zoals ik al schreef is zelfs op de universiteit wetenschapsfilosofie een wat ondergeschoven kindje.
Die basisfout is dat hij 10 of 20 artikelen over virologie of epidemiologie heeft gelezen en nu meent dat hij het uitgevonden heeft. Op zich zijn zijn vragen en kritiek niet helemaal idioot, alleen zijn ze al honderdduizend keer overdacht en beantwoord door de echte deskundigen.
Precies, hij winkelt maar wat en pleegt geen systematisch onderzoek dus. En daarnaast trekt hij allerlei wilde conclusies in eht maatschappelijk debat waarvan hij zegt dat hij ze wetenschappelijk onderbouwd heeft, maar die helemaal niet volgen uit zijn eigen vondsten.
Ja, natuurlijk is dat zo. Maar om iets zinnigs over een vakgebied te zeggen moet je wel weten welk gedegen en deugdelijk onderzoek er in de loop van de jaren (of eeuwen) allemaal al is gedaan en wat dat heeft opgeleverd. En dat is waar het misgaat bij het overgrote deel van de betweters, ontkenners en charlatans: ze hebben geen benul van wat er allemaal al aan kennis is opgebouwd.
Je kunt de wetenschappelijke methode toepassen wat je wilt, maar als je niet weet waar je het over hebt levert dat nooit iets nuttigs op.
Maar deel van de wetenschappelijk methode is juist het systematisch verwerken van de beschikbare kennis.
Begrijp ik goed dat je daarmee bevestigt wat ik in #1 zeg?
Het is namelijk een bijzonder belangrijk deel van de wetenschappelijke methode, dat jij niet expliciet noemt.
Zeker, ik ben het er ook niet mee oneens, maar niet dat ik het vergeten zou zijn. Het is toch precies dat wat volgt wat ik onder het kopje “Zoeken naar bevestiging” beschrijf?
Nee, dat vind ik niet. Dat gaat over confirmation bias. Dat is niet hetzelfde als niet weten waar je het over hebt. En dit vind ik eerder een omschrijving van een fout die veel wordt gemaakt dan een suggestie voor hoe het wel moet:
Als je als leek gegevens uit een overzichtsartikel overneemt loop je nog steeds het risico dat je de plank verschrikkelijk misslaat. Die overzichtsartikelen zijn namelijk ook vaak geschreven voor een publiek dat alle benodigde basiskennis al heeft.
Wil je even horen dat je gelijk hebt en een goede aanvulling hebt gegeven? Bij deze.
Maar in hoe je het zelf stelde heb je mijns inziens ongelijk, want je schreef niet dat vakkennis belangrijk is, wat het gewoon is, maar dat vakkennis het allerbelangrijkste is.
En dat is niet waar, want als je met vakkennis ondeugdelijk onderzoek gaat doen, sla je flink de plank mis. DAn kan je dus juist heel makkelijk trappen in die confirmation bias.
Het is dus beide belangrijk, maar mijns inziens is de basis toch echt een goede wetenschappelijke discipline.
Als we daarover van mening blijven verschillen, dan is dat maar zo.
Wat ik daarmee bedoelde is dat dat bij uitstek het punt is waar de charlatans, betweters en ontkenners de mist in gaan. Ze weten niet waar ze het over hebben en zelfs dat hebben ze niet door. De rest van de wetenschappelijke methode is dan niet meer zo relevant.
Natuurlijk speelt confirmation bias ook een belangrijke rol, maar die zal vaak vooral op een ander niveau zitten. Te grote ego’s die continu bevestiging nodig hebben, bijvoorbeeld.
Maar de vraag waarmee we begonnen is waar we als leken (“gewone burger”) nepnieuws aan kunnen herkennen.
Dat nepnieuws niet klopt of op zijn minst een onvolledig (eenzijdig) beeld geeft, dat is natuurlijk duidelijk. Daarvoor is het nepnieuws.
Mijn antwoord op die vraag is dat daar het autoriteitsargument vaak geen drogreden is. Er zijn heel goede redenen om meer waarde te hechten aan opvattingen van een echte deskundigen dan aan die van de eerste de beste opiniepeiler of andere betweter.
Die titelgevoeligheid is wel een heikel punt, want een heel weerbarstige menselijke eigenschap.
De toenemende starheid die in #1.3 genoemd wordt, is niet alleen het gevolg van afnemende mentale elasticiteit, maar ook een vorm van (vermeend) zelfbehoud. Wie zijn hele carrière heeft geleefd met een bepaalde (wetenschappelijke) waarheid, die vervolgens onjuist blijkt, moet toegeven in een leugen te hebben geleefd, en dat kan nogal wat van iemand vergen.
Noam Chomsky kon dat wel en hij heeft zijn eigen generatieve taalkunde keer op keer herzien, omdat hij onderkende dat hij verkeerd zat, maar mijn universitair docenten hadden rond 1990 die updates (nog) niet meegekregen. en zo leerden wij dingen waarvan ik aan mijn water voelde dat er iets niet klopte, maar waar ik als novice in de materie nog niet de vinger achter kon krijgen.
Ik heb eens in Duitsland een verkeersakkefietje gehad, en zodra bleek dat mijn teerbeminde doctoranda was, waren de dienders ineens heel vriendelijk. Terwijl haar graad net zo min ter zake deed als de titulatuur waarmee van een dertigtal emeriti een ‘anti-klimaatmanifest’, dat (soms mijlenver) buiten hun voormalige vakgebied lag, ondertekenden. De stamgasten hier zullen zich het nog wel voor de geest kunnen halen.
Een goede wetenschappelijke methode (en de bijbehorende kritische kijk) moet er echter wel een beetje inslijten, en daar zie ik toch wel wat hindernissen in ons huidige schoolsysteem.
Een ander groot probleem, met name op het gebied van gezondheidszorg, is dat mensen een bepaalde beroepsgroep als wetenschappers ziet, terwijl ze dat niet zijn. Ik heb het hier uiteraard over artsen. De opleiding tot arts is in wezen een HBO-studie die op de universiteit gegeven wordt. Het is vooral een praktische studie waarbij de aandacht voor wetenschap en wetenschapsfilosofie nihil is. Ik geloof dat ze in totaal 2 weken aandacht besteden aan wetenschapsfilosofie en de wetenschappelijke methode.
Dat verklaart ook dat er heel veel artsen zijn die moeiteloos bizarre pseudowetenschap combineren met hun artsenvak. Zoals veel homeopathen.
Een arts in de media wordt al snel aangehaald en gezien als een expert, terwijl dat absoluut geen garantie is voor enige wetenschappelijke scholing of vaardigheid.
Goed punt. In de klimaatontkenning kom je veel ingenieurs tegen, daar geldt hetzelfde voor.
Inderdaad, het autoriteitsargument wordt ook nog eens vaak verkeerd toegepast, dat wil zeggen op mensen die op zich niet eens autoriteiten zijn (los van dat ook een autoriteit fouten kan maken).
Het zijn mijns inziens juist artsen die te maken hebben met die heuristiken, voortdurend heen en weer geslingerd worden tussen “dit werkt” en “dit werkt niet”.
Zo krijg je dan die arts die hydroxychloroquine op een handvol patiënten “testte” en ze werden allemaal beter, “dus het werkt”.
Die Rob Elens was trouwens “natuurarts/orthomoleculair arts”.
Nog even over dat autoriteitsargument. Ik denk dat dit in het publieke debat over zinnige of onzinnige wetenschap een grotere rol speelt dan je misschien wel denkt. Niet zozeer binnen de engere wetenschappelijk kringen, daar wordt meer gekeken naar methodes en actuele vakkennis. Maar in de popularisering van wetenschap in de media gaat het al gauw over ‘bekende’, ‘gerenommeerde’ wetenschappers, auteurs van ‘baanbrekende’ studies die publiceren in ‘hooggekwalificeerde’ bladen, en doceren aan dit of dat bekende, ’topinstiutuut’, etc. Het is ook een kwestie van selectie. Ik heb bijvoorbeeld de indruk dat wetenschappers van Amerikaanse en Britse ’topuniversiteiten’ vaker in het nieuws komen dan onderzoekers met minstens even interessante inzichten van Nederlandse, Duitse of Franse universiteiten. Laat staan onderzoekers uit Rusland, Iran of China.
Dan is er ook nog een omgekeerd autoriteitsargument. Wetenschappers wier reputatie om welke reden dan ook eenmaal is aangetast, terecht of niet terecht, lopen het risico, ongeacht wat ze verder nog presteren, niet meer te worden gehoord. Buikhuizen is het klassieke voorbeeld. Tegenwoordig hebben we de ‘cancel cultuur’.
Daar is wel wat op aan te merken. Nieuwsmedia zijn gek op conflicten. Een wetenschapper met een dwarse mening heeft, ongeacht de kwaliteit van zijn onderzoek, minstens zoveel kans op aandacht als iemand die tot de wetenschappelijke top behoort. En charisma weegt ook vaak zwaarder dan inhoudelijke kwaliteit. Inhoudelijke kwaliteit belandt op de wetenschapspagina’s of in populairwetenschappelijke bladen, websites en programma’s, terwijl de dwarse meningen en wetenschappers die het zo leuk kunnen vertellen opduiken in praatprogramma’s, op voorpagina’s en in talloze Youtube-filmpjes.
De wetenschappelijke wereld is een meritocratie. Ik zou ook niet weten hoe het anders zou moeten. Maar niets is volmaakt, ook de wetenschappelijke wereld niet. Er zullen altijd wel wat incidenten zijn, maar dat is geen enkele reden om geen waarde te hechten aan deskundigheid.
Even een nieuw draadje naar aanleiding van wat eerder gezegd is over overzichtsartikelen, in #0 en #1.17. Een voorbeeld. Bij het lezen over het effect van re-integratiemaatregelen zag ik een artikel over “welke instrumenten effectief zijn”. Een aantal werden naast elkaar gezet, o.a. loonkostensubsidie, scholing, en gesubsidieerde arbeid.
Wat gebeurde er? De onderzoeker definieerde ‘succes’ als zijnde ‘uitstroom naar een reguliere baan’. Die definitiekeuze leidde onherroepelijk (ik zou bijna zeggen ‘per definitie’) tot het niet succesvol zijn van gesubsidieerde arbeid (want geen reguliere baan, tenzij doorstroom naar iets anders), en vrijwel 100% succes van loonkostensubsidie (want bij iedereen bij wie dit instrument werd ingezet was er een baan beschikbaar, anders kon geen loonkostensubsidie worden gegeven – tenzij iemand al weer werd ontslagen voor het meetmoment). De auteur was zich hier wel van bewust, en reflecteerde hier ook op, maar als je alleen snel de conclusie leest zou je geneigd zijn te denken dat het één veel beter werkte dan het ander. Ondanks dat het in beide gevallen over bijna precies hetzelfde gaat: de overheid smijt geld ergens tegenaan om een baan te scheppen die er anders niet zou zijn – alleen tellen we de één als ‘echt’ en de ander als ‘niet echt’.
Buiten dat je nog een heel bos op kan zetten over alle andere inhoudelijke voors en tegens van van loonkostensubsidie vs gesubsidieerde arbeid, zo’n studie land vervolgens in een overzichtsartikel. In een ‘systematic review’, een (het woord zegt het al) systematische analyse van alle beschikbare studies. Vaak ligt daar een meta-evaluatie onder: een statistische analyse van uitkomsten van die studies. Voordeel: een totaaloverzicht, nadeel: de nuance verdwijnt. De goede verstaander ziet ‘em al aankomen, in zo’n meta-model krijgt loonkostensubsidie een 1, en gesubsidieerde arbeid een 0 (of een + en een -, de details laat ik even voor wat ze zijn).
Vervolgens zit er een ambtenaar op het ministerie die eens Echt Wil Weten Hoe Het Zit, die doet zich de moeite om zich te verdiepen in de laatste wetenschappelijke stand van zaken, omzeilt de betaalmuur en leest een recente overzichtstudie. En trekt daar hoogstwaarschijnlijk een totaal verkeerde conclusie uit. Tenzij natuurlijk de andere studies in die meta-studie niet dat definitieprobleem hebben. Dat durf ik niet hard te zeggen, want ik heb die niet allemaal gelezen, maar ik heb de indruk dat de definitiekeuze wel een beetje in het vakgebied (economie) zat ingebakken.
Afijn. Iedereen doet wat hij moet doen in bovenstaand verhaal. De eerstgenoemde auteur doet onderzoek, kiest definities en verantwoordt die. De meta-evalueerders doen wat standaard gebeurt in meta-evaluaties, en versimpelen resultaten en voegen ze samen. En die ambtenaar in die toren doet zelfs meer dan misschien normaal verwacht wordt en duikt de wetenschappelijke literatuur in. Toch is het resultaat dat er een verkeerd of op zijn minst onvolledig beeld in de samenleving neerdaalt, en daar beleid op wordt gemaakt.
Ik weet niet of dit typisch is. Het draagt wellicht ook niet bij aan het vertrouwen in de wetenschap (maar hé, dit is kracht, geen zwakte, door kritiek wordt het alleen maar beter! :)). Moraal van dit verhaal is dat ik er in ieder geval niet van overtuigd ben dat je er bent met het lezen van een recente overzichtsstudie, omdat ik denk dat je al een beetje in het vakgebied moet zitten om zo’n studie op waarde te kunnen schatten.
Mee eens – alleen het lezen van (de conclusies van) een overzichtsstudie is niet juist. Maar bovenstaande fout is niet per se inherent aan overzichtsstudies. Een overzichtsstudie zou indien goed gedaan niet zomaar het bovenop elkaar kwakken van alle resultaten van die studies mogen zijn: juist dit soort verschillen in manier van meten zouden ook erkend moeten worden in een goed overzicht.
Uit het coronadebat is een goed voorbeeld hiervan: the Lancet die een overzicht van studies naar mondkapjes produceert. In deze studie worden een heleboel studies op een rij gezet en gemiddeld en statistisch geanaliseerd, precies met die enen en nullen erbij. Het resultaat was dat de mondkapjes een klein maar duidelijk effect zouden hebben op verspreiding. Niet zoveel als afstand houden, puntje voor van Dissel (als het zou gaan om een of/of vraag zou gaan dan in ieder geval), maar wél een effect, puntje minder voor Jaap.
In die studie wordt echter wel in de discussie gesteld dat de data niet zo hard kunnen worden opgevat, omdat in de studies het soort mondkapje en de situatie waarin het mondkapje werd gebruikt nogal kon verschillen.
Conclusie: we weten het nog steeds niet echt. Maar daar kan je overheen lezen als ze alleen de tabel uit die overzichtsstudie trekt en op je Facebook print als ‘harde waarheid’. Het gaat echter net zo fout als je juist die mitsen en maren uit de conclusie aanhaalt, en daarna stelt dat het dús geen effect zou hebben. Die overzichtsstudie is echter wel een goede opstap naar het kennis nemen van in welke situaties en met welke kapjes je effect kan krijgen. Dat is dan het juiste gebruik ervan.
Eens, goed verwoord.