Elke eerstejaarsstudent krijgt op een gegeven moment, meestal al in de eerste maand, uitgelegd waarom de overdracht van wetenschappelijke informatie zo moeilijk is. De onderzoeker doet het namelijk nooit goed.
1. Stemt zijn onderzoeksconclusie overeen met iets wat we al op onze klompen aanvoelden, dan zeggen we dat hij zich de moeite had kunnen besparen.
2. Ontkent de geleerde iets dat volgens ons wel het geval is, dan vinden we hem een dwarsligger.
3. Als hij iets beweert dat we onwaarschijnlijk achten, dan beschouwen we hem als een fantast.
4. Bevestigt een onderzoeker onze mening dat iets niet zo is, dan vragen we wat hem bewoog het te onderzoeken.
Er zijn dus vier manieren om onderzoeksresultaten weg te redeneren. Ondertussen is het onderzoek natuurlijk wel degelijk nuttig. In het eerste en vierde geval is een subjectief vermoeden bevestigd en onze kennis kwalitatief verbeterd. In het tweede en derde geval zijn veronderstelde zekerheden ter discussie gesteld.
Elke wetenschapper weet dit en kent ook de gevolgtrekking: zijn eigen ongeloof over andermans onderzoek zegt op voorhand niet heel veel. Je moet als wetenschapper natuurlijk een zeker wantrouwen behouden, maar als een andere geleerde zijn onderzoek goed uitvoert, moet je je persoonlijke ongeloof opofferen en aanvaarden dat het anders is dan je vermoedde.
So far, so good. Ik was nogal verbaasd toen ik in De Volkskrant van zaterdag 5 november het interview las dat Johran Willegers had met Elmer Sterken, de rector magnificus van de Rijksuniversiteit Groningen.
JW: Volgens een geruchtmakende studie van de Britse onderzoeker Daniele Fenelli [sic] zijn bekende fraudezaken het topje van de ijsberg. Hij concludeert dat 14 procent van de onderzoekers wel eens gegevens vervalst. Het is dus eigen aan de wetenschap dat data worden gefingeerd.
ES: Dat is overdreven, dat geloof ik niet.
JW: Maar dit is ook een onderzoek.
ES: Bij elk onderzoek kun je dus vraagtekens zetten.
Sterken legt die vraagtekens vervolgens uit met algemene opmerkingen over het ad hoc-karakter van de wetenschappelijke bewijsvoering. Daarin heeft hij gelijk, maar hij vertelt niet waarom deze algemene scepsis van toepassing is op dit specifieke geval. Dat Fanelli’s resultaat mogelijk kan worden weerlegd, wil nog niet zeggen dat het ook zal gebeuren. Vooralsnog is het gewoon de niet-negeerbare status quaestionis.
In feite zien we hier wegredenering nummero drie: Sterken heeft een vermoeden en weigert de conclusie van een keurig onderzoek onder ogen te zien. Hij zal ook het onderzoek van Marjan Bakker en Jelte Wicherts, dat een op de vijf statistische berekeningen in psychologieartikelen in peer-reviewed vakbladen onjuist was, wel niet willen geloven. Mocht hij in januari De klad in de klassieken lezen, dan zal hij ook wel niet geloven dat de oudheidkundigen wetenschappelijk niet meer meekomen.
Is Sterken alleen maar zijn eerstejaars-wetenschapsleer vergeten? Ik denk van niet. Hij verviel tot wegredenering nummero drie in een interview over de affaire-Stapel. Daarover zei de voorzitter van de KNAW, Robbert Dijkgraaf, in De Volkskrant dat er in feite niets aan de hand was – wetenschap was zelfreinigend, alleen het beste bleef overeind, Stapels fraude was niet representatief. Ik wees er al op dat het wonderlijk was dat Dijkgraaf geen cijfers noemde. Ook NWO-directeur Jos Engelen gaf als commentaar dat de affaire-Stapel een uitzondering was (31 oktober), en ook hij gaf geen cijfers.
Er is iets vreemds aan de hand: bij NWO, de KNAW en de RUG doet men steeds alsof er geen onderzoek bestaat dat suggereert dat wetenschappelijk wangedrag vaker voorkomt dan wenselijk is. Dijkgraaf herhaalt mantra’s over het zelfreinigend vermogen, Engelen redeneert het weg als uitzonderlijk, Sterken verviel tot wegredenering nummero drie.
Ik ben misschien wat naïef, maar ik denk niet dat we te maken hebben met een cover-up. Het lijkt me eerder een symptoom van de informatieverzuiling die dankzij het internet steeds invloedrijker lijkt te zijn. Meer dan vroeger kan men online het nieuws selecteren dat men geloven wil en zich afsluiten voor informatie die men niet wil horen. De discussie over bijvoorbeeld de islam is allang geen uitwisseling van argumenten meer, maar een uitwisseling van schimpscheuten tussen twee partijen die zich baseren op verschillende soorten informatie.
Het is niet uniek. Ik maak de vergelijking met de verzuiling niet zonder reden, want in de jaren vijftig en zestig gebeurde iets soortgelijks. Het heeft iets amusants na een halve eeuw te zien hoe politici destijds langs elkaar op konden praten. Destijds gebeurde het echter niet aan de universiteiten: terwijl AR, PvdA, KVP en VVD het oneens waren, deelden de onderzoekers van de VU, GU, KUN en RUL hetzelfde respect voor andermans onderzoek.
Dat lijkt te zijn veranderd: de bestuurderen van nu negeren onderzoek dat hun niet uitkomt. Dat baart me zorgen. Ik stel voor dat we voortaan op elk onderzoek uit Groningen reageren met de woorden “dat is overdreven, dat geloof ik niet” en “bij elk onderzoek kun je vraagtekens zetten”.
Reacties (17)
Ik denk dat het vakgebied, of zal ik zeggen het type onderzoek ook wezenlijk van belang is. Vaak heeft een uitkomst geen consequenties voor enig maatschappelijk belang. Of, het onderzoek is alleen maar te begrijpen door mensen die in dat vakgebied zitten.
Fouten maken is bovendien menselijk. Het is dus achteraf moeilijk aan te tonen of iemand b.v. de statistiek vervalst heeft of gewoon geen verstand heeft van statistiek. Soms worden ook resultaten weggelaten, genegeerd of weggemoffeld als “meetfout”. Ook daarvan kun je bediscussieren of dat bewust of onbewust is. Iedere wetenschapper wil natuurlijk een “mooi” onderzoek laten zien met harde conclusies.
Ik heb mij overigens over het hele Stapel verhaal verbaasd, omdat er veelal meerdere personen bij een onderzoek betrokken zijn en iedere onderzoeker die in het onderzoek betrokken is heeft ook een soort controle functie.
“bij elk onderzoek kun je vraagtekens zetten”.
Dat geldt natuurlijk niet voor klimaatonderzoek. De klimaatonderzoekers zijn verheven boven elke twijfel, belangenverstrengeling en “confirmation bias“
Ik ben het met Dijkgraaf eens dat wetenschap altijd zelfreinigend is, de vraag is echter: op welke termijn? Want er wordt kostbare tijd, geld en moeite mee verspild, en dat moet wel degelijk geminimaliseerd worden.
Ik zeg altijd: één onderzoek is geen onderzoek, sterker nog, één onderzoeker is geen onderzoeker. Het wordt gevaarlijk wanneer hele wetenschappelijke gemeenschappen elkaar de bal toespelen, elkaars werk beoordelen, en in elkaars commissies voor financiering zitten, gebaseerd op verkeerde uitgangspunten of methodes.
Eén oplossing hiervoor is internationalisering, die in veel vakgebieden al heeft plaatsgevonden. Een ander zou zijn het scheiden van gegevens verkrijgen enerzijds en interpreteren anderzijds. Daarnaast moeten verwachtingen bijgesteld worden: liever terughoudendheid over verkregen resultaten dan hypeverhalen die het veel mooier maken dan het is.
Mensen horen niet graag dat iets waar ze in geloven niet klopt. Dat geldt ook voor Dijkgraaf, Engelen en Sterken. Misschien zelfs nog wel meer, omdat er voor hen meer op het spel staat.
Ik denk trouwens niet dat het internet hierin een wezenlijke verandering heeft betekend. In de tijd van Galileï ging dat net zo. Cognitieve dissonantie is van alle tijden.
Ach, alles is maar een mening, toch?
Uit onderzoek blijkt dat dit artikel voor 83,6% uit onzin bestaat.
“Dat lijkt veranderd: bestuurderen van nu negeren onderzoek dat hun niet uitkomt”
Blijkbaar was het vroeger beter, maar waarom is mij een raadsel.
Ik heb het idee dat de publieke opinie meer invloed heeft gekregen op beleidsbeslissingen, dit ten kosten van (onder andere) wetenschappers en experts.
Een fingerspitzengefühl, Bismarck?
Zou best kunnen. Mooi woord trouwens, fingerspitzengefühl.
Dat zou best eens kunnen, hoewel het omgekeerde ook nog wel eens voor komt, d.w.z. de ‘politiek’ maakt gebruik van de ‘wetenschap’ om de publieke opinie te beinvloeden. Zo is er onlangs een rapport verschenen van het Nederlands Studiecentrum Criminaliteit en Rechtshandhaving en de Radboud Universiteit onder de titel ‘De burger als rechter’. Hier komt o.a. de effectiviteit van zgn. ’taakstraffen’ ter sprake en gaan de onderzoekers zelfs zo ver dat ze ingrijpen als het antwoord hen niet bevalt. Althans dat maak ik op uit een zin uit het onderzoeksrapport:
“In het onderzoek werd een deel van de respondenten geinformeerd over het feit dat gestraften minder vaak opnieuw de fout ingaan na werkstraf dan na gevangenisstraf. Bij deze groep zagen de onderzoekers dat de steun voor werkstraf groter werd.”
Een van de conclusies luidt dan ook:”Het is ook een misvatting dat in Nederland geen steun zou zijn voor werkstraf”.
Wat vind de ‘wetenschap’ nu van een dergelijk gemanupileerd onderzoek? “De Raad voor de Rechtspraak’ is er blij mee! Maar hier zou het onmiddelijk in de prullemand terechtkomen!
Is het niet waarschijnlijk dat steun voor werkstraffen afhankelijk is van de kennis/verwachting van het effekt van werkstraffen tegenover gevangenisstraffen?
Wat is er nu gemanupileerd of is er sprake van een onzorgvuldig geformuleerde gevolgtrekking? Als een samenvatting een slechte weergave van het onderzoek is, heet dat manupilatie?
Nog een uitzondering: http://m.nrc.nl/nieuws/2011/11/09/wetenschapsfraude-senior-onderzoeker-radboudziekenhuis-nijmegen/
Als men, als onderzoeker, de respondenten gaat informeren over het nut van werkstraffen om dan vervolgens te concluderen dat er wel degelijk draagvlak voor werkstraffen bestaat, dan noem ik dat een ‘gemanipuleerd’ onderzoek! Als er een ander woord, iets wetenschappelijks bijv., voor bestaat, dan zou ik dat graag weten!
De schrijver wekt niet de indruk dat het rapport Levelt gelezen is. http://www.tilburguniversity.edu/nl/nieuws-en-agenda/commissie-levelt/interim-rapport.pdf dan vooral 3.3 Falen van de wetenschappelijke kritiek met op blz 16: “De data zijn te mooi om waar te zijn … heeft de wetenschappelijke kritiek en houding op alle fronten ernstig gefaald”
“De data zelf vertoonden nogal eens vreemde patronen die opgemerkt hadden moeten worden” “… de klokkenluiders meer moed, alertheid en speurzin hebben getoond dan zittende hoogleraren”.
Nu zou je een voorstel verwachten tot een grondige reorganisatie. Geen sprake van, het blijft een uitzonderlijk voorval.
Nog een uitzondering: http://www.ans-online.nl/blog/ook-tweede-fraude-in-nijmegen
De theorie is natuurlijk dat wetenschappers elkaars resultaten verifiëren door de onderzoeken te reproduceren. De praktijk is anders. Dat soort onderzoek is praktisch niet te financieren (wie geeft er nu geld om iets te onderzoeken wat al bekend is?), en levert geen publicaties op die meetellen in de lijstjes. Tenslotte is ook de nieuwswaarde praktisch 0. Waarom zou je er dan als onderzoeker aan beginnen, als alle prikkels je juist de andere kant op sturen? Je wordt als onderzoeker afgerekend op publicaties en binnengehaald geld, niet op hoe serieus je je peer review taak neemt (en ook niet op hoe serieus je je onderwijstaak neemt, overigens).
Natuurlijk ontstaat er dan strategisch gedrag, met dit soort uitwassen als extreme voorbeelden. Dat lijkt me een logische consequentie van de keuze die de samenleving maakt om wetenschappers altijd maar af te willen rekenen op resultaten, op het “excellent zijn”, op het hoog scoren op de lijstjes.