Bello de kat

Iedere wetenschapper masseert data weg. Maar hoe hard moet je masseren?

Stel, u doet onderzoek naar katten. Van twintig proefdieren meet u hoogte en breedte. De afmetingen van negentien katten blijken redelijk dicht bij elkaar te liggen, alleen één ervan, Bello genaamd, blijkt bijna eens zo hoog en breed. U bekijkt hun ogen en ziet dat ze allemaal groen of geel zijn, behalve de bruine kijkers van, alweer, Bello. U meet hoe ze spinnen, en alweer blijkt Bello sterk van de andere katten af te wijken. Er komt een punt waarop u concludeert dat u Bello beter buiten de statistieken kunt houden.

In de wetenschap komt dit vaak voor. Bello’s kunnen het gevolg zijn van ruis in de apparatuur, maar kunnen zich ook voordoen als de onderzoekscategorieën niet scherp zijn. U tekent bijvoorbeeld een sterrenkaart en noteert van alle sterren coördinaten, maar u merkt dat, terwijl alle sterren voortdurend op dezelfde plaats staan, andere van plaats veranderen. Op uw sterrenkaart laat u ze achterwege. Misschien noemt u deze dwalende bello’s met een mooi Grieks woord ‘planeten’. Als u mensen bestudeert, kan een bello erop wijzen dat ze op u reageren. De klachtenlijn van Schiphol constateerde ooit dat sommige mensen tientallen keren per dag klaagden, en die werden voortaan buiten de statistieken gelaten omdat er geen informatie aan kon worden ontleend over de ontwikkeling van de overlast.

Iedere wetenschapper masseert de bello’s weg. Dat is een gezonde manier van doen. Als ik het goed begrijp, is het verweer van de deze week in opspraak gekomen Rotterdamse hoogleraar Dirk Smeesters nu dat zijn meetgevens niet “too good to be true” waren doordat hij ze had verzonnen of er gruwelijk mee had zitten rommelen, maar dat hij de bello’s er te drastisch uit had gesloopt. Toen dit aanleiding was voor vragen over de oorspronkelijke gegevens, kon hij die niet meer tonen. Dit laatste kwam door een computercrash, en daarvoor voel ik wel enige sympathie. Het is oliedom om geen backups te maken, maar wie nooit bij een computercrash iets kwijtraakte, werpe de eerste steen.

Waar ik meer moeite mee heb, is Smeesters toelichting:

Er is een groot grijs gebied wat je wel meldt en wat niet. Er zijn ook geen regels voor. Ik zie nu dat ik het weglaten van gegevens wel had moeten melden, maar ik vind ook dat er betere regels voor moeten komen. Dat we moeten melden welke studies niet hebben gewerkt.

Misschien wreekt zich mijn deficiënte academische opleiding, maar ik zou toch denken dat er wel degelijk regels zijn. Van je twintig katten geef je netjes aan dat Bello sterk afwijkende resultaten opleverde. Dat is vervolgens de basis voor het toetsen van een groeiend vermoeden over de kwaliteit van de dierenhandel die de proefdieren leverde. Schiphol gaf keurig aan dat bepaalde reacties uit het onderzoek waren weggelaten, en kondigde een vervolgstudie aan om te ontdekken waarom bij sommige mensen frustratie leidt tot extreme reacties.

Ik ben niet overtuigd door Smeesters’ verweer dat er geen regels zijn. Als ze werkelijk niet bestaan, dan moet het zijn omdat de onderzoekers op hun klompen kunnen aanvoelen wat er van ze wordt verwacht. Ik heb bovendien ook een wat nare bijsmaak bij een ander deel van Smeesters’ antwoord, dat “velen gebruik maken van bewust weglaten van data om significantie te bereiken zonder dit te vermelden”.

Ofwel: het is niet erg want iedereen doet het. Dat iedereen het doet, zal waar zijn, en ik wil best geloven dat lang niet elke onderzoeker aangeeft hoe hij de data heeft gemasseerd. Maar het is geen excuus. Smeesters verwisselt “wat is de praktijk?” met “hoe hoort het eigenlijk?”

De hamvraag is: waarom heeft niemand er dan iets van gezegd? Ik vermoed dat het komt doordat het werk van onderzoekers wordt gecontroleerd door collega’s. Als iedereen nogal nonchalant omgaat met de data, en er dus een cultuur begint te groeien waarin het er allemaal niet zoveel toe doet, kun je er keer op keer mee wegkomen. Maar daarmee is het nog niet goed. De verantwoordelijkheid is alleen uitgesmeerd.

Vandaar de conclusie in mijn vorige blogpost dat we eens serieus moeten gaan kijken naar de wijze waarop wetenschappelijke informatie en instellingen worden gecontroleerd. Terwijl bijvoorbeeld de onderzoekers van Schiphol wél weten hoe je met bello’s moet omgaan, bestaat er in de sociale psychologie een andere cultuur. Dan is er dus een fout in de collegiale controle.

Een mogelijke oplossing zou zijn dat elk jaar een bepaald aantal studies wordt geselecteerd en door statistici en logici wordt doorgelicht. Een andere oplossing is dat de commissies die fondsen toekennen, ook bestaan uit niet-vakgenoten. Enkele van de problemen die ik in de oudheidkunde constateer, zouden zich niet hebben voorgedaan als af en toe een socioloog naar de onderzoeksvoorstellen had gekeken.

Maar ik denk eerlijk gezegd dat dit soort oplossingen te weinig zijn, en dat we ons veel structureler moeten bezinnen op het wetenschappelijk bedrijf. Vandaar dat ik in mijn vorige post pleitte voor een grondige evaluatie op het gehele bestel, of, eigenlijk, een soort Business Process Redesign. De conclusie kan dan zijn dat de kloof tussen “wat is de praktijk?” en “hoe hoort het eigenlijk?” te groot is en we helemaal van voren af aan moeten beginnen, en ze kan ook luiden dat de kloof gewoon groot is, en dat wat kleine aanpassingen volstaan om het vertrouwen te herstellen.

Foto flickr cc Mathieu Struck