“Is het niet geweldig?!”

OPINIE - “De kracht van de wetenschap zit hem in de kritiek die wij elkaar leveren.” Volgens Steven Raaijmakers (Universiteit Utrecht) moeten onderzoekers niet schromen om ook hun ‘beroemde collega’s’ af en toe tot de orde te roepen.

Wetenschap is hot. Drommen van mensen gaan op hun zondagmiddag vrijwillig in de schoolbanken (dan wel van die comfortabele theaterbanken) zitten om een uur lang te luisteren naar een wetenschapper. Ook ik doe er gewillig aan mee. In de Stopera ben ik wezen kijken naar een gesprek tussen Richard Dawkins en Lawrence Krauss. Gebiologeerd door de boeken van beide heren vond ik het interessant om hen in levenden lijve te horen spreken. Ook in de media kunnen we niet om de wetenschap heen. Wekelijks (of misschien zelfs dagelijks) zien we wetenschappers aanschuiven op televisie om over hun werkveld te komen vertellen. Deze populariteit is uiteraard toe te juichen, maar zou die populariteit niet ook een keerzijde kunnen hebben?

Als we kijken naar wie er beschikbaar is voor dit type lezingen, zien we dat dit vaak hoogleraren zijn die enorm goed kunnen spreken en het publiek meenemen in hun verhaal. We genieten van hun indrukwekkende verhalen. Het lijkt bijna alsof er een relatie bestaat tussen hoe indrukwekkend de verhalen zijn en hoeveel wij ervan genieten. Hoe indrukwekkender, hoe beter. Dit zien we bijvoorbeeld terug in hoe in De Wereld Draait Door Mathijs van Nieuwkerk zijn wetenschappelijke gasten aanmoedigt: “Ik begrijp er niets van, maar ga door!”.

Buitengewone uitspraken doen het nou eenmaal goed op televisie. Maar helaas lopen buitengewone uitspraken een hoog risico om niet waar te zijn. Deze relatie is mede door wetenschapsheld Carl Sagan vereeuwigd in de uitspraak: “Extraordinary claims require extraordinary evidence.” (buitengewone uitspraken vereisen buitengewoon bewijs). Dit creëert een dilemma tussen enerzijds het publiek willen vermaken met verbazingwekkende verhalen over de wetenschap en anderzijds wetenschappelijk integer willen handelen. Maar hier ben ik vooral benieuwd naar wetenschappers waarbij dit dilemma zichtbaar is – wetenschappers die buitengewone uitspraken doen in de media dus.

Van Medemblik tot Heerhugowaard

Eén van de wetenschappers die op dit moment hot is, is hoogleraar Erik Scherder. Het aantal keer dat hij bij De Wereld Draait Door heeft mogen aanschuiven is niet meer bij te houden en ook bij Omroep MAX is hij een graag geziene gast. Vergezeld door een model van de hersenen legt hij ons graag uit hoe het brein werkt. Met zijn inspirerende vertelkunst neemt hij ons gemakkelijk mee in zijn verhaal. Als je de hoogleraar googelt, zie je dat de professor overal te vinden is. Van Medemblik tot Heerhugowaard. Van bejaardenhuis tot middelbare school. Heb je hem nog niet horen spreken, kun je de professor altijd nog boeken via één de vele links die bovenaan de zoekresultaten verschijnen.

In een eerdere blog heb ik een aankondiging van een MAX masterclass bekeken en de claims die Scherder daar maakt tegen het licht gehouden. Het bleek dat wat hij ons vertelde over de figuur die hij ons liet zien niet overeenkwam met wat er in de bijbehorende studie van Drolette en collega’s stond. Scherder stelde dat de figuur ons kinderen liet zien die het goed deden op school en kinderen die het wat minder goed deden op school. Na 25 minuten fietsen zouden de kinderen die het minder goed deden op school het meeste profijt hebben van de extra beweging.

Als deze uitleg zou kloppen, zou het geweldig zijn! Dat merken we ook aan het enthousiasme van Scherder: “Is geweldig, hè?!”. Na het lezen van het artikel, werd mij duidelijk dat de uitleg die Scherder eraan gaf niet helemaal klopte. De groepen waren niet bepaald op basis van schoolprestaties en er werd niks geleerd. Ook werd er niet 25 minuten gefietst, maar 20 minuten gewandeld.

De versie van het verhaal die Scherder geeft is buitengewoon interessant en het zou fantastisch zijn als die klopte. Maar het klopt niet. Heeft Scherder hier last van het dilemma dat hierboven wordt geschetst? Maakt hij voor ons – de toehoorders – het verhaal mooier dan het is? Doet hij buitengewone uitspraken om ons te vermaken?

Een fixed- en een growth-mindset

Voor het tweede voorbeeld wijk ik uit naar de VS. Zoals eerder gezegd, zijn de bedragen voor lezingen daar enorm hoog, dus wellicht is het dilemma daar duidelijker aanwezig. Om dit te onderzoeken wil ik de TED-talk van de prominente onderwijshoogleraar Carol Dweck tegen het licht houden. Hoe buitengewoon zijn de claims in de TED-talk en is het bewijs dan ook buitengewoon? Is bij haar ook de neiging te zien om het verhaal net iets mooier te maken dan het in werkelijkheid is?

Het verhaal van Dweck is te lang om helemaal door te nemen, maar ik wil er twee opvallende stukken uitlichten. Als eerste komen we net als bij Scherder hersenplaatjes tegen (het brein is nou eenmaal hot) en ook Dweck legt de hersenplaatjes verkeerd uit. Zo vertelt zij dat het hier om leerlingen gaat die een fout tegenkomen. Waarin vertelt zij niet, maar in de studie lees ik dat het om een Eriksen Flanker taak gaat (een computertaak waarmee cognitief psychologen het vermogen om een respons te onderukken meten). Leerlingen met een fixed mind-set zouden fouten vermijden, maar leerlingen met een growth mind-set zouden fouten juist actief verwerken. Wat zij hier precies me bedoelt wordt mij niet helemaal duidelijk.

Fixed Mind Set / Growth Mind Set

Dweck zet vervolgens de fixed mind-set leerlingen weg als leerlingen met praktisch afwezige hersenactiviteit: “There is hardly any activity”. De growth mind-set leerlingen staan daarentegen bol van de hersenactiviteit: “Their brain is on fire.” Als eerste vraag ik mij dan af of heel veel hersenactiviteit per se beter is? Maar interessanter vind ik het feit dat de auteurs van de studie aangeven dat de fixed en growth mind-set groepen gemaakt zijn “for illustrative purposes only”. In andere woorden: je kunt deze figuur niet aandragen als bewijs.

Verderop in haar verhaal komen we een serie aan opmerkelijke claims tegen. Dweck geeft ons een paar voorbeelden van waar het gebruik van growth mind-sets in het onderwijs toe kan leiden. Zo claimt zij dat de growth mind-set ervoor heeft gezorgd dat binnen 1 jaar een kindergarten klas in Harlem in het 95e percentiel wist te scoren op de national achievement test. Een 4th grade klas in de Bronx weet zich met de growth mind-set methode op te werken tot de nummer 1 wiskundeklas in de staat New York, aldus Dweck. Dat zijn fantastische resultaten! Helaas heb ik tot op heden geen enkele informatie kunnen vinden over deze casussen. Ze staan zelfs niet op de website van MindsetWorks – het bedrijf waar Carol Dweck co-founder van is.

Niet alleen klagen bij de koffieautomaat

Zowel professor Erik Scherder als professor Carol Dweck lijken hun verhaal iets mooier te maken dan het in werkelijkheid is. Natuurlijk zijn dit enkele gevallen, maar zij zijn volgens mij exemplarisch voor het dilemma van de wetenschapper in de media. Om te vermaken kunnen zij zich genoodzaakt voelen om de werkelijkheid een handje te helpen.

Maar is het niet de taak van die wetenschappers om ons juist voor te lichten over de wetenschap? En wat als het publiek erachter komt dat die buitengewone verhalen niet helemaal kloppen? Zou dat niet juist schadelijk kunnen zijn voor het imago van de wetenschap?

Na de Stapel-affaire en de replicatie-crisis moeten we ons best doen om de wetenschap van zijn beste kant te laten zien. De kracht van de wetenschap zit hem in de kritiek die wij elkaar leveren. Zo maken we elkaar en ons werk beter. Op dit moment uiten we onze frustraties over wetenschappers in de media vaak alleen bij de koffieautomaat. Laten we dat ook in het openbaar doen. Kom je iets tegen in de media dat niet klopt? Gooi het op twitter met een referentie en een hashtag (#bijdekoffieautomaat).

Steven Raaijmakers is onderwijsadviseur bij Onderwijsadvies & Training aan de Universiteit Utrecht. Daarnaast is hij docent wetenschapsfilosofie bij de opleiding Onderwijswetenschappen. Hij is gepromoveerd in de onderwijswetenschappen op onderzoek naar zelfgestuurd leren.

Deze bijdrage is eerder verschenen bij ScienceGuide.

  1. 1

    En wat als het publiek erachter komt dat die buitengewone verhalen niet helemaal kloppen?

    Dat zal ze leren! Dat wetenschap niet de absolute waarheid in pacht heeft. Veel verder dan 6 sigma komen ze niet–meestal zelf niet verder dan p<0.05, qua waarheid.

    Na de Stapel-affaire en de replicatie-crisis moeten we ons best doen om de wetenschap van zijn beste kant te laten zien.

    O ja, natuurlijk. Denkt men aan wetenschap, dan denkt men aan Diederik Stapel. Logisch. Bij sinaasappelen denk ik ook altijd meteen aan kwik.

  2. 4

    @2: Om dicht bij mijn gebied te blijven, heb ik twee wetenschappers genomen die claims maken over onderwijs. Ik heb daarnaast een achtergrond in de biologie en cognitieve neurowetenschappen, dus ik voel me redelijk capabel om uitspraken te doen over de desbetreffende studies die Scherder en Dweck aanhalen.
    @1: Het bericht van Arduenn snap ik niet helemaal. Ik hou heel erg van discussies over p-waardes en de interpretatie ervan, dus al het daarover gaat, graag!
    @3: Wat is het toch een fijne man, die Feynman ;)

    In ieder geval bedankt voor jullie reacties.