John Henry (steel-driving man) en de bijstandsproef

ACHTERGROND - Dit stukje heeft de tag ‘Closing Time’, maar dat is niet helemaal kloppend: eigenlijk is het een ‘opening time’ en gaat dit stuk over het Nijmeegse bijstandsexperiment, en al wat daar omheen hangt. Maar toch beginnen we met een stukje muziek. Joe Bonomassa kennen jullie natuurlijk allemaal, want die is hier al eens eerder langsgekomen. Het gaat hier echter niet om de artiest, maar om de tekst van het nummer The Ballad of John Henry. Want John Henry, geloof het of niet, was relevant voor de analyse van de bijstandsexperimenten hier in Nederland.

Wellicht komt de naam de gamers en poëzieliefhebbers ook bekend voor:

John Henry said to his Captain: ‘A man ain’t nothin’ but a man,/And before I’ll let your steam drill beat me down,/I’ll die with the hammer in my hand.

Iemand? Dit komt natuurlijk uit Civilization V, als je het staal hebt  uitgevonden. En die hebben het weer van het gedicht John Henry, van anoniem: The Ballad of John Henry, the Steel-Drivin’ Man. Potverdorie, deze post had zelfs als Kunst op Zondag gekund!

Het John Henry-effect in de wetenschap

Maar we gaan het toch hebben over wetenschap, in relatie tot de bijstandsexperimenten. Want naast John Henry, kennen we ook het ‘John Henry effect’, waar je rekening mee moet houden als je een experiment doet. Zo lang de mensen in het experiment weten dat ze in een experiment zitten – maar dat is natuurlijk wel zo ethisch. Eigenlijk is het John Henry effect een subset van het (bekendere) Hawthorne effect. Dit is de naam van het effect dat mensen zich soms anders gedragen wanneer ze weten dat ze deel uitmaken van een experiment. De term is bedacht naar aanleiding van een experiment in de Hawthorne fabriek, waar ze testten of de felheid van het licht in de fabriek gerelateerd was aan hoe hard er gewerkt werd. Resultaat was dat zolang de proef duurde, men productiever werd als er iets veranderde – ongeacht wat, of het licht nou feller of donkerder werd. En toen de proef weer voorbij was de arbeidsproductiviteit weer werd zoals voorheen.

Het John Henry effect vindt plaats als één specifieke groep in een experiment zich anders gaat gedragen omdat ze in een experiment zitten: de controlegroep. Dit is de groep die niet een experimentele behandeling ondergaat. Bij medisch onderzoek gaat het om de mensen die de placebo krijgen. Bij de bijstandsexperimenten degenen die onder het reguliere regime van de Participatiewet bleven vallen. Die groep kan je vergelijken met een experimentele behandeling of ‘treatment’, en dan kun je uit het verschil tussen die twee het effect van je experiment afleiden.

Tragisch einde?

Maar dan moet die controlegroep zich wel gedragen zoals normaal natuurlijk. En John Henry, zo wil het verhaal, deed dat niet, toen hij de controlegroep was. Zo wil het verhaal althans. Want hij was een spoorwegarbeider, wiens baas wilde testen of een stoommachine het werk niet efficiënter deed dan al die mannen. John moest het opnemen tegen zo’n machine, en dus werkte zoals hij nog nooit gewerkt had, en against the odds versloeg hij de stoommachine. Zodat hij en zijn collega’s hun baan zouden kunnen houden. Maar goed aflopen zou het niet, want hij moest zijn bovenmenselijke inspanningen met de dood bekopen, toen zijn hart het begaf na zijn heroïsche prestatie. Vandaar dus de folklore, en de talloze liederen die aan hem zijn opgedragen.

Voor ons verhaal is relevant dat de deelnemers aan de bijstandsexperimenten natuurlijk wisten dat ze meededen aan een experiment. Honderd procent uitsluiten dat dit de resultaten niet heeft beïnvloed kun je niet. Dat is enerzijds natuurlijk jammer. Anderzijds is het ook niet iets om een drama van te maken, het is gewoon een onvermijdelijk nadeel van een onderzoek als dit. En zo’n ‘gerandomiseerd onderzoek met controlegroep’, ook wel RCT of sociaal experiment, wordt ondanks de nadelen die er aan kleven vaak gezien als ‘de gouden standaard’ bij dit soort onderzoek.

Of moeten we toch maar experimenten doen zonder dat mensen weten dat ze er aan meedoen? Dan hou je de voordelen, maar vermijd je John Henry en Hawthorne effecten. Maar kun je geen vragenlijsten meer afnemen om informatie op te halen natuurlijk, want dan zouden mensen wel eens iets kunnen vermoeden. En als we al denken dat dat een goed idee is om zo’n ‘stiekem’ experiment te doen: wat zouden de mensen zelf daar van vinden, en de wetenschappelijke ethische commissies? Then again: wellicht had, in John’s geval, onwetendheid wel zijn leven gespaard.