Lies, damn lies and statistics?

Vandaag plaatsen wij een gastbijdrage van Guido van de Luitgaarden: docent / onderzoeker aan de faculteit Sociale Studies van de Hogeschool Zuyd en promovendus aan de University of Salford (VK). Hij hoopt komend jaar te promoveren op een proefschrift over oordeels- en besluitvorming door kinderbeschermers in geval van vermoedens van kindermishandeling.

Met de heropening van de strafzaak tegen Lucia de B. staat behalve de geloofwaardigheid van de rechterlijke macht, ook het gebruik van de statistiek ter discussie. Een aantal decennia geleden schatten actuarissen vooral voor verzekeringsmaatschappijen de kans op schademeldingen in. Tegenwoordig wordt de statistiek ook gebruikt om in te schatten hoe groot de kans is dat je als ex-gedetineerde zult terugvallen in de criminaliteit, of je als ouder je kinderen zult mishandelen en blijkbaar ook of je levenslang opgesloten moet worden omdat het volgens een statisticus geen toeval kan zijn dat je altijd dienst had wanneer er patiënten overleden.

Los van de vraag of Lucia de B. schuldig of onschuldig is, laat de discussie over dit onderwerp zien dat de statistiek geen harde wetenschap is. Het verband tussen het overlijden van patiënten en de aanwezigheid van een personeelslid kan op verschillende manieren verklaard worden. Behalve dat becijferde kansen het gevaar van schijnzekerheden in zich dragen, moeten de uitkomsten van statistisch onderzoek dus altijd geïnterpreteerd worden en dat is per definitie mensenwerk. We kunnen en mogen ons daarom met name bij de bepaling van schuld en mogelijk toekomstig gevaar niet uitsluitend of overwegend op de statistiek baseren. Mensen kunnen immers tot op zekere hoogte hun gedrag zelf bepalen. Hoewel bijvoorbeeld de statistische kans dat je je kinderen mishandelt groter is wanneer je een laag inkomen hebt en een alleenstaande ouder bent, wil dat niet zeggen dat arme alleenstaanden kindermishandelaars zijn. Wat dat betreft heeft de statistiek vaak weinig meerwaarde in het beoordelen van individuele gevallen.

Laten we hopen dat de discussie hierover breder getrokken zal gaan worden dan het geval Lucia en de rechtspraak. Anders komt het nog eens zover dat we bekeuringen krijgen voor snelheidsovertredingen die we volgens de statistiek nog moeten begaan op basis van het type en de kleur auto waarin we rijden.

  1. 1

    Minority report was twee weken geleden nog op TV, vervang de ‘mediums’ door statistici….
    Verder is het probleem met statistiek vaak dat mensen wel het gemiddelde/mediaan/modus in ogenschouw nemen, maar niet de spreiding, en waarschijnlijkheid verwarren met kansen.
    Misschien moet er een waarschuwingstekst op studies die iets met statistiek doen:
    “Let op: dit rapport bevat statistiek, resultaten uit de berekeningen zijn geen garantie voor voorspeld gedrag.”

  2. 2

    Het is wel lullig om de statistiek de schuld te geven, als de methodologie niet zuiver is:

    “Pas nu wordt in de oorspronkelijke dossiers gekeken. De tabel hierboven blijkt bijvoorbeeld niet te kloppen: de 9 incidenten waar Lucia dienst had moeten er 5 zijn en de 0 incidenten waar zij geen dienst had waren er eigenlijk 2.
    Ook is niet goed gedefinieerd wat een incident is. Precies dezelfde gebeurtenis is een incident als Lucia aanwezig was en anders niet. Een medisch deskundige zei zelfs dat hij een gebeurtenis verdacht vond omdát Lucia erbij was. Zo mag je natuurlijk geen gegevens verzamelen.”

    Als je de verkeerde cijfers aangereikt krijgt, trek je ook de verkeerde statistische conclusies.

  3. 3

    Begrijp ik nou goed dat wat hier verteld wordt, iedere statisticus weet, nl. dat correlatie iets anders is dan causaliteit? Het voorbeeldje wat jullie geven wordt door statistici een ‘ecologische fout’ genoemd, een begrip wat in elk eerstejaars statistiekboek is terug te vinden. Met andere woorden, wat voor nieuws hebben jullie te melden en hoe definieren jullie ‘harde wetenschap’?

  4. 4

    De rechterlijke macht in Nederland, noch het Openbaar ministerie, wordt getraind in wetenschappelijk denken. En juridisch denken is iets geheel anders dan wetenschappelijk denken. Leest bijvoorbeeld Crombag, Van Koppen, en Wagenaar hierover en huiver over welke problemen zo ontstaan.

    Door dit onbegrip bij zowel aanklager als beoordelaar was alleen de intentie al verkeerd op statistiek te gaan leunen.

    Zoals iedereen weet die de politiek volgt, of de financiële markten, danwel het onvermogen kent van de sociale wetenschappen om harde feiten te produceren, is met statistieken alles te bewijzen wat maar bewezen moet worden.

  5. 5

    @ rogier:

    Anders dan de definitie van “harde wetenschap” kun je ook de definitie van “statistiek” als ter discussie beschouwen…

    Het was een zin die mij ook even verkeerd viel na het goede begin met “het gebruik van statistiek” want statistiek gedefinieerd als “methode of wetenschap vh waarnemen van verschijnselen en vh weergeven vd uitkomsten in getallen en figuren” (Van Dale) is een harde wetenschap voor een definitie van dat laatste waar weinig mensen een probleem mee zouden hebben.

    Echter, als we interpretatie als onderdeel van statistiek zelf beschouwen zoals bijvoorbeeld wikipedia doet (“de wetenschap, de methodiek en de techniek van het verzamelen, bewerken, interpreteren en presenteren van gegevens”) moet ik eerst “interpreteren” nog weer gedefinieerd zien om te weten of ik statistiek nog steeds een harde wetenschap vind…

    Wat in ieder geval zo moge zijn is dat in dit geval statistiek een hoogstwaarschijnlijk negatieve bijdrage aan het proces van waarheidsvinding heeft geleverd — zelfs al is dat niet de schuld van statistiek zelf maar van de mensen die het gebruikten.

  6. 10

    @ boog: Ik denk dat je mijn punt mist. Met wat je zegt, bevestig je juist wat ik aan de kaak probeer te stellen: Dat de uitkomsten van onderzoek die op basis van statistische technieken verkregen zijn evenmin waterdicht zijn dan die uit andere onderzoeksvormen, terwijl leken (en dat kunnen ook rechters zijn) wel vaak de neiging hebben om er een soort van objectieve status aan toe te schrijven.

    Ik zeg daarmee dus niet dat de toepassing van statistiek geen nuttige bijdrage kan leveren aan waarheidsvinding. Wat ik wel zeg is dat we ervoor uit moeten kijken dat er vergeten wordt dat zulk onderzoek zowel ontworpen als geïnterpreteed wordt op basis van vakinhoudelijke aannames en meer of minder geverifieerde theorieën.

    Dat dat voor de methodologen onder ons niet nieuw is, is mij bekend. Maar relatieve buitenstaanders lijken het, gezien de veroordeling op basis van gammel bewijs, nog niet altijd zo evident te vinden. Dat is alles.