Kans op schuld

Still uit de film Minority ReportEen jongeman komt na vier jaar gevangenschap voor een gewelddadige beroving vrij. Hij wil oprecht zijn leven beteren en keert terug naar zijn woonplaats Philadelphia. Daar ontdekt hij al snel dat de politie dagelijks langs zijn huis rijdt en een tijdje stopt. Ook moet hij zich vaker bij de reclassering melden dan zijn een paar oudere vrienden die zich vooral met diefstal hebben beziggehouden. Hij heeft die extra aandacht niet alleen aan zijn vroegere gedrag te danken, maar ook aan een algoritme. Steeds meer politiekorpsen in de VS maken gebruik van het zogenoemde predictive policing, voorspellend politiewerk. Het idee erachter is simpel: waarom zou je reeds gepleegde misdrijven oplossen als je ze ook kan voorspellen en dus voorkomen?

Politiekorpsen, ook in Nederland, hebben steeds meer data en informatie tot hun beschikking. Processen-verbaal, strafdossiers, incidentenregisters, demografische informatie, weergegevens zijn makkelijker te combineren en te doorzoeken. Door middel van datamining komen zo patronen bovendrijven die ook voorspellende waarde hebben.

Zo kunnen politiekorpsen inmiddels al redelijk goed voorspellen waar en wanneer in een stad of streek extra politie-inzet nodig is. Het korps Midden- en West-Brabant baseert zijn politie-inzet met Oud en Nieuw bijvoorbeeld op analyses die met het programma DataDetective worden gemaakt. Er wordt daarbij gekeken naar eerdere incidenten, welke personen daarbij betrokken waren, waar die personen zich nu bevinden. Het programma maakt dan voorspellingen waar de problemen dit jaar te verwachten zijn. De Amsterdamse politie bepaalt met het programma waar preventieve fouilleeracties plaatsvinden.

Ook zijn er programma’s die per buurt aangeven wat voor misdrijven er de komende tijd gepleegd gaan worden. Deze programma’s verwerken data over recente incidenten, reclasseringsinformatie, weersvoorspellingen en buurtgegevens over inkomen en demografische opbouw mee.

Nieuwer en nog enigszins omstreden, is software die voorspellingen doet over individuen. De software wordt nog vooral in de reclassering gebruikt. In Philadelphia en Baltimore wordt inmiddels een systeem gebruikt van statisticus Richard Berk. Hij claimt vrij accuraat te kunnen voorspellen welke ex-gevangene een moord zal gaan plegen en ook welke ex-gevangene waarschijnlijk wordt vermoord.

In het Verenigd Koninkrijk bestaat inmiddels het Offender Assessment System Violance Predictor. Dit plaatst gevangenen die vrij gaan komen in gevarencategorieën en gebruikt daarvoor variabelen als woonsituatie, opleiding, relatie, financiële situatie en inkomen, levensstijl en bekenden, drugs- en alcoholgebruik, emotioneel welzijn, gedrag en houding. Wie in een hogere gevarencategorie terechtkomt, wordt later vrijgelaten of onder verscherpt reclasseringstoezicht geplaatst. De gevangenne heeft op dat moment nog niets gedaan. Het systeem neemt een voorschot op de toekomst. In Nederland wordt dit instrument ook gebruikt, maar heet het ‘screeningsinstrument’ Recidive Inschattingsschalen (RISc). Uit onderzoek van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) blijkt dat RISc redelijk goed kan inschatten of een ex-gevangene snel weer in de fout gaat.

Dat dit soort instrumenten risico’s in zich dragen is duidelijk. Ex-gevangenen – en straks wellicht ook gewone burgers of (kleine) criminelen – worden bij voorbaat al schuldig geacht. Of beter gezegd: er wordt hen een kans op schuld toegeschreven. De politie is in deze voorbeelden er als de kippen bij om te benadrukken dat dit soort instrumenten ‘slechts een hulpmiddel zijn’. Dat de echte afweging door ervaren agenten en detectives gedaan wordt.

Maar het is natuurlijk niet alleen aan de politie. Het eerste dat opvalt als je stukken en artikelen over dit soort screeningsinstrumenten leest, is de nadruk die op efficiency gelegd wordt. Kostenefficiency wel te verstaan. Het is jammer dat het publieke debat zich voornamelijk richt op wat we aan politie op straat zien. Het is veel interessanter, en volgens mij belangrijker, om ons te focussen wat er in de datacentra van de politie gebeurt.

  1. 1

    “vrij accuraat” = able to predict eight out of every one-hundred murders

    8% goed is op individueel niveau nog steeds een belabberd slechte voorspelling.

  2. 4

    @1 Misschien weet het algoritme het in 8% van de gevallen wel heel zeker. Dat je maar 8% kan voorspellen zegt niets over de nauwkeurigheid.

  3. 6

    Ik sta er minder negatief over. Ipv dat de politie in Philly en Baltimore elke zwarte man tussen de pakweg 15 en 35 profiled gebeurt dat nu allicht voornamelijk met degenen die wat op hun kerfstok hebben gehad. Ik zou mij meer zorgen maken over datageknoei, dat je zonder reden in het systeem terecht komt.

  4. 7

    Ik dacht dat we na de (onterechte) veroordeling van Lucia de B. (engel des doods) wel hadden afgeleerd om statistiek te gebruiken bij justitieel onderzoek en rechtszaken. Bij handhaving van het recht moet zorgvuldigheid en waarheidsvinding centraal staan, en geen efficiency-overwegingen.

  5. 8

    @4: 8% goede voorspellingen en 92% verkeerde voorspellingen zegt toch echt wel iets over de nauwkeurigheid. Als je het stukje had gelezen had je dat ook wel begrepen.

    Hoe dan ook zijn we duidelijk nog niet toe aan minority report-achtige toestanden (tenzij we accepteren dat we voor elke aanstaande moordenaar 11 onschuldigen invriezen voor aankomende moord).

  6. 9

    ER zitten nog veel haken en ogen aan dit voorspellen. M.n. datakwaliteit. Fouten blijven zich herhalen en leiden tot verkeerde voorspellingen. Daarnaast, moet je gestraft worden (extra toezicht) op basis van kansberekening? Soms klopt het, soms niet. Dat is een wezenlijke discussie.

    Lucia de B. is een goed voorbeeld. Zij is mede veroordeeld op basis van waarschijnlijkheid. Het kon bijna niet anders dan dat er een correlatie (dus geen oorzakelijk verband) was tussen haar diensten en de sterfgevallen. Dat bleek broddelrekenwerk te zijn.

    Daarnaast reduceer je een toekomstvoorspelling tot het wegen van een paar variabelen. Het echte leven is veel complexer.

    W.b. het ophouden van zwarte mannen. Ook dat is verkeerd. Die discussie gaan we in NL ook wel weer krijgen als preventief fouilleren wordt uitgebreid. Probleem is dat dat vooral plaatsvindt in buurten met veel ‘zwarte mannen’. NIet in Aerdenhout.

    Statistiek en profiling kunnen politie zeker helpen en op zich kan je er vele kanten mee uit. Maar het mag nooit een vervanging worden van echt politiewerk.

  7. 11

    @8 “8% goede voorspellingen en 92% verkeerde voorspellingen”

    Waar staat dat?

    Wat ik wel kon vinden, was:
    “Using Berk’s new technology, however, researchers at UPenn were able to predict eight out of every one-hundred murders, rather than just one in one-hundred.”

    Daar staat niets in over het aantal false positives danwel false negatives. Als je met hoge zekerheid 8 van de 100 gevallen kan voorspellen, dan vind ik dat erg knap. Dat is niet hetzelfde als dat 8 van de 100 voorspellingen correct zijn. Helemaal niet hetzelfde.

  8. 13

    @9: ik vermoed zomaar dat de buurten waarin veel zwarte mannen wonen ook een hoger misdaadcijfer hebben dan Aerdenhout, in ieder geval voor die misdrijven die je met fouilleer-acties hoopt te voorkomen.

    Dat betekent natuurlijk wel dat je in die wijken dan iedereen moet fouilleren, en niet alleen de zwarte mannen.

  9. 15

    @11: Het aantal false positives wordt impliciet wel gegeven, dat is namelijk 92%. Wat Berk namelijk doet is een “hoog risicogroep” samenstellen. Voor die groep geldt dat ze een kans van 8% hebben moordenaar te zijn. Dat is dus een erg lage nauwkeurigheid (al vinden andere voorspellers dat “accurate”, omdat ze zelf niet verder dan een hoog risicogroep met 1% kans komen), de false negatives (dat zijn alle moordenaars uit de “laag risico groep” die er ook moet zijn) nog daargelaten.

  10. 16

    zijn = worden

    Op zich dus nuttig voor screening/profiling (want goedkoop), maar nog ver van een individuele accurate voorspelling.

  11. 17

    Heb 3 maanden bij Sentient (maker van DataDetecive) een onderzoek gedaan. Martin den Uyl wilde weten of ik gegevens kon “verrijken“, dus uit een voorbeeld set, gegevens afleiden over anderen waar die gegevens niet over bekend waren. Soort “geef mij uw postcode, levens situatie, geloof, en ik vertel uw inkomen“. Mijn conclusie was dat dat niet mogelijk was. Marten deelde mijn conclusie niet.

    Hij doet nog steeds zaken met voornamelijk de Politie, vertelde hij me vorige maand. En wilde geen gesprek aangaan over de zorgen die ik aangaf over zijn software en rol in de maatschappij.

    Zijn ouders zouden zich omdraaien in hun graf.

  12. 18

    Tja, het lijkt me niet meer dan voor de hand liggen om dit soort technieken toe te passen. Staat wmb gelijk aan de statistieken rondom oudejaarsnacht. Dan wil je toch ook dat de politie al klaarstaat?

    Het wordt wat anders als je het op buurt niveau gaat toepassen op individuen die nog niets op hun kerfstok hebben.

  13. 19

    Tja… Enerzijds erg raar als mensen nog niks gedaan hebben maar anderzijds is het toch helemaal niet erg als de politie even langsrijdt? Ik bedoel niemand wordt veroordeelt of zelfs beschuldigt.
    Doet me even denken aan Wilders’ proces. Ik zal blij zijn als hij vrijgesproken wordt maar vind ook dat het proces zelf doorgang moet (kunnen) vinden. Hij is aangeklaagd, een aantal mensen (incl. het hof) willen weten of hij wel of niet strafbaar is.
    Is wel iets anders omdat de jongeman uit Philadelphia niet aangeklaagd is maar u snapt de gelijkenissen.
    Computersysteem vermoedt misdrijf > politie patrouilleert (geen straf, zelfs geen aanklacht)
    Advocaten vermoeden aanzetten tot haat > Wilders moet voorkomen (geen straf)

  14. 20

    @19: Stel je even in de schoenen van iemand die uit de printer is gerold en waar de politie nu elke dag voor de deur staat. Bedenk ook wat je buren en andere straatgenoten daarvan denken en roddelen. Ervaar je dat niet als straf?

  15. 22

    @11 Dat kan ik nergens vinden. Kun je me vertellen waar staat dat van de risicogroep slecht 8% daadwerkelijk een moord pleegt? Dat zou inderdaad een belabberde nauwkeurigheid zijn.

    Dat zou in tegenspraak zijn met deze uitspraak:
    “Using Berk’s new technology, however, researchers at UPenn were able to predict eight out of every one-hundred murders, rather than just one in one-hundred.”
    Als de lezing van Bismarck correct is, dan klopt deze uitspraak niet. Dan voorspelt het programma niet 8% van de moorden, maar voorspelt het X moorden waarvan er 8% correct is. Dat is natuurlijk iets heel anders.

  16. 23

    @22: Wetenschapsjournalistiek is nog steeds een sterk onderontwikkeld vakgebied. Bijna altijd schrijft de journalist iets op dat een totaal andere betekenis heeft dan de werkelijke uitkomst. Helemaal zeker weet ik het natuurlijk niet, maar als ik het artikel lees, is dat volgens mij toch wel degelijk wat Berk wél kan.