Landmark ruling by a Dutch court stops government attempts to spy on the poor. This is a clear victory for all those who are justifiably concerned about the existential threats digital government and digital welfare poses for human rights.
Aldus Philip Alston, VN-Special Rapporteur on extreme poverty and human rights, over de uitspraak van de Haagse rechtbank over SyRI, het geheime profileringsalgoritme waarmee de overheid uitkeringsfraude wil opsporen. Voor SyRI worden een groot aantal persoonlijke gegevens die de overheid heeft van haar burgers gekoppeld en met behulp van een (geheim) algoritme doorzocht op afwijkende patronen. De rechtszaak tegen de Staat was aangespannen door een collectief van burgerrechtenorganisaties en de FNV die de campagne ‘Bij Voorbaat Verdacht’ startten.
Recht op respect voor het privéleven
De rechtbank oordeelde gisteren dat het Systeem Risico Indicatie (SyRI) onrechtmatig is want in strijd met het recht op respect voor het privéleven zoals vastgelegd in artikel 8 van het Europees Verdrag voor de Rechten van de Mens (EVRM):
De rechtbank komt tot het oordeel dat de SyRI-wetgeving in haar huidige vorm de toets van artikel 8 lid 2 EVRM niet doorstaat. De rechtbank heeft de doelen van de SyRI-wetgeving, namelijk het voorkomen en bestrijden van fraude in het belang van het economisch welzijn, afgezet tegen de inbreuk op het privéleven die de wetgeving maakt. Volgens de rechtbank voldoet de wetgeving niet aan de ‘fair balance’ die het EVRM vereist om te kunnen spreken over een voldoende gerechtvaardigde inbreuk op het privéleven. De wetgeving is wat betreft de inzet van SyRI onvoldoende inzichtelijk en controleerbaar. De wetgeving is onrechtmatig want in strijd met hoger recht en dus onverbindend.
De SyRI-uitspraak “sets a strong legal precedent for other courts to follow”, zegt Alston tegen The Guardian. Het is de eerste keer dat een rechter ergens ter wereld het gebruik van digitale technologie en digitale informatie door autoriteiten op grond van mensenrechten verbiedt.
Discriminatie
Het recht op respect voor het privéleven omvat ook ‘het recht op bescherming tegen discriminatie, stereotypering en stigmatisering’, aldus de uitspraak. De Raad van State wees eerder al op het gevaar van (onbedoelde) discriminerende effecten. Daarover zei de rechtbank gisteren dat de inzet in zogenoemde ‘probleemwijken’ op zichzelf niet hoeft te betekenen dat die inzet disproportioneel of anderszins in strijd is met het EVRM. Maar, gegeven de grote hoeveelheden gegevens die in aanmerking komen voor verwerking in SyRI,
bestaat wel het risico dat met de inzet van SyRI onbedoeld verbanden worden gelegd op basis van bias, zoals een lagere sociaal economische status of een immigratieachtergrond, zoals NJCM c.s. betoogt. Op basis van de SyRI-wetgeving kan niet worden beoordeeld of dit risico voldoende is ondervangen, bij gebrek aan controleerbaar inzicht in de risico-indicatoren en (de werking van) het risicomodel. […] De wijze van totstandkoming van de definitieve risicoselectie is immers niet openbaar.
Reacties (7)
Wel tekenend voor onze overheid, dat trappen naar beneden. Terwijl je aan de andere kant van het inkomensspectrum met minder moeite meer kunt vangen. Is er nog wat gedaan met die Panama Papers?
Daarbij: Met een toereikend basisinkomen haal je niet alleen een motivatie tot frauderen weg, maar je bespaart nog veel meer op de kosten van verdeling en controle, die nu de grootste kostenpost (van wat we de sociale zekerheid noemen) vormen.
@1: Het gemiddelde fraudebedrag is geloof ik 37 euro. Dat wil dus al zeggen dat je het predicaat ‘fraudeur’ waarschijnlijk ook al krijgt als je een oprecht foutje maakt
Algoritmes discrimineren en stigmatiseren niet, die wijzen hooguit verbanden aan. Dat de uitslag van die verbanden misschien politiek incorrect zijn is een ander verhaal, maar dat is met de feiten op tafel je kop in het zand steken. Dat is net zo iets als dat Halsema die patsercontroles verbiedt omdat ze bang is dat die aantonen dat criminaliteit misschien wel etnisch gekleurd is.
Overigens zou deze uitspraak ook betekenen dat ander vormen van criminaliteit en fraude zo niet mag worden opgespoord, een mooie opsteker voor grote belastingfraudeurs.
Algoritmes discrimineren en stigmatiseren
/ftfy
@3: nooit gehoord van algorithmic bias? Google search is daar een uitstekend voorbeeld van. Alleen al de aan de hand van waar je woont, zullen je zoekresultaten op exact dezelfde zoektermen verschillen met iemand die 10 kilometer verderop woont.
Geeft niks hoor, dat je weinig afweet van de werking van algoritmen, ga dan alleen niet je eigen onkunde verkondigen als feit.
@4, grote onzin.
Le Redoutable @3 heeft gelijk: programma’s zelf kunnen niet discrimineren en stigmatiseren.
Je kunt wel zeggen: een bepaald programma kan men zo opzetten – opzettelijk of niet – en (dat men) er een discriminerend en/of een stigmatiserend verband in zien (ziet).
@3 dat is met de feiten op tafel je kop in het zand steken.
Nee, dat is spoken zien waar ze niet zijn.
Het probleem is dat het gedrag van sommige algoritmes onbekend is, zelfs bij de programmeur.
Er was ooit een chat-programma van Microsoft dat mensen probeerde te imiteren. Na een dag ofzo werd het gestopt, omdat het voornamelijk racistische wartaal begon reproduceren.
En natúúúúrlijk zal de politie fraudeurs aantreffen als de computer aanraadt om iedereen in postcodegebied XXXX te controleren.
Maar dan worden mensen niet beoordeeld op hun gedrag, maar op omstandigheden waarop ze weinig invloed hebben.
(Overigens wijzen de statistieken erop dat de meeste verkeersongelukken door jonge mannen veroorzaakt worden. We zouden dus levens kunnen redden als mannen pas autorijden mogen als ze 30 zijn).
@6: Als de resultaten van een programma discrimeren, lijkt mij dat het programma discrimineert (zelfs als dat niet het doel van het programma was, en de computer geen benul van discriminatie heeft).
En dat geldt helemaal als we naar de oorspronkelijke betekenis van discrimineren kijken: “onderscheid maken”.
En dat maken van onderscheid is goed als het helpt om tumoren te herkennen.