A police force has defended its use of facial recognition technology after it was revealed that 2,000 people at the 2017 Champions League final in Cardiff were wrongly identified by the software as potential criminals.
Gezichtsherkenningssoftware politie Wales in 92% gevallen fout
Foto:
Reacties (25)
De eerste reactie van de politie was -je kunt er op wachten- dat van geen systeem verwacht kan worden dat het 100% nauwkeurig is.
Alsof per abuis aangemerkt worden als verdachte door een instituut met een geweldsmonopolie niets is en geen gevolgen heeft en het daarom niet aan iets hogere verwachtingen mag voldoen voordat het in de praktijk wordt gebracht.
Moet je voorstellen dat ze tijdens iets “onbelangrijkst” als de Champions League finale doellijntechnologie hadden gebruikt met 92% false positives…
Ik ga ervan uit dat de meeste mensen die naar de Champions League gaan, geen crimineel zijn.
Er waren 314.264 bezoekers.
(http://www.bbc.co.uk/news/uk-wales-south-east-wales-40259821)
2000 van 314-duizend is 0,6 procent.
Men kan ook zeggen: 0,6 procent van onschuldige bezoekers is verward met een crimineel.
92% was verkeerd geïdentificeerd, en 8% blijkbaar goed.
8% van 2000 is 16.
Dan heeft de computer dus ongeveer 16 personen van de 314-duizend herkend als crimineel.
Als hij daarmee alle criminelen eruit gehaald heeft, is het een goede score.
Als in de hele groep 24-duizend criminelen zaten, is de software waardeloos.
Ik weet niet wat gebeurde met de computergegevens.
Werd nog een menselijke beoordeling van de gelijkenis uitgevoerd?
Werden “potentiale criminelen” opgesloten?
toegang tot het stadion geweigerd?
of alleen om een legitimatie gevraagd?
lies, damned lies and statistics …
@2: “Als hij daarmee alle criminelen eruit gehaald heeft, is het een goede score.”
Zoals je zelf in #3 terecht opmerkt, hangt dat wel heel erg sterk af van hoe er met de false positives werd omgegaan.
@4: Inderdaad vallen statistieken makkelijk te misbruiken.
92% lijkt veel, maar als we kijken naar de populatie, kan het goede score zijn.
Het zou ook kunnen dat menselijke beoordelaars meer fouten zouden maken.
Maar zoals @Bismarck opmerkt, hangt “goede score” ook af van de gevolgen van een fout.
Overigens is ook relevant of de “false positives” eerlijk verdeeld zijn over etnische groepen.
En volgens mij is het niet rechtvaardig als een onschuldige met een kaal hoofd vaker als crimineel herkend wordt dan een onschuldige met haar, maar ik vermoed dat onder geregistreerde voetbal-hooligans veel mensen met kort haar zijn, dus ook meer kale mensen die erop lijken.
Overigens ben ik er in het kader van de privacy alleen maar gelukkig mee dat de gezichtsherkenning een dusdanig lage specificiteit (en hopelijk ook sensitiviteit) heeft. Je zou er niet aan moeten denken dat letterlijk elke stap die je in de publieke ruimte doet gevolgd kan worden. De diagnose paranoia zou niet meer gesteld kunnen worden.
@8: In de UK kan dat volgen dus wel. De CCTV-dichtheid is er alarmerend en de privacywetten moeten nu nog aan Europese maatstaven voldoen, na de brexit staat er weer hic sunt leones op de kaart, want dan is men er aan de (meestbetalende?) leeuwen overgeleverd.
@9: Als we dit bericht doortrekken naar heel VK dan valt dat wel mee. Gezien het om voetbal gaat, waar men meestal niet het slechtste spul gebruikt in de strijd tegen hooliganisme, heeft dat naar mijn mening wel wat zegkracht.
Ik denk dat het handig is in het oog te houden dat volgen iets anders is dan identificeren.
@11: Alsof de boel te beduvelen is door met iemand van jas te wisselen.
@11: Om iemand te volgen moet ie geidentificeerd worden, lijkt me.
@12 en @13
Ik bedoel uitsluitend te zeggen dat om iemand te volgen identificatie niet noodzakelijk is. Identificatie gaat nog wel een paar stappen verder dan volgen, lijkt me.
@14: Dus in het VK zijn ze al een paar stappen verder dan volgen (althans proberen ze)?
@8: In het kader van de privacy is ook wel zorgwekkend dat Zweden op weg is om contant geld af te schaffen. Winkeliers mogen contant geld al weigeren, volgens the Guardian
https://www.theguardian.com/business/2016/jun/04/sweden-cashless-society-cards-phone-apps-leading-europe
@15:
Dat zeg ik niet want dat weet ik niet (al lijkt het me wel aannemelijk).
Ik lees alleen een discussie hier waar die twee begrippen door elkaar heen gebruikt worden.
@17: Naja, als identificatie een paar stappen verder is dan volgen (zoals je beweert) en als het onderwerp identificatie is (en dat is het), dan volgt dus…?
In plaats van vissen kun je natuurlijk ook gewoon proberen je punt te maken…
Ik vind dat @2 niet ver genoeg gaat. En dat de titel ronduit leugenachtig en tendentieus is. Zou qua waarheidsgehalte niet misstaan in de Telegraaf. Oh wacht die 92% komt ook uit de Telegraph :p
Er vanuit gaande dat ze allemaal gescand zijn, is de werkelijke foutratio 2297 op – blijkbaar – 314264 bezoekers. Dat is 0,73%. 92% is 126 keer zoveel. Leugens. Of domheid. Beide niet Sargasso-waardig. Of was dat vroeger … :p
@19: Dat had ik in #14 al gedaan. Of als het niet duidelijk genoeg is: HET IS ALLEMAAL NOG VEEL ERGER DAN JE DACHT!
@20: Onjuist. De werkelijke foutratio ken je niet, omdat het aantal vals negatieven niet te achterhalen is (zoals #2 ook impliciet zegt). Er is alleen bewezen dat de PPV (8%) ronduit bagger is.
@22 We kennen hem niet, maar ik bekritiseer de benadering uit de kop met een alternatieve benadering.
En ik denk niet dat er politie-agenten zijn die dit beter kunnen. Dus bagger is maar relatief.
@21: Innemen met water, Bismarck. En laat een monteur eens naar je toetsenbord kijjken…
@23: “Dus bagger is maar relatief.”
Nee, een PPV van 8% is een objectief getal en bovendien een bijzonder laag. Bagger is allicht niet de kwalificatie die ik in de epidemiologieles zou gebruiken, maar wel een passende voor zo’n lage waarde. Verder schuif je je eigen uit de duim gezogen foutmarge uit #20 (leugens!) ook mooi onder het tapijt. #2 is wat betreft een stuk zorgvuldiger.