Gezichtsherkenning bij juweliers gaat niet werken
Juweliers in Rotterdam gaan veroordeelde overvallers weren door gezichtsherkenning bij de deur. De techniek is goed, de organisatie ook. En toch gaat het niet werken, denkt Sander Flight, deskundige op het gebied van cameratoezicht.
De politie Rotterdam-Rijnmond bouwt een camerasysteem met gezichtsherkenning. De bedoeling is om overvallers op juweliers te herkennen voordat ze de winkel betreden. Onlangs was ik op bezoek bij de projectleider en ik was onder de indruk. Ze pakken het grondig aan. Ik heb gezichtsherkenning tien jaar geleden de heilige graal van cameratoezicht genoemd: iedereen zoekt er naar, maar niemand weet hem te vinden. De graal is in zicht, zeggen ze in Rotterdam. Dit systeem werkt namelijk echt. Ik heb het systeem in actie gezien en het werkt inderdaad goed. Mijn gezicht werd onmiddellijk herkend. Ook de organisatie achter de schermen is goed. En tóch ben ik bang dat het niet gaat werken.
Hoe werkt het?
Het draait bij gezichtsherkenning allemaal om ‘het piepje’. Bij een boef moet het systeem een piepje geven en bij brave burgers moet het systeem geen piepje geven. Dat piepje komt in drie stappen tot stand.
Stap 1: Zoek het gezicht
De ingang van de juwelier is een sluis: twee deuren na elkaar. De eerste deur gaat open, de klant loopt de sluis in. De camera maakt een foto van het gezicht. Lukt dat niet? Dan gaat er een piepje. De juwelier kan dan zelf bepalen of hij de tweede deur open doet of niet. Vaste klanten mogen naar binnen, twijfelgevallen worden gescreend en pas na goedkeuren door de juwelier naar binnen gelaten. Of de politie wordt gebeld.
Stap 2: Vergelijking met boevenbestand
Als er een gezicht wordt gezien door de camera, en dat lukt in zo’n 93% van de gevallen, vergelijkt de computer dat gezicht met een boevenbestand vol foto’s van verdachten en veroordeelden van overvallen. Dat kan leiden tot een match (en dan volgt stap 3) of geen match. Als er geen match is gaat de tweede deur open.
Stap 3: Controleer de computer
Het mooie van dit nieuwe systeem is dat een piepje voor een match niet naar de juwelier zelf gaat, maar naar een particuliere alarm centrale (PAC). Daar wordt gecontroleerd of de computer het goed heeft gezien. De PAC-medewerker vergelijkt de persoon bij de deur met de foto in het boevenbestand. Als het niet klopt, wordt de computer overruled door de PAC-medewerker en gaat de deur open. Is het inderdaad de boef? Dan geeft de PAC-medewerker een piepje naar de juwelier die dan kan bepalen wat hij wil: de politie bellen, bijvoorbeeld.
Wat is hier nieuw aan?
De derde stap – de controle door een mens – is nieuw. Deze stap werd meestal overgeslagen omdat het technisch en organisatorisch onhaalbaar was. Het kost namelijk veel tijd en die heeft een juwelier niet. En een juwelier wil natuurlijk ook niet dat zijn klanten als verdachte worden beschouwd tot het tegendeel bewezen is. Hij wil juist een open winkel. Maar de PAC neemt dit lastige stapje van hem over.
Een andere grote verbetering is de software die de gezichten herkent. Dat schijnt een soort magische software te zijn die – in tegenstelling tot alle eerdere software – zo goed is dat het aantal missers tot een minimum beperkt blijft. Hoe klein dat minimum is weten we niet, maar ze zeggen dat er maar één op de honderd boeven door het systeem kan glippen. En dat er eigenlijk altijd wel een gezicht wordt herkend dat kan worden vergeleken met het boevenbestand. Zelfs als iemand een zonnebril op heeft of een helm.
Wat is de zwakke plek?
De techniek is dus – zeggen ze – bijna perfect en de organisatie achter de schermen via de PAC is ook slim. En tóch zit er een zwakke plek in het systeem. Die zwakke plek zit alleen niet in het systeem zelf, maar in iets heel anders. Er zijn te weinig boeven.
Ik ga nu met getallen goochelen en ik hoop dat u mee wilt denken. Stel dat een juwelier elke dag 50 klanten krijgt. Dan zijn dat er zo’n 15.000 per jaar (50 klanten per dag x vijf dagen per week x vijftig weken per jaar = 15.000 klanten per jaar). Stel vervolgens dat er – hier wordt het moeilijk om een goeie schatting te geven dus ik doe het met opzet in het voordeel van het systeem – gemiddeld elke twee jaar een overval op een juwelier wordt gepleegd. Dat betekent bij 30.000 bezoekers in twee jaar dat er een kans van 1 op 30.000 is dat het een overvaller betreft.
In die twee jaar tijd (bent u er nog?) heeft de PAC-medewerker honderden controles moeten doen. Stel dat het systeem doet wat het moet doen en geweldig goed in staat is de eerste check zelf te doen. Het is een belachelijk optimistische schatting, maar stel dat het systeem in 99% van de gevallen zelf goed beoordeelt wat er aan de hand is. Dan houd je dus 1% controles over die door een mens moeten worden uitgevoerd. Bij 30.000 bezoekers in twee jaar zijn dat dus 300 controles. Daarvan is er één echt een boef. De andere 299 zijn missers: het alarm gaat af maar het is geen boef.
Als ik in een PAC zou werken en ik krijg steeds missers om te beoordelen, word ik waarschijnlijk vanzelf kritisch over het systeem. “Het zal wel weer niks wezen,” is de meest logische reactie. En dus druk ik bijna automatisch op de knop: ‘laat maar door – vals alarm’. In 299 op de 300 gevallen is dat terecht, maar in 1 op de 300 gevallen – en daar ging het nou juist om – gaat die vlieger niet op en komt de boef gewoon de winkel in.
Waar ligt de uitdaging?
De grootste uitdaging voor dit systeem is dus het scherp houden van de PAC-medewerker die de computer moet controleren. De boodschap is: ‘Het geeft niet als je 299 keer vals alarm hebt. Dat hoort bij dit systeem.’ Als je die boodschap kan overbrengen, kan het werken. Dat zal veel vragen van de PAC-medewerker, maar het is mogelijk.
Het wordt zelfs nóg erger. Want de bedoeling van het systeem is dat er nog minder boeven komen. Preventie is het ultieme doel. Daardoor wordt de verhouding tussen valse alarmen en terechte alarmen nog schever. We zullen zien hoe lang een systeem dat alleen maar valse alarmen oplevert gesteund wordt door de juweliers.
Goed stuk zeg. De redenering doet me denken aan eentje in het boek ‘fooled by randomness’:
A test of a disease presents a rate of 5% false positives.
The disease strikes 1/1000 of the population.
People are tested at random, regardless of whether they are suspected of having the disease.
A patient’s test is positive.
What is the probability of the patient having the disease?
Most doctors say 95%! True answer is 1/50. (2%).
The positive reading just made it 20 times more likely the patient has it. Now 1/1000 chance is increased to 1/50 chance.
Het gezichtsherkenningssysteem heeft het dus niet in 93% maar in 0.3% van de gevallen correct (ik herhaal hier gewoon wat de auteur al zegt). Als je dit aan de winkelier uitlegt dan ben ik benieuwd of deze zijn centjes in zo´n systeem wil steken.
beste Rob, jouw redenering is false. De gevallen die terecht niet als boef worden herkend mot je wel meenemen.
Je hebt gelijk en de volgende zin van mij is inderdaad onjuist:
“Het gezichtsherkenningssysteem heeft het dus niet in 93% maar in 0.3% van de gevallen correct (ik herhaal hier gewoon wat de auteur al zegt).”
Het voorbeeld uit fooled by randomness is echter nog wel van toepassing en daar waar het om gaat, namelijk het herkennen van boeven, heeft het systeem het in het rekenvoorbeeld van de auteur in 0.3% van de gevallen bij het juiste eind vanwege de grote hoeveelheid false positives.
“Is het inderdaad de boef? Dan geeft de PAC-medewerker een piepje naar de juwelier die dan kan bepalen wat hij wil: de politie bellen, bijvoorbeeld.”
Dit vind ik een raar stukje. Waarom zou de juwelier de politie bellen? Logischer zou zijn: gewoon niet binnen laten
Het makkelijkste zou natuurlijk zijn om de PAC-medewerker er tussenuit te halen en elke (mis)match te piepen. Dat kost dan wel wat klanten (in het rekenvoorbeeld 150 per jaar), maar als de sensitiviteit maar hoog genoeg is, wordt de kans op een overval (even ervan uitgaande dat alleen mensen in de database juweliers overvallen, hoe realistisch dat is mag ook onderzocht worden) gedurende de carrière van een winkelier behoorlijk klein.
Want alle juwelierovervallers zijn natuurlijk al bekend in het systeem. En ze dragen ook geen rare brillen of andere vermommingen.
“Hoe klein dat minimum is weten we niet, maar ze zeggen dat er maar één op de honderd boeven door het systeem kan glippen. En dat er eigenlijk altijd wel een gezicht wordt herkend dat kan worden vergeleken met het boevenbestand. Zelfs als iemand een zonnebril op heeft of een helm.”
Brillen en vermommingen zijn geen probleem dus. Het andere probleem had ik al aangekaart.
Jaja, zelfs als iemand een helm op heeft. Het systeem kijkt gewoon door de helm heen.
Fabrikanten van gezichtsherkenningsspullen doen al jaren allerlei geweldige claims, daar kan deze ook nog wel bij.
Geweldig stuk voor de nieuwsbrief van de branche-organisatie.
Zo lang je nog niet in de database bent beland als recidiverende juwelierovervaller haalt ‘t al helemaal niks uit.
Mooie en nuttige analyse. Weer een goed voorbeeld hoe de maatschappij stukje bij beetje in technische systemen wordt gevangen. Ongetwijfeld staan vision-fabrikanten en politie te popelen. Nu is het nog een scan op particulier terrein. Wat als het in de (quasi-)openbare ruimte opduikt? Net nummerplaatherkenning, maar dan voor koppen. Ik wil liever niet denken aan de consequenties als dit eenmaal grootschalig wordt ingezet en je hebt de pech dat je hoofd lijkt op iets dat in een database staat. Of juist niet.
Aanvullend probleem. Hoe groot is de kans dat een dief, die ongetwijfeld weet van dit systeem maar toch de winkel wil beroven, goed voor de camera gaat poseren?
Een jaartje of 10 geleden heb ik een literatuurreview gedaan van de toen beschikbare oplossingen (student AI). Technisch allemaal heel mooi, maar je hebt false positives en false negatives die, als het percentage criminelen laag is, meer normale mensen dan boeven pakken (zoals hierboven beschreven).
Daarnaast bleek de software gevoelig voor vermommingen. (kleurspoelinkje, wat gel, (zonne-)bril, watjes in de wangen en klaar is klara. Dat is nu vast ook nog een probleem.
Overigens, in de praktijk bleek zelfs een zeer lage detectiekans voldoende voor alle – bekende – criminelen om de camera te mijden. En de overval dan maar ergens anders te plegen…
Dat dan weer wel.
Waarom zou een juwelier iemand binnen willen laten die niet meewerkt aan de gezichtsherkenning? Als je niet wilt poseren, kom je al helemaal niet binnen, lijkt me.
Vanuit die juwelier gedacht deugt dat misschien, maar ik wil daar geen klant zijn. Mijn rol als klant gaat al verloren als ik in een winkel kom waarin ik door veiligheidspersoneel en camera’s wordt beloerd als een potentiële crimineel, maar als ik voor binnenkomst eerst moet gaan poseren voor een mugshot haak ik af.
Wat zou je ervan vinden als je wel vrij kan binnenlopen, maar de juwelier heeft slechts dummy’s liggen (verguld ipv massief goud, zirkoon ipv diamant)? Het echte exemplaar krijg je dan na aankoop thuisgeleverd.
Dat zou ik een klantvriendelijker oplossing vinden. Je loopt dan tenminste voor je gevoel nog een winkel binnen, in plaats van een gevangenis.
“Niet meewerken” hoeft niet expres te zijn. In 7% van de gevallen kan er per ongeluk al geen match gemaakt worden. Hoe beoordeel je dat als juwelier?
En als er geen match gemaakt kan worden door een vermomming?
Waarom zou je niet kritisch zijn als PAC-medewerker?
Je kan daarnaast ook nog vragen om het omhooghouden van een id in de sluis.
Of je laat die 1 procent klanten niet binnen.
Ik denk dat het wel werkt.
Volgens mij zit er toch een redeneerfout in. Aangenomen wordt dat “normaal” gesproken 1 op de 30.000 mensen die bij de juwelier komt, een overvaller is. Waarom is nu per definitie het gezicht van de overvaller onbekend? Als je er hierbij ook vanuit gaat dat in 99% van de gevallen de overvaller wordt herkend, dan resteert het risico van 1% x 1% dat de overvaller niet wordt herkend én door mag lopen. Daarnaast zou ik verwachten dat relatief veel van de overvallers recidivist is en dus herkend zal worden. Het aangenomen aantal van 1 procent onbekenden zou dus onder overvallers veel kleiner zijn dan onder het gemiddelde wat er aan klanten binnen komt. Een aanzienlijk kleiner risico dan voorheen in ieder geval.