In de Canadese stad Toronto bestuurt Google een eigen wijk. De straten hangen vol met sensoren en camera’s die behalve het verkeer en de luchtkwaliteit ook de gedragingen van inwoners registreren. De stad wordt vergeleken met een Chinese surveillance-staat, maar zulke technologische toepassingen vinden in Nederland gretig aftrek.
De term ‘smart city’ duikt massaal op in verkiezingsprogramma’s. Slimme lantaarnpalen, social media meldkamers en zelflerende algoritmen beloven openbare ruimten efficiënter, groener en veiliger te maken. Mooie beloften maar moeten we ze ook geloven?
‘Living labs’ en ‘innovation hubs’ transformeren gemeenten in zelflerende computersystemen die doorlopend gevoed moeten worden met onze data. Terwijl we ons druk maken over randvoorwaarden zoals privacy, worden nergens de smart city-systemen zelf in twijfel getrokken.
Een smart city functioneert op basis van voorspellende algoritmen die beslissingen nemen. Deze algoritmen zijn niet transparant, kunnen verkeerde verbanden leggen en menselijke vooroordelen op grote schaal verspreiden. Steeds meer onderzoekers waarschuwen voor een blackbox-samenleving waar niemand meer weet op welke manier algoritmen besluiten nemen en op basis van welke data.
Om de samenleving daadwerkelijk veiliger en groener te maken, moeten we kritischer nadenken over de beslissingen die we aan algoritmen willen uitbesteden, voordat grote techbedrijven met uitsluitend een commercieel belang hiermee aan de haal gaan. Niet alleen in Toronto, maar ook in Nederland worden mensen steeds meer gereduceerd tot datamachines die door algoritmen worden aangepast aan de winstgevende datahandel van techbedrijven en economisch rendement van overheden.
Algoritmen bevatten vooroordelen en morele aannames
In de drukste uitgaansstraat van Eindhoven werkt de gemeente sinds 2014 met de politie en een aantal techbedrijven aan Stratumseind 2.0. Om de veiligheid te vergroten hangen overal slimme camera’s en sensoren die afwijkende bewegingen en geluiden registreren. Statistieken houden bij hoeveel bier er wordt geschonken, hoeveel afval er op straat ligt en waar de meeste auto’s geparkeerd staan. Ook social media-berichten worden gescreend: als het woord Stratumseind op Twitter verschijnt, wordt de tekst automatisch gecategoriseerd als ‘neutraal’, ‘positief’ of ‘negatief’.
Vervolgens wordt met alle verzamelde data en algoritmen bepaald of het risico op vechtpartijen is verhoogd. Maar hoe maakt het algoritme onderscheid tussen een schreeuwende agressor en iemand die schreeuwt omdat hij iemand kwijt is? En wie bepaalt wat het algoritme moet categoriseren als ‘afwijkende’ beweging of ‘negatief’ Twitterbericht?
Door menselijk gedrag te reduceren tot simpele ‘als dit, dan dat’-scripts en alleen het meetbare prioriteit te geven, verliezen we menselijke waarden en onderlinge verschillen uit het oog. Een van de grootste misverstanden over algoritmen is dat ze neutraal zijn en daardoor rechtvaardige beslissingen nemen. Met deze mythe rekent vooraanstaand wiskundige Cathy O’Neil af in haar bestseller Weapons of Math Destruction.
De kern van haar boodschap is dat algoritmen vooroordelen en morele aannames bevatten waar we ons onvoldoende van bewust zijn. Algoritmen zijn meningen verstopt in code die de suggestie wekken nauwkeurige en objectieve beslissingen te nemen. Ze kunnen een destructief effect hebben op de samenleving doordat ze ongelijkheid, vooroordelen en stereotypen vastleggen in systemen en op grote schaal verspreiden. Een voorbeeld is een algoritme dat op basis van risicoscores berekent hoe groot de kans is dat iemand terugvalt in crimineel gedrag. Met deze scores bepalen Amerikaanse rechters de lengte van gevangenisstraffen. Het algoritme blijkt voor niet-witte mensen stelselmatig een te hoog recidiverisico te berekenen. Niet omdat zij vaker terugvallen, maar omdat zij vaker staande worden gehouden, wat door het algoritme als recidive-indicator wordt meegenomen.
Wat we met auto’s doen kan vast ook met mensen
Nu we met algoritmen steeds meer complexe problemen als kwantificeerbaar beschouwen, slaat de hoogmoed toe. Zo wordt al nagedacht over algoritmen die zelfstandig een hele stad besturen. Volgens smart city-platform Future City Foundation staan we nog maar aan het begin en zal de smart city veranderen in een predictive city.
Een voorbeeld is het verkeer: algoritmen kunnen gegevens over weersomstandigheden, datum en andere factoren meewegen waardoor zij op voorhand verkeersstromen kunnen bijsturen. Wat we met auto’s doen, kan vast ook met mensen, is de verwachting. Als we onze buurten volhangen met sensoren, camera’s en smart meters kunnen ontwikkelaars zelflerende algoritmen bouwen die ons gedrag voorspelen en bijsturen.
Democratie of algocratie?
Voor het zover komt moeten we nadenken over de vraag welke beslissingen algoritmen voor ons mogen maken. In het beste geval wordt dit in samenspraak met burgers uitgedacht, maar in de praktijk worden deze keuzes vaak overgelaten aan softwareontwikkelaars die zich onvoldoende bewust zijn van de morele waarden die zij indirect in hun algoritmen bouwen.
Het gebrek aan bewustzijn komt niet alleen voort uit de mythe dat algoritmen neutraal zijn, maar ook uit een gebrek aan voorstellingsvermogen over hoe algoritmen in de praktijk gaan werken. Voorspellende algoritmen moeten rekening houden met verschillende variabelen, maar wie bepaalt welke variabelen relevant zijn en hoe deze te wegen?
Algoritmen zijn gericht op efficiënte uitkomsten maar vanuit maatschappelijk en cultureel oogpunt zijn dat niet altijd de meest wenselijke uitkomsten. Ontwikkelaars houden daar geen rekening mee omdat zij weinig kennis hebben over menselijk gedrag en het functioneren van de stad. Bestuurders die daar wel verstand van hebben weten op hun beurt weer niet hoe algoritmen werken en wat de valkuilen zijn.
Zo blijkt uit onderzoek van de Kafkabrigade dat algoritmische besluiten kunnen leiden tot allerlei onbedoelde gevolgen waardoor burgers ten onrechte kunnen worden uitgesloten van overheidsdiensten.
Vandaag mogen we kiezen welke partijen de komende jaren aan de knoppen van onze gemeenten draaien. We moeten ervoor waken dat er straks geen knoppen meer zijn om aan te draaien omdat de smart city-computer aan zijn eigen knoppen draait. Willen we onze gemeente verruilen voor een algocratie waar alleen nog computeralgoritmen de dienst uitmaken?
Dit artikel van Siri Beerends verscheen eerder op Sociale Vraagstukken. Siri Beerends is als cultuursocioloog werkzaam bij SETUP. Komend jaar ontwikkelt het Utrechtse MediaLab in samenwerking met artificiële intelligentie experts, vormgevers en kunstenaars Civil Weapons of Math Retaliation. Deze moeten de morele implicaties van algoritmische besluitvorming inzichtelijk maken en de macht van moraliserende algoritmen eerlijker verdelen. Zodat burgers niet alleen in bezwaar kunnen gaan tegen een besluit van een algoritme, maar deze ook kunnen inzetten voor hun eigen empowerment.
Reacties (11)
Krijg ik nou gedonder als ik van het voorjaar de oprit met een hogedruklans schoonspuit of juist als ik dat laat? Een braaf consument zal de tuin immers lenteklaar willen maken…
En was dat het dan nog maar. Een if-then-else kan je nog transparant maken, lezen en beoordelen. Maar AI vindt verbanden waar we het bestaan niet van hadden kunnen vermoeden en ook nooit zullen vermoeden. Maar je wordt er ondertussen wel tussenuit gepikt.
@1: Dit duidt op het gebruik van tegels in uw tuin, dus u bent sowieso in overtreding met gutmensch-code.
@3: Ik zal de instructies nog eens doornemen. ;)
@4: Ah, die is mooi ja!
Ik heb het niet helemaal gelezen, maar iedereen die wel eens in aanraking is geweest met een welstandscommissie, een fietsafhandelcentrale, een gemeentelijke bouwadviescommissie, de jongens die zich met bestemmingsplannen bezig houden of de mensen die zich moeten buigen over subsidieaanvragen voor zonnepanelen, hemelwaterafvoer of trapliften weet dat het geheel nu wordt bestierd door een stelletje robots die niet zelf willen nadenken en die gebrekkige algoritmen hanteren die ze bij het grofvuil hebben gevonden. Het enige wat nog ontbreekt, is echte corruptie.
Dus, nee, mijn gemeente is helaas nog niet overgenomen door algoritmen. Maar ik kijk er met smart naar uit; als alle saaie dingen gewoon vanzelf gaan, kunnen ze misschien wat mensen tijd laten besteden aan de preventie van Kafkaeske situaties. Als tussenstation zou ik me ook wel kunnen vinden in een gemeente die wordt bestuurd door gorilla’s en schildpadden.
IK heb het wel helemaal gelezen en ik vind het doodeng. Dit gaat veel verder dan aantasting van de privacy. Het is een vergaande aantasting van de rechtsstaat waarin mensen op verantwoorde wijze beslissingen nemen die controleerbaar zijn. En zo nodig teruggedraaid kunnen worden. Hoop dat de Gemeenteraad van Eindhoven zo verstandig is de algocratie in Stratumseind een halt toe te roepen.
Dat `if this than that` is een verkeerde voorstelling van zaken. Er wordt een voorspelling gedaan van parameters in een multidimensionale ruimte. Afhankeljjk van de gekozen algoritmen worden er niet lineaire verbanden gezocht en toegepast. Dat is wat het black box maakt. De preciese weg van een keuze door zo’n black box is voor mensen onnavolgbaar. Net als dat het voor mensen niet mogelijk is om precies te weten hoe een bepaalde beleidsregel gaat uitwerken omdat menselijk gedrag daar te complex voor is.
Hieruit mag je (nog) niet concluderen dat zo’n black box model onbruikbaar is. Net als bepaalde socio-economische raamwerken moet je de beperkjngen kennen en de techniek uberhaupt snappen voor je het gebruikt. Er is wel degelijk een peil op black box (machine learning) modellen te trekken. Je kan kjjken wat een dergeljjk model in bepaalde situaties aangeeft. Dit maakt het ook mogelijk om kritiek te hebben op die modellen. Wat zeer positief is. Net als het besef dat dit soort modellen niet in absoluten handelt en geen objectieve maar subjectieve antwoorden oplevert. Zo is bijvoorbeeld on Bayesiaanse statistiek (die aan veel machine learning technieken aan de basis ligt) inherent subjectief. Je begint altijd met een premisse. Kortom een belangrijk deel van het probleem zit hem imho bij gebrek aan kennis bij beleidsmakers over dergelijke modellen.
@8: het is een versimpeling van zaken om het begrijpbaar te maken
Het is ironisch dat we nu ook onszelf onderwerpen aan systemen uit de bio-industrie.
@8:
“Dat `if this than that` is een verkeerde voorstelling van zaken.”
Dat is zeker waar, maar:
“De preciese weg van een keuze door zo’n black box is voor mensen onnavolgbaar. Net als dat het voor mensen niet mogelijk is om precies te weten hoe een bepaalde beleidsregel gaat uitwerken omdat menselijk gedrag daar te complex voor is.”
Dat is volslagen flauwekul. Ook een Big Data algoritme is niet in staat om precies te weten hoe een bepaalde beleidsregel gaat uitwerken. De toekomst blijft onvoorspelbaar, en AI gaat daar niets aan veranderen.
Wat AI wel kan gaan veranderen, is dat besluitvorming instransparant wordt. Wat mensen namelijk wel kunnen doen, is laten zien hoe de feiten hebben geleid tot een besluit. Sterker nog, als je een goed functionerend bestuur hebt, dan is dat zo ongeveer de kerntaak van dat bestuur: redeneren over maatregelen. Dat betekent, dat je ook kan bijsturen als een maatregel niet zo goed werkt, omdat je kan analyseren waar je redenering de mist in is gegaan. Even voor de duidelijkheid: ik weet best dat dat in de praktijk niet zo goed gaat, maar wat ik hier duidelijk wil maken is dat het in ieder kan. Want als je de besluitvorming outsourced naar Big Data algoritmes, dan kan dat niet meer. Aangezien je niet meer weet waarom een bepaald besluit is genomen sta je eigenlijk met lege handen.
“Net als bepaalde socio-economische raamwerken moet je de beperkjngen kennen en de techniek uberhaupt snappen voor je het gebruikt.”
Precies. En dat is waarom de meeste mensen met kennis van dit soort algoritmes uitermate skeptisch zijn. Het gebruiken van handige hulpmiddelen zonder te snappen wat die hulpmiddelen precies zijn is een vrij gangbaar verschijnsel, zeker in de politiek.