Kunnen we algoritmes maken die niet uitsluiten?

Foto: Afbeelding Ari He via Unsplash.

COLUMN - van Rosa van den Dool.

Met het toeslagenschandaal werd nogmaals duidelijk dat data en datatechnologieën niet neutraal zijn en kunnen discrimineren, net als mensen. Hoe kunnen we dit soort data-onrechtvaardigheid de das omdoen?

De Nederlandse overheid verzamelt grote hoeveelheden privacygevoelige data van en over burgers. Wat er vervolgens met deze gegevens gebeurt is niet altijd zichtbaar, maar kan wel grote impact hebben op ons levenWanneer ik inlog op de website van de Belastingdienst om belastingaangifte te doen, schrik ik van de hoeveelheid informatie die over mij in het systeem staat: de overheid weet beter wat ik dit jaar heb verdiend dan ikzelf.

Algoritmen helpen overheidsinstanties omgaan met de oneindige stroom aan binnenkomende data. Deze computerprogramma’s bepalen vervolgens op basis van jouw gegevens of jij bijvoorbeeld in aanmerking komt voor een steekproef, waarmee ze checken of je wel genoeg belasting betaalt of wel recht hebt op huurtoeslag. Heel efficiënt, maar hieraan kleeft ook een keerzijde: algoritmes die gebruikt worden om informatie te sorteren en verwerken zijn niet neutraal en kunnen discrimineren. Of jij dus wordt uitgekozen voor een steekproef, kan zomaar worden bepaald op basis van je naam of de buurt waarin je woont.

Discriminerende technologie

Cultuur- en mediawetenschapper dr. Gerwin van Schie (UU) onderzoekt hoe het gebruik van data en algoritmen kan leiden tot discriminatie en onrechtvaardigheid in Nederland. “Als je wordt geboren in Nederland, melden je ouders je aan bij de gemeente en komen je gegevens terecht in de databases van de overheid. Je leeftijd wordt geregistreerd, maar bijvoorbeeld ook je geboorteland én het geboorteland van je ouders.”

Waarom is dit problematisch? Een voorbeeld dat dit illustreert is de Leefbarometer: een online tool van het ministerie voor Binnenlandse Zaken die voorspelde in hoeverre een buurt ‘leefbaar’ was. Persoonsgegevens over geboorteland werden gebruikt als meetinstrument voor kwaliteit en veranderden zo in een voorspeller voor de leefbaarheidsscore. Wanneer er in een wijk dus veel mensen woonden met ouders die in het buitenland geboren zijn, werd die wijk als minder ‘leefbaar’ bestempeld. Pas sinds begin 2022 is het CBS overgegaan op een nieuwe indeling, waarin minder bepalend is waar iemands ouders vandaan komen, en meer bepalend waar iemand zélf geboren is. Dit betekent dus dat overheidsinstanties nog steeds data over je achtergrond kunnen gebruiken om een onderscheid te maken tussen groepen mensen, buurten of steden.

Datadialoog

Data-discriminatie komt niet voort uit racistische overheidsmedewerkers die meer ongelijkheid willen creëren of bepaalde bevolkingsgroepen het leven zuur willen maken. Het is het gevolg van een manier van denken die sterk is verweven met de Nederlandse cultuur. Volgens Van Schie speelt cultuur een grote rol in het bepalen waar we data over verzamelen en waar niet. “Als je wil weten wat de etnische samenstelling van de gevangenispopulatie in Nederland is, kun je naar het CBS en vind je het zo. Maar als je iets wil weten over de diversiteit in hoogleraren in Nederland, zijn daar geen gegevens over.” Systemen als de Leefbarometer zijn dus niet neutraal of objectief, omdat mensen met een bepaalde culturele blik zélf de categorieën in zo’n systeem bedenken. Het afnemen van een culturele bril gaat niet vanzelf, maar vergt aandacht.

Hoe lossen we dit op? Hoogleraar Inlichtingen en Recht prof. mr. Jan-Jaap Oerlemans (UU) pleit voor meer dialoog en openheid over de manier waarop overheidsinstanties met gegevens omgaan. Hij ziet dat steeds meer overheidsinstanties gegevens over burgers verzamelen. Maar hoe ver mogen ze hierin gaan? “Deze vraag wordt vaak niet genoeg publiekelijk besproken. Dat moeten we wél doen,” zegt Oerlemans. Hij legt uit dat er te weinig toezicht is en dat adequate wetgeving eigenlijk nog ontbreekt. Hierdoor kunnen overheidsinstanties te ver gaan bij het verzamelen van inlichtingen en is het soms bijvoorbeeld niet duidelijk wat er met niet-gebruikte gegevens gebeurt.

Ook ethicus mr. dr. Bart Wernaart benadrukt het belang van het voeren van het gesprek over de datahonger van overheidsinstanties. Hij legt uit dat datatechnologie een prominentere plek op de publieke agenda nodig heeft. Er bestaat namelijk een zogenaamd democratisch deficit als het hierom gaat: “Technologie speelt nauwelijks een rol in de verkiezingen en de politiek, terwijl het een grote rol speelt in ons leven.” Om dit probleem aan te pakken en te kunnen bepalen wat overheidsinstanties wel en niet mogen doen met persoonsgegevens, moet er volgens Wernaart eerst iets gebeuren met de gevoelens in de samenleving. “Je kunt niet wachten tot de wetgeving er iets mee doet: dan ben je te laat.”

Dit artikel vercheen eerder bij Studium Generale Utrecht.

Reacties (2)

#1 cerridwen

Beetje eenzijdig, dit soort discussies.

Het is niet dat ingebakken vooroordelen in data en algoritmes geen probleem zijn waar we terecht aandacht voor moeten hebben.

Maar in de praktijk moet je deze nadelen en risico’s afwegen tegen de voordelen van de inzet van data, en de nadelen van het alternatief. Door informatie te ontsluiten en te koppelen kan ook veel goeds gedaan worden, kwantitatief en kwalitatief. En als je de beschikbare informatie niet systematisch ontsluit, val je noodgedwongen terug op subjectieve, analoge verhalen. Willekeur ligt dan op de loer.

Neem dit recente voorbeeld:
https://www.nrc.nl/nieuws/2023/01/27/loten-voor-een-studieplek-is-echt-eerlijker-a4155590

Onderzoek van Lianne Mulder, die promoveert aan het Amsterdam UMC op kansenongelijkheid in selectieprocedures, toont dit haarfijn aan. Mulder vergeleek verschillende nationale cohorten kandidaten bij medische studies. Meisjes en kandidaten met rijke ouders (behorend tot de 10 procent welvarendste Nederlanders) hadden ook toen er nog voornamelijk werd geloot meer kans om te worden toegelaten. „Er was destijds sprake van gewogen loting”, zegt Mulder. „Hoe hoger je cijfers, hoe hoger de kans dat je werd ingeloot.”

En meisjes, blijkt uit eerdere onderzoeken, halen op het vwo gemiddeld hogere cijfers dan jongens. Bovendien sturen ouders die het kunnen betalen hun kind vaker naar bijles en huiswerkbegeleiding om betere cijfers te halen.

Na de invoering van selectie werd dit effect nog sterker en kwamen er twee variabelen bij, zag Mulder. Kandidaten met ouders die zelf als zorgverlener werkten (als arts of fysiotherapeut, bijvoorbeeld) maakten meer kans, terwijl kandidaten met ouders met een migratieachtergrond (uit Marokko, Turkije, Suriname of Caribisch Nederland) juist minder kans maakten om door de selectie te komen.

  • Volgende discussie
#2 Maria

Steeds meer gemeenten stellen een ethische commissie in die o.a. algoritmen toetst.
https://stadszaken.nl/artikel/3792/de-ethische-commissie-voor-de-slimme-stad-rukt-op-duidelijke-rol-in-de-organisatie-nodig

  • Vorige discussie