Quote du Jour | Selectiebias

Iedereen die iets weet van risicoselectie weet dat je alert moet zijn op selectiebias. Cynthia Liem, universitair hoofddocent Kunstmatige Intelligentie aan de TU Delft, reageert op de nieuwste onthulling in de toeslagenaffaire. De Belastingdienst gebruikte een zelflerend algoritme om fraude op te sporen, en dat algoritme selecteerde vooral mensen met een lage inkomen voor controle. Hogere inkomens werden juist ontzien. Volgens de Belastingdienst bleek er ‘een statistisch verband tussen de hoogte van het inkomen en de kans op een (on)juiste aanvraag’. Maar iedereen die claimt te weten iets van risicoselectie te weten, zoals de Belastingdienst, moet dus alert zijn op selectiebias. Volgens Liem wijst de enorme oververtegenwoordiging van lage inkomens op zogeheten selectiebias in het model. Kort gezegd: als het model vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd. Dat leidt ertoe dat vooral aanvragen van lage inkomens worden gecorrigeerd. Omdat het model weer getraind wordt met die uitkomsten, wordt er steeds verder ingezoomd op lage inkomens. Hoe die 'feedback loop' uitpakt, legde wiskundige Ionica Smeets twee jaar geleden al goed uit, nadat bekend werd dat de Belastingdienst selecteerde op afkomst. Op basis van een fictief voorbeeld over een ver land waar de huffelpuffers en de ravenklauwen leven concludeerde ze zelf al: zo fictief was haar voorbeeld niet, want je hoeft niet lang te zoeken naar rampzalige voorbeelden van risicoprofielen die vanwege selectiebias leiden tot enorme discrepanties en discriminatie in controles. Als de Belastingdienst dus claimt iets te weten over risicoselectie - anders gebruik je zo'n selectiesysteem immers niet - dan hadden ze geweten van al die niet-fictieve voorbeelden, dan had iedereen die bezig was met zelflerende algoritmen net als Smeets ook gedacht aan het boek Weapons of Math Destruction van Cathy O’ Neill (dat werd gepubliceerd in het jaar dat de Belastingdienst dit risicomodel ging gebruiken: 2016), en dan hadden ze hun zelflerende modellen gecontroleerd op selectiebias. Maar dat deed de Belastingdienst allemaal niet, want hun taak was om mensen te controleren, niet machines.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Progressieven vertonen meer bias dan conservatieven

Althans, dat bleek uit een sociaal-psychologisch onderzoek van Jarret Crawford en Lee Jussim.

Maar dat mag je dus niet stellen in wetenschappelijke tijdschriften.

Pas toen ze die conclusie wegpoetsten, werd hun artikel geschikt bevonden voor publicatie.

Waarmee de peer reviewers en de redacties van desbetreffende tijdschriften de bevindingen van Crawford en Jussim fraai illustreren.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.