DATA - Door digitalisering worden in veel bedrijven processen steeds complexer. Dat maakt de rol van toezichthouders – commissarissen, accountants, auditors – lastiger. De toepassing van algoritmen die op basis van machine learning werken, vergroot deze uitdaging. Ook auditors maken tegenwoordig gebruik van slimme systemen om andere slimme systemen te controleren. Wie controleert wat?
Yuval Harari, auteur van 21 Lessons for the 21st Century, is ervan overtuigd dat in de toekomst ons brein wordt gehacked door kunstmatige intelligentie. Hij verwacht dat biotechnologie en kunstmatige intelligentie naar elkaar toe zullen groeien en vraagt zich af wie deze ontwikkeling aanstuurt en bepaalt. Zijn dat burgers, overheden of juist de grote bedrijven? Het antwoord laat zich raden. Overheden zullen ontwikkelingen op dit snijvlak vooral aangrijpen voor nationale belangen zoals defensie en daarnaast liggen de mogelijkheden bij bedrijven, niet bij burgers.
Dat hacken van ons brein is een goed voorbeeld van de tegenstrijdige wereld waar we naar toe gaan: technologie kan problemen oplossen en onze levens verbeteren, maar per saldo krijgen we steeds minder vat op ons leven. Hoe groter de rol van kunstmatige intelligentie wordt, hoe minder onze eigen hersenen een bepalende rol blijven spelen.
Wat ons mogelijk te wachten staat, laat het meest recente debacle van ING zien: de witwas-affaire. Bij banken is uitgebreide monitoring van transacties verplicht volgens de wet ter voorkoming van witwassen en financieren van terrorisme. Voor een grootbank is dat monitoren een proces dat ingericht en uitgevoerd wordt met behulp van software, die doorlopende grote hoeveelheden data moet analyseren. Deze software programmeer je in eerste instantie natuurlijk om het proces dat de wet voorschrijft, uit te voeren. Hierbij worden zowel medewerkers als beslissers voorzien van feedback uit systemen: beslissingen op bestuursniveau worden genomen op basis van data. Of die systemen integer zijn ontwikkeld en doelmatig functioneren (doen waarvoor ze zijn ontworpen) is niet gemakkelijk te zien, laat staan doorlopend zichtbaar. Toetsing door middel van interne en externe audits moet aantonen dat de software zijn werk goed doet en dat de software ook goed wordt ingezet. Bij ING was ergens in dit monitoringproces besloten om de software aan te passen. “Het systeem om transacties te monitoren was – mede vanwege de beperkte personele capaciteit – door de bank zo ingesteld dat slechts een beperkt aantal witwassignalen werd gegenereerd”, aldus het Openbaar Ministerie.
In dit verhaal valt op dat het besluit dat ING nam om een systeem aan te passen, intern niet werd afgekeurd (zowel het nemen van het besluit als het aanpassen van het systeem was mensenwerk). Ook is bijzonder dat de auditors die processen en systemen moeten controleren, de aangepaste instellingen van een cruciaal systeem niet hebben gezien – of gemeld.
Wat zijn de intenties van de bedenkers van algoritmen
De processen en systemen die auditors moeten controleren worden steeds ingewikkelder. Die systemen gaan steeds vaker gebruik maken van algoritmen – uitgebreide instructies voor software om een bepaald doel te bereiken, zoals het herkennen van verdachte financiële transacties. In dit soort complexe processen moeten zowel de instructies als de uitkomsten en de benodigde grondstof (data) aan allerlei eisen voldoen. De data moeten betrouwbaar zijn (niet vooraf gemanipuleerd), de instructies moeten voldoende uitputtend en effectief zijn.
Daarnaast moet helder zijn op basis van welke uitgangspunten de algoritmen zijn opgesteld (kostenreductie, risicominimalisatie, wantrouwen, voldoen aan regels). Zo kan een verzekeraar voor de acceptatie van nieuw klanten een algoritme ontwikkelen dat bepaalde klanten uitsluit, omdat ze een te groot risico vormen. Het uitsluiten van een nieuwe klant gebeurt echter niet op basis van feitelijke kenmerken van de klant, maar van een profiel waarbij niet gecontroleerd wordt of die klant ook voldoet aan het profiel. Kortom, wie bewaakt dat uitzonderingen ook als uitzonderingen worden behandeld?
Systemen die op basis van algoritmen draaien, nemen hoe dan ook beslissingen, waarbij de bestuurder en de toezichthouder ‘toekijken’; het is aan de auditor om het geheel met enige regelmaat door te lichten om na te gaan of alles werkt zoals het zou moeten werken.
Controle en audit
Interne controles worden in bedrijven uitgevoerd om te voorkomen dat door onvolledige of incorrecte gegevens een onjuist beeld ontstaat, waardoor verkeerde beslissingen genomen zouden kunnen worden. In eerste instantie is die controle erop gericht om te zorgen dat het management op basis van juiste gegevens beslissingen neemt. In tweede instantie worden zo ook de gegevens gecontroleerd die een bedrijf naar buiten brengt. Omdat – onder meer door het Enron-schandaal – duidelijk werd dat ook doorlopend onderzoek naar de beheersing van de ICT onderdeel moet uitmaken van de controle van de verantwoording door de directie van de onderneming, zijn de regels voor verantwoording uitgebreid met Sarbanes-Oxley (SOX) en Basel II. SOX schrijft bijvoorbeeld voor dat met bewijs onder meer wordt verantwoord welke software is aangepast, waarom en door wie.
Software wordt dynamisch
Auditors controleren onder meer software, al jarenlang. Die software was tot nu toe redelijk statisch van aard, veranderingen of ‘changes’ worden in de wereld van IT bovendien zorgvuldig afgewogen, ontworpen, getest en gedocumenteerd. Met de komst van kunstmatige intelligentie verandert dit. Want bij machine learning, de meest impactvolle vorm van kunstmatige intelligentie, evolueert software zonder menselijke tussenkomst. De software heeft een eigen feedback-loop en leert doorlopend van nieuwe data. “Hoe weet je dan nog of de algoritmes doen wat ze horen te doen? Hoe kun je vertrouwen hebben in zo’n zelflerend systeem?”, aldus Mona de Boer, expert op het gebied van data-analyse en digitale assurance bij PwC Nederland.
Het werk van auditors gaat dus steeds meer bestaan uit het analyseren en controleren van algoritmen. Tegelijkertijd maken auditors zelf ook in toenemende mate gebruik van algoritmen. GL.ai is een robot, ontwikkeld en ingezet door PwC, die met kunstmatige intelligentie in staat is miljarden verschillende gegevenspunten in seconden te analyseren bij het beoordelen van afwijkingen in grootboektransacties. Hoe langer GL.ai aan het werk is, hoe slimmer deze robot wordt. We gaan dus toe naar een situatie waarbij algoritmen hun collega-algoritmen gaan controleren. Dat plaatst het toezicht in een bijzonder perspectief. Toezicht was tot nu toe gericht op verantwoordingsdocumentatie: kan een bedrijf aan de hand van vastgelegde afspraken (wie doet wat, wie heeft wat gedaan) uitleggen hoe resultaten tot stand zijn gekomen?
Uitlegbaarheid algoritme
De Boer waarschuwt dan ook voor de ontwikkeling dat systemen steeds slimmer, maar gelijktijdig ook steeds minder goed uitlegbaar worden – want los van de ontwerpbeginselen zijn de systemen zelf veranderlijk. Mensen hebben de neiging om beslissingen die door een computer worden genomen, te beschouwen als beter en meer betrouwbaar dan beslissingen die door mensen worden genomen. Ook algoritmen worden, net als technologie, al snel beschouwd als ‘neutraal’. Maar technologie en software zijn niet neutraal – de werking moet beslist niet in het nadeel, maar in het voordeel van de bedenker werken. Daarnaast maakt het vermogen van kunstmatige intelligentie om zichzelf verder te kunnen ontwikkelen de controleerbaarheid erg lastig. De Boer pleit dan ook voor ‘uitlegbaarheid’ als ontwerpprincipe van AI.
De keerzijden van machinelearning
Die uitlegbaarheid gaat bijvoorbeeld over welke datasets worden gebruikt en welke criteria worden gebruikt. Evert Haasdijk (AI-specialist en senior manager Financial Advisory bij Deloitte) geeft een goed voorbeeld. Uit databaseonderzoek blijkt dat de meeste schade wordt veroorzaakt door bestuurders van rode auto’s. Met datamining kun je dus op kleur van auto’s premies differentiëren. Haasdijk wijst op de vraag of bij het ontwikkelen van het algoritme een juiste dataset is gebruikt: “Zitten er bij die rode auto’s niet een paar Ferrari’s die de schadelast enorm hebben opgeschroefd? Heel veel modellen kloppen gewoon niet. Het is natuurlijk onzin dat mensen in rode auto’s slechtere bestuurders zijn.”
Belangrijke eigenschap van machine learning is dat nieuwe afwijkingen of uitzonderingen niet direct leiden tot andere uitkomsten. Machine learning is een geleidelijk leerproces. Net als bij het menselijk brein levert ieder nieuw voorbeeld een kleine bijdrage aan nieuwe logische verbindingen.
En tot slot is het interessant dat we al sinds de opkomst van het sociale web de basis leggen voor een toekomst waarin machine learning alle ruimte krijgt. Onze digitale samenleving bestaat inmiddels voor een groot deel uit het produceren en afstaan van data, iets waar de Chinese president Xi Jinping handig gebruik van wil maken. Vervang ‘China’ door ‘een bedrijf’ en het is duidelijk dat kunstmatige intelligentie straks voor onuitlegbare verschillen kan gaan zorgen tussen mensen. Vrijwel alle bedrijven zitten al op een berg aan data en dat volume neemt alleen maar toe. Die data zijn in het verleden ‘afgestaan’ volgens wetten en regels uit dat verleden, maar ook met de technologische mogelijkheden uit die tijd. Werk aan de winkel dus voor bestuurders en toezichthouders om zicht en grip te houden op hoe hun organisatie op basis van nieuwe technologie met zowel reeds eerder verzamelde als nieuwe data omgaat. Een mooie, maar wellicht wat romantische houvast komt van journalist en Wall Street Journal R&D chief Francesco Marconi: “Algorithms are rules, and those should be fair.”
Via toii.
Reacties (19)
Wat is er gebeurd met fundamentele onberekenbaarheid?
En overigens: “Hij verwacht dat biotechnologie en kunstmatige intelligentie naar elkaar toe zullen groeien en vraagt zich af wie deze ontwikkeling aanstuurt en bepaalt.” Science fiction pur sang. Als dit niet nader wordt gespecificeerd of uitgewerkt is dit een zinloze zin.
“…die doorlopende grote hoeveelheden data moet analyseren.” Wat is doorlopende data? Diarree? Je bedoelt: doorlopend.
Zo kan een verzekeraar voor de acceptatie van nieuw klanten een algoritme ontwikkelen dat bepaalde klanten uitsluit, omdat ze een te groot risico vormen. Het uitsluiten van een nieuwe klant gebeurt echter niet op basis van feitelijke kenmerken van de klant, maar van een profiel waarbij niet gecontroleerd wordt of die klant ook voldoet aan het profiel. Kortom, wie bewaakt dat uitzonderingen ook als uitzonderingen worden behandeld?
Laat dit specifieke geval nou net per wet verboden zijn. Ik snap wat je zegt maar dit is een slecht voorbeeld en misschien ook illustratief voor het probleem wat je schetst.
Het probleem is minder complex dan Erik doet voorkomen. Het kan opgelost worden met iets meer IT kennis onder auditors, accountants, compliance officers en ander toezichthoudend volk. Probleem nu is de allergie voor techniek en de focus op processen bij deze beroepsgroepen.
Die software was tot nu toe redelijk statisch van aard, veranderingen of ‘changes’ worden in de wereld van IT bovendien zorgvuldig afgewogen, ontworpen, getest en gedocumenteerd. Met de komst van kunstmatige intelligentie verandert dit.
Hahaha, where to begin…
Want bij machine learning, de meest impactvolle vorm van kunstmatige intelligentie, evolueert software zonder menselijke tussenkomst.
wut?
ok: laat maar.
@analist: je haalt me de woorden uit de mond. Mijn eerste reactie was van bijna de lengte van het stuk, met reacties analoog aan de jouwe.
Je vast het dus mooi samen: Hahaha, where to begin… en ok: laat maar.
Je brein wordt al heel lang gehackt, zie oude straatspelletjes, de kermis, een film, theater. Het klinkt allemaal lekker spannend zo maar het is echt niets nieuws, het enige wat verandert is dat er steeds meer controle uitgevoerd kan worden in welke mate iemand geleid wordt en op wat voor manier.
@4
Breinen die gehackt worden is onzin. We zijn allemaal baas over ons eigen denken. En dat blijft ook zo tenzij er een dictatuur wordt ingevoerd. In een film laat je je alleen een paar uurtjes mee slepen door fictie, daarna is alles weer het oude.
Zorgwekkender is dat een deel van het volk dusdanig in complotdenken gelooft dat ze 24/7 in een fictieve wereld zitten. Maar dat doen gelovigen en idealisten ook.
Behalve mensen die dingen zeggen als: ’Ik heb geen ideologie', want aangezien we noodzakelijkerwijs allemáál een ideologie hebben – d.w.z. een constitutieve hiërarchie van waarden die voor ons bepaalt, bewust of onbewust, wat we allemaal wel of niet toegestaan achten, en wat we allemaal wel of niet belangrijk achten – betekent zo’n uitspraak dus niet dat zulke mensen géén ideologie hebben, maar dat ze blind zijn voor hun eigen ideologie. Wat er weer op wijst dat ze gewoonweg de heersende ideologie hebben overgenomen, kritiek- en gedachteloos, en dus bepaald níét de baas over hun eigen gedachten zijn, maar simpelweg ein Sklave der sich für frei hält, ohne es zu sein.
Maar dat uiteraard terzijde.
Ik zie in de toekomst nog wel netwerkloze hippieachtige coöperaties verschijnen.
;-)
@6:
Aldus het alles verklarende wereldbeeld van elke complottokkie.
Geinig uit de vingers van iemand die zichzelf continu als elitair probeert te etaleren maar zelf nooit verder komt dan dat de rood-bruine pseudowetenschapper Chomsky het zegt.
@8
Just because you’re paranoid, doesn’t mean they’re not out to get you. Complottokkies hebben op zich best veel gemeen met sceptische wetenschappers: ze zijn kritisch naar bestaande opvattingen (over kennis), zien patronen en verzamelen onderbouwingen. Waar het verschil in gaat zitten is -paradoxaal genoeg- bepalen wat een goede onderbouwing is of niet: de kritiek op wat ‘waar’ is slaat zo ver door dat hun keuze in onderbouwing, of liever welke onderbouwing geloofwaardig is, geheel willekeurig is: het is waar, omdat het ‘waar’ aanvoelt. Je moet kortom beter aantonen waar dat ‘complottokkie’ in zit; wat is de definierende eigenschap (of set van eigenschappen) waardoor iemand niet meer slechts kritisch is, maar een complottokkie?
@8: Chomsky’s generatieve grammatica staat los van zijn politieke analyses. En jouw link uit 2016 loopt ook al flink achter; Al 30 jaar gelden wist ik dat die UG zoals die beschreven werd niet kon kloppen, in elk geval wanneer je verder keek dan alleen het Engels. Dat heeft me bij de propedeuse al conflicten met mijn docenten opgeleverd, die blijkbaar Chomsky’s sorry-ik-had-het-mis-update hadden gemist. Noem hem in elk geval geen pseudowetenschapper. Waarom noem je hem niet gewoon een antisemiet, zoals we van je gewend zijn?
Het probleem schuilt er in dat niemand weet wat ‘waarheid’ is, maar dat velen wel de waarheid claimen. Uit dat claimen van waarheid voert automatisch op onbewust niveau voort dat anderen ook wel een ‘waarheid’ zullen hebben. Waarheid is in dit verband een ander woord voor ideologie, complotdenken of geloof in de goede God. Of een combinatie van deze 3 plus nog wat nationalisme.
Die gelovers in waarheid kunnen dan weer niet geloven dat er mensen zijn die zich hebben losgemaakt van ideologie, complotdenken of een religieus geloof. Dat toont @6 perfect aan, maar hij zal het er vanuit zijn denken niet mee eens zijn.
En dan moet dat brein gehackt?!? Het brein misschien ooit, maar het denken kan niet gehackt worden omdat het bij velen al gehackt is door ‘waarheid’.
@9: Wetenschap is scepticisme waarbij alles ter discussie staat inclusief je eigen gelijk. Tot iets onweerlegbaar is. De complottokkie moet niets hebben van kritiek & scepticisme op het eigen gelijk; die leeft alleen in zijn eigen werkelijkheid met alleen die bronnen die zijn eigen werkelijkheid bevestigd. Al het andere is knettergek, kritiek- en gedachteloos, niet de baas over hun eigen gedachten, dom tot en met slaaf van het systeem. Zo wordt het eigen gelijk volledig tegen elke kritiek dichtgetimmerd, dat is antiwetenschap.
Wake up, sheeple! Wat ik zei in #6 was helemaal niet het napraten van de quasi-peudowetenschapper Noam Chomsky, maar het napraten van de heuse pseudowetenschapper Terry Eagleton.
Verder illustreert GBH maar weer eens dat je je nooit moet laten leiden door een intellectueel minderwaardigheidscomplex, hoe terecht deze op zichzelf misschien ook is, want hij hoewel hij zelf ongetwijfeld meent op mij te reageren, stort hij zich feitelijk op zijn eigen hersenspinsels.
Ten eerste probeer ik mezelf namelijk helemaal niet ‘continu als elitair te etaleren’, ik maak er, integendeel, juist nooit een geheim van dat ik slechts een eenvoudig volksgenie ben.
En ten tweede heeft wat ik zeg uiteraard niets te maken met “het eigen gelijk”, want over de inhoud van ideologie zeg ik helemaal niks. (Laat staan dat je de mijne moet delen!) Ik zeg alleen: (1) dát iedereen een ideologie heeft, bewust of onbewust; en (2) dat je daar dus maar beter wél bewust van kan zijn, anders ben je inderdaad gewoon een naïeve speelbal van de heersende opvattingen.
Leken me relatief oncontroversiële feiten overigens, waar alleen Lutine het mee oneens zou zijn, maar als GBH er een andere opvatting op nahoudt dan mag hij van mij uiteraard best een poging wagen er inhoudelijk op in te gaan.
@23.
Dat woord ‘ideologie’ zou ik aanscherpen, omdat de term toch een sterke politieke nadruk heeft, hoe de samenleving ingericht moet worden, vanuit een collectief verband. Niet vanuit het individu.
@14: Je hebt helemaal gelijk, kennelijk praatte ik Eagleton niet goed genoeg na. Nader gedefinieerd zou ik misschien zeggen: “Een deels verborgen hiërarchie van waarden die voorafgaat aan wat we allemaal geloven én belangrijk vinden ten aanzien van de machtsstructuren en -relaties van de samenleving” o.i.d.
@15.
Dank je wel. Vooral die machtstructuren en -relaties vind ik interessant. Dat zal ik nog even moeten herkauwen.
Ik geef je voor 99% gelijk, overal zie ik ideologisch verdwaasden die zelf niet begrijpen wat hun verdwazing betekent. Jij zelf ook, anders zou je er niet overtuigd van zijn dat iedereen een ideologie heeft, bewust of onbewust.
Een ideologie is een geheel van ideeën over mens, maatschappij en de inrichting van diezelfde maatschappij. Waarbij er ook een streven en intentie (wil) is om dat te verwezenlijken. Waarbij ik ook aanteken dat veel religieuzen naar een maatschappelijke inrichting streven net zoals nationalisten/fascisten ook naar een maatschappelijke inrichting streven met bijbehorend mensbeeld.
Ideologisch verdwaasden zitten dus met hun wil in een utopie (denkbeeld) en zien daardoor niet wat is. Iets wat is, is geen denkbeeld en is van nature al aanwezig. Wordt wakker, schaapje;-)
Eerst (en algemeen); Het volk is economisch (minimale inspanning voor maximaal resultaat), dom en onverschillig, zijn ideaal* is op economie gegrond, en dit ideaal wordt gefinancierd om zo te behouden.
Daarna; Een deel van het volk heeft een nieuw ideaal**, en collecteert hiervoor, richt een partij op om dit te verwezenlijken, kiest een leider die de idealen het beste naar het volk kan brengen, komt in de regering (als niet wordt tegengewerkt***). En daarna rolt het geld binnen om “the final answers” te verwezenlijken.
**bv het socialisme: Social ideal first named “socialism” in 1827 that is concerned with justice and aims at a radically better human society than existed so far.
Wat kan gebeuren, is, dat de leider niet meer geïnteresseerd is in deze nieuwe idealen, maar gaat voor eigen economie****. En trekt het partijvolk hierin mee tot aan het totalitaire*** toe.
Totalitarian***: Ideology or religion that is pretended to have final answers to many important human questions and problems and that is pretended to be thereby justified to persecute persons who do not agree with the ideology or the religion.
****Neofascism is a. A social system that is marked by a government with a centralized powerful authority, where the opposition is propagandized and suppressed or censored, that propounds an ethics which has profit as its main norm, and that has a politics that is rightwing, nationalistic, pro-capitalist, anti-liberal, anti-equality, and anti-leftist, and that has a corporative organization of the economy in which multi-national corporations are stronger than a national government or state, b. A political philosophy or movement based on or advocating such a social system.
Let op het verschil; *ideaal, ideal: a person or thing that is looked on as being perfect, ideologie = rule of life, mode of life
**Waarom en voor welk ideaal worden NIEUWE partijen opgericht? De afgelopen 200 jaar bv?
@13: Grappig, bijna één op één de reactie die ik had verwacht, hoe voorspelbaar kan je zijn.
Knap hoor, je hebt jouw nablaat repertoire uitgebreid, petje af.
Dat doe je met ”kritiek- en gedachteloos, en dus bepaald níét de baas over hun eigen gedachten zijn, maar simpelweg ein Sklave der sich für frei hält, ohne es zu sein” en ”anders ben je inderdaad gewoon een naïeve speelbal van de heersende opvattingen” dus wel!
Mijn inhoudelijke kritiek was niet op wat jij nablaat maar over hoe jij het speelt; jezelf altijd profileren als slim en genie verschuilend achter dure woorden en ideeën van anderen waarbij jij het altijd nodig vindt anderen naar beneden te trappen. Juist dat zijn de symptomen van een minderwaardigheidscomplex en dat is o.a. de motor achter narcisme.
Om voor een keer zelf de woorden van een ander te gebruiken: