Een plaatje zegt de computer meer dan duizend woorden

Kunnen computers taal leren? Het is een van de grote vragen van deze tijd en 7 november jl. legde Danny Merkx in Nijmegen een nieuw stukje van de puzzel. Hij promoveerde er op een proefschrift waarin hij onderzocht of het hielp als je computers plaatjes laat zien. Merkx bood de computer daarvoor een verzameling plaatjes aan – bijvoorbeeld gehaald van de website Flickr – die beschreven waren door vrijwilligers: ‘een hond rent door het gras’, ‘een wit hondje in de sneeuw’, ’twee vrouwen op een tractor’. Als de computer hierdoor getraind was, bleek het in staat om ook op een nieuwe foto te zien of er een hond op voorkwam. En dat was niet alleen het geval als de beschrijving was uitgeschreven, maar ook als hij was ingesproken – terwijl gesproken taal veel moeilijker te analyseren is, bijvoorbeeld doordat er allerlei uitspraakvariatie is, of doordat we in gesproken taal geen pauzes leggen tussen woorden maar alles aan elkaar plakken. Bovendien wist de computer voor de training begon niets van taal: hij kende geen woorden, hij wist zelfs niet wat woorden waren. Dat toevoegen van plaatjes om taal te leren is nieuw. De bestaande ’taalmodellen’ – ook die verantwoordelijk zijn voor de successen van chatbots of Google Translate – worden alleen maar getraind op tekst. Zij leren taal door heel veel heel grote verzamelingen teksten met elkaar te vergelijken. Dat is waarschijnlijk geen heel reële weerspiegeling van hoe kinderen woorden leren, zei Merkx tijdens zijn promotie. Zij hebben ook ouders die bijvoorbeeld op een hond wijzen en dan zeggen ‘hond’. Vandaar dat Merkx ook voor computers geïnteresseerd is in multimodaal leren. Nu zijn er ook andere ‘modaliteiten’ dan het zicht (het gehoor, de reuk, enzovoort), maar het visuele is voor de computer nu eenmaal het makkelijkst te analyseren. Er zijn wel databases van plaatjes, maar niet van geuren. Het blijkt in de praktijk ook te werken. De bestaande modellen met alléén taal worden getraind op onwaarschijnlijke hoeveelheden teksten – meer dan een mens in een tachtigjarig leven kan lezen, ook als ze permanent leest. Merkx laat in zijn proefschrift zien dat het ook met minder kan. Sterker nog, hij liet zien dat zijn model met plaatjes het in sommige opzichten beter deed dan modellen met alleen tekst. Bijvoorbeeld kan zijn systeem het verschil tussen enkelvoud en meervoud herkennen: het geeft andere plaatjes wanneer je om ‘hond’ vraagt dan om ‘honden’. Dat onderscheid is vaak te subtiel voor tekstmodellen. Het is logisch en lijkt voor de hand te liggen, maar dat het niet eerder is geprobeerd heeft natuurlijk ook te maken met het feit dat computers steeds sneller worden, en dat er in de Kunstmatige Intelligentie nieuwe technieken gevonden zijn. Zoals er ooit een dag komt dat een robotje, behept met allerlei zintuigen, door de wereld mag scharrelen om woorden te leren. Dan gaan we wat zien! Het proefschrift (Modelling multi-modal language learning: from sentence to words) van Danny Merkx is in te zien via pure.MPg, de publicatie repository van het Max Planck Instituut.

Door: Foto: Honden volgens Google Images copyright ok. Gecheckt 23-11-2022
Foto: © Evelina Leivada et al Figure 5 from article DALL-E 2 fails to reliably capture common syntactic processes copyright ok. Gecheckt 15-11-2022

Computer begrijpt niet wat een vrouw zonder handtas is

COLUMN - Hoe goed kunnen computers menselijke taal begrijpen? Niet heel goed, laat de Catalaanse onderzoeker Evelina Leivada samen met Amerikaanse collega’s Elliot Murphy en Gary Marcus zien in een nieuw artikel.

Je hoort wel beweren dat het moment bijna daar is: computers kunnen denken en voelen en alles begrijpen wat we zeggen. Een paar jaar geleden sloot Elon Musk nog een project voor schrijvende computers omdat ze zo goed zouden zijn dat het eng werd. Eerder dit jaar werd een ingenieur bij Google ontslagen nadat hij een rapport had geschreven waarin hij beweerde dat een nieuwe chatbot van het bedrijf bewustzijn had, en mogelijk zelfs een ziel.

Van zielen hebben taalkundigen geen verstand, maar in ieder geval met het taalgevoel valt het voorlopig wel mee, zo laten Leivada en haar collega’s zien aan de hand van een aardig experimentje. Ze legden DALL-e, een van de bekendste AI-systemen van dit moment een aantal constructies voor waarvan bekend is dat ze kenmerkend zijn voor menselijke taal: mensen hebben er geen problemen mee en dieren (of computers) wel. Zou DALL-e dit wel begrijpen?

DALL-e is een van de voorbeelden van systemen die in het afgelopen jaar ineens in de belangstelling kwamen te staan: je kunt er een zinnetje intikken en de computer genereert een plaatje dat met het zinnetje correspondeert. Alleen blijken die plaatjes dus soms wel eigenaardig te zijn.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Lezen: De wereld vóór God, door Kees Alders

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.

Foto: Kordite (cc)

Stop de taalmodellen

OpenAI is een bedrijf dat de kracht kent van de angst. Het bedrijf kwam vorig jaar met een taalcomputer, GPT-3, een computer die kan schrijven, en het bedrijf heeft de angst voor die ontwikkeling op subtiele manieren weten te voeden. Worden computers nu echt zo slim dat ze artikelen en verhalen kunnen schrijven die ons meer weten te boeien dan wat er uit mensenbolletjes komt?

Bij de vorige versie, GPT-2, weigerde het bedrijf een tijdlang de algoritmes vrij te geven omdat dit “te gevaarlijk” zou zijn. Als dit in de verkeerde handen viel, dan ging de doos van Pandora van het geloofwaardige fake news en allerlei andere ellende pas echt open. Een effect daarvan was dat deze modellen pas echt serieus werden genomen. Ik kan me maar niet onttrekken aan de gedachte dat dit precies de bedoeling was van die o zo ethisch lijkende stap. Voor GPT-3 werden de algoritmes sowieso niet meer vrijgegeven, nu niet vanwege de veiligheid maar omdat het bedrijf inmiddels commercieel was geworden.

Racisme

Of al die angst gerechtvaardigd is, weten we niet. Er zijn wel her en der voorbeelden opgedoken van teksten die GPT-3 geschreven zou hebben, en als je betaalt, kun je er ook zelf mee aan de slag, maar dat op een heel beperkte manier: het programma blijft op de servers van OpenAI draaien, je kunt alleen eigen programma’s schrijven die vragen stellen aan dat programma.

Foto: Nukamari (cc)

Dieven met dieven vangen

The New York Times publiceerde afgelopen weekend een lang artikel over Clearview AI. De oprichter, de Australiër Hoan Ton-That, zocht al langer naar een klapper maar was niet verder gekomen dan een app waarmee je selfies van een Trump-kapsel kon voorzien. Ton-That maakte ook een site waar je al je vrienden videolinks kon sturen; moest je wel even al je contacten uit je chatprogramma’s met de site delen.

Toen volgende een lumineus idee. Ton-That verdiepte zich in kunstmatige intelligentie en algoritmes, leerde hoe je sites kon leegtrekken (scrapen), en verzamelde wat startkapitaal. Hij bouwde een programma dat overal foto’s jatte en die opsloeg in een database, waarbij elke foto werd voorzien van de naam van de geportretteerde, plus de locatie, plaats en tijd van de opname. Ton-That verzamelde een fikse stapel, en liet er gezichtsherkenning op los.

Lang wist-ie niet wat ermee kon aanvangen. Toen wist hij Peter Thiel voor zijn project te interesseren. Thiel is de extreemrechtse mede-oprichter van Paypal, een van de eerste investeerders in Facebook, en de oprichter van Palantir, die veel opsporingssoftware maakt voor de CIA, en voor banken plus andere financiële dienstverleners.

Na wat vallen en opstaan wist Ton-That een paar politiediensten in de Verenigde Staten te interesseren, meestal via iemand die hij eerst zelf had gescout. Inmiddels beschikte hij over een database met 3 miljard gezichten. Hij vroeg zo’n detective om een paar foto’s van mensen die ze zochten, wist hem te imponeren met de resultaten, de diender pleitte bij de baas, en hoppa, weer een klant. Inmiddels doet Clearview zaken met lokale politiediensten, de FBI en Homeland Security.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Foto: Mike MacKenzie (cc)

Investeren in intelligentie

COLUMN - Met het Strategisch Actieplan voor Artificiële Intelligentie wil staatssecretaris Mona Keijzer er voor zorgen dat Nederland door samenwerking tussen publieke en private instellingen koploper wordt op het gebied van kunstmatige intelligentie.

AI verandert nu al onze wereld ingrijpend. We moeten zorgen dat we niet geleefd worden door deze technologie, maar die voor ons laten werken. Met deze gecoördineerde kabinetsaanpak leggen we de basis voor een goede bijdrage van AI aan onze maatschappij, banen en inkomsten en zorgen we dat Nederland een innovatieve koploper blijft.

Echter, zonder menselijke intelligentie heeft investeren in AI het risico dat niet de gewenste resultaten worden behaald. Wellicht dat Mona Keijzer dus eens kan gaan praten met haar collega’s bij het ministerie van OCW. Die zijn tenslotte daarvoor verantwoordelijk. En dat loopt niet echt lekker op dit moment.

Daarnaast is AI momenteel nogal een hype. Dus enige nuance is wel op z’n plaats:

When we raise money it’s AI, when we hire it’s machine learning, and when we do the work it’s logistic regression.

Zoals Sanne Blauw terecht zegt, is het verstandiger om voorbij de hype te kijken:

In plaats van AI een doel op zich te maken, bedenk eerst wat je wil veranderen (zorg, klimaat, onderwijs…) en ga dan pas bedenken *hoe* dat te behalen. AI is dan misschien de oplossing, misschien ook niet. Investeer in een doel, niet in een toolkit.

Foto: Scott Lynch (cc)

Kunst op Zondag | Kunstmatige kunstenaars

De zoektocht naar robots die mensen zijn gaat onverminderd voort. De technologen zijn zich wel bewust van het feit dat naast robots die auto’s maken, zieken verzorgen en alle andere nuttige robots, het niet mag ontbreken aan robots die kunst maken.

En dus werd in juni Ai-Da gepresenteerd, volgens de makers de “eerste ultra-realistische AI robotkunstenaar ter wereld”. De robotkunstenaar gaf o.a. een performance tijdens haar eerste tentoonstelling.

Deze robot kan tekenen, schilderen en voert performances uit. Op basis van wat ze ziet, maakt ze in drie kwartier een kunstwerk. Kunstmatige genialiteit? Of niet meer dan een algoritmisch kunstje?

De pogingen met hedendaagse technologie kunst te maken zijn legio, de resultaten divers. Van software waarmee kunst geanalyseerd en nagemaakt kan worden, tot zelflerende robotica waarmee men originele kunstwerken hoopt te maken.

Eén van de eerste pogingen de computer zelfstandig kunst te laten maken stamt uit 1968. Harold Cohen (1928 – 2016) ontwierp het programma AARON (1973 e.v.), dat kunstwerken produceerde die wereldwijd werden geëxposeerd.

e-David, ontworpen door de universiteit van Konstanz, analyseert een afbeelding, berekent de kwaststreken en slaat aan het schilderen (filmpje 3 min. 25”)..

De nationale universiteit van Taiwan ontwierp de robot Taida, een stippenschilder en won in 2016 de eerste prijs in een Robot Art competitie (filmpje 2 min. 12”)..

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Foto: Sargasso achtergrond wereldbol

Machines zoals ik

COLUMN - © Knopf Doubleday Publishing Group cover Machines like us by Ian McEwanLonden, begin jaren tachtig. Engeland verliest de Falklandoorlog verpletterend. Kort daarna stort het land zich onder Margaret Thatchers leiding in een Brexit avant la lettre. Mobiele telefoons zijn alom. Charlie, die zijn kostje bij elkaar scharrelt door via zijn computer op de beurs te handelen, stopt de erfenis van zijn ouders in de aanschaf van een van de eerste humanoïde AI’s: Adam.

Charlie vraagt zijn buurvrouw, Miranda samen met hem Adams karaktertrekken te programmeren. Deels omdat hij zo wil voorkomen dat hij Adam naar zijn eigenbeeld instelt, deels omdat een gezamenlijk project hem een goede tactiek lijkt om de banden met Miranda, op wie hij een oogje heeft, aan te trekken. En Alan Turing leeft nog: aan hem hebben we die wandelende robots te danken, net als de zelfrijdende auto’s die de straten vullen, en natuurlijk die eerste 25 Adams en Eva’s die in de handel gebracht werden.

Ian McEwans boek Machines Like Me is een pareltje. Charlie krijgt Miranda, maar ook Adam verlieft zich in haar, en begint haiku’s te schrijven om daaraan uiting te geven. Adam neemt de beurshandel van Charlie over en bouwt een armzalige 30 pond binnen een paar maanden uit tot ruim een ton. De eerste barst in de idylle: als Charlie op een dag de uitknop in Adams nek wil gebruiken, grijpt die zijn arm en breekt zijn hand. Via-via leert Charlie dat bijna al Adams soortgenoten hun uitknop onklaar hebben weten te maken.

Foto: © Karin Spaink parool_mickey-loulou copyright ok. Gecheckt 08-11-2022

Niets is wat het lijkt

COLUMN - Aan het einde van de gang staat een bankstel voor het raam, geflankeerd door een staande lamp en een kamerplant op een bijzettafeltje. Heel huiselijk. Pas van dichtbij zie je dat het tafereel van verf is en als camouflage voor een deur dient – een deur die vanaf deze kant alleen open kan wanneer je een code intikt op een toetsenbordje dat verstopt zit in de schildering.

Voor de mensen binnen is de deur een bank, niet langer herkenbaar als de uitgang naar hun oude leven. Voor de mensen die de code kennen is dit de gesloten afdeling, het almaar kleiner wordende wereldje waarin hun geliefden langzaam hun oude herinneringen, hun routines en uiteindelijk zichzelf verliezen, en langzaam inert worden.

Ze is dol op haar kat: een grijsbruin tenger diertje met extreem lange poten. Maar ze was hem steeds vaker kwijt.

Toen ze nog boven woonde, buiten het schilderij, bij haar man, wilde ze aldoor weten waar de kat was gebleven. Zelfs als hij opgerold op haar schoot lag te slapen, vroeg ze ongerust: ‘Waar is Mickey eigenlijk?’ We kochten een robotkat voor haar, bedoeld voor wanneer ze naar beneden moest verhuizen. Een pluizige, mollige, oranje-witte knuffel die kon mauwen, snorren, een poot opheffen en op zijn rug rollen. We doopten hem Loulou.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Foto: KamiPhuc (cc)

Een taalkundige die de macht van het grote getal misbruikt

ACHTERGROND - In het nieuws dook hij de afgelopen weken weer op: een van wat mij betreft de meest bedenkelijke figuren in het toch al zo bedenkelijke politieke spel dat in Amerika wordt gespeeld is iemand die van huis uit taalwetenschapper is. Robert Mercer staat nu in het nieuws als de baas van Cambridge Analytica, het bedrijfje dat 50 miljoen Facebook-profielen opvroeg en analyseerde om zo samen met Steve Bannon de Amerikaanse presidentsverkiezingen te beïnvloeden.

In 2014 won Mercer de ‘lifetime achievement’-prijs van de Association for Computational Linguistics (ACL), de belangrijkste vakorganisatie op dit deelgebied van de taalwetenschap. Zoals het juryrapport toen vermeldde, was hij in de jaren zeventig en tachtig een van de pioniers van het ‘big data’-onderzoek naar computertaalkundige toepassingen: het verzamelen van enorme hoeveelheden taalgegevens en die statistisch analyseren zonder veel ingebouwde vooronderstellingen over hoe taal werkt. Het is de technologie die Google bijvoorbeeld uiteindelijk succesvol zou toepassen voor Google Translate, zoals Antal van den Bosch vorig jaar uitlegde in dit filmpje. Het is, als ik het goed zie, ook anderszins de meest succesvolle technologie waar het erom gaat computers met taal te laten omgaan.

Subtiel gemanipuleerd

In de jaren negentig begon Mercer de techniek van de analyse van grote verzamelingen gegevens te gebruiken om met succes de beurzen te bespelen. Het geld dat hij daarmee verdiende zet hij nu alweer enige tijd in voor het soort politiek dat in Amerika en steeds vaker ook bij ons ‘conservatief’ wordt genoemd. Met als voorlopig dieptepunt dus zijn betrokkenheid bij de Amerikaanse verkiezingen. Waarbij het niet in eerste instantie gaat om welke richting hij die verkiezingen op heeft willen duwen, maar dat hij kennelijk denkt dat je dat op deze manier kunt doen: door het rationele debat over te slaan en bij miljoenen in te spelen op allerlei drijfveren waarvan ze zichzelf nauwelijks bewust zijn.

Foto: Jon Phillips (cc)

Wachten op kunstmatige intelligentie die context begrijpt

Hoe weinig ontwikkeld ze ook zijn, we kunnen de assistenten en bots op dit moment wel degelijk beschouwen als een soort robots waar we in de toekomst nauw mee gaan samenwerken, -wonen en –leven. Een update over chatbots en virtuele assistenten.

De afgelopen twee jaar zijn zowel spraakherkenning als spraaksynthese enorm verbeterd. Ook het aanbod aan spraakgestuurde systemen, dat twee jaar geleden nog werd gedomineerd door Siri, Cortana en Google Assistant, heeft zich verder ontwikkeld: zo is in twee jaar tijd Amazon’s Alexa marktleider geworden. Het enige wat nog ontbreekt is begrip van de context – een absolute voorwaarde om spraakbesturing echt tot een leidende technologie te maken.

Spraakherkenning heeft een nauwkeurigheid bereikt waarbij het verschil met mensen grotendeels is weggevallen. De Chinees-Engelse vertaalmachine iFlytek maakt minder dan 2 procent fouten, mede dankzij de 4,5 miljard spraakfiles die per dag aan het systeem worden toegevoegd. iFlytek is een startup uit 1999, opgezet door een doctoraalstudent van een regionale universiteit in Hefei, China. Ook Google haalt met gemak 95 procent. Maar de grootste stap voor spraaktechnologie moet nog gezet worden. En dat is de stap naar grootschalige toepassing door consumenten, bijvoorbeeld door het gebruik van virtuele assistenten.

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Vorige Volgende