Een plaatje zegt de computer meer dan duizend woorden

Kunnen computers taal leren? Het is een van de grote vragen van deze tijd en 7 november jl. legde Danny Merkx in Nijmegen een nieuw stukje van de puzzel. Hij promoveerde er op een proefschrift waarin hij onderzocht of het hielp als je computers plaatjes laat zien. Merkx bood de computer daarvoor een verzameling plaatjes aan – bijvoorbeeld gehaald van de website Flickr – die beschreven waren door vrijwilligers: ‘een hond rent door het gras’, ‘een wit hondje in de sneeuw’, ’twee vrouwen op een tractor’. Als de computer hierdoor getraind was, bleek het in staat om ook op een nieuwe foto te zien of er een hond op voorkwam. En dat was niet alleen het geval als de beschrijving was uitgeschreven, maar ook als hij was ingesproken – terwijl gesproken taal veel moeilijker te analyseren is, bijvoorbeeld doordat er allerlei uitspraakvariatie is, of doordat we in gesproken taal geen pauzes leggen tussen woorden maar alles aan elkaar plakken. Bovendien wist de computer voor de training begon niets van taal: hij kende geen woorden, hij wist zelfs niet wat woorden waren. Dat toevoegen van plaatjes om taal te leren is nieuw. De bestaande ’taalmodellen’ – ook die verantwoordelijk zijn voor de successen van chatbots of Google Translate – worden alleen maar getraind op tekst. Zij leren taal door heel veel heel grote verzamelingen teksten met elkaar te vergelijken. Dat is waarschijnlijk geen heel reële weerspiegeling van hoe kinderen woorden leren, zei Merkx tijdens zijn promotie. Zij hebben ook ouders die bijvoorbeeld op een hond wijzen en dan zeggen ‘hond’. Vandaar dat Merkx ook voor computers geïnteresseerd is in multimodaal leren. Nu zijn er ook andere ‘modaliteiten’ dan het zicht (het gehoor, de reuk, enzovoort), maar het visuele is voor de computer nu eenmaal het makkelijkst te analyseren. Er zijn wel databases van plaatjes, maar niet van geuren. Het blijkt in de praktijk ook te werken. De bestaande modellen met alléén taal worden getraind op onwaarschijnlijke hoeveelheden teksten – meer dan een mens in een tachtigjarig leven kan lezen, ook als ze permanent leest. Merkx laat in zijn proefschrift zien dat het ook met minder kan. Sterker nog, hij liet zien dat zijn model met plaatjes het in sommige opzichten beter deed dan modellen met alleen tekst. Bijvoorbeeld kan zijn systeem het verschil tussen enkelvoud en meervoud herkennen: het geeft andere plaatjes wanneer je om ‘hond’ vraagt dan om ‘honden’. Dat onderscheid is vaak te subtiel voor tekstmodellen. Het is logisch en lijkt voor de hand te liggen, maar dat het niet eerder is geprobeerd heeft natuurlijk ook te maken met het feit dat computers steeds sneller worden, en dat er in de Kunstmatige Intelligentie nieuwe technieken gevonden zijn. Zoals er ooit een dag komt dat een robotje, behept met allerlei zintuigen, door de wereld mag scharrelen om woorden te leren. Dan gaan we wat zien! Het proefschrift (Modelling multi-modal language learning: from sentence to words) van Danny Merkx is in te zien via pure.MPg, de publicatie repository van het Max Planck Instituut.

Door: Foto: Honden volgens Google Images copyright ok. Gecheckt 23-11-2022
Foto: Karl Baron (cc)

Wat kan een computer het vermogen om te doen leren?

Er is belangrijk nieuws in een van de heftigste taalkundige discussies van de afgelopen vijftig jaar. We doen even een experiment met het taalmachientje onder je hersenpan. Wat betekent de volgende zin?

  • Wat geloof jij dat de actrice gisteren gekocht heeft?

De vraag is nu: wat is het lijdend voorwerp van gekocht? Dat is als je Nederlands spreekt hopelijk geen ingewikkelde vraag: dat is wat. Het staat weliswaar ver naar voren, maar vraagwoorden plaatsen we nu eenmaal naar voren in de zin. Maar neem nu de volgende zin:

  • Wat deel jij de overtuiging dat de actrice gisteren gekocht heeft?

De zin zou min of meer hetzelfde moeten betekenen als de vorige – de zinnen ‘ik geloof dat de actrice dit gekocht heeft’ en ‘ik deel de overtuiging dat de actrice dit gekocht heeft’ zijn parallel aan elkaar, en er wordt op parallelle manier een vraag van gemaakt– maar dat doet hij niet. Hij betekent niks.

De reden daarvoor, ontdekten taalkundigen meer dan vijftig jaar geleden is dat ‘jouw overtuiging dat…’ een zelfstandignaamwoordgroep is, en ‘geloof jij dat..’ een werkwoordgroep. Om de een of andere reden kan er geen relatie bestaan tussen een werkwoord en zijn lijdend voorwerp als dat werkwoord ingebed is in een zelfstandignaamwoordgroep en het lijdend voorwerp niet.

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Foto: Gerd Leonhard (cc)

Ondermijning als verdienmodel

COLUMN - Zijn telefoon bleef maar overgaan, vertelde dataspecialist Jesse Luk, nadat NRC Handelsblad een lang artikel publiceerde over zijn software om bijstandsfraude op te sporen. Drie Nederlandse gemeenten testen inmiddels of ze met het pakket van Totta Datalab de pakkans van fraudeurs kunnen vergroten.

Totta heeft zelflerende software ontwikkeld, die gevoed is met de gegevens van duizenden geregistreerde bijstandsfraudeurs. Hun datapatronen zijn in kaart gebracht, en daaruit is een algoritme gedestilleerd. Nu kan Totta’s model op basis van het verleden de huidige fraudeurs herkennen. Daarnaast kijkt de data-analyse naar uitschieters, via een zogeheten anomaliedetector: daarmee identificeren ze mensen die flink van het gemiddelde afwijken. Totta’s aanname is dat ook zij fraudeurs zijn.

Nadat Totta’s data-analyse mogelijke fraudeurs heeft aangewezen, zoeken controleurs uit of de verdenking terecht is. Dat moet ook wel: bij zulke beslissingen is de menselijke toets verplicht. Een computer mag niet zelfstandig beslissen dat iemands uitkering moet worden gestopt, noch vaststellen dat iemand een misdrijf heeft begaan.

Hoe accuraat is Totta’s analyse?

Luk is opgetogen: van de honderd mogelijke fraudeurs die zijn model aanwijst, stellen controleurs nadien bij de helft metterdaad fraude vast. Maar daarbij zitten ook gevallen die de gemeenten al ontdekt hadden. De toegevoegde waarde schat Luk op 25 tot 30 procent.