Een plaatje zegt de computer meer dan duizend woorden

Kunnen computers taal leren? Het is een van de grote vragen van deze tijd en 7 november jl. legde Danny Merkx in Nijmegen een nieuw stukje van de puzzel. Hij promoveerde er op een proefschrift waarin hij onderzocht of het hielp als je computers plaatjes laat zien. Merkx bood de computer daarvoor een verzameling plaatjes aan – bijvoorbeeld gehaald van de website Flickr – die beschreven waren door vrijwilligers: ‘een hond rent door het gras’, ‘een wit hondje in de sneeuw’, ’twee vrouwen op een tractor’. Als de computer hierdoor getraind was, bleek het in staat om ook op een nieuwe foto te zien of er een hond op voorkwam. En dat was niet alleen het geval als de beschrijving was uitgeschreven, maar ook als hij was ingesproken – terwijl gesproken taal veel moeilijker te analyseren is, bijvoorbeeld doordat er allerlei uitspraakvariatie is, of doordat we in gesproken taal geen pauzes leggen tussen woorden maar alles aan elkaar plakken. Bovendien wist de computer voor de training begon niets van taal: hij kende geen woorden, hij wist zelfs niet wat woorden waren. Dat toevoegen van plaatjes om taal te leren is nieuw. De bestaande ’taalmodellen’ – ook die verantwoordelijk zijn voor de successen van chatbots of Google Translate – worden alleen maar getraind op tekst. Zij leren taal door heel veel heel grote verzamelingen teksten met elkaar te vergelijken. Dat is waarschijnlijk geen heel reële weerspiegeling van hoe kinderen woorden leren, zei Merkx tijdens zijn promotie. Zij hebben ook ouders die bijvoorbeeld op een hond wijzen en dan zeggen ‘hond’. Vandaar dat Merkx ook voor computers geïnteresseerd is in multimodaal leren. Nu zijn er ook andere ‘modaliteiten’ dan het zicht (het gehoor, de reuk, enzovoort), maar het visuele is voor de computer nu eenmaal het makkelijkst te analyseren. Er zijn wel databases van plaatjes, maar niet van geuren. Het blijkt in de praktijk ook te werken. De bestaande modellen met alléén taal worden getraind op onwaarschijnlijke hoeveelheden teksten – meer dan een mens in een tachtigjarig leven kan lezen, ook als ze permanent leest. Merkx laat in zijn proefschrift zien dat het ook met minder kan. Sterker nog, hij liet zien dat zijn model met plaatjes het in sommige opzichten beter deed dan modellen met alleen tekst. Bijvoorbeeld kan zijn systeem het verschil tussen enkelvoud en meervoud herkennen: het geeft andere plaatjes wanneer je om ‘hond’ vraagt dan om ‘honden’. Dat onderscheid is vaak te subtiel voor tekstmodellen. Het is logisch en lijkt voor de hand te liggen, maar dat het niet eerder is geprobeerd heeft natuurlijk ook te maken met het feit dat computers steeds sneller worden, en dat er in de Kunstmatige Intelligentie nieuwe technieken gevonden zijn. Zoals er ooit een dag komt dat een robotje, behept met allerlei zintuigen, door de wereld mag scharrelen om woorden te leren. Dan gaan we wat zien! Het proefschrift (Modelling multi-modal language learning: from sentence to words) van Danny Merkx is in te zien via pure.MPg, de publicatie repository van het Max Planck Instituut.

Door: Foto: Honden volgens Google Images copyright ok. Gecheckt 23-11-2022
Foto: Karl Baron (cc)

Wat kan een computer het vermogen om te doen leren?

, door

Er is belangrijk nieuws in een van de heftigste taalkundige discussies van de afgelopen vijftig jaar. We doen even een experiment met het taalmachientje onder je hersenpan. Wat betekent de volgende zin?

  • Wat geloof jij dat de actrice gisteren gekocht heeft?

De vraag is nu: wat is het lijdend voorwerp van gekocht? Dat is als je Nederlands spreekt hopelijk geen ingewikkelde vraag: dat is wat. Het staat weliswaar ver naar voren, maar vraagwoorden plaatsen we nu eenmaal naar voren in de zin. Maar neem nu de volgende zin:

  • Wat deel jij de overtuiging dat de actrice gisteren gekocht heeft?

De zin zou min of meer hetzelfde moeten betekenen als de vorige – de zinnen ‘ik geloof dat de actrice dit gekocht heeft’ en ‘ik deel de overtuiging dat de actrice dit gekocht heeft’ zijn parallel aan elkaar, en er wordt op parallelle manier een vraag van gemaakt– maar dat doet hij niet. Hij betekent niks.

De reden daarvoor, ontdekten taalkundigen meer dan vijftig jaar geleden is dat ‘jouw overtuiging dat…’ een zelfstandignaamwoordgroep is, en ‘geloof jij dat..’ een werkwoordgroep. Om de een of andere reden kan er geen relatie bestaan tussen een werkwoord en zijn lijdend voorwerp als dat werkwoord ingebed is in een zelfstandignaamwoordgroep en het lijdend voorwerp niet.

Lezen: Mohammed, door Marcel Hulspas

Mededeling

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Doe het veilig met NordVPN

Mededeling

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: Gerd Leonhard (cc)

Ondermijning als verdienmodel

, door

COLUMN - Zijn telefoon bleef maar overgaan, vertelde dataspecialist Jesse Luk, nadat NRC Handelsblad een lang artikel publiceerde over zijn software om bijstandsfraude op te sporen. Drie Nederlandse gemeenten testen inmiddels of ze met het pakket van Totta Datalab de pakkans van fraudeurs kunnen vergroten.

Totta heeft zelflerende software ontwikkeld, die gevoed is met de gegevens van duizenden geregistreerde bijstandsfraudeurs. Hun datapatronen zijn in kaart gebracht, en daaruit is een algoritme gedestilleerd. Nu kan Totta’s model op basis van het verleden de huidige fraudeurs herkennen. Daarnaast kijkt de data-analyse naar uitschieters, via een zogeheten anomaliedetector: daarmee identificeren ze mensen die flink van het gemiddelde afwijken. Totta’s aanname is dat ook zij fraudeurs zijn.

Nadat Totta’s data-analyse mogelijke fraudeurs heeft aangewezen, zoeken controleurs uit of de verdenking terecht is. Dat moet ook wel: bij zulke beslissingen is de menselijke toets verplicht. Een computer mag niet zelfstandig beslissen dat iemands uitkering moet worden gestopt, noch vaststellen dat iemand een misdrijf heeft begaan.

Hoe accuraat is Totta’s analyse?

Luk is opgetogen: van de honderd mogelijke fraudeurs die zijn model aanwijst, stellen controleurs nadien bij de helft metterdaad fraude vast. Maar daarbij zitten ook gevallen die de gemeenten al ontdekt hadden. De toegevoegde waarde schat Luk op 25 tot 30 procent.