COLUMN - Hoe goed kunnen computers menselijke taal begrijpen? Niet heel goed, laat de Catalaanse onderzoeker Evelina Leivada samen met Amerikaanse collega’s Elliot Murphy en Gary Marcus zien in een nieuw artikel.
Je hoort wel beweren dat het moment bijna daar is: computers kunnen denken en voelen en alles begrijpen wat we zeggen. Een paar jaar geleden sloot Elon Musk nog een project voor schrijvende computers omdat ze zo goed zouden zijn dat het eng werd. Eerder dit jaar werd een ingenieur bij Google ontslagen nadat hij een rapport had geschreven waarin hij beweerde dat een nieuwe chatbot van het bedrijf bewustzijn had, en mogelijk zelfs een ziel.
Van zielen hebben taalkundigen geen verstand, maar in ieder geval met het taalgevoel valt het voorlopig wel mee, zo laten Leivada en haar collega’s zien aan de hand van een aardig experimentje. Ze legden DALL-e, een van de bekendste AI-systemen van dit moment een aantal constructies voor waarvan bekend is dat ze kenmerkend zijn voor menselijke taal: mensen hebben er geen problemen mee en dieren (of computers) wel. Zou DALL-e dit wel begrijpen?
DALL-e is een van de voorbeelden van systemen die in het afgelopen jaar ineens in de belangstelling kwamen te staan: je kunt er een zinnetje intikken en de computer genereert een plaatje dat met het zinnetje correspondeert. Alleen blijken die plaatjes dus soms wel eigenaardig te zijn.
De plaatjes hierboven laten bijvoorbeeld zien wat er gebeurt met negatie, het ontkennen van iets: daar begrijpt de computer niets van. Vraag om ‘een vrouw zonder een handtas’ en DALL-e tekent alleen maar vrouwen met handtassen. Vraag om een man die geen rode trui draagt maar wel een blauwe en je krijgt een man met een blauw-rode trui, of alleen een rode.
Ook andersoortige constructies begrijpt DALL-e niet: het verschil tussen ‘de man schildert hem’ en ‘de man schildert zichzelf’ bijvoorbeeld:
Of wat er precies gebeurt in samengestelde zinnen als ‘the man is drinking water‘ en ‘the man is drinking water and the woman is drinking orange juice‘:
Het lijkt er vooral op dat het systeem met losse woorden wel iets kan, maar dat het meteen de weg kwijt raakt als het ze in zinsverband moet plaatsen – een zinsverband dat door een gemiddeld kind van vier al moeiteloos begrepen wordt.