COLUMN - Soms worden filosofische vragen na vele jaren ineens praktisch. Zoiets beleven we nu met het woord begrip. Filosofen hebben baden met bloed gevuld tijdens hun discussies over de vraag wat het precies wil zeggen dat we een bepaalde tekst begrijpen, en nu wordt de mensheid ineens geconfronteerd met een apparaat waarvan je je concreet kunt afvragen wat het begrijpt. De chatbot.
Neem dit artikel dat onlangs verscheen op de taalkunde-site LingBuzz. Een groep Amerikaanse taalkundigen laat er zien dat chatbots testjes zoals de volgende uitstekend kunnen doorstaan:
Flavia en Jack ontweken Mary en Franck werd ontweken door Lucy en Flavia. Heeft Franck in deze context iemand ontweken?
Het antwoord op deze vraag is natuurlijk nee. Een jaar geleden deden chatbots het niet altijd goed. Als ik het nu aan ChatGPT vraag, antwoordt deze:
Nee.
Er staat dat Franck werd ontweken door Lucy en Flavia — hij is dus het object van het ontwijken, niet degene die iemand anders ontweek.
Zelfs de fouten die de bots maakten lijken op die van mensen. Zo zeiden ze vaker ten onrechte ja op de volgende variant van deze vraag:
Cleo kuste Alice en Alice werd gekust door Mary. Cleo en Alice werden gekust door Mary. Werd Mary in deze context gekust?
Anders dan ontwijken is kussen vaak wederkerig. Je kunt je dus voorstellen dat Mary tijdens haar kusactiviteiten zelf ook een zoentje kreeg van Cleo en Alice. Mensen trappen daar weleens in, maar chatbots dus ook.
Reserveren
De vraag is nu: betekent dit dat chatbots dit alles ook begrijpen? Je kunt nog steeds zeggen: nee, zo’n chatbot heeft geen idee hoe het voelt om te kussen of gekust te worden, kent de horreurs niet van het ontweken worden. Die apparaten doen niet meer dan voorspellen welk woord gegeven een bepaalde context gezegd wordt. Ze manipuleren symbolen, en het lijkt daardoor alsof ze iets begrijpen, maar dat laat uiteindelijk alleen maar zien dat deze tests geen echt begrip meten.
De vraag is dan wat dan wél echt begrip is. Chatbots halen sinds een paar jaar ook sinds gemak allerlei examens, inclusief examens (voor Nederlands en de andere talen) die geacht worden ’tekstbegrip’ te toetsen. Hebben we ons daar dan al die jaren in vergist? En zo ja, zijn er dan toetsen te bedenken voor taalbegrip die mensen wel en chatbots niet kunnen doorstaan? Ook niet de mogelijk nog veel betere chatbots van over vijf jaar?
De Amerikanen maken overigens gebruik van een semantisch verschil in het Engels dat het Nederlands niet zo duidelijk maakt: dat tussen understand en comprehend. Het eerste is vele malen gebruikelijker, maar in dit artikel hebben ze het over het tweede. Een belangrijk verschil is dat comprehension veel analytischer is dan understanding. Het tweede kan ook gebruikt worden voor gevoelsmatig of vaag begrip of onvolledig begrip. Comprehension kun je ongeveer vertalen met vatten of doorgronden, maar die termen zijn niet helemaal precies.
Het Engels beschikt daardoor vooralsnog over de mogelijkheid om een bepaald type begrip te reserveren voor de mens. Maar het is niet duidelijk hoe lang dat nog blijft duren.
Reacties (3)
De afgelopen tijd zag ik een paar keer hoe ontkenners van de klimaatwetenschap naar programma’s als ChatGPT grijpen met het idee dat die kunnen vertellen hoe het echt zit met het klimaat. Ze denken dus dat een taalmodel betrouwbare informatie levert over het klimaat dan de klimaatmodellen die door de wetenschap worden gebruikt. Een beetje dom, zou ik denken.
Wat ik me nu afvraag is dit. We zeggen dat klimaatmodellen het klimaat simuleren. Zou je dan ook kunnen zeggen dat taalmodellen taal simuleren? Het grote verschil is dat bij een klimaatmodel het verschil tussen de simulatie (weergegeven in de vorm van tabellen, grafieken of kaartjes) en de fysieke realiteit duidelijk zichtbaar is. Bij een taalmodel is dat niet het geval: je ziet geen onderscheid tussen gesimuleerde taal en echte taal. Het onderscheid is de vorm. Een taalmodel gebruikt dezelfde vorm als de realiteit, terwijl een klimaatmodel dat niet doet. Maar dat een klimaatmodel veel meer van het klimaat ‘begrijpt’ dan een taalmodel, staat als een paal boven water. Die modellen ‘begrijpen’ het klimaat zelfs zo goed, dat ze de mensheid er een hele hoop over hebben geleerd. Zover zijn taalmodellen bij mijn weten nog niet. Toch zijn we veel minder geneigd om modellen van complexe fysica als intelligent te zien. Waarom?
Volgens mij doet een klimaatmodel niet veel anders dan rekenen, en gaat het niet op onvoorspelbare wijze de simulaties verbeteren.
Een taalmodel zal (in principe) erbij blijven leren, en zichzelf verbeteren veranderen.
Of dat echte intelligentie is, is nog een vraag.
De combinatie van klimaatmodel + onderzoeker is natuurlijk wel intelligent.
Nee, dat klopt niet. Principes van ‘machine learning’ werden al in de klimaatwetenschap (en allerlei andere natuurwetenschappelijke disciplines) gebruikt voor iemand ooit van ChatGPT had gehoord.
En taalmodellen hebben ook de hulp van mensen nodig die ze op fouten wijzen. Er worden een hele hoop mensen ingehuurd voor dat werk. Het principe van modelontwikkeling is in feite vergelijkbaar met hoe weer- en klimaatmodellen vanaf de jaren ’50 zijn verbeterd: de gesimuleerde uitkomst wordt vergeleken met de realiteit en de geconstateerde verschillen worden gebruikt om de modellen te verbeteren.
(Overigens komt ‘machine learning’ voor een heel groot deel neer op patroonherkenning. Dat werkt het beste als je heel veel data hebt om naar patronen te zoeken. Er zijn natuurlijk gigantische hoeveelheden taal beschikbaar om naar patronen te zoeken. In een vak als klimaatwetenschap is de toepasbaarheid wat beperkter, omdat beschikbaarheid van voldoende data een probleem kan zijn.)