Hoe onderzoeken we de taal van kunstmatige intelligentie?

Ik denk dat er een half jaar geleden, toen met ChatGPT de eerste chatbot van een nieuwe generatie op internet verscheen, iets is gebeurd dat we nu nog niet gebruiken. In ieder geval is er nu een wezen dat geen mens is en toch menselijke taal kan gebruiken op een niveau dat tot nu toe nog nooit door iets of iemand werd bereikt die geen mens was. Het is nog niet perfect, maar het is wel de moeite van het onderzoeken waard. Wat kan dat ding nog niet dat wij wel kunnen? Wat kan het wel dat bijvoorbeeld dieren niet kunnen? En wat kan het misschien zelfs beter dan wij? We kunnen vast van alles leren over menselijke taal door deze vergelijking te maken. Maar hoe moeten we de taal van die chatbots bestuderen. Op internet staat sinds een paar dagen een artikel van een aantal onderzoekers van de Universiteit van Berkeley. Zij onderzochten of ChatGPT recursie kent, de eigenschap dat je in menselijke taal zinnen kunt inbedden in andere zinnen (ik wandel is een zin, die onderdeel is van jij denkt dat ik wandel en die laatste weer onderdeel van Marie zegt dat jij denkt dat ik wandel), enzovoort, zelfstandignaamwoordsgroepen in andere zelfstandignaamwoordsgroepen (mijn moeder in mijn moeders hoedje), enzovoort. Recursie wordt door veel onderzoekers gezien als dé definiërende eigenschap van menselijke taal. Vermogen Maar de onderzoekers laten zien dat ChatGPT het ook kan: het kan uitleggen waarom een zin recursief is, het kan extra recursieve stappen toevoegen aan een zin, enzovoort. Ze onderzochten dat door ChatGPT allerlei taalkundige vragen te stellen, en het systeem antwoordde daar vrij goed op. En als het dat niet deed, vroegen ze ‘klopt dat wel?’ en gaf het vaak alsnog het goede antwoord. Ik weet eigenlijk niet hoe indrukwekkend dat resultaat is. Het is waar dat dieren, zelfs heel intelligente dieren met uitgebreide communicatiesystemen, dit allemaal niet kunnen. Maar we weten tegelijk ook al vele decennia dat computers in ieder geval in theorie wel degelijk met recursie om kunnen gaan, en ook nog wel met structuren die de mens juist helemaal niet aankan. In dat opzicht laat dit dus alleen maar zien dat computers goed kunnen omgaan met abstracte structuren. Veel intrigerender is sinds de komst van de chatbots echter de vraag wat zij allemaal wel kunnen dat niet in ons vermogen ligt. En waarom. Ingewikkeld Maar interessanter dan dit – in mijn ogen dus vrij magere – resultaat is de gebruikte methode. Het artikel documenteert volgens mij goed dat we anno 2023 nog niet weten hoe we die kunstmatige intelligentie moeten onderzoeken. In ieder geval op de academie. Een van de grote heel nare kanten van de huidige ontwikkeling is dat alléén heel grote bedrijven genoeg geld hebben om deze technologie te maken. Zelfs van het geld bulkende Amerikaanse universiteiten kunnen dat niet. We hebben hier dus te maken met een uitvinding waar de academische wereld geen rechtstreekse toegang toe heeft. We kunnen er alleen vanaf de buitenkant naar kijken. Het is alsof CocaCola ineens geneeskrachtige potentie bleek te hebben, terwijl niemand wist wat het recept precies was. Met in dit geval ook nog de extra complicatie dat het recept zo ingewikkeld was dat bij CocaCola zelf ook niemand het precies begreep. Naar binnen kijken De auteurs van het nieuwe artikel doen dan ook niet veel meer dan wat iedereen doet: vragen stellen aan ChatGPT. Maar zelfs daarvan weet ik niet zeker of het niet beter kan. Als het systeem een verkeerd antwoord geeft, vragen ze het dus opnieuw, en soms zelfs een paar keer, tot uiteindelijk het ‘juiste’ antwoord komt. Maar wat zegt dat dan? Het omgekeerde zie je ook wel vaak voorbij komen: mensen die zeggen dat de systemen nog niet veel kunnen, omdat ze verkeerde antwoorden geven op simpele vragen. Terwijl ze de volgende keer misschien wél het goede antwoord geven. Je zou waarschijnlijk eigenlijk ChatGPT sowieso 100 keer iedere vraag moeten stellen en dan tellen hoe vaak het antwoord juist is. Dat levert wat minder spectaculaire resultaten op, maar uiteindelijk waarschijnlijk wel inzichtelijkere: het systeem blijkt bijvoorbeeld in 64% van de gevallen met recursie te kunnen omgaan. Je wilt in dat geval natuurlijk nog steeds weten waarom je dat aantal eruit vindt, en het valt alleen maar te hopen dat er een oplossing wordt gezocht voor het probleem dat we niet naar binnen kunnen kijken.

Door: Foto: Language researcher looking puzzled, gemaakt met Dreamstudio, via Marc van Oosten dorp.
Foto: Ben Stassen (cc)

De context van woorden

COLUMN - Vorige week wees Marc van Oostendorp er in zijn column over taalproevers  op dat de betekenis van woorden niet altijd eenduidig is. Dat breekt met name de juristen op die als geen ander precies willen zijn in hun taalgebruik. Je kunt de betekenis van een woord natuurlijk opzoeken in een woordenboek. Maar dat geeft niet altijd uitsluitsel. ‘Het is nu juist een kenmerk van menselijke taal dat woorden altijd een wat vage betekenis hebben, waarvan de betekenis inderdaad eigenlijk grotendeels op een geheimzinnige manier door de context wordt bepaald.’ Dat geeft te denken.

Tot die context moeten we volgens mij ook de omstandigheden, de achtergrond en de cultuur van de taalgebruikers rekenen. Generatieverschillen leveren bijvoorbeeld verschillen op in taalgebruik. Taal is een levend ding en verandert in de loop van de tijd. Woordenboeken lopen in dat opzicht altijd achter. Allemaal redenen om de betekenis van woorden niet altijd als een absoluut gegeven op te vatten. Natuurlijk, een stoel is een stoel. Maar wat is een fascist? De betekenis die de een aan een woord hecht kan nogal verschillen van die van een ander. Lastig voor de onderlinge communicatie, maar bovenal buitengewoon ongemakkelijk voor een rechter die een uitspraak moet doen in zaken waar juist de woorden tellen: smaad, belediging, discriminatie, bedreiging.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Foto: Thomas van de Weerd (cc)

Excuses voor het ongemak

COLUMN - Studenten zijn voor de gemiddelde hoogleraar natuurlijk het contact met de jeugd. En ik geloof dat ik onder studenten een nieuwe stap zie in de ontwikkeling van een Nederlandse uitdrukking: ‘excuses voor het ongemak’.

Het is, vermoed ik, een uitdrukking die in eerste instantie gebruikt is door dienstverlenende instanties die een bepaalde dienst niet konden verlenen. “Het loket is de hele middag gesloten. Onze excuses voor het ongemak.” “De trein naar Den Helder van 11.23 rijdt vandaag niet. Onze excuses voor het ongemak.” “De bloem is op, er komt pas volgende week donderdag weer nieuwe. Onze excuses voor het ongemak.” Dat dit de oorsprong is, wordt bevestigd dat er een boekje uit 2011 is van Robert Giebels dat zo te zien vol klachten staat over de dienstverlening van de NS. (Van alle instanties die ongemak veroorzaken, associeer ik die excuses ook vooral met de NS. Ooit stopte die trein midden in de nacht in Hengelo, het zou de laatste trein zijn, maar hij ging niet verder en wij moesten de nacht doorbrengen op het station. Ongemak!)

Maar kennelijk is de uitdrukking verder geëvolueerd. Ik krijg nu afmeldingen van studenten voor colleges omdat ze ziek zijn, met “excuses voor het ongemak”. Voor mijn taalgevoel is dat raar, want dat een student ziek is, vind ik naar voor die student en minder gezellig tijdens college, maar daarmee is het nog geen ‘ongemak’.

Foto: John C Bullas BSc MSc PhD MCIHT MIAT (cc)

Eentaligheid is een verminking

COLUMN - Het staat al een paar maanden op internet, maar de laatste weken ging het ineens rond: een artikel waarin de Franse taalkundige Mélanie Jouitteau betoogt dat mensen eentaligheid opleggen een vorm is van verminking.

Het argument is even eenvoudig als origineel. Uit heel veel onderzoek weten we niet alleen dat de mens best meertalig kan zijn, maar dat het misschien wel de natuurlijke staat van de mens is. Nog steeds worden in grote delen van de wereld verschillende talen gebruikt: op de markt praten mensen een andere taal dan thuis, en daar weer een andere dan op het werk. Zelfs blijkt uit onderzoek (voorzichtig) dat meertaligheid goed is voor de cognitieve vermogens van sprekers – dat ze bijvoorbeeld mogelijk gemiddeld wat later Alzheimer krijgen.

Mensen van die natuurlijke staat afhouden, er kunstmatig voor zorgen dat ze maar één taal leren spreken is, zegt Jouitteau, daarom te vergelijken met bijvoorbeeld de Chinese politiek voor de twintigste eeuw dat van jonge meisjes de voeten moesten worden ingebonden zodat deze klein bleven en vrouwen nauwelijks zelfstandig konden lopen. Zoals deze verminking liet zien dat je ouders brave burgers waren, zo laat ook de dwang om kinderen alleen maar de taal van hun land te laten leren – en niet bijvoorbeeld de moedertaal van hun ouders – zien dat de opvoeders hun best doen om hun kinderen in het keurslijf van de staatsideologie te drukken.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Foto: Sebastiaan ter Burg (cc)

Dat mag je óók (al niet meer) zeggen

RECENSIE - Het genootschap Onze Taal heeft onder deze titel een leerzaam boekje uitgegeven over hedendaagse taalgevoeligheden. Taal is de afgelopen jaren, in navolging van Angelsaksische landen, ook in Nederland een strijdperk geworden. Bepaalde termen zijn in de ban geraakt omdat ze als beledigend en stigmatiserend werden ervaren. Maar niet door iedereen. Tegenstanders ervaren nieuwe regels als ideologisch geïnspireerde dwingelandij. Taalkwesties dragen zo bij aan de polarisatie in het publieke debat. Tijd dus voor een verhelderende gids: welke woorden kunnen, en welke juist niet (meer)?

Taalkundige Vivien Waszink inventariseert ‘wat er allemaal gebeurt op het gebied van schurende taal, genderinclusief woordgebruik en het weergeven van diversiteit.’ Het aardige van haar benadering is dat zij nieuwe woorden en uitdrukkingen voornamelijk beschrijft, verklaart en van de nodige achtergrondinformatie voorziet, maar nergens voorschrijft. Je kunt er mee instemmen, je kunt er ook afstand van nemen. Genderneutraal taalgebruik wordt steeds vaker de norm. ‘Dames en Heren’ wordt ‘Beste reizigers’. Dat went best snel. Maar kan al het mannelijke en vrouwelijke volledig uit het publieke discours worden geweerd?

Het is het goed om kennis te nemen van wat er op dit gebied leeft. Achter de taalkwesties worden veel bredere maatschappelijke kwesties zichtbaar. Ze roepen de vraag op of taal de weg kan zijn tot rechtvaardiger maatschappelijke verhoudingen, meer diversiteit en minder ongelijkheid. Taal is een peilstok voor verdergaande veranderingen in de samenleving. Maar die veranderingen vragen tijd en vooral inspanning op andere gebieden zoals wetgeving en verdeling van de welvaart. Alleen woorden zijn niet in staat het denken van mensen een andere richting te geven. Alleen als we steeds meer vrouwelijke directeuren tegenkomen raken we het beeld kwijt dat een directeur altijd een man is. Ik denk dat voor een volgende generatie een arts een vrouw is, terwijl ouderen haar nu nog vaak als verpleegkundige (of nog erger ‘verpleegster’) zien. Daar kun je met goedbedoelde taalrichtlijnen niet tegen op.

Foto: Rubina V. (cc)

We denken nooit in ons eentje

COLUMN - Steengoede brief, van mijn Nijmeegse collega Mark Dingemanse en een indrukwekkende lijst andere geleerden, in het tijdschrift Cognitive Science deze week. In de brief vatten ze samen wat zij, en naar mijn indruk steeds meer onderzoekers, beginnen te vatten: we denken niet in ons eentje – misschien wel nooit. De menselijke hersenen zijn geen makkelijk van de omgeving af te snijden entiteit, ideeën en gedachten ontstaan eigenlijk altijd in samenspraak met anderen.

Het is natuurlijk hoe lang is gedacht over het denken: als iets dat je hersenen doen. Het model was een computer, en wel een soort desktop-computer zonder internet aansluiting, waar je een som in kon voeren die het dan uitvoerde. Steeds duidelijker wordt dat je de hersenen misschien beter kunt zien als netbooks, laptops zonder veel eigen opslag die al hun gegevens en zelfs hun programma’s voortdurend ophalen van de cloud.

De brief is een soort manifest: stel voortaan juist de interactie centraal. Dingemanse en zijn collega’s geven voorbeelden uit allerlei domeinen waaruit blijkt dat de mens, inderdaad, eigenlijk nooit in zijn eentje opereert. Studie van de structuur van alledaagse gesprekken laat bijvoorbeeld zien hoe er voortdurend heel kleine misverstandjes dreigen die over het algemeen door de gesprekspartners zo moeiteloos worden opgelost dat het eigenlijk nauwelijks opvalt. En zelfs redeneren, op het eerste gezicht het paradepaardje van denken in je eentje, heeft blijkens onderzoek vaak het karakter van een dialoog.

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Foto: Gemaakt met DALL·E thinking fast and thinking slow

Chatbot kan niet langzaam denken

Het menselijk gedruis over tekst producerende kunstmatige intelligentie zal nog wel even voortduren. ChatGPT hielp me begin deze maand een artikel schrijven dat volgens sommigen behoorde tot het beste dat ik ooit schreef. Sindsdien ben ik ermee blijven experimenteren – vaak nog verbaasd over wat het systeem ineens bleek te kunnen bedenken, maar gaandeweg toch ook steeds meer vertrouwd met de beperkingen: de doodsheid van het geproduceerde proza (of van de geproduceerde plaatjes), de weigering om er ooit iets bij te leren.

Bijna 25 jaar geleden schreef ik een stuk, ‘grandeur en misère van de computertaalwetenschap‘. Ik weet niet of ik kan zeggen dat ik het toen goed zag; ik weet wel dat ik het nog op dezelfde manier zie. Aan het eind van het stuk wees ik er op dat dommekracht waarschijnlijk de toekomst was: computers die op basis van een enorme verzameling voorbeeldteksten aan de hand van statistiek steeds weer nieuwe teksten kunnen maken die op de oude lijken. Na “op een mooie” volgt meestal pinksterdag en dus schrijf je ‘op een mooie pinksterdag’.

Ratio

Dat is precies het principe waarop de systemen die nu furore maken gebouwd zijn. Ik voorzag dit indertijd niet omdat ik nu zo’n visionair was, maar omdat iedereen die zich er 25 jaar geleden een beetje in verdiepte het kon zien.

Foto: Arch, CC0, via Wikimedia Commons, standbeeld Ton Koops, Jip en Janneke Zaltbommel,

Hoger opgeleiden hechten meer aan eenvoudige teksten

COLUMN - Er is de laatste jaren af en toe nogal wat te doen over eenvoudige teksten. Laatst ging het daar ook over tijdens een college voor de eerstejaars die hun eerste onderzoekjes moesten presenteren. Een van hen is bezig met de vraag of het voor de overheid nu verstandig is om teksten te schrijven in een zogeheten ‘B1-niveau’, en toen kwam mijn collega Wilbert Spooren aanzetten met het nieuwste nummer van Tijdschrift voor Taalbeheersing met een artikel over het onderwerp, dat die ochtend was binnengekomen. (Zo actueel zijn wij in ons onderwijs!)

Gisteren heb ik het artikel meteen ook gelezen. De auteurs, Henk Pander Maat en Jet Gravekamp, legden twee teksten voor aan een aantal groepen lezers – een brief van een bank en een brief van een zorginstelling. Van ieder van die brieven waren er twee versies: een in eenvoudige taal en een met een wat ingewikkelder taalgebruik. De vraag was niet alleen of er een verschil in begrijpelijkheid was, maar ook wat lezers van de teksten vonden en vooral ook van de auteur. Vind je iemand deskundiger naarmate hij meer moeilijke woorden gebruikt?

Verschillende groepen kregen verschillende versies van die brief te zien. In ieder van de groepen maakten de onderzoekers bovendien verschil tussen hoger opgeleiden en anders opgeleiden.

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Foto: Illustratie gemaakt door DALL-E, een product van OpenAI copyright ok. Gecheckt 06-12-2022

Een reis naar de eenhoorns met ChatGPT

Vrijdag 2 december verscheen er een spectaculair nieuwe chatbot online: ChatGPT van het software-bedrijf OpenAI. Het is een systeem waarmee je gesprekken kunt voeren in ieder geval alle talen die ik enigszins beheers. Het is een systeem dat getraind is door honderden miljarden woorden – vermoedelijk vooral van het internet geschraapt – te lezen en zo te leren welke woorden vaak in de omgeving van welke andere woorden staan, en wat voor andere patronen de taal die ze lezen kenmerken.

Zo’n ’taalmodel’ kun je vervolgens op allerlei manieren gebruiken. Als je weet wat er vaak voorkomt, kun je dat inzetten om zelf taal voort te brengen die sterk lijkt op al die bestaande taal die je tot je hebt genomen. Automatische vertalers werken er bijvoorbeeld mee, en instrumenten die schrijvers kunnen bijstaan, maar OpenAI heeft het nu dus gebruikt om een chatbot te maken. Ik heb de indruk dat ChatGTP vooral geschikt is om zakelijke vragen te beantwoorden. Het kan putten uit allerlei encyclopedische kennis, maar kan bijvoorbeeld ook opdrachten uitvoeren zoals redactiesommen (‘Een boer heeft vijf kippen en iedere kip legt vijf eieren…’) of programmeertaken (‘Schrijf een Pythonscript dat telt hoe vaak de letter m voorkomt in een tekst”).

Dat werkt allemaal verbluffend goed. Nadat ik een en ander had geprobeerd, besloot ik ChatGTP tot enige fictie te verleiden. Mijn eerste vraag (mijn vragen staan steeds in vet) was geïnspireerd door een vraag die een paar jaar geleden aan een eerdere versie van ChatGTP was gesteld. Ik geef het hier weer als een soort documentatie van waar we met dit soort systemen nu staan. Je moet je voorstellen dat de antwoorden van ChatGTP er over het algemeen binnen een paar seconden waren.

Foto: Sagaru9535, CC BY-SA 4.0 , via Wikimedia Commons.

Python en poëzie

Een van de interessantste Nederlanders op dit moment is ongetwijfeld Guido van Rossum, de ontwerper van de programmeertaal Python. Het is niet overdreven om te zeggen dat dit inmiddels wereldwijd de populairste programmeertaal is – een taal die vrijwel iedere programmeur wel een beetje kent. Hij is bovendien iemand die over heel veel onderwerpen goed heeft nagedacht en zijn mening daarover eloquent kan verwoorden, zoals bijvoorbeeld blijkt uit het onderstaandre interview met Lex Fridman.

Dat soort interviews kom je in het Nederlands niet tegen. Ik vraag me af of Van Rossum ooit serieus in de Nederlandse media aan het woord is gekomen. Dat geldt zelfs niet voor podcasts of YouTube-kanalen of andere alternatieve kanalen. Wat zijn we toch ook een armoedige cultuur. Voor 99% procent van de Nederlanders bestaat Van Rossum helemaal niet.

(Even een rant. Het is in sommige kringen nog altijd sjiek om af te geven op de verengelsing: in zo’n vreemde taal kun je toch nooit een diepe gedachte uitdrukken? Wat die mensen nooit in de beschouwing betrekken is dat je in het Nederlands maar zelden een diepe gedachte hoort uitdrukken. Wie interessante hedendaagse intellectuele discussies wil horen, moet wel Engels leren. De verarming van het Nederlands komt niet door het Engels, maar door het gebrek aan intellectuele cultuur. Einde rant.)

Vorige Volgende