Je weet niet wat de chatbot weet

Nooit zal het wonder van de taalmachine die mens heet bezongen zijn. Wat wij allemaal niet weten en kunnen! Een verschil maken tussen de volgende zinnen bijvoorbeeld: Dit is de man die de vrouw die wilde aanvallen weggejaagd had. Dit is de man die de vrouw die wilde aanvallen mij weggejaagd had. Als jij ook een Nederlandsetaalmachine bent, en dat ben je, anders zou je dit niet lezen, dan voel je meteen aan dat de eerste zin grammaticaal juist is, maar de tweede niet. Waarom? De tweede zin kan zelfs betekenis hebben. Zoals de eerste een andere vorm is van de zin: De vrouw die wilde aanvallen had de man weggejaagd. zo zou de tweede ongeveer kunnen betekenen: De vrouw die de man wilde aanvallen had mij weggejaagd. Materie Zoals uit de eerste zin de man naar voren is gehaald als lijdend voorwerp van wegjagen, zo zou het in de tweede naar voren zijn gehaald als lijdend voorwerp van aanvallen. Waarom kan dat tweede niet? En vooral: hoe weten wij dat die tweede zin niet kan? Nooit heeft iemand ons de reden verklaard – tenzij we behalve taalmachines ook docenten syntaxis zijn. Ook heeft niemand ons ooit op zo’n zin gewezen en gezegd: dat kun je dus niet zeggen, je kunt een zinsdeel zoals man wel naar voren halen als het lijdend voorwerp is van de hoofdzin, maar niet als het lijdend voorwerp is van een bijzin van het onderwerp. Als je niet diep in de materie zit, moet je de vorige zin misschien wel twee keer overlezen. Maar je voelt wat daar is uitgedrukt wel aan – je weet immers dat die zin niet goed is, ook al kun je niet uitdrukken hoe dat zit. Verbouwd Er is een oud, leuk boek over taalkunde dat Je weet niet wat je weet heet: we weten kennelijk dingen over de grammatica waarvan we niet eens weten dat we ze weten. Weet de chatbot die dingen ook? Daarover gaat een interessant artikel van de Utrechtse taalkundigen Iris Mulders en Eddy Ruys in het nieuwe Nederlandse taalkundige tijdschrift Nota Bene. Chatbots leren taal alleen maar op basis van voorbeelden. Heel veel voorbeelden, weliswaar, maar ook chatbots wordt er vermoedelijk nooit op gewezen dat de tweede hierboven genoemde zin weliswaar een logische structuur heeft, maar toch ongrammaticaal is. In hun artikel laten Mulders en Ruys zien dat ChatGPT desalniettemin, als je het op de juiste manier vraagt, verschil weet te maken tussen de genoemde zinnen. Dat wil zeggen: hij wijst de juiste zinnen als ongrammaticaal aan. Ik heb het geprobeerd met een andere truc, en daarin blijkt ook wel iets van datzelfde taalgevoel: de zin moet behoorlijk verbouwd worden om er iets van te maken: Het opwindende van de komst van chatbots is dat er voor het eerst in de geschiedenis van de mensheid andere objecten zijn die menselijke taal voortbrengen. Daar zullen we hopelijk veel van leren – zoals hoe dat nu kan, dat we dat zo abstracte verschil tussen zinnen kunnen vatten

Door: Foto: James grills, CC BY-SA 4.0 , via Wikimedia Commons.
Foto: Duncan Rawlinson - Duncan.co (cc)

De toverkracht van AI

, door

VERSLAG - door Els Aarts.

2023 is het jaar van de doorbraak van ‘generatieve’ AI. Kunstmatige intelligentie die getraind is om tekst, beeld of geluid te maken. De reacties variëren van verwondering tot totale paniek. Hoe revolutionair is de nieuwste generatie AI?

Kunstmatige Intelligentie (AI) is dit jaar niet uit de kranten weg te slaan. Sinds het bedrijf OpenAI eind 2022 chatbot ChatGPT gratis toegankelijk maakte, houdt zijn bedwelmende taalvermogen iedereen in zijn greep. Taalwetenschapper prof. Antal van den Bosch (UU) bouwt al zo’n dertig jaar aan het type taalmodellen waar ChatGPT op gebaseerd is, en kijkt met verbazing naar de hype die zich plotseling rond zijn vakgebied afspeelt.

Voor de reeks ‘Wie is er bang voor AI?’ spreken we hem over de angst voor AI, wat AI ons kan brengen, en of je dat als taaltechnoloog überhaupt kan voorspellen.

AI is niet intelligent

Van den Bosch is stellig: de intelligentie in AI heeft weinig te maken met menselijke intelligentie.

“Taalmodellen als ChatGPT kunnen letterlijk niets anders dan het volgende woord voorspellen. Ze hebben geen enkele kennis van de echte wereld, maar maken plausibele teksten en daarom klinkt het alsof er heel veel meer achter zit dan in werkelijkheid het geval is.”

Lezen: Venus in het gras, door Christian Jongeneel

Mededeling

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Lezen: Bedrieglijk echt, door Jona Lendering

Mededeling

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Foto: Leigh Anthony DEHANEY (cc)

Algoritmes leiden niet automatisch tot eerlijkere selectie

, door

DATA - Steeds meer werkgevers zetten algoritmes in voor werving en selectie. Bij Nike en Unilever is het niet meer ongewoon om pas in de derde ronde van de sollicitatieprocedure in gesprek te komen met een menselijke medewerker. Vooroordelen en ongelijkheid kunnen zo meer ruimte krijgen, volgens Annemarie Hiemstra en Isabelle Nevels.

Het aantal aanbieders van geautomatiseerde en digitale selectiemethoden neemt toe. Zo voorspelt het algoritme van het Nederlands-Chinese bedrijf Seedlink op basis van taalgebruik van sollicitanten wie er het meest geschikt is voor een functie en maakt het Amerikaanse HireVue gebruik van video-opnames om tot een automatisch gegenereerde beoordeling te komen.

Dit sluit nauw aan bij het huidige debat. Is het nog wel nodig om klassieke kennis, karaktereigenschappen en competenties, typisch gemeten met psychologische vragenlijsten en assessments, in kaart te brengen? Wellicht dat meer impliciete patronen, die via algoritmes herkend worden op basis van grote volumes data (zoals geschreven tekst, of video’s van sollicitanten), even goede of zelfs betere resultaten kunnen behalen bij het selecteren van de beste kandidaat.

Organisaties hebben slechts de beschikking over hun eigen inschatting van de meerwaarde en eerlijkheid van selectie via computerondersteuning. Wetenschappelijke bewijs voor het gebruik van technologieën is er echter nog nauwelijks. Hoe kunnen we ervoor zorgen dat computersystemen op een verantwoorde manier worden ingezet?