Chatbot fraudeert bij het eindexamen Fries

Nadat ik eerder de eindexamens Nederlands (havo en vwo) en vwo-Frans door chatbots heb laten maken – voor beide slaagden de chatbots ruimschoots – leek het me interessant om het ook nog eens met Fries te doen. Voor Fries is er veel minder elektronisch leesbaar materiaal voorhanden, en aangezien kunstmatige intelligentie afhankelijk is van heel veel voorbeelden, is te voorspellen dat dit type examen veel moeilijker zal blijken te zijn. Dat kwam uit. ChatGPT wist met het examen niets te beginnen, ook na enkele pogingen kreeg ik er niet het begin van een antwoord uit. Ze begreep niet eens dat de vragen die ik stelde gingen over de tekst die ik eerder had gegeven, en klaagde dat ze niet begreep over welke tekst ik het had. Bij Nederlands en Frans was dat allemaal geen probleem geweest. ChatGPT is aldus gezakt met een 1. Bing, de chatbot van Microsoft (ook gebaseerd op GPT4), deed het op het gezicht ietsjes beter, maar haalde ook duidelijk een onvoldoende (18 van de 48 te behalen punten). Bovendien vertoonde het heel bizar, en frauduleus gedrag. Vragen en correctiemodel voor het eindexamen zijn hier te vinden. Er waren 39 vragen. Omdat je aan Bing maar 20 vragen per sessie mag stellen en omdat ik de teksten apart invoerde – dat telt ook als vraag – en af en toe tussendoor een extra aanwijzing bleek te moeten geven over in welke taal Bing moest communiceren, waren er 3 verschillende sessies nodig. In alle drie de sessies bleek Bing een andere taal te gebruiken: in de eerste wilde hij, ondanks mijn extra aanwijzingen, alleen Engels gebruiken omdat hij beweerde dat hij geen Fries kan schrijven. In de tweede deed hij ineens alles wel in het Fries. En in de derde gebruikte hij juist Nederlands. (Overigens heb ik de antwoorden steeds goedgerekend naar de inhoud en niet naar de gebruikte taal; als ik daar wel rekening mee had gehouden was het punt nog veel lager geworden. Dan de fraude: in het Engelstalige gedeelte gaf hij zelf voortdurend toe dat hij Google Translate gebruikte om het Fries naar het Engels te vertalen en dan zo tot de antwoorden te komen, In dit gedeelte ging overigens, enigszins voorspelbaar, het meeste fout. Toen hij eenmaal in Friestalige modus stond, ging het allemaal een stuk beter, al weet ik niet zeker of hij in dit deel wel een voldoende zou hebben gehaald. Maar dan het Nederlandse gedeelte! Hier ging van alles mis. In de eerste plaats bleek dat ook hier stiekem gewerkt werd met vertalingen in het Engels. Waar in tekst 2 sprake is van te fjochtsjen, te ferstiivjen of út te naaien blijkt dat in het antwoord ineens te gaan over ‘fight, freeze of flight’. Maar ernstiger nog is dat Bing – op zich goudeerlijk – haar bronnen noemt, en bij het Nederlandse deel van het examen blijkt een van die bronnen ineens te zijn examenblad.nl. Bovendien zegt ze steeds bij haar antwoorden dat deze gebaseerd zijn op ‘web zoekresultaten’. Maar Examenblad is de site waar het examen op staat – én het correctiemodel! Ja, zo kan ik het examen ook maken (overigens doet Bing het ook ondanks dit afkijken nog steeds niet heel erg goed). Grappig is dat ook de DBNL als bron wordt genoemd, misschien omdat de eerste tekst ging over Friese literatuur, en daar besteedt de DBNL natuurlijk ook aandacht aan. Het doet natuurlijk wel de vraag rijzen in hoeverre ook bij eerdere geslaagde examens al gebruik is gemaakt van die antwoordmodellen. ChatGPT schijnt niet op internet te kunnen kijken. In ieder geval beweren de makers dat, maar kunnen we daarop vertrouwen en geldt dat voor Bing ook? Download: Antwoorden van Bing, de chatbot van Microsoft bij Centraal eindexamen Fries, vwo 2023.

Door: Foto: dcJohn (cc)
Foto: by mikhail nilov via pexels.

Lerarentekort: eerst maar eens investeren

, door

Er ontbreekt naar mijn idee iets in het opiniestuk dat de Utrechtse hoogleraar Duits Ewout van der Knaap een anderhalve week geleden in NRC publiceerde. Dat stuk gaat over de dreigende situatie bij met name de universitaire opleidingen Frans en Duits, een situatie van verdere verschraling van de opleidingen, en dat in een tijd dat er schreeuwende lerarentekorten zijn voor – onder andere – deze twee zo belangrijke talen.

“Ligt het aan de verengelsing van het hoger onderwijs,” vraagt Van der Knaap zich af in zijn stuk over de oorzaken van het lerarentekort, “het toegenomen aanbod aan studierichtingen die veelal breed van aard zijn, de overheidsprikkels voor beta-studierichtingen (‘Kies exact’)?” Maar hij vergeet volgens mij een heel belangrijke factor: de omlaag gekelderde status van het leraarschap, waar heel weinig aan gebeurt. De salarissen zijn iets bijgesteld, maar nog steeds proberen scholen weg te komen met een zo laag mogelijk startsalaris en ook proberen ze anderszins niet echt om het vak aantrekkelijker te maken.

Het probleem begint al bij de opleidingen, maar dat heeft niet met de inhoud te maken. Ik geef college in de Nijmeegse educatieve master, en met name studenten die een beetje een omweg hebben genomen naar het leraarschap door eerst iets anders dan Nederlands te zijn gaan studeren, betalen het volle pond aan college- en andere gelden – en van zulke studenten zullen we het echt moeten hebben. Die mensen zetten zich al meteen in voor de school waar ze stage lopen maar moeten daarnaast soms nog allerlei bijbaantjes aannemen. Dan moet je wel heel veel liefde hebben voor het vak.

Lezen: De BVD in de politiek, door Jos van Dijk

Mededeling

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Quote du Jour

Quote du jour | waardevrij maar neoliberaal

, door

QUOTE - Zogenaamd waardevrij economieonderwijs, dat stiekem neoliberaal is? In dit stuk zegt Remko van der Pluijm, lector aan de Rotterdamse Hogeschool er een aantal interessante dingen over:

Het neoliberale gedachtegoed overheerst in het Nederlandse hoger onderwijs, schrijft Van der Pluijm. Opleidingen concentreren zich op praktijkvakken en de maximalisatie van financiële winst, net zoals bedrijven alleen een verantwoordelijkheid zouden hebben naar hun aandeelhouders en werknemers.

….

In andere woorden, het is eigenlijk onmogelijk voor een docent om waardenvrij les te geven. Van der Pluijm vraagt zich echter af of dit wel zo problematisch is. Voorstanders van waardenvrij onderwijs betogen dat waarden-geladen onderwijs leidt tot conformiteit. Het neoliberale onderwijs positioneert zich volgens Van der Pluijm dan ook als een positivistische wetenschap, die zou streven naar een objectieve en feitelijke omschrijving van de wereld.

“Maar de opvatting dat economie een waardenvrij vakgebied is, is zelf een opvatting die niet waardenvrij is”, merkt Van der Pluijm op. Het probleem is niet zozeer dat een docent de eigen mening meegeeft, het is eerder dat de waardenvrije economiestudie als feit wordt gepresenteerd. Zo blijft er geen ruimte voor andere visies, wat juist leidt tot conformiteit.

Foto: John C Bullas BSc MSc PhD MCIHT MIAT (cc)

Eentaligheid is een verminking

, door

COLUMN - Het staat al een paar maanden op internet, maar de laatste weken ging het ineens rond: een artikel waarin de Franse taalkundige Mélanie Jouitteau betoogt dat mensen eentaligheid opleggen een vorm is van verminking.

Het argument is even eenvoudig als origineel. Uit heel veel onderzoek weten we niet alleen dat de mens best meertalig kan zijn, maar dat het misschien wel de natuurlijke staat van de mens is. Nog steeds worden in grote delen van de wereld verschillende talen gebruikt: op de markt praten mensen een andere taal dan thuis, en daar weer een andere dan op het werk. Zelfs blijkt uit onderzoek (voorzichtig) dat meertaligheid goed is voor de cognitieve vermogens van sprekers – dat ze bijvoorbeeld mogelijk gemiddeld wat later Alzheimer krijgen.

Mensen van die natuurlijke staat afhouden, er kunstmatig voor zorgen dat ze maar één taal leren spreken is, zegt Jouitteau, daarom te vergelijken met bijvoorbeeld de Chinese politiek voor de twintigste eeuw dat van jonge meisjes de voeten moesten worden ingebonden zodat deze klein bleven en vrouwen nauwelijks zelfstandig konden lopen. Zoals deze verminking liet zien dat je ouders brave burgers waren, zo laat ook de dwang om kinderen alleen maar de taal van hun land te laten leren – en niet bijvoorbeeld de moedertaal van hun ouders – zien dat de opvoeders hun best doen om hun kinderen in het keurslijf van de staatsideologie te drukken.

Foto: Gemaakt met DALL·E thinking fast and thinking slow

Chatbot kan niet langzaam denken

, door

Het menselijk gedruis over tekst producerende kunstmatige intelligentie zal nog wel even voortduren. ChatGPT hielp me begin deze maand een artikel schrijven dat volgens sommigen behoorde tot het beste dat ik ooit schreef. Sindsdien ben ik ermee blijven experimenteren – vaak nog verbaasd over wat het systeem ineens bleek te kunnen bedenken, maar gaandeweg toch ook steeds meer vertrouwd met de beperkingen: de doodsheid van het geproduceerde proza (of van de geproduceerde plaatjes), de weigering om er ooit iets bij te leren.

Bijna 25 jaar geleden schreef ik een stuk, ‘grandeur en misère van de computertaalwetenschap‘. Ik weet niet of ik kan zeggen dat ik het toen goed zag; ik weet wel dat ik het nog op dezelfde manier zie. Aan het eind van het stuk wees ik er op dat dommekracht waarschijnlijk de toekomst was: computers die op basis van een enorme verzameling voorbeeldteksten aan de hand van statistiek steeds weer nieuwe teksten kunnen maken die op de oude lijken. Na “op een mooie” volgt meestal pinksterdag en dus schrijf je ‘op een mooie pinksterdag’.

Ratio

Dat is precies het principe waarop de systemen die nu furore maken gebouwd zijn. Ik voorzag dit indertijd niet omdat ik nu zo’n visionair was, maar omdat iedereen die zich er 25 jaar geleden een beetje in verdiepte het kon zien.

Lezen: Mohammed, door Marcel Hulspas

Mededeling

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Quote du Jour

Quote du jour | Pechgeneratie?

, door

Dijkgraaf had er genoeg van en greep in. “Die pechgeneratie, waarom is het een pechgeneratie?”, vroeg hij. De studente deed een poging om een antwoord te geven. “Omdat de basisbeurs is afgeschaft en omdat de rente…..”

Ja… waarom is dit een pechgeneratie? Goede vraag. De voor de hand liggende, in de context van de kosten voor hoger onderwijs, is de torenhoge schulden waar studenten tegenaan lopen, en helemaal die generatie studenten tussen het afschaffen van de oude basisbeurs en het instellen van de nieuwe. Maar er zijn natuurlijk meer mogelijkheden. De wieder-opkomst van het fascisme. De klimaatcrisis waar de jongeren van nu ongenadig hard mee geconfronteerd gaan worden. De misère op de woningmarkt. De groeiende ongelijkheid tussen arm en rijk. De verschraling van natuur en milieu. De pandemie die ongecontroleerd rondwaart, en waar alle pogingen tot het indammen van gezondheidsschade lijkt opgegeven. Enzovoort enzovoort.

Foto: Arch, CC0, via Wikimedia Commons, standbeeld Ton Koops, Jip en Janneke Zaltbommel,

Hoger opgeleiden hechten meer aan eenvoudige teksten

, door

COLUMN - Er is de laatste jaren af en toe nogal wat te doen over eenvoudige teksten. Laatst ging het daar ook over tijdens een college voor de eerstejaars die hun eerste onderzoekjes moesten presenteren. Een van hen is bezig met de vraag of het voor de overheid nu verstandig is om teksten te schrijven in een zogeheten ‘B1-niveau’, en toen kwam mijn collega Wilbert Spooren aanzetten met het nieuwste nummer van Tijdschrift voor Taalbeheersing met een artikel over het onderwerp, dat die ochtend was binnengekomen. (Zo actueel zijn wij in ons onderwijs!)

Gisteren heb ik het artikel meteen ook gelezen. De auteurs, Henk Pander Maat en Jet Gravekamp, legden twee teksten voor aan een aantal groepen lezers – een brief van een bank en een brief van een zorginstelling. Van ieder van die brieven waren er twee versies: een in eenvoudige taal en een met een wat ingewikkelder taalgebruik. De vraag was niet alleen of er een verschil in begrijpelijkheid was, maar ook wat lezers van de teksten vonden en vooral ook van de auteur. Vind je iemand deskundiger naarmate hij meer moeilijke woorden gebruikt?

Verschillende groepen kregen verschillende versies van die brief te zien. In ieder van de groepen maakten de onderzoekers bovendien verschil tussen hoger opgeleiden en anders opgeleiden.

Foto: Illustratie gemaakt door DALL-E, een product van OpenAI copyright ok. Gecheckt 06-12-2022

Een reis naar de eenhoorns met ChatGPT

, door

Vrijdag 2 december verscheen er een spectaculair nieuwe chatbot online: ChatGPT van het software-bedrijf OpenAI. Het is een systeem waarmee je gesprekken kunt voeren in ieder geval alle talen die ik enigszins beheers. Het is een systeem dat getraind is door honderden miljarden woorden – vermoedelijk vooral van het internet geschraapt – te lezen en zo te leren welke woorden vaak in de omgeving van welke andere woorden staan, en wat voor andere patronen de taal die ze lezen kenmerken.

Zo’n ’taalmodel’ kun je vervolgens op allerlei manieren gebruiken. Als je weet wat er vaak voorkomt, kun je dat inzetten om zelf taal voort te brengen die sterk lijkt op al die bestaande taal die je tot je hebt genomen. Automatische vertalers werken er bijvoorbeeld mee, en instrumenten die schrijvers kunnen bijstaan, maar OpenAI heeft het nu dus gebruikt om een chatbot te maken. Ik heb de indruk dat ChatGTP vooral geschikt is om zakelijke vragen te beantwoorden. Het kan putten uit allerlei encyclopedische kennis, maar kan bijvoorbeeld ook opdrachten uitvoeren zoals redactiesommen (‘Een boer heeft vijf kippen en iedere kip legt vijf eieren…’) of programmeertaken (‘Schrijf een Pythonscript dat telt hoe vaak de letter m voorkomt in een tekst”).

Dat werkt allemaal verbluffend goed. Nadat ik een en ander had geprobeerd, besloot ik ChatGTP tot enige fictie te verleiden. Mijn eerste vraag (mijn vragen staan steeds in vet) was geïnspireerd door een vraag die een paar jaar geleden aan een eerdere versie van ChatGTP was gesteld. Ik geef het hier weer als een soort documentatie van waar we met dit soort systemen nu staan. Je moet je voorstellen dat de antwoorden van ChatGTP er over het algemeen binnen een paar seconden waren.

Quote du Jour

Quote du jour | Bedreigde wetenschappers

, door

Dijkgraaf sprak wel de hoop uit dat men in de toekomst niet ontmoedigd wordt om de wetenschap in te gaan, zoals hij zelf ontmoedigd werd om minister van onderwijs te worden. “Toen ik aan deze baan als minister begon, kreeg ik eerst een slechtnieuwsgesprek. Niemand zei hoe goed het is. Men zei daarentegen: ‘weet wat je gaat doen, weet waar je jezelf en je familie aan blootstelt. Wat heb je ooit gezegd; hoe kan dat tegen je gebruikt worden? Dat was niet echt een aanmoediging om de politiek in te gaan. Ik zou het toch heel wrang vinden als mensen die de wetenschap ingaan dit gesprek ook moeten voeren.”

Doe het veilig met NordVPN

Mededeling

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: Sagaru9535, CC BY-SA 4.0 , via Wikimedia Commons.

Python en poëzie

, door

Een van de interessantste Nederlanders op dit moment is ongetwijfeld Guido van Rossum, de ontwerper van de programmeertaal Python. Het is niet overdreven om te zeggen dat dit inmiddels wereldwijd de populairste programmeertaal is – een taal die vrijwel iedere programmeur wel een beetje kent. Hij is bovendien iemand die over heel veel onderwerpen goed heeft nagedacht en zijn mening daarover eloquent kan verwoorden, zoals bijvoorbeeld blijkt uit het onderstaandre interview met Lex Fridman.

Dat soort interviews kom je in het Nederlands niet tegen. Ik vraag me af of Van Rossum ooit serieus in de Nederlandse media aan het woord is gekomen. Dat geldt zelfs niet voor podcasts of YouTube-kanalen of andere alternatieve kanalen. Wat zijn we toch ook een armoedige cultuur. Voor 99% procent van de Nederlanders bestaat Van Rossum helemaal niet.

(Even een rant. Het is in sommige kringen nog altijd sjiek om af te geven op de verengelsing: in zo’n vreemde taal kun je toch nooit een diepe gedachte uitdrukken? Wat die mensen nooit in de beschouwing betrekken is dat je in het Nederlands maar zelden een diepe gedachte hoort uitdrukken. Wie interessante hedendaagse intellectuele discussies wil horen, moet wel Engels leren. De verarming van het Nederlands komt niet door het Engels, maar door het gebrek aan intellectuele cultuur. Einde rant.)

Vorige Volgende