Chatbot fraudeert bij het eindexamen Fries

Nadat ik eerder de eindexamens Nederlands (havo en vwo) en vwo-Frans door chatbots heb laten maken – voor beide slaagden de chatbots ruimschoots – leek het me interessant om het ook nog eens met Fries te doen. Voor Fries is er veel minder elektronisch leesbaar materiaal voorhanden, en aangezien kunstmatige intelligentie afhankelijk is van heel veel voorbeelden, is te voorspellen dat dit type examen veel moeilijker zal blijken te zijn. Dat kwam uit. ChatGPT wist met het examen niets te beginnen, ook na enkele pogingen kreeg ik er niet het begin van een antwoord uit. Ze begreep niet eens dat de vragen die ik stelde gingen over de tekst die ik eerder had gegeven, en klaagde dat ze niet begreep over welke tekst ik het had. Bij Nederlands en Frans was dat allemaal geen probleem geweest. ChatGPT is aldus gezakt met een 1. Bing, de chatbot van Microsoft (ook gebaseerd op GPT4), deed het op het gezicht ietsjes beter, maar haalde ook duidelijk een onvoldoende (18 van de 48 te behalen punten). Bovendien vertoonde het heel bizar, en frauduleus gedrag. Vragen en correctiemodel voor het eindexamen zijn hier te vinden. Er waren 39 vragen. Omdat je aan Bing maar 20 vragen per sessie mag stellen en omdat ik de teksten apart invoerde – dat telt ook als vraag – en af en toe tussendoor een extra aanwijzing bleek te moeten geven over in welke taal Bing moest communiceren, waren er 3 verschillende sessies nodig. In alle drie de sessies bleek Bing een andere taal te gebruiken: in de eerste wilde hij, ondanks mijn extra aanwijzingen, alleen Engels gebruiken omdat hij beweerde dat hij geen Fries kan schrijven. In de tweede deed hij ineens alles wel in het Fries. En in de derde gebruikte hij juist Nederlands. (Overigens heb ik de antwoorden steeds goedgerekend naar de inhoud en niet naar de gebruikte taal; als ik daar wel rekening mee had gehouden was het punt nog veel lager geworden. Dan de fraude: in het Engelstalige gedeelte gaf hij zelf voortdurend toe dat hij Google Translate gebruikte om het Fries naar het Engels te vertalen en dan zo tot de antwoorden te komen, In dit gedeelte ging overigens, enigszins voorspelbaar, het meeste fout. Toen hij eenmaal in Friestalige modus stond, ging het allemaal een stuk beter, al weet ik niet zeker of hij in dit deel wel een voldoende zou hebben gehaald. Maar dan het Nederlandse gedeelte! Hier ging van alles mis. In de eerste plaats bleek dat ook hier stiekem gewerkt werd met vertalingen in het Engels. Waar in tekst 2 sprake is van te fjochtsjen, te ferstiivjen of út te naaien blijkt dat in het antwoord ineens te gaan over ‘fight, freeze of flight’. Maar ernstiger nog is dat Bing – op zich goudeerlijk – haar bronnen noemt, en bij het Nederlandse deel van het examen blijkt een van die bronnen ineens te zijn examenblad.nl. Bovendien zegt ze steeds bij haar antwoorden dat deze gebaseerd zijn op ‘web zoekresultaten’. Maar Examenblad is de site waar het examen op staat – én het correctiemodel! Ja, zo kan ik het examen ook maken (overigens doet Bing het ook ondanks dit afkijken nog steeds niet heel erg goed). Grappig is dat ook de DBNL als bron wordt genoemd, misschien omdat de eerste tekst ging over Friese literatuur, en daar besteedt de DBNL natuurlijk ook aandacht aan. Het doet natuurlijk wel de vraag rijzen in hoeverre ook bij eerdere geslaagde examens al gebruik is gemaakt van die antwoordmodellen. ChatGPT schijnt niet op internet te kunnen kijken. In ieder geval beweren de makers dat, maar kunnen we daarop vertrouwen en geldt dat voor Bing ook? Download: Antwoorden van Bing, de chatbot van Microsoft bij Centraal eindexamen Fries, vwo 2023.

Door: Foto: dcJohn (cc)
Quote du Jour

Quote du Jour | Overend houden

, door

Lo, we kunnen Postema niet overend houden. Iemand moet nu bellen dat hij eer aan zichzelf moet houden. Debat is slechts denkbare scenario voor ons. (En dat ligt niet aan Kirsten)

Gisteren kwam op een nogal knullige manier naar buiten dat Lilianne Ploumen wilde dat André Postema, bestuursvoorzitter van LVO én voorzitter van de Eerste Kamerfractie van de PvdA, de eer aan zichzelf zou houden als bestuursvoorzitter van LVO. In dat debat was Postema de gebeten hond:

Doneer!

Mededeling

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Foto: copyright ok. Gecheckt 09-02-2022

Anders nog iets? | Topsport

, door

COLUMN - Werken in het onderwijs is vaak te vergelijken met topsport. In al zijn facetten. Voor dag en dauw rij je naar de (trainings)plek waar je als docent/trainer zo’n vijf tot acht uur per dag training gaat geven aan je leerlingen, de topsporters. De plek waar je een coach voor ze bent. Een luisterend oor voor ze hebt. Een voorbeeld voor ze bent. En ze vaardigheden aanleert in je eigen vertrouwde sportdiscipline (lees: vak) op weg naar hun volwassen sportheldenstatus. Deze weg vereist een ijzeren discipline, een stevig uithoudings- en doorzettingsvermogen en vooral een grote portie (wils)kracht. Daarnaast moet men flexibel en gestructureerd zijn om tot een optimaal resultaat te komen. Er zullen offers moeten worden gebracht en een wederzijds vertrouwen staat hierbij aan de basis van een succesvol jaar/seizoen waar uiteindelijk iedereen naar uit kijkt.

Voorafgaande aan het nieuwe wedstrijdseizoen, worden natuurlijk de nodige afspraken, regels en doelstellingen opgesteld. Wat verwacht de trainer van je? Wat verwacht de sporter van de trainer en van zichzelf? Hoe zorgen we er samen voor dat we deze doelen kunnen bereiken? Wat hebben we hiervoor nodig? In elk geval een sterke basis, bestaande uit de andere trainers/coaches uit de andere sportdisciplines, sportfaciliteiten (school), ouders, vrienden, mental coaches, begeleiders en natuurlijk de sporter zelf. Wanneer hieraan is voldaan, kan de trainer zijn vooraf gemaakte jaarplanning (PTA) gaan uitvoeren. De trainingsschema’s (lesvoorbereidingen) worden per week bekeken en opgesteld. Waar nodig zal er moeten worden bijgeschaafd om ieders doel te kunnen verwezenlijken. Onontbeerlijk bij het nastreven van een mooi sportseizoen, voor zowel de sporter als de trainer, is het letten op jezelf en het goed zorgen voor jezelf. Eet gezond, drink voldoende en zorg voor genoeg nachtrust. Doping en andere stimulerende middelen zijn ten strengste verboden. Men riskeert bij gebruik van deze middelen een schorsing en kan het hele jaar vergeten.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

Mededeling

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Quote du Jour

Quote du jour | Draagvlak

, door

Uit de pilot van de VO-raad bleek dat veel docenten het plan ondersteunen en de manier hoe het nu gaat als een probleem zien.

Voldoende draagvlak voor de plannen volgens een woordvoerder van het ministerie van OCW. Ondanks dat een meerderheid van de Tweede Kamer tegen de invoering was van het omdraaien van de correctievolgorde bij het eindexamen was, voerde staatssecretaris Sander Dekker deze maatregel toch door. Er waren immers veel docenten die voor omkering. Hoeveel? 17 van de 39 deelnemers aan een pilot van de VO-raad om precies te zijn. Afgezien van dat het niet eens een meerderheid is, kun je bij dergelijke kleine aantallen onmogelijk spreken van een solide draagvlak. Niet gek dat inmiddels al ruim 3500 docenten een petitie tegen deze maatregel hebben getekend.

Steun ons!

Mededeling

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Lezen: Mohammed, door Marcel Hulspas

Mededeling

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.