Chatbot fraudeert bij het eindexamen Fries

Nadat ik eerder de eindexamens Nederlands (havo en vwo) en vwo-Frans door chatbots heb laten maken – voor beide slaagden de chatbots ruimschoots – leek het me interessant om het ook nog eens met Fries te doen. Voor Fries is er veel minder elektronisch leesbaar materiaal voorhanden, en aangezien kunstmatige intelligentie afhankelijk is van heel veel voorbeelden, is te voorspellen dat dit type examen veel moeilijker zal blijken te zijn. Dat kwam uit. ChatGPT wist met het examen niets te beginnen, ook na enkele pogingen kreeg ik er niet het begin van een antwoord uit. Ze begreep niet eens dat de vragen die ik stelde gingen over de tekst die ik eerder had gegeven, en klaagde dat ze niet begreep over welke tekst ik het had. Bij Nederlands en Frans was dat allemaal geen probleem geweest. ChatGPT is aldus gezakt met een 1. Bing, de chatbot van Microsoft (ook gebaseerd op GPT4), deed het op het gezicht ietsjes beter, maar haalde ook duidelijk een onvoldoende (18 van de 48 te behalen punten). Bovendien vertoonde het heel bizar, en frauduleus gedrag. Vragen en correctiemodel voor het eindexamen zijn hier te vinden. Er waren 39 vragen. Omdat je aan Bing maar 20 vragen per sessie mag stellen en omdat ik de teksten apart invoerde – dat telt ook als vraag – en af en toe tussendoor een extra aanwijzing bleek te moeten geven over in welke taal Bing moest communiceren, waren er 3 verschillende sessies nodig. In alle drie de sessies bleek Bing een andere taal te gebruiken: in de eerste wilde hij, ondanks mijn extra aanwijzingen, alleen Engels gebruiken omdat hij beweerde dat hij geen Fries kan schrijven. In de tweede deed hij ineens alles wel in het Fries. En in de derde gebruikte hij juist Nederlands. (Overigens heb ik de antwoorden steeds goedgerekend naar de inhoud en niet naar de gebruikte taal; als ik daar wel rekening mee had gehouden was het punt nog veel lager geworden. Dan de fraude: in het Engelstalige gedeelte gaf hij zelf voortdurend toe dat hij Google Translate gebruikte om het Fries naar het Engels te vertalen en dan zo tot de antwoorden te komen, In dit gedeelte ging overigens, enigszins voorspelbaar, het meeste fout. Toen hij eenmaal in Friestalige modus stond, ging het allemaal een stuk beter, al weet ik niet zeker of hij in dit deel wel een voldoende zou hebben gehaald. Maar dan het Nederlandse gedeelte! Hier ging van alles mis. In de eerste plaats bleek dat ook hier stiekem gewerkt werd met vertalingen in het Engels. Waar in tekst 2 sprake is van te fjochtsjen, te ferstiivjen of út te naaien blijkt dat in het antwoord ineens te gaan over ‘fight, freeze of flight’. Maar ernstiger nog is dat Bing – op zich goudeerlijk – haar bronnen noemt, en bij het Nederlandse deel van het examen blijkt een van die bronnen ineens te zijn examenblad.nl. Bovendien zegt ze steeds bij haar antwoorden dat deze gebaseerd zijn op ‘web zoekresultaten’. Maar Examenblad is de site waar het examen op staat – én het correctiemodel! Ja, zo kan ik het examen ook maken (overigens doet Bing het ook ondanks dit afkijken nog steeds niet heel erg goed). Grappig is dat ook de DBNL als bron wordt genoemd, misschien omdat de eerste tekst ging over Friese literatuur, en daar besteedt de DBNL natuurlijk ook aandacht aan. Het doet natuurlijk wel de vraag rijzen in hoeverre ook bij eerdere geslaagde examens al gebruik is gemaakt van die antwoordmodellen. ChatGPT schijnt niet op internet te kunnen kijken. In ieder geval beweren de makers dat, maar kunnen we daarop vertrouwen en geldt dat voor Bing ook? Download: Antwoorden van Bing, de chatbot van Microsoft bij Centraal eindexamen Fries, vwo 2023.

Closing Time | Because I love you

De smeekbede is een terugkerend thema in de populaire muziek. De helft van de bevolking wil dat nou eenmaal graag horen van hun geliefde.

De ongekroonde koning van de smeekbede schijnt Rythm & Blues-zanger Lenny Williams te zijn.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Foto: BoH, CC BY-SA 3.0 via Wikimedia Commons Binnenvaarttanker Jade in het Calandkanaal

Ontgassingsverbod: ere wie ere toekomt!

BRIEF - Nu na jaren van strijd, het weerleggen van door onze overheid verkondigde onwaarheden en wachten eindelijk de exacte datum bekend is waarop een gedeeltelijk, landelijk ontgassingsverbod van kracht wordt, lijkt het mij niet meer dan gepast de feiten te benoemen die tot dit resultaat hebben geleid.

Reeds tien jaar geleden bleek uit onderzoek door CE Delft hoe groot de uitstoot van zeer schadelijke dampen door binnenvaarttankers was en waar deze dampen werden uitgestoten. Krispijn Beek was degene die op de site Sargasso.nl deze massale uitstoot op de kaart zette en onder meer aantoonde dat alleen al de uitstoot van benzeen minimaal 1.000 keer hoger was dan de norm gesteld door het RIVM. Hij was toen een roepende in een enorme woestijn.

Enkele provincies introduceerden een ontgassingsverbod, wat bij gebrek aan provinciale handhavingsmiddelen en een rijksoverheid die de rechtsgeldigheid van een dergelijk provinciaal verbod tot aan de uitspraak van een rechter halsstarrig betwistte, al ras slechts een papieren tijger bleek te zijn; het ontgassen naar de vrije atmosfeer ging onverminderd door.

Het probleem met de ontgassende tankers was als een overbeladen kar, die tot aan zijn assen in de Hollandse modder was weggezakt en waarvan bijna niemand wist dat deze daar stond. Het was professor Geerlings van de Erasmus Universiteit die in een gedegen, wetenschappelijk rapport verklaarde hoe deze kar daar verzeild was geraakt, wat er nodig was deze kar van zijn plaats te krijgen en waarom dit maar niet wilde lukken. Adequaat handelen door de rijksoverheid bleef echter helaas uit.

Foto: by Charles Deluvio on Unsplash.

Woensdagmiddag

COLUMN - Het is woensdagmiddag, een aantal jaar geleden.

Dat het een woensdagmiddag was weet ik zeker, want ik was vrij en alleen met drie kinderen. En niet heel lang daarvoor had ik op mijn werk gevraagd of ik voortaan op woensdagmiddag vrij mocht zijn. Zodat ik op die dagen na school iets leuks met mijn kinderen kon gaan doen. Maar op deze woensdagmiddag ben ik niet iets leuks met mijn kinderen aan het doen. In plaats daarvan ben ik aan het werk. Wat ik precies moest doen herinner ik me nu niet meer, maar destijds was het heel belangrijk. Belangrijk genoeg in ieder geval om het te verruilen voor een leuke middag met mijn kinderen.

Zuchtend zat ik achter mijn computer in een poging het gevraagde op de mail te zetten. Liv, mijn jongste, begon destijds net een beetje in zinnetjes te praten. Ook nu, op die ene woensdagmiddag een aantal jaar geleden, probeert ze me wat duidelijk te maken. Ze staat naast me, trekt aan mijn arm en brabbelt wat. Licht geïrriteerd maar vriendelijk doe ik een poging haar af te poeieren. “Sorry Livje, mama is even bezig. Nu even niet. Ga maar bij je zus op de bank zitten, ik ben zo klaar…”, zeg ik tegen haar. Maar ze gaat niet bij haar zus op de bank zitten.

Lezen: Venus in het gras, door Christian Jongeneel

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Foto: Jesterhat84, CC BY-SA 3.0. Departement van Justitie in Den Haag, via Wikimedia Commons.

Groeien vertegenwoordigen en verantwoordelijkheid nemen uit elkaar?

ANALYSE - een gastbijdrage van Simon Otjes, eerder verschenen bij Stuk Rood Vlees

Er is in Nederland al twee jaar een discussie bezig over een nieuwe bestuurscultuur. Dat lijkt te gaan over de manier waarop Mark Rutte het land bestuurt. Echter, als je langer kijkt naar de elementen van die bestuurscultuur dan valt op dat deze verder teruggaan. Bovendien is verzet tegen de Nederlandse bestuurscultuur al eerder opgekomen.

In een recente podcast Het Spel en de Macht spreek ik hierover met bestuurskundige Caelesta Braun en student journalistiek Arend Viëtor. Het is de laatste in een reeks over de Nederlandse bestuurscultuur. Als we die langere lijnen volgen dat valt op dat het verschil tussen toen en nu is dat electorale positie van partijen die volgens de regels van het spel politiek bedrijven zwakker is dan in het verleden. Partijen die het primair als hun rol zien om onvrede te vertegenwoordigen sterker zijn geworden.

De Regels van Lijphart

De regels van het spel zijn eigenlijk opvallend constant in de afgelopen 70 jaar. De regels die politicoloog Arend Lijphart in 1968 formuleerde over de Nederlandse politiek in jaren ’50 zijn nog springlevend: als politici in Nederland een beslissing moeten nemen benaderen ze de materie zakelijk en niet ideologisch. Als ze er onderling niet uitkomen dan kijken ze naar experts en belangengroepen. De oplossingen komen van buiten de politieke arena. Als coalitiepartijen recht tegenover elkaar staan, dan stellen ze beslissingen uit. Moeten ze nu een oplossing vinden, proberen ze een compromis te formuleren waar iedereen zich in kan vinden. Zelfs een kleine coalitiegenoot kan dat vetoën. Zulke compromissen worden niet gesloten in de plenaire zaal van de Kamer maar achter dichte deuren.

Foto: Rembrandt en tijdgenoten Sfeerbeelden van Rembrandt's atelier © foto Wilma Lankhorst.

Kunst op Zondag ontmoet Rembrandt en zijn tijdgenoten

VERSLAG - Voor Kunst op Zondag ging ik terug in de tijd. Het Amerikaanse echtpaar en kunstverzamelaars Thomas & Daphne Kaplan leende naast hun Vermeer aan het Rijksmuseum tegelijkertijd 35 werken uit The Leiden Collection uit aan de Hermitage. Tot 27 augustus 2023 loop je in de Hermitage aan de Amstel door de 17e-eeuwse Nederlandse kunst. Aan de hand van 35 historiestukken herbeleef je het kunstleven in de grote bloeiperiode uit de Nederlandse schilderkunst.

Je moet een historieschilder zijn,
als je een grote meester wilt zijn.

Schilder Boeck (1604) Karel van Mander (Meulebeke 1548 – Amsterdam 1606)

Historiestuk (1626) © Rembrandt Collectie Museum De Lakenhal © foto Wilma_Lankhorst

Historiestuk (1626) © Rembrandt Collectie Museum De Lakenhal © foto Wilma Lankhorst.

Het historiestuk

In de tentoonstelling maak je kennis met het historiestuk, een omvangrijk genre in de schilderkunst. Op een historiestuk zie je belangrijke feiten vanuit de geschiedenis. Dat kunnen zowel historische, mythologische als Bijbelse gebeurtenissen zijn. In de 17e eeuw, toen ons land een Republiek was, waren historiestukken erg populair. Naast opdrachten voor de publieke ruimte, zoals paleizen, gemeentehuizen en gildes, kochten mensen privé historiestukken voor in hun eigen huis. Op 25 april jl. was op tv de Oranjezaal in Huis te Bosch te zien. In deze ruimte werden 100 bijzondere Nederlanders gefêteerd op een koninklijke lunch. De inrichting van deze Oranjezaal is op initiatief van Amalia van Solms, de weduwe van Frederik Hendrik in samenwerking met bouwmeester Van Campen tot stand gekomen. Met de door haar gekozen afbeeldingen steekt ze de loftrompet over het leven van haar man en zijn nalatenschap. In de tentoonstelling hangt een historiestuk van Rembrandt met een zelfportret van de schilder (1626) uit de collectie van Museum de Lakenhal. Rembrandt heeft zichzelf in de boog geschilderd. De scepter gaat diagonaal door zijn gezicht.

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Closing Time | Fragile

Sharon Kovacs lijkt soms een kruising tussen zwoele nachtclubzangeres, verwonderd kind en wild dier. En dit wereldtalent loopt gewoon in Nederland rond.

Misschien moeten ze haar maar eens naar het Eurovisiesongfestival sturen.

Vorige Volgende