Het onderzoeken van de taalvermogens van grote taalmodellen is inmiddels een heuse eigen industrie. Kunnen we teksten van chatbots herkennen? En zo ja, waar ligt dat dan aan? We stuiten hier meteen op een pikant onderwerp: onderzoekers kunnen inderdaad verschillen vaststellen, maar tegelijkertijd lijkt het alsof menselijke lezers ongevoelig voor die verschillen zijn. Met andere woorden: computers lijken beter in het ontmaskeren van door computers geschreven teksten dan mensen. Hier zijn bijvoorbeeld twee recente artikelen (hier en hier) die min of meer dezelfde conclusies trekken. Chatbots schrijven over het algemeen wat formeler en daarnaast zijn ze geneigd wat meer informatie per vierkante centimeter te verwerken. Dat betekent dat ze bijvoorbeeld meer zelfstandig naamwoorden gebruiken – heel veel informatie zit in de zelfstandig naamwoorden – terwijl mensen percentueel wat meer lidwoorden, voorzetsels en andere betrekkelijk inhoudsloze woorden gebruiken. (Hier schreef ik over nóg een onderzoek meteen vergelijkbare conclusie.) De verschillen zijn meetbaar, al zijn ze ook statistisch (niet iedere door een chatbot of door een mens gemaakte tekst is op deze manier te herkennen). Maar met het blote oog op te merken zijn ze nauwelijks. Keurmerk Desalniettemin hebben met name ervaren redacteuren wel het gevoel dat ze de verschillen kunnen ontdekken. Chatbottekst voelt gladder aan, en cliché-matiger. Gek zou dat ook niet zijn: chatbots zijn als het ware gemaakt om gladde en cliché-matige teksten te maken. In essentie doen ze niet anders dan steeds het meest voor de hand liggende woord te gebruiken, dat wil zeggen het woord dat in het corpus het vaakst voorkomt in deze context. Als veel mensen ‘op een mooie pinksterdag’ geschreven hebben, zal de computer na ‘op een mooie…’ geneigd zijn pinksterdag te schrijven. Maar in de wetenschappelijke literatuur kan ik niet veel bewijs vinden dat mensen inderdaad verschil kunnen maken. In plaats daarvan zijn er veel studies waaruit blijkt dat de resultaten van experimenten waarbij mensen moesten kiezen niet veel anders zijn dan als die mensen zouden gokken (hier en hier bijvoorbeeld). Er blijkt vooral dat ze een voorkeur voor teksten hebben als ze denken dat die door mensen is geschreven. In dit onderzoek van vorig jaar kregen Engelse lezers bijvoorbeeld echte gedichten van bekende dichters te lezen én gedichten die chatbots hadden gegenereerd ‘in de stijl van’ die dichters. Ze konden de verschillen niet echt ontdekken, ze hadden over het algemeen een lichte voorkeur voor de chatbottekst, behalve als ze wisten dat deze door chatbots gemaakt was. Want als de onderzoekers over willekeurige tekst vertelde dat ze van een computer kwam, duikelde de waardering. Het geldt niet alleen voor gedichten: dit onderzoek laat zien dat het ook geldt voor marketingteksten. De auteurs noemen het ’t ‘AI-auteurschapseffect’ – mensen hebben een afkeer van tekst waarvan ze weten dat deze door computers is gegenereerd. Dat lijkt mij de redding voor de menselijke schrijver. Uiteindelijk lezen we teksten en geen tabellen of lijstjes ruwe feiten omdat we in contact willen staan met andere mensen. Het wordt dus zaak die garantie te bieden. Ik weet weliswaar ook niet hoe dat precies moet – misschien moet er een keurmerk komen. Authenticiteit wordt, zo vermoed ik, voor schrijvers van alle soorten een garantie. De auteur staat op van de doden.
Nu mannen geen vrouwen meer mogen stalken, of zomaar mogen aanraken, een vriendelijke pets op de billen, en een welgemeend compliment over haar borsten vanuit de wagen roepen ook niet meer kan, heerst er een grote verwarring onder mannen.
WAT MAG DAN NOG WEL ?
subtitle ▶️ ccOp een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.
Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.
Het tij begint voorzichtig te keren. Waar het Nederlandse onderwijs de afgelopen decennia heeft gezucht onder een puur door de politiek afgedwongen eentaligheid – op school moest iedereen altijd en alleen maar Nederlands spreken, we waren toch potdorie in Nederland! – met rampzalige resultaten, begint men nu voorzichtig in te zien dat wat aandacht voor de realiteit – kinderen die thuis andere talen spreken hebben daarmee een enorm reservoir aan kennis dat we kunnen aanboren om hun Nederlands te verbeteren.
Maar onmiddellijk staan er dan mensen op die het negentiende-eeuwse ideaal van één volk heeft één taal niet willen opgeven. Zoals de psycholoog Iris Breetvelt in een stuk op Vakdidactiek Nederlands.
De mensheid is op het grootste deel van de wereld op een volkomen natuurlijke manier meertalig – in veel samenlevingen in bijvoorbeeld Afrika spreekt iederéén meerdere talen en wisselt die moeiteloos af. Maar het gebruik van meer talen, vooral op school werd in de Nederlandse politiek sinds ongeveer het begin van deze eeuw vooral als probleem gezien – iets wat maar zou leiden tot alles waar iederee bang voor is, zoals “taalachterstand”, “achterstandswijken”, “risicoleerlingen”. Dat is allemaal gebaseerd op een zeer diep in de Nederlandse, in de Europese geest, gewortelde ideologie: dat één volk één taal moet hebben, en dat je als individu slechter af bent als je niet al je talen in alle mogelijke domeinen – van de keukentafel tot het katheder – kunt gebruiken.
Deel 8 in de serie Wat iedereen moet weten over taal
Onlangs verschenen de resultaten van een onderzoek: wat vinden taalwetenschappers dat mensen moeten weten over taal? Dat resulteerde onder andere in een lijst van 25 vragen. Korte antwoorden op die vragen staan hier op een rijtje.
‘Beïnvloedt taal het denken?’ is een grote vraag, misschien wel te groot voor wetenschappelijk onderzoek. ‘Beïnvloedt je taal je denken’ is behapbaarder, en ondertussen het onderwerp van heel veel wetenschappelijke literatuur.
Zou de mens anders denken als ze in het geheel geen taal had? Het is waarschijnlijk. Een kenmerk van taal is dat je vorm kunt geven aan je gedachten, je kunt ze immers omzetten in woorden en zinnen. Dat betekent op zijn beurt dat we van onze gedachten een soort dingen kunnen maken, die min of meer los van ons staan. We gebruiken dat vermogen om die gedachten te uiten en zo met anderen te delen. Maar we kunnen ze ook gebruiken om zélf kritisch over een eigen gedachte na te denken. Je bewust zijn van het feit dat je een bepaald idee hebt, vereist waarschijnlijk taal.
Makkelijk aan te tonen is het niet, want je zou een vergelijking moeten maken tussen mensen mét en mensen zónder taal, en de tweede groep is bijzonder lastig te traceren. Vervolgens zou je het denkproces van al deze mensen moeten vaststellen, zonder taal. De technieken om iemands gedachten te lezen zijn daarvoor lang niet ver genoeg ontwikkeld. Wat we kunnen zeggen over de relatie tussen taal en denken blijft in die zin vooralsnog op het niveau van speculatie.
De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.
Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.
5 december is de dag dat kinderen helemaal opgefokt van de suiker of juist uitzinnig van woede een onschuldige ouder met een verantwoorde haverreep traktatie aanvallen, en tot pulp trappen. De haverreep dan, in de meeste gevallen.
Mijn pedagogisch advies is om uw kinderen op die dag zoveel mogelijk vol te proppen met suiker, en ja het is even afzien en breekbare spulletjes even aan de kant, máár er komt dan die verlossende suikercoma wat net zo goed werkt als een valiumpje in de limonade siroop.
COLUMN - Betekent de komst van AI dat de problemen voor de wetenschap alleen maar erger worden? Ja, zeggen Sayash Kapoor en Aravind Narayanan, auteurs van het weblog (en boek) AI Snake Oil, in een kraakhelder betoog.
Hét probleem van de moderne wetenschap in de afgelopen decennia is misschien wel dat het zo gericht is op kennis. Daardoor raakt het inzicht, het begrip, gaandeweg buiten beeld. We weten steeds meer dingetjes over de wereld, maar we ons daadwerkelijk begrip blijft daarbij ver achter. Dat betekent onder andere dat terwijl het aantal beroepswetenschappers wereldwijd explosief is gegroeid in de afgelopen eeuw, de grote wetenschappelijke doorbraken daarbij zijn achtergebleven. Heel veel zaken die de grote wetenschappelijke vragen waren na de Tweede Wereldoorlog, staan nu nog steeds open. Ondertussen zijn de investeringen in onderzoek bij de belangrijkste investeerders (de VS, China, Japan, Duitsland, Zuid-Korea, het Verenigd Koninkrijk en Frankrijk) tussen 2001 en 2021 verviervoudigd.
Dat dit zo is gegaan is begrijpelijk. De wetenschap is geprofessionaliseerd en daarbij hoort verantwoording aan de samenleving, en die verantwoording neemt vaak de vorm aan van kwantificatie: een wetenschapper moet zo-en-zoveel artikelen per jaar publiceren. Dat is gemakkelijker te doen als je naar feiten zoekt (zo’n feit heb je wel of niet gevonden) dan als je zoekt naar inzicht (dat veel subjectiever is). Precies de explosieve groei van de beroepswetenschap heeft dat allemaal nog veel sterker gemaakt: je moet bepaalde procedures volgen om tot bewijsbare resultaten te komen. Degene die jarenlang zoekt naar het juiste inzicht heeft het lastig in de rat race, zeker als dat zoeken ook nog vruchteloos blijkt te zijn. Het effect is dat er jaarlijks miljoenen wetenschappelijke artikelen worden gepubliceerd die vrijwel geen van allen beklijven.
COLUMN - De zomer is voor wie aan de universiteit werkt de tijd om na te denken over je onderwijs. Doorheen het jaar is het college van volgende week, en het huiswerk voor dat college, en een update voor je dia’s over het huiswerk altijd urgenter zodat het lastig is om na te denken over de grote lijnen. In de zomer valt dat allemaal weg – en kun je erover nadenken.
Ik geef al vele jaren een schrijfcursus, schrijven voor een breder publiek. Studenten oefenen daarbij met vooral journalistieke genres zoals het nieuwsbericht, de column, het interview en de reportage. Dé grote vraag is daar natuurlijk: wat doen we met kunstmatige intelligentie? Mogen studenten dat gebruiken? Moeten we ze er zelfs mee trainen? De laatste jaren was de politiek zo’n beetje: ga je gang, ik vis de stukken die door AI geschreven zijn er toch wel uit, ons niveau ligt echt wel een stukje hoger dan bij Google of OpenAI.
Maar inmiddels is dat natuurlijk een naïeve gedachte. Als ik eerlijk ben, weet ik echt niet of ik bij een blinde test waarbij ik tien teksten kreeg voorgelegd, de vijf eruit kon halen die door chatbots geschreven zijn – zeker als die chatbots de instructie krijgen af en toe een menselijk tik- of spelfoutje te maken.
Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.
QUOTE - Aan de universiteit Leiden is al twee jaar lang de beveiliging flink opgeplust, én is twee jaar geleden een gebouw een tijd gesloten geweest. De aanleiding: de beveiligers vonden een in het Arabisch bellende man in het gebouw maar eng. Dat móest wel terrorisme zijn. Dit reuze interessante artikel in Mare (het universiteitsblad van de Universiteit Leiden) geeft mooi weer hoe de panikerende beveiliging zich wendde tot politie, MIVD en AIVD.
QUOTE - Wat? Nog een inspectie? Nog meer overheid en controle en bureaucratie? Nou ja, misschien wel ja. Kijk, we hebben het hier al vaker gehad over de schaduwkanten van het academisch bedrijf, zoals de publicatiedruk (publish or perish), de perverse effecten van het belang dat citatiescores en dergelijke hebben gekregen. De wetenschapsjournalist Stan van Pelt heeft er een heel boek over geschreven. In een interview met VOX geeft hij veel interessante inzichten, waaronder een aanzet voor een oplossing: een Inspectie voor de wetenschap:
QUOTE - Een nieuw proefschrift, dat betekent nieuwe wetenschappelijke inzichten. Altijd leuk! Sanne Verra promoveert binnenkort aan de Universiteit Utrecht op sociaaleconomische verschillen in gezondheid en de beleidsvoorkeuren van burgers. Binnenlands Bestuur schrijft daarover:
Verra onderzocht of er sociaaleconomische verschillen zijn in steun voor een brede set beleidsmaatregelen die bijdragen aan het verkleinen van sociaaleconomische gezondheidsverschillen. Daarbij ging het onder andere om beleid rond inkomen en armoede, leefomgeving en gezondheid. Wat opvalt: maatregelen die ingrijpen op sociaaleconomische omstandigheden kregen niet alleen brede steun onder de bevolking, maar werden bovendien relatief vaker geaccepteerd en geprefereerd door mensen met een lagere sociaaleconomische positie.
.jpg){kind=link}
