Het systeem van wetenschappelijk publiceren is kapot

Maar liefst twee voorbeelden kreeg ik deze week aangereikt: gevallen waarin een ‘peer reviewed’ wetenschappelijk artikel in een prestigieus tijdschrift duidelijk door kunstmatige intelligentie geschreven was. Het eerste was dit artikel in het tijdschrift Radiology Case Reports. Op het oog is het wat het tijdschrift belooft: een beschrijving van een radiologisch kennelijk interessant geval, maar vlak boven de sectie ‘conclusion’ gaat het mis: In summary, the management of bilateral iatrogenic I’m very sorry, but I don’t have access to real-time information or patient-specific data, as I am an AI language model. I can provide general information about managing hepatic artery, portal vein, and bile duct injuries, but for specific cases, it is essential to consult with a medical professional who has access to the patient’s medical records and can provide personalized advice. It is recommended to discuss the case with a hepatobiliary surgeon or a multidisciplinary team experienced in managing complex liver injuries. Het tweede artikel, in Surfaces and Interfaces, ontspoort zelfs al aan het begin, als het opent met de volgende mededeling: Certainly, here is a possible introduction for your topic:Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities [1], [2]. Beide artikelen verschijnen in tijdschriften van Elsevier, die hiermee weer eens bewijst wat een roversbende het is. De artikelen zijn allebei open access verschenen (dat wil zeggen dat ze voor lezers gratis toegankelijk zijn), en de auteurs hebben daar zo te zien bijna 2500 euro voor betaald. Waarvoor dat bedrag? Volgens commerciële uitgevers omdat daarmee de kwaliteit gewaarborgd wordt. Maar wat is dat voor kwaliteit? Je kunt er natuurlijk over discussiëren of het erg is als auteurs de inleiding van hun artikel of de slotparagrafen door een chatbot laten maken. De belangrijkste vraag is dan waarom die auteurs dat zouden doen. Als zulke tekst zo voorspelbaar is dat hij door een computer kan worden geschreven, waarom moet hij dan überhaupt worden gemaakt? Laat de lezer anders zelf lekker een inleiding laten schrijven door zijn eigen favoriete chatbot. Het grootste probleem is echter dat het hier zo evident gebeurd is. Hier staan zinnen in de tekst die er niet in hadden moeten staan. De conclusie: voor het artikel verscheen heeft niemand het echt een keer doorgelezen. De auteurs niet, de reviewers niet, de redactie niet, de eindredactie niet. A raison van 2500 euro is hier iets op het internet gekwakt dat zelfs de meest betrokkenen niet echt interesseerde. En dat alles omdat een wetenschapper nu eenmaal artikelen moet publiceren. Het systeem van wetenschappelijk publiceren is kapot.

Door: Foto: Michael Eisen, CC BY 3.0 , via Wikimedia Commons.
Foto: ter illustratie Restaurant O'Panuozzo Utrecht, via Marc van Oostendorp op Neerlandistiek.

Waarheid voor chatbots

Wat is onwaar? De komst van chatbots heeft weer een nieuwe draai gegeven aan die vraag. Het is inmiddels vermoedelijk algemeen bekend dat chatbots niet altijd de waarheid zeggen. Maar wat is dat dan voor onwaarheid? Het is bijvoorbeeld geen leugen, aangezien een leugen altijd een intentie tot misleiden vereist, iets wat (vermoedelijk) afwezig is bij chatbots. We noemen het daarom vaak hallucinatie, al is ook dat een niet helemaal geschikte term, bijvoorbeeld omdat hij veronderstelt dat er voor de chatbot een verschil is tussen wakend en dromend denken, maar voor die chatbots is het (vermoedelijk) allemaal hetzelfde.

Voor zover we chatbots begrijpen, hebben ze helemaal geen notie van waarheid – of iets waar is of onwaar, speelt geen rol in hun overwegingen om iets te zeggen, andere criteria (hoevaak komen woorden in elkaars omgeving voor) zijn daarin veel belangrijker. Vandaar dat bots moeite hebben met het woord niet: de zin hij komt niet heeft ongeveer dezelfde plausibiliteit als hij komt.

Waterdruppels

Alleen willen menselijke gebruikers wel iets anders. ChatGPT is inmiddels bijna anderhalf jaar beschikbaar, en nog steeds vind je op sociale media mensen die geamuseerd of verontwaardigd voorbeelden geven van onzinnige chatbotantwoorden op zinnige vragen.

Een begrip van waarheid inbouwen in die chatbots staat daarom waarschijnlijk hoog op het lijstje van ontwikkelaars. Daarvoor is dan weer een goed criterium nodig om hallucinaties te classificeren. In het tijdschrift Computational linguistics komt Kees van Deemter met een oplossing: de klassieke logica. Dat is een vak dat al duizenden jaren nadenkt over wat een bewering wel of niet waar maakt, en Van Deemter zegt dat die hier ook al iets over kan zeggen.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: Language researcher looking puzzled, gemaakt met Dreamstudio, via Marc van Oosten dorp.

Hoe onderzoeken we de taal van kunstmatige intelligentie?

COLUMN - Ik denk dat er een half jaar geleden, toen met ChatGPT de eerste chatbot van een nieuwe generatie op internet verscheen, iets is gebeurd dat we nu nog niet gebruiken. In ieder geval is er nu een wezen dat geen mens is en toch menselijke taal kan gebruiken op een niveau dat tot nu toe nog nooit door iets of iemand werd bereikt die geen mens was.

Het is nog niet perfect, maar het is wel de moeite van het onderzoeken waard. Wat kan dat ding nog niet dat wij wel kunnen? Wat kan het wel dat bijvoorbeeld dieren niet kunnen? En wat kan het misschien zelfs beter dan wij? We kunnen vast van alles leren over menselijke taal door deze vergelijking te maken.

Maar hoe moeten we de taal van die chatbots bestuderen. Op internet staat sinds een paar dagen een artikel van een aantal onderzoekers van de Universiteit van Berkeley. Zij onderzochten of ChatGPT recursie kent, de eigenschap dat je in menselijke taal zinnen kunt inbedden in andere zinnen (ik wandel is een zin, die onderdeel is van jij denkt dat ik wandel en die laatste weer onderdeel van Marie zegt dat jij denkt dat ik wandel), enzovoort, zelfstandignaamwoordsgroepen in andere zelfstandignaamwoordsgroepen (mijn moeder in mijn moeders hoedje), enzovoort. Recursie wordt door veel onderzoekers gezien als dé definiërende eigenschap van menselijke taal.

Foto: The Dangers of AI, Stable Diffusion, via Marc van Oostendorp.

De gevaren van AI

Het is duidelijk dat de huidige periode de geschiedenis, behalve als het tijdperk van Vladimir Poetin, en de zoveelste stap in de opwarming van de aarde, de geschiedenis zal ingaan als de tijd van de kunstmatige intelligentie. Dat blijkt onder andere uit de waarschuwingen die ons om de oren vliegen over de gevaren van die kunstmatige intelligentie.

Het zijn niet de minsten die waarschuwen. Zo verliet onlangs een van de belangrijkste ingenieurs bij Google, Geoffrey Hinton – iemand die decennia heeft gewerkt aan de technologie die nu zo succesvol is – zijn baan, naar eigen zeggen om zo beter te kunnen waarschuwen voor wat er allemaal gebeurt. Eerder hadden al duizend vooraanstaande technologen in een open brief dringend gevraagd om een moratorium van zes maanden op de verdere ontwikkeling van Kunstmatige Intelligentie. (Dat is al meer dan een maand geleden: aan dat moratorium laat niemand zich iets gelegen liggen.)

De gebruikte taal is soms behoorlijk heftig. Ook Hinton suggereert, bijvoorbeeld in het onderstaande recente interview, dat als we niet uitkijken, deze kunstmatige intelligentie weleens het einde van de mensheid kan betekenen. Niet omdat die kunstmatige intelligentie energie slurpt in onvoorstelbare hoeveelheden of omdat het alle ongelijkheden van het kapitalisme nog eens vele malen versterkt – die argumenten hoor je deze technologen nooit gebruiken – maar omdat we met de huidige kunstmatige intelligentie een monster hebben gecreëerd.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Foto: AKZOphoto (cc)

Kunst op Zondag | AI voor de luie componist

Een roman schrijven met ChatGPT, een schilderij maken met Dall E-2, het kan allemaal. En nog op een tamelijk luie manier ook. Gewoon een opdrachtje intikken en de software doet de rest.

Kan dat ook met muziek? Nog niet. Er is nog geen AI programma dat een leuk moppie muziek levert, simpelweg met de opdracht ‘componeer mij een deuntje in de stijl van Bob Marley voor symfonieorkest in wandeltempo’.

OpenAI, het bedrijf achter ChatGPT en Dall E-2 is met de kunstmatige jukebox al een heel eind. De complexiteit van de data waarmee de software moet ‘leren’ een liedje te maken is enorm. Niet alleen wordt er voor de stijl uit talloze samples van bekende artiesten en hun songs geput, de software moet ook alle muzikale parameters (ritme, maat, klankleur, dynamiek, toonhoogte, etc.) kunnen hanteren.  En dan nog een tekstje er bij kunnen leveren.

Bob Marley beginnen ze een beetje onder de knie te krijgen.

OpenAI geeft hier een lijst samples die door hun AI jukebox zijn gemaakt.

Het zijn dan weer anderen die de videoclips maken bij een song uit de Open AI Jukebox. Dan krijg je bijvoorbeeld een virtuele Nirvana met een even virtuele ‘Rotting Away’.

Foto: people looking at Picasso Guernica, gemaakt met DALL·E 2.

Kunst op Zondag | Artificieel intelligent plagiaat

ChatGPT pleegt plagiaat. De artificieel intelligente tekstrobot is leuk in het nieuws geweest (ook bij Sargasso). Van complimenten over hoe vlot er een redelijk aardige tekst uit komt, tot waarschuwingen over misbruik (bijvoorbeeld studenten die hun proefwerk door ChatGPT laten maken).

Maar tot nu toe is niemand nog op het idee gekomen ChatGPT (of de ontwerpers en eigenaars daarvan) voor de rechter te slepen wegens plagiaat. Bij AI-tools voor beeldende kunst, waar je ook met een paar woorden je eigen meesterwerkje kan maken, is dat sinds kort wel aan de orde.

De Amerikaanse kunstenaars Sarah Andersen, Kelly McKernan en Karla Ortiz hebben een rechtszaak aangespannen tegen de makers van de kunstgeneratoren Stable Diffusion, de Discord-interface van Midjourney en het internetplatform DeviantArt, dat de AI-kunstgenerator DreamUp maakt.

De kwestie: de kunstgeneratoren schenden de auteursrechten van de kunstenaars.  De software maakt immers gebruik van  auteursrechtelijk beschermde werken van miljoenen kunstenaars.

Hoe een rechter volgens de Amerikaanse wetgeving daar over zal oordelen is gissen. Maar een voorzichtige proef op de som laat zien dat ze wel degelijk enige kans hebben. En dat kan de makers van de AI-kunstgeneratoren een flinke duit aan schadevergoeding gaan kosten.

Deze ‘Nighthawks’, gemaakt met Stable Diffusion…

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Foto: Gemaakt met DALL·E thinking fast and thinking slow

Chatbot kan niet langzaam denken

Het menselijk gedruis over tekst producerende kunstmatige intelligentie zal nog wel even voortduren. ChatGPT hielp me begin deze maand een artikel schrijven dat volgens sommigen behoorde tot het beste dat ik ooit schreef. Sindsdien ben ik ermee blijven experimenteren – vaak nog verbaasd over wat het systeem ineens bleek te kunnen bedenken, maar gaandeweg toch ook steeds meer vertrouwd met de beperkingen: de doodsheid van het geproduceerde proza (of van de geproduceerde plaatjes), de weigering om er ooit iets bij te leren.

Bijna 25 jaar geleden schreef ik een stuk, ‘grandeur en misère van de computertaalwetenschap‘. Ik weet niet of ik kan zeggen dat ik het toen goed zag; ik weet wel dat ik het nog op dezelfde manier zie. Aan het eind van het stuk wees ik er op dat dommekracht waarschijnlijk de toekomst was: computers die op basis van een enorme verzameling voorbeeldteksten aan de hand van statistiek steeds weer nieuwe teksten kunnen maken die op de oude lijken. Na “op een mooie” volgt meestal pinksterdag en dus schrijf je ‘op een mooie pinksterdag’.

Ratio

Dat is precies het principe waarop de systemen die nu furore maken gebouwd zijn. Ik voorzag dit indertijd niet omdat ik nu zo’n visionair was, maar omdat iedereen die zich er 25 jaar geleden een beetje in verdiepte het kon zien.

Foto: Illustratie gemaakt door DALL-E, een product van OpenAI copyright ok. Gecheckt 06-12-2022

Een reis naar de eenhoorns met ChatGPT

Vrijdag 2 december verscheen er een spectaculair nieuwe chatbot online: ChatGPT van het software-bedrijf OpenAI. Het is een systeem waarmee je gesprekken kunt voeren in ieder geval alle talen die ik enigszins beheers. Het is een systeem dat getraind is door honderden miljarden woorden – vermoedelijk vooral van het internet geschraapt – te lezen en zo te leren welke woorden vaak in de omgeving van welke andere woorden staan, en wat voor andere patronen de taal die ze lezen kenmerken.

Zo’n ’taalmodel’ kun je vervolgens op allerlei manieren gebruiken. Als je weet wat er vaak voorkomt, kun je dat inzetten om zelf taal voort te brengen die sterk lijkt op al die bestaande taal die je tot je hebt genomen. Automatische vertalers werken er bijvoorbeeld mee, en instrumenten die schrijvers kunnen bijstaan, maar OpenAI heeft het nu dus gebruikt om een chatbot te maken. Ik heb de indruk dat ChatGTP vooral geschikt is om zakelijke vragen te beantwoorden. Het kan putten uit allerlei encyclopedische kennis, maar kan bijvoorbeeld ook opdrachten uitvoeren zoals redactiesommen (‘Een boer heeft vijf kippen en iedere kip legt vijf eieren…’) of programmeertaken (‘Schrijf een Pythonscript dat telt hoe vaak de letter m voorkomt in een tekst”).

Dat werkt allemaal verbluffend goed. Nadat ik een en ander had geprobeerd, besloot ik ChatGTP tot enige fictie te verleiden. Mijn eerste vraag (mijn vragen staan steeds in vet) was geïnspireerd door een vraag die een paar jaar geleden aan een eerdere versie van ChatGTP was gesteld. Ik geef het hier weer als een soort documentatie van waar we met dit soort systemen nu staan. Je moet je voorstellen dat de antwoorden van ChatGTP er over het algemeen binnen een paar seconden waren.

Lezen: De wereld vóór God, door Kees Alders

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.

Foto: Honden volgens Google Images copyright ok. Gecheckt 23-11-2022

Een plaatje zegt de computer meer dan duizend woorden

Kunnen computers taal leren? Het is een van de grote vragen van deze tijd en 7 november jl. legde Danny Merkx in Nijmegen een nieuw stukje van de puzzel. Hij promoveerde er op een proefschrift waarin hij onderzocht of het hielp als je computers plaatjes laat zien.

Merkx bood de computer daarvoor een verzameling plaatjes aan – bijvoorbeeld gehaald van de website Flickr – die beschreven waren door vrijwilligers: ‘een hond rent door het gras’, ‘een wit hondje in de sneeuw’, ’twee vrouwen op een tractor’. Als de computer hierdoor getraind was, bleek het in staat om ook op een nieuwe foto te zien of er een hond op voorkwam. En dat was niet alleen het geval als de beschrijving was uitgeschreven, maar ook als hij was ingesproken – terwijl gesproken taal veel moeilijker te analyseren is, bijvoorbeeld doordat er allerlei uitspraakvariatie is, of doordat we in gesproken taal geen pauzes leggen tussen woorden maar alles aan elkaar plakken. Bovendien wist de computer voor de training begon niets van taal: hij kende geen woorden, hij wist zelfs niet wat woorden waren.

Dat toevoegen van plaatjes om taal te leren is nieuw. De bestaande ’taalmodellen’ – ook die verantwoordelijk zijn voor de successen van chatbots of Google Translate – worden alleen maar getraind op tekst. Zij leren taal door heel veel heel grote verzamelingen teksten met elkaar te vergelijken. Dat is waarschijnlijk geen heel reële weerspiegeling van hoe kinderen woorden leren, zei Merkx tijdens zijn promotie. Zij hebben ook ouders die bijvoorbeeld op een hond wijzen en dan zeggen ‘hond’. Vandaar dat Merkx ook voor computers geïnteresseerd is in multimodaal leren. Nu zijn er ook andere ‘modaliteiten’ dan het zicht (het gehoor, de reuk, enzovoort), maar het visuele is voor de computer nu eenmaal het makkelijkst te analyseren. Er zijn wel databases van plaatjes, maar niet van geuren.

Foto: © Evelina Leivada et al Figure 5 from article DALL-E 2 fails to reliably capture common syntactic processes copyright ok. Gecheckt 15-11-2022

Computer begrijpt niet wat een vrouw zonder handtas is

COLUMN - Hoe goed kunnen computers menselijke taal begrijpen? Niet heel goed, laat de Catalaanse onderzoeker Evelina Leivada samen met Amerikaanse collega’s Elliot Murphy en Gary Marcus zien in een nieuw artikel.

Je hoort wel beweren dat het moment bijna daar is: computers kunnen denken en voelen en alles begrijpen wat we zeggen. Een paar jaar geleden sloot Elon Musk nog een project voor schrijvende computers omdat ze zo goed zouden zijn dat het eng werd. Eerder dit jaar werd een ingenieur bij Google ontslagen nadat hij een rapport had geschreven waarin hij beweerde dat een nieuwe chatbot van het bedrijf bewustzijn had, en mogelijk zelfs een ziel.

Van zielen hebben taalkundigen geen verstand, maar in ieder geval met het taalgevoel valt het voorlopig wel mee, zo laten Leivada en haar collega’s zien aan de hand van een aardig experimentje. Ze legden DALL-e, een van de bekendste AI-systemen van dit moment een aantal constructies voor waarvan bekend is dat ze kenmerkend zijn voor menselijke taal: mensen hebben er geen problemen mee en dieren (of computers) wel. Zou DALL-e dit wel begrijpen?

DALL-e is een van de voorbeelden van systemen die in het afgelopen jaar ineens in de belangstelling kwamen te staan: je kunt er een zinnetje intikken en de computer genereert een plaatje dat met het zinnetje correspondeert. Alleen blijken die plaatjes dus soms wel eigenaardig te zijn.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Volgende