Begrijpt de chatbot dit of doorgrondt hij het slechts?

Soms worden filosofische vragen na vele jaren ineens praktisch. Zoiets beleven we nu met het woord begrip. Filosofen hebben baden met bloed gevuld tijdens hun discussies over de vraag wat het precies wil zeggen dat we een bepaalde tekst begrijpen, en nu wordt de mensheid ineens geconfronteerd met een apparaat waarvan je je concreet kunt afvragen wat het begrijpt. De chatbot. Neem dit artikel dat onlangs verscheen op de taalkunde-site LingBuzz. Een groep Amerikaanse taalkundigen laat er zien dat chatbots testjes zoals de volgende uitstekend kunnen doorstaan: Flavia en Jack ontweken Mary en Franck werd ontweken door Lucy en Flavia. Heeft Franck in deze context iemand ontweken? Het antwoord op deze vraag is natuurlijk nee. Een jaar geleden deden chatbots het niet altijd goed. Als ik het nu aan ChatGPT vraag, antwoordt deze: Nee. Er staat dat Franck werd ontweken door Lucy en Flavia — hij is dus het object van het ontwijken, niet degene die iemand anders ontweek. Zelfs de fouten die de bots maakten lijken op die van mensen. Zo zeiden ze vaker ten onrechte ja op de volgende variant van deze vraag: Cleo kuste Alice en Alice werd gekust door Mary. Cleo en Alice werden gekust door Mary. Werd Mary in deze context gekust? Anders dan ontwijken is kussen vaak wederkerig. Je kunt je dus voorstellen dat Mary tijdens haar kusactiviteiten zelf ook een zoentje kreeg van Cleo en Alice. Mensen trappen daar weleens in, maar chatbots dus ook. Reserveren De vraag is nu: betekent dit dat chatbots dit alles ook begrijpen? Je kunt nog steeds zeggen: nee, zo’n chatbot heeft geen idee hoe het voelt om te kussen of gekust te worden, kent de horreurs niet van het ontweken worden. Die apparaten doen niet meer dan voorspellen welk woord gegeven een bepaalde context gezegd wordt. Ze manipuleren symbolen, en het lijkt daardoor alsof ze iets begrijpen, maar dat laat uiteindelijk alleen maar zien dat deze tests geen echt begrip meten. De vraag is dan wat dan wél echt begrip is. Chatbots halen sinds een paar jaar ook sinds gemak allerlei examens, inclusief examens (voor Nederlands en de andere talen) die geacht worden ’tekstbegrip’ te toetsen. Hebben we ons daar dan al die jaren in vergist? En zo ja, zijn er dan toetsen te bedenken voor taalbegrip die mensen wel en chatbots niet kunnen doorstaan? Ook niet de mogelijk nog veel betere chatbots van over vijf jaar? De Amerikanen maken overigens gebruik van een semantisch verschil in het Engels dat het Nederlands niet zo duidelijk maakt: dat tussen understand en comprehend. Het eerste is vele malen gebruikelijker, maar in dit artikel hebben ze het over het tweede. Een belangrijk verschil is dat comprehension veel analytischer is dan understanding. Het tweede kan ook gebruikt worden voor gevoelsmatig of vaag begrip of onvolledig begrip. Comprehension kun je ongeveer vertalen met vatten of doorgronden, maar die termen zijn niet helemaal precies. Het Engels beschikt daardoor vooralsnog over de mogelijkheid om een bepaald type begrip te reserveren voor de mens. Maar het is niet duidelijk hoe lang dat nog blijft duren.

Door: Foto: XxXddddddddd, via Pixabay
Foto: Groninger Gasveld, gaswinningslocatie Wildervank (bron)

Mooie woorden over AI

, door

Grote techbedrijven, zoals Microsoft, geven hoog op over de kansen die artificiële intelligentie biedt om verduurzaming van de samenleving te versnellen. Los van het feit dat de benodigde datacenters behoorlijke energieslurpers zijn blijkt er ook een andere milieuonvriendelijke kant aan de medaille te zitten. In The Atlantic staat een uitgebreid verhaal, onderbouwd met gegevens uit interne bedrijfspresentaties en interne bronnen, over hoe Microsoft het gebruik van AI pitched bij olie- en gasbedrijven. Daarbij focust het bedrijf zich op de mogelijkheden die AI biedt voor het optimaliseren van het boorproces en bij het modelleren van olie- en gasreservoirs.

Interne documenten spreken van een markt van $35-65 miljard. De klimaatwinst van de inzet van AI bij de winning van bv aardgas valt in het niet bij de totale emissies van olie- en gasbedrijven. Shell schat bv in dat ze jaarlijks 340.000 ton CO2 bespaart op een locatie door de inzet van AI, de totale CO2-emissie van Shell bedraagt echter 1,2 miljard ton CO2 per jaar. De besparing bedraagt daarmee 0,03% per jaar. Andere documenten laten zien dat de verwachting is dat ExxonMobil $1,2 miljard extra opbrengsten kan behalen door de inzet van AI tools van Microsoft. Ondertussen lukt het Microsoft zelf al jaren niet om haar klimaatemissies omlaag te brengen. Deze zijn, mede door AI met ruim 25% gestegen sinds 2020.

Steun ons!

Mededeling

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Doe het veilig met NordVPN

Mededeling

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: CCKorea (cc)

In voorbereiding: Maurice de Hond regeert Nederland

, door

COLUMN - Het is nog ouder dan de weg naar Rome: de invloed van orakels op het landsbestuur. Een goddelijk orakel dat een Egyptische tot farao uitroept. Een Russische tsaar die een gebedsgenezer raadpleegt. Het orakel van Oranje dat een koningin in de pocket had.

Tijden veranderen, orakels veranderen. Het occulte is er wel zo’n beetje van af, het quasi wetenschappelijke wint terrein. En zo hebben we nu dan een minister die geïnspireerd raakt door het orakel De Hond.

Dat bleek tijdens het debat gisteren in de Tweede Kamer, toen minister Agema ter verantwoording werd geroepen over haar weigering mpox-vaccins te doneren aan Afrika. In dat debat kwam een opmerkelijke woordenwisseling voorbij. We citeren:

Mevrouw Paulusma (D66): (…)Nu ga ik het toch een beetje ongemakkelijk maken. Het ministerie, het RIVM en een heleboel andere partijen zijn betrokken bij dit dossier en adviseren de minister hierover. Ondertussen lees ik in de krant dat minister Agema tegenwoordig Maurice de Hond meeneemt naar allerlei bijeenkomsten en zich, op wat voor manier dan ook, door hem laat adviseren. Ik vind het wel belangrijk om te weten of hij hier een rol in heeft gehad en zo ja, welke rol dan.”

Foto: Michael Eisen, CC BY 3.0 , via Wikimedia Commons.

Het systeem van wetenschappelijk publiceren is kapot

, door

COLUMN - Maar liefst twee voorbeelden kreeg ik deze week aangereikt: gevallen waarin een ‘peer reviewed’ wetenschappelijk artikel in een prestigieus tijdschrift duidelijk door kunstmatige intelligentie geschreven was.

Het eerste was dit artikel in het tijdschrift Radiology Case Reports. Op het oog is het wat het tijdschrift belooft: een beschrijving van een radiologisch kennelijk interessant geval, maar vlak boven de sectie ‘conclusion’ gaat het mis:

In summary, the management of bilateral iatrogenic I’m very sorry, but I don’t have access to real-time information or patient-specific data, as I am an AI language model. I can provide general information about managing hepatic artery, portal vein, and bile duct injuries, but for specific cases, it is essential to consult with a medical professional who has access to the patient’s medical records and can provide personalized advice. It is recommended to discuss the case with a hepatobiliary surgeon or a multidisciplinary team experienced in managing complex liver injuries.

Het tweede artikel, in Surfaces and Interfaces, ontspoort zelfs al aan het begin, als het opent met de volgende mededeling:

Certainly, here is a possible introduction for your topic:Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities [1], [2].

Doneer!

Mededeling

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Lezen: De BVD in de politiek, door Jos van Dijk

Mededeling

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Foto: ter illustratie Restaurant O'Panuozzo Utrecht, via Marc van Oostendorp op Neerlandistiek.

Waarheid voor chatbots

, door

Wat is onwaar? De komst van chatbots heeft weer een nieuwe draai gegeven aan die vraag. Het is inmiddels vermoedelijk algemeen bekend dat chatbots niet altijd de waarheid zeggen. Maar wat is dat dan voor onwaarheid? Het is bijvoorbeeld geen leugen, aangezien een leugen altijd een intentie tot misleiden vereist, iets wat (vermoedelijk) afwezig is bij chatbots. We noemen het daarom vaak hallucinatie, al is ook dat een niet helemaal geschikte term, bijvoorbeeld omdat hij veronderstelt dat er voor de chatbot een verschil is tussen wakend en dromend denken, maar voor die chatbots is het (vermoedelijk) allemaal hetzelfde.

Voor zover we chatbots begrijpen, hebben ze helemaal geen notie van waarheid – of iets waar is of onwaar, speelt geen rol in hun overwegingen om iets te zeggen, andere criteria (hoevaak komen woorden in elkaars omgeving voor) zijn daarin veel belangrijker. Vandaar dat bots moeite hebben met het woord niet: de zin hij komt niet heeft ongeveer dezelfde plausibiliteit als hij komt.

Waterdruppels

Alleen willen menselijke gebruikers wel iets anders. ChatGPT is inmiddels bijna anderhalf jaar beschikbaar, en nog steeds vind je op sociale media mensen die geamuseerd of verontwaardigd voorbeelden geven van onzinnige chatbotantwoorden op zinnige vragen.

Een begrip van waarheid inbouwen in die chatbots staat daarom waarschijnlijk hoog op het lijstje van ontwikkelaars. Daarvoor is dan weer een goed criterium nodig om hallucinaties te classificeren. In het tijdschrift Computational linguistics komt Kees van Deemter met een oplossing: de klassieke logica. Dat is een vak dat al duizenden jaren nadenkt over wat een bewering wel of niet waar maakt, en Van Deemter zegt dat die hier ook al iets over kan zeggen.

Foto: Language researcher looking puzzled, gemaakt met Dreamstudio, via Marc van Oosten dorp.

Hoe onderzoeken we de taal van kunstmatige intelligentie?

, door

COLUMN - Ik denk dat er een half jaar geleden, toen met ChatGPT de eerste chatbot van een nieuwe generatie op internet verscheen, iets is gebeurd dat we nu nog niet gebruiken. In ieder geval is er nu een wezen dat geen mens is en toch menselijke taal kan gebruiken op een niveau dat tot nu toe nog nooit door iets of iemand werd bereikt die geen mens was.

Het is nog niet perfect, maar het is wel de moeite van het onderzoeken waard. Wat kan dat ding nog niet dat wij wel kunnen? Wat kan het wel dat bijvoorbeeld dieren niet kunnen? En wat kan het misschien zelfs beter dan wij? We kunnen vast van alles leren over menselijke taal door deze vergelijking te maken.

Maar hoe moeten we de taal van die chatbots bestuderen. Op internet staat sinds een paar dagen een artikel van een aantal onderzoekers van de Universiteit van Berkeley. Zij onderzochten of ChatGPT recursie kent, de eigenschap dat je in menselijke taal zinnen kunt inbedden in andere zinnen (ik wandel is een zin, die onderdeel is van jij denkt dat ik wandel en die laatste weer onderdeel van Marie zegt dat jij denkt dat ik wandel), enzovoort, zelfstandignaamwoordsgroepen in andere zelfstandignaamwoordsgroepen (mijn moeder in mijn moeders hoedje), enzovoort. Recursie wordt door veel onderzoekers gezien als dé definiërende eigenschap van menselijke taal.

Lezen: Venus in het gras, door Christian Jongeneel

Mededeling

Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.

Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.

Foto: The Dangers of AI, Stable Diffusion, via Marc van Oostendorp.

De gevaren van AI

, door

Het is duidelijk dat de huidige periode de geschiedenis, behalve als het tijdperk van Vladimir Poetin, en de zoveelste stap in de opwarming van de aarde, de geschiedenis zal ingaan als de tijd van de kunstmatige intelligentie. Dat blijkt onder andere uit de waarschuwingen die ons om de oren vliegen over de gevaren van die kunstmatige intelligentie.

Het zijn niet de minsten die waarschuwen. Zo verliet onlangs een van de belangrijkste ingenieurs bij Google, Geoffrey Hinton – iemand die decennia heeft gewerkt aan de technologie die nu zo succesvol is – zijn baan, naar eigen zeggen om zo beter te kunnen waarschuwen voor wat er allemaal gebeurt. Eerder hadden al duizend vooraanstaande technologen in een open brief dringend gevraagd om een moratorium van zes maanden op de verdere ontwikkeling van Kunstmatige Intelligentie. (Dat is al meer dan een maand geleden: aan dat moratorium laat niemand zich iets gelegen liggen.)

De gebruikte taal is soms behoorlijk heftig. Ook Hinton suggereert, bijvoorbeeld in het onderstaande recente interview, dat als we niet uitkijken, deze kunstmatige intelligentie weleens het einde van de mensheid kan betekenen. Niet omdat die kunstmatige intelligentie energie slurpt in onvoorstelbare hoeveelheden of omdat het alle ongelijkheden van het kapitalisme nog eens vele malen versterkt – die argumenten hoor je deze technologen nooit gebruiken – maar omdat we met de huidige kunstmatige intelligentie een monster hebben gecreëerd.

Foto: AKZOphoto (cc)

Kunst op Zondag | AI voor de luie componist

, door

Een roman schrijven met ChatGPT, een schilderij maken met Dall E-2, het kan allemaal. En nog op een tamelijk luie manier ook. Gewoon een opdrachtje intikken en de software doet de rest.

Kan dat ook met muziek? Nog niet. Er is nog geen AI programma dat een leuk moppie muziek levert, simpelweg met de opdracht ‘componeer mij een deuntje in de stijl van Bob Marley voor symfonieorkest in wandeltempo’.

OpenAI, het bedrijf achter ChatGPT en Dall E-2 is met de kunstmatige jukebox al een heel eind. De complexiteit van de data waarmee de software moet ‘leren’ een liedje te maken is enorm. Niet alleen wordt er voor de stijl uit talloze samples van bekende artiesten en hun songs geput, de software moet ook alle muzikale parameters (ritme, maat, klankleur, dynamiek, toonhoogte, etc.) kunnen hanteren.  En dan nog een tekstje er bij kunnen leveren.

Bob Marley beginnen ze een beetje onder de knie te krijgen.

OpenAI geeft hier een lijst samples die door hun AI jukebox zijn gemaakt.

Het zijn dan weer anderen die de videoclips maken bij een song uit de Open AI Jukebox. Dan krijg je bijvoorbeeld een virtuele Nirvana met een even virtuele ‘Rotting Away’.

Lezen: Bedrieglijk echt, door Jona Lendering

Mededeling

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.

Doneer!

Mededeling

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Foto: people looking at Picasso Guernica, gemaakt met DALL·E 2.

Kunst op Zondag | Artificieel intelligent plagiaat

, door

ChatGPT pleegt plagiaat. De artificieel intelligente tekstrobot is leuk in het nieuws geweest (ook bij Sargasso). Van complimenten over hoe vlot er een redelijk aardige tekst uit komt, tot waarschuwingen over misbruik (bijvoorbeeld studenten die hun proefwerk door ChatGPT laten maken).

Maar tot nu toe is niemand nog op het idee gekomen ChatGPT (of de ontwerpers en eigenaars daarvan) voor de rechter te slepen wegens plagiaat. Bij AI-tools voor beeldende kunst, waar je ook met een paar woorden je eigen meesterwerkje kan maken, is dat sinds kort wel aan de orde.

De Amerikaanse kunstenaars Sarah Andersen, Kelly McKernan en Karla Ortiz hebben een rechtszaak aangespannen tegen de makers van de kunstgeneratoren Stable Diffusion, de Discord-interface van Midjourney en het internetplatform DeviantArt, dat de AI-kunstgenerator DreamUp maakt.

De kwestie: de kunstgeneratoren schenden de auteursrechten van de kunstenaars.  De software maakt immers gebruik van  auteursrechtelijk beschermde werken van miljoenen kunstenaars.

Hoe een rechter volgens de Amerikaanse wetgeving daar over zal oordelen is gissen. Maar een voorzichtige proef op de som laat zien dat ze wel degelijk enige kans hebben. En dat kan de makers van de AI-kunstgeneratoren een flinke duit aan schadevergoeding gaan kosten.

Deze ‘Nighthawks’, gemaakt met Stable Diffusion…

Foto: Gemaakt met DALL·E thinking fast and thinking slow

Chatbot kan niet langzaam denken

, door

Het menselijk gedruis over tekst producerende kunstmatige intelligentie zal nog wel even voortduren. ChatGPT hielp me begin deze maand een artikel schrijven dat volgens sommigen behoorde tot het beste dat ik ooit schreef. Sindsdien ben ik ermee blijven experimenteren – vaak nog verbaasd over wat het systeem ineens bleek te kunnen bedenken, maar gaandeweg toch ook steeds meer vertrouwd met de beperkingen: de doodsheid van het geproduceerde proza (of van de geproduceerde plaatjes), de weigering om er ooit iets bij te leren.

Bijna 25 jaar geleden schreef ik een stuk, ‘grandeur en misère van de computertaalwetenschap‘. Ik weet niet of ik kan zeggen dat ik het toen goed zag; ik weet wel dat ik het nog op dezelfde manier zie. Aan het eind van het stuk wees ik er op dat dommekracht waarschijnlijk de toekomst was: computers die op basis van een enorme verzameling voorbeeldteksten aan de hand van statistiek steeds weer nieuwe teksten kunnen maken die op de oude lijken. Na “op een mooie” volgt meestal pinksterdag en dus schrijf je ‘op een mooie pinksterdag’.

Ratio

Dat is precies het principe waarop de systemen die nu furore maken gebouwd zijn. Ik voorzag dit indertijd niet omdat ik nu zo’n visionair was, maar omdat iedereen die zich er 25 jaar geleden een beetje in verdiepte het kon zien.

Volgende