Stop de taalmodellen

OpenAI is een bedrijf dat de kracht kent van de angst. Het bedrijf kwam vorig jaar met een taalcomputer, GPT-3, een computer die kan schrijven, en het bedrijf heeft de angst voor die ontwikkeling op subtiele manieren weten te voeden. Worden computers nu echt zo slim dat ze artikelen en verhalen kunnen schrijven die ons meer weten te boeien dan wat er uit mensenbolletjes komt? Bij de vorige versie, GPT-2, weigerde het bedrijf een tijdlang de algoritmes vrij te geven omdat dit “te gevaarlijk” zou zijn. Als dit in de verkeerde handen viel, dan ging de doos van Pandora van het geloofwaardige fake news en allerlei andere ellende pas echt open. Een effect daarvan was dat deze modellen pas echt serieus werden genomen. Ik kan me maar niet onttrekken aan de gedachte dat dit precies de bedoeling was van die o zo ethisch lijkende stap. Voor GPT-3 werden de algoritmes sowieso niet meer vrijgegeven, nu niet vanwege de veiligheid maar omdat het bedrijf inmiddels commercieel was geworden. Racisme Of al die angst gerechtvaardigd is, weten we niet. Er zijn wel her en der voorbeelden opgedoken van teksten die GPT-3 geschreven zou hebben, en als je betaalt, kun je er ook zelf mee aan de slag, maar dat op een heel beperkte manier: het programma blijft op de servers van OpenAI draaien, je kunt alleen eigen programma’s schrijven die vragen stellen aan dat programma. Niemand weet dus hoe het werkt. Wat we wel weten: de teksten die OpenAI lijkt te genereren zijn uiteindelijk nogal zielloos. In een interessant artikel in het elektronisch tijdschrift n+1 vergelijkt Meghan O’Gieblyn het met onder hypnose geschreven teksten, of het soort teksten dat de surrealisten wel produceerden, waarbij ze alle gedachten probeerden uit te schakelen. O’Gieblyn noemt daarbij niet de term écriture automatique, maar dat is wat het is: het onderbewuste lijkt aan het woord, zonder bedoeling, zonder overtuiging, zonder een sturende hand van het bewuste. Gedachteloze gedachten. Er is weinig om bang voor te zijn, misschien met uitzondering van de najagers van zulke fantasieën. Vorig jaar werd de onderzoeker Timnit Gebru ontslagen bij Google vanwege haar kritiek op Google’s eigen ‘taalmodellen’. Het ontslag zorgde vooral voor een schandaal omdat Gebru ervoor waarschuwde dat die taalmodellen racisme, seksisme en andere nare vooroordelen zou reproduceren; er hoeft maar iets te gebeuren of zo’n model, gevoed met de teksten van het internet, begint te brallen. Mij lijkt precies dat verhaal deel van de angst: het is alleen erg als die racistische teksten ook bijvoorbeeld overtuigend werken en dat doen ze nog lang niet. Energieverspilling Enigszins onder de radar bleef dat Gebru op basis van onderzoek ook kritiek had op een heel ander aspect: die modellen vreten energie. Om Google’s taalmodel op een redelijke hoeveelheid data te trainen, dus om het een bepaald type tekst te laten schrijven of te laten schrijven als één bepaalde schrijver, is er meer energie nodig dan om van New York naar Chicago te vliegen. (Ook wat dat betreft kun je beter een menselijk hoofd hebben.) Er is nu sprake van dat OpenAI volgend jaar met een nieuw taalmodel komt (vol fantasie GPT-4 genoemd), dat 500 keer groter is dan GPT-3. In de zoektocht naar een computer die een onderzoeksverslag kan schrijven in het Engels is dat allemaal geoorloofd. (En let wel: dit gebeurt dus, zolang de algoritmes geheim zijn, niet met een beroep op de vermeerdering van kennis en de wetenschap, maar alleen voor commercieel gewin.) Op zijn minst sinds de tijden van Lernout en Hauspie of die van Bob Mercer kleeft de taaltechnologische industrie een wat bedenkelijk imago aan – een imago waar de beoefenaren van het vak wat mij betreft zich veel te weinig over hebben drukgemaakt. Zolang ik het vak volg, en dat doe ik al 35 jaar, is er de belofte dat de grote doorbraak nu toch echt om de hoek ligt, omdat de computers nu nog sneller zijn geworden, niet omdat de ideeën beter zijn geworden. Voortdurend worden er daardoor angstverhalen aangewakkerd van computers die binnenkort onze intellectuele taken gaan overnemen. De feitelijke resultaten vallen altijd tegen, maar dat valt nooit op, omdat op het moment dat de evaluatie zou kunnen komen van al die grandioze claims er gewoon weer nieuwe angstverhalen komen over wat de computers over 10 jaar dan wél allemaal zouden kunnen. Ik zou zeggen is dat het tijd is dat de samenleving zich uitspreekt over de vraag of het zulke schadelijke, energieverspillende industrieën wel wil verdragen.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.