Stop de taalmodellen

OpenAI is een bedrijf dat de kracht kent van de angst. Het bedrijf kwam vorig jaar met een taalcomputer, GPT-3, een computer die kan schrijven, en het bedrijf heeft de angst voor die ontwikkeling op subtiele manieren weten te voeden. Worden computers nu echt zo slim dat ze artikelen en verhalen kunnen schrijven die ons meer weten te boeien dan wat er uit mensenbolletjes komt? Bij de vorige versie, GPT-2, weigerde het bedrijf een tijdlang de algoritmes vrij te geven omdat dit “te gevaarlijk” zou zijn. Als dit in de verkeerde handen viel, dan ging de doos van Pandora van het geloofwaardige fake news en allerlei andere ellende pas echt open. Een effect daarvan was dat deze modellen pas echt serieus werden genomen. Ik kan me maar niet onttrekken aan de gedachte dat dit precies de bedoeling was van die o zo ethisch lijkende stap. Voor GPT-3 werden de algoritmes sowieso niet meer vrijgegeven, nu niet vanwege de veiligheid maar omdat het bedrijf inmiddels commercieel was geworden. Racisme Of al die angst gerechtvaardigd is, weten we niet. Er zijn wel her en der voorbeelden opgedoken van teksten die GPT-3 geschreven zou hebben, en als je betaalt, kun je er ook zelf mee aan de slag, maar dat op een heel beperkte manier: het programma blijft op de servers van OpenAI draaien, je kunt alleen eigen programma’s schrijven die vragen stellen aan dat programma. Niemand weet dus hoe het werkt. Wat we wel weten: de teksten die OpenAI lijkt te genereren zijn uiteindelijk nogal zielloos. In een interessant artikel in het elektronisch tijdschrift n+1 vergelijkt Meghan O’Gieblyn het met onder hypnose geschreven teksten, of het soort teksten dat de surrealisten wel produceerden, waarbij ze alle gedachten probeerden uit te schakelen. O’Gieblyn noemt daarbij niet de term écriture automatique, maar dat is wat het is: het onderbewuste lijkt aan het woord, zonder bedoeling, zonder overtuiging, zonder een sturende hand van het bewuste. Gedachteloze gedachten. Er is weinig om bang voor te zijn, misschien met uitzondering van de najagers van zulke fantasieën. Vorig jaar werd de onderzoeker Timnit Gebru ontslagen bij Google vanwege haar kritiek op Google’s eigen ‘taalmodellen’. Het ontslag zorgde vooral voor een schandaal omdat Gebru ervoor waarschuwde dat die taalmodellen racisme, seksisme en andere nare vooroordelen zou reproduceren; er hoeft maar iets te gebeuren of zo’n model, gevoed met de teksten van het internet, begint te brallen. Mij lijkt precies dat verhaal deel van de angst: het is alleen erg als die racistische teksten ook bijvoorbeeld overtuigend werken en dat doen ze nog lang niet. Energieverspilling Enigszins onder de radar bleef dat Gebru op basis van onderzoek ook kritiek had op een heel ander aspect: die modellen vreten energie. Om Google’s taalmodel op een redelijke hoeveelheid data te trainen, dus om het een bepaald type tekst te laten schrijven of te laten schrijven als één bepaalde schrijver, is er meer energie nodig dan om van New York naar Chicago te vliegen. (Ook wat dat betreft kun je beter een menselijk hoofd hebben.) Er is nu sprake van dat OpenAI volgend jaar met een nieuw taalmodel komt (vol fantasie GPT-4 genoemd), dat 500 keer groter is dan GPT-3. In de zoektocht naar een computer die een onderzoeksverslag kan schrijven in het Engels is dat allemaal geoorloofd. (En let wel: dit gebeurt dus, zolang de algoritmes geheim zijn, niet met een beroep op de vermeerdering van kennis en de wetenschap, maar alleen voor commercieel gewin.) Op zijn minst sinds de tijden van Lernout en Hauspie of die van Bob Mercer kleeft de taaltechnologische industrie een wat bedenkelijk imago aan – een imago waar de beoefenaren van het vak wat mij betreft zich veel te weinig over hebben drukgemaakt. Zolang ik het vak volg, en dat doe ik al 35 jaar, is er de belofte dat de grote doorbraak nu toch echt om de hoek ligt, omdat de computers nu nog sneller zijn geworden, niet omdat de ideeën beter zijn geworden. Voortdurend worden er daardoor angstverhalen aangewakkerd van computers die binnenkort onze intellectuele taken gaan overnemen. De feitelijke resultaten vallen altijd tegen, maar dat valt nooit op, omdat op het moment dat de evaluatie zou kunnen komen van al die grandioze claims er gewoon weer nieuwe angstverhalen komen over wat de computers over 10 jaar dan wél allemaal zouden kunnen. Ik zou zeggen is dat het tijd is dat de samenleving zich uitspreekt over de vraag of het zulke schadelijke, energieverspillende industrieën wel wil verdragen.

Lezen: De wereld vóór God, door Kees Alders

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Lezen: Bedrieglijk echt, door Jona Lendering

Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.