COLUMN - Ik denk dat er een half jaar geleden, toen met ChatGPT de eerste chatbot van een nieuwe generatie op internet verscheen, iets is gebeurd dat we nu nog niet gebruiken. In ieder geval is er nu een wezen dat geen mens is en toch menselijke taal kan gebruiken op een niveau dat tot nu toe nog nooit door iets of iemand werd bereikt die geen mens was.
Het is nog niet perfect, maar het is wel de moeite van het onderzoeken waard. Wat kan dat ding nog niet dat wij wel kunnen? Wat kan het wel dat bijvoorbeeld dieren niet kunnen? En wat kan het misschien zelfs beter dan wij? We kunnen vast van alles leren over menselijke taal door deze vergelijking te maken.
Maar hoe moeten we de taal van die chatbots bestuderen. Op internet staat sinds een paar dagen een artikel van een aantal onderzoekers van de Universiteit van Berkeley. Zij onderzochten of ChatGPT recursie kent, de eigenschap dat je in menselijke taal zinnen kunt inbedden in andere zinnen (ik wandel is een zin, die onderdeel is van jij denkt dat ik wandel en die laatste weer onderdeel van Marie zegt dat jij denkt dat ik wandel), enzovoort, zelfstandignaamwoordsgroepen in andere zelfstandignaamwoordsgroepen (mijn moeder in mijn moeders hoedje), enzovoort. Recursie wordt door veel onderzoekers gezien als dé definiërende eigenschap van menselijke taal.
Vermogen
Maar de onderzoekers laten zien dat ChatGPT het ook kan: het kan uitleggen waarom een zin recursief is, het kan extra recursieve stappen toevoegen aan een zin, enzovoort. Ze onderzochten dat door ChatGPT allerlei taalkundige vragen te stellen, en het systeem antwoordde daar vrij goed op. En als het dat niet deed, vroegen ze ‘klopt dat wel?’ en gaf het vaak alsnog het goede antwoord.
Ik weet eigenlijk niet hoe indrukwekkend dat resultaat is. Het is waar dat dieren, zelfs heel intelligente dieren met uitgebreide communicatiesystemen, dit allemaal niet kunnen. Maar we weten tegelijk ook al vele decennia dat computers in ieder geval in theorie wel degelijk met recursie om kunnen gaan, en ook nog wel met structuren die de mens juist helemaal niet aankan. In dat opzicht laat dit dus alleen maar zien dat computers goed kunnen omgaan met abstracte structuren. Veel intrigerender is sinds de komst van de chatbots echter de vraag wat zij allemaal wel kunnen dat niet in ons vermogen ligt. En waarom.
Ingewikkeld
Maar interessanter dan dit – in mijn ogen dus vrij magere – resultaat is de gebruikte methode. Het artikel documenteert volgens mij goed dat we anno 2023 nog niet weten hoe we die kunstmatige intelligentie moeten onderzoeken. In ieder geval op de academie.
Een van de grote heel nare kanten van de huidige ontwikkeling is dat alléén heel grote bedrijven genoeg geld hebben om deze technologie te maken. Zelfs van het geld bulkende Amerikaanse universiteiten kunnen dat niet. We hebben hier dus te maken met een uitvinding waar de academische wereld geen rechtstreekse toegang toe heeft. We kunnen er alleen vanaf de buitenkant naar kijken.
Het is alsof CocaCola ineens geneeskrachtige potentie bleek te hebben, terwijl niemand wist wat het recept precies was. Met in dit geval ook nog de extra complicatie dat het recept zo ingewikkeld was dat bij CocaCola zelf ook niemand het precies begreep.
Naar binnen kijken
De auteurs van het nieuwe artikel doen dan ook niet veel meer dan wat iedereen doet: vragen stellen aan ChatGPT. Maar zelfs daarvan weet ik niet zeker of het niet beter kan. Als het systeem een verkeerd antwoord geeft, vragen ze het dus opnieuw, en soms zelfs een paar keer, tot uiteindelijk het ‘juiste’ antwoord komt. Maar wat zegt dat dan?
Het omgekeerde zie je ook wel vaak voorbij komen: mensen die zeggen dat de systemen nog niet veel kunnen, omdat ze verkeerde antwoorden geven op simpele vragen. Terwijl ze de volgende keer misschien wél het goede antwoord geven.
Je zou waarschijnlijk eigenlijk ChatGPT sowieso 100 keer iedere vraag moeten stellen en dan tellen hoe vaak het antwoord juist is. Dat levert wat minder spectaculaire resultaten op, maar uiteindelijk waarschijnlijk wel inzichtelijkere: het systeem blijkt bijvoorbeeld in 64% van de gevallen met recursie te kunnen omgaan. Je wilt in dat geval natuurlijk nog steeds weten waarom je dat aantal eruit vindt, en het valt alleen maar te hopen dat er een oplossing wordt gezocht voor het probleem dat we niet naar binnen kunnen kijken.
Reacties (1)
Als je deze gedachtegang doorzet, dan zou je het voorgestelde experiment ook uitvoeren op eenzelfde AI instance, maar nu met het corrigeren van de foute antwoorden door de ene persoon en validatie van de correctie door een ander persoon.
Zoek daarbij de limiet op hoeveel de AI kan verwerken binnen een bepaalde tijd.
Overlaad het systeem met meer correcties dan het ‘brein’ van de AI kan verwerken. De helft goede correcties en de helft foute correcties, idem voor het valideren. Bij beperkte verwerkingscapaciteit, zal de AI keuzes moeten maken welke input wel te verwerken en welke niet. In het geval van random verwerking zal de AI geen vooruitgang tonen.
Als het systeem over tijd dan echter betere antwoorden gaat geven, dan is het blijkbaar zo dat de AI de ‘juiste’ input kan selecteren en verwerken en de foute input negeren.
Als dat gebeurt kun je spreken van een bewustzijn. Niet een bewustzijn zoals wij mensen dat kennen, maar wel een vorm van bewustzijn.
En laat dat nu exact het antwoord zijn van ChatGPT als je met de AI ‘in gesprek’ gaat over bewustzijn.