COLUMN - Betekent de komst van AI dat de problemen voor de wetenschap alleen maar erger worden? Ja, zeggen Sayash Kapoor en Aravind Narayanan, auteurs van het weblog (en boek) AI Snake Oil, in een kraakhelder betoog.
Hét probleem van de moderne wetenschap in de afgelopen decennia is misschien wel dat het zo gericht is op kennis. Daardoor raakt het inzicht, het begrip, gaandeweg buiten beeld. We weten steeds meer dingetjes over de wereld, maar we ons daadwerkelijk begrip blijft daarbij ver achter. Dat betekent onder andere dat terwijl het aantal beroepswetenschappers wereldwijd explosief is gegroeid in de afgelopen eeuw, de grote wetenschappelijke doorbraken daarbij zijn achtergebleven. Heel veel zaken die de grote wetenschappelijke vragen waren na de Tweede Wereldoorlog, staan nu nog steeds open. Ondertussen zijn de investeringen in onderzoek bij de belangrijkste investeerders (de VS, China, Japan, Duitsland, Zuid-Korea, het Verenigd Koninkrijk en Frankrijk) tussen 2001 en 2021 verviervoudigd.
Verstikkend
Dat dit zo is gegaan is begrijpelijk. De wetenschap is geprofessionaliseerd en daarbij hoort verantwoording aan de samenleving, en die verantwoording neemt vaak de vorm aan van kwantificatie: een wetenschapper moet zo-en-zoveel artikelen per jaar publiceren. Dat is gemakkelijker te doen als je naar feiten zoekt (zo’n feit heb je wel of niet gevonden) dan als je zoekt naar inzicht (dat veel subjectiever is). Precies de explosieve groei van de beroepswetenschap heeft dat allemaal nog veel sterker gemaakt: je moet bepaalde procedures volgen om tot bewijsbare resultaten te komen. Degene die jarenlang zoekt naar het juiste inzicht heeft het lastig in de rat race, zeker als dat zoeken ook nog vruchteloos blijkt te zijn. Het effect is dat er jaarlijks miljoenen wetenschappelijke artikelen worden gepubliceerd die vrijwel geen van allen beklijven.
Een artikel dat wél zou beklijven, omdat het de hele boel op zijn kop zet, maakt zelfs nauwelijks een kans – hoe moet alles op zijn kop worden gezet als honderdduizenden onderzoekers afhankelijk zijn van hoe de wereld er nu voor staat?
De komst van AI maakt dit effect alleen maar groter, schrijven Kapoor en Narayanan. Het wordt nog gemakkelijker om dit soort artikelen te schrijven die aan alle standaarden voldoen, juist omdat die standaarden zo precies gedefinieerd zijn. Als de beloften van de AI-makers kloppen wordt het nog veel goedkoper om goede wetenschap te doen. En dat versterkt het verstikkende effect, de kans op een doorbraak wordt zo alleen maar kleiner.
Fundamenteel
Daar komt bij dat die AI zelf heel erg gericht is op de grootste gemene deler. De manier waarop die systemen teksten schrijven is door statistische patronen te ontdekken in de teksten waarop ze zijn getraind, en dan zelf de woorden op een rij te zetten volgens de patronen in die teksten. Die patronen kunnen best abstract zijn en zich afspelen op het niveau van ideeën (het is logisch dat uit bewering x voortkomt dat y waar is), maar de kans is dan nog altijd groot dat ze blijven hangen bij theorieën die eigenlijk al weerlegd zijn – simpelweg omdat er zoveel literatuur is die er nog vanuit ging dat die theorie niet weerlegd was. De conservatieve kracht op de wetenschappelijke vooruitgang wordt dus alleen maar sterker.
Het voordeel is misschien wel dat het nu zo makkelijk wordt om wetenschappelijke artikelen te schrijven, dat het helemaal zinloos wordt om aan de hand daarvan de kwaliteit van de onderzoeker vast te stellen. Als iedereen een paar artikelen per dag kan produceren, heeft het geen zin meer om mensen met elkaar te vergelijken. In het ideale geval zorgt de komst van AI dan voor een versnelling van de wetenschappelijke Verellendung die al een tijd gaande is.
En dan kunnen we op de puinhopen van het dolgedraaide wetenschappelijke bedrijf misschien iets nieuws bouwen, iets waarbij het weer draait om die eeuwenoude wens van de mens: de wereld om zich heen niet alleen in detail te beschrijven, maar fundamenteel te begrijpen
Reacties (7)
Dit artikel lijkt (weer) specifiek over LLM’s te gaan in plaats van over AI in het algemeen. Zeker in dit geval is dat onderscheid belangrijk, omdat andere toepassingen van AI wel bij kunnen dragen aan belangrijk nieuw inzicht. Mits op een goede manier gebruikt. Want hier zal hetzelfde gelden als bij de toepassing van andere computermodellen: wie ze gebruikt in wetenschappelijk onderzoek, zal moeten begrijpen wat zo’n model precies doet. En dus ook de beperkingen van de software moeten kennen. Want als je software als ‘black box’ gebruikt kun je heel makkelijk tot de verkeerde conclusies komen.
Dat inzicht begint bij het gebruik van heldere terminologie. En dus bij het noemen van taalmodellen bij hun naam, als je het specifiek daarover hebt. Zeker in de wetenschap lijkt me dat belangrijk.
Iedereen weet waar het over gaat, zeker als het stuk door een taalkundige wordt geschreven, en als dat niet direct duidelijk is wordt het snel genoeg uit de context duidelijk.
Ik vraag me af of je de kennis van ‘iedereen’ niet een beetje overschat. Volgens mij is AI voor een heleboel mensen vooral een ongrijpbaar fenomeen. En lang niet iedereen heeft (begrijpelijk) tijd of zin om zich er een beetje in te verdiepen. Zorgvuldig gebruik van de terminologie kan dan helpen om een beetje meer duidelijkheid te scheppen.
Bovendien gaat dat artikel van Kapoor en Narayanan juist over veel meer dan LLM’s alleen. De openingszin maakt dat al duidelijk:
En dit:
Ik krijg eerlijk gezegd de indruk dat Marc zelf nog niet helemaal beseft dat dat artikel over veel meer gaat dan systemen die ’teksten schrijven door statistische patronen te ontdekken in de teksten waarop ze zijn getraind’.
Ik denk dat dit niet een probleem is van AI/LLMs, maar van de classificatie van informatie die je de AI voedt. Als de AI weet (of kan afleiden) dat A verouderde informatie is waar B een opvolger van is dan is dat al een stuk beter. Voor zover ik weet zijn wetenschappelijke artikelen vrij eenvoudig in de tijd te plaatsen, en of de verwijzing afwijzend of instemmend is. Zo bezien zie ik niet hoe dat buiten het bereik van LLMs ligt.
Wat een potentiële kans is, LLMs zijn niet creatief, maar wel vrij goed in verbanden zien. Verbanden die misschien niet direct door mensen worden gelegd, maar wel tot inzichten kunnen leiden (misschien zelfs dóór AI). Dus dat AI de stukjes kennis die mensen produceren gaat combineren.
Ik denk dat daar een vrij onontgonnen gebied ligt. De hele premisse in dit artikel is natuurlijk dat taalmodellen de beste manier zijn om deze kennis te ontsluiten, terwijl dat niet per se het geval hoeft te zijn. LLMs zijn niet de enige AI-toepassing :)
De kans is groot dat massaproductie bij filosofie, sociologie e.d. door AI zal optreden, wat leidt tot verslechtering. Maar bij de meeste gebieden gaat het om experimenten, observaties of metingen. Bijvoorbeeld een labtest van een bepaalde vloeropbouw op het gebied van geluidisolatie. Of observaties van een nieuw ontdekte diersoort. Daar heb je weinig aan AI-tekst-generatoren.
Waarom dat denigrerende over sociologie etc.?
Het is niet negatief over filosofie of sociologie, maar het gaat bij filosofie of sociologie meer over analyses van bronnen of gedachten uit de geschiedenis dan metingen en experimenten. AI met LLM kan dat makkelijk.