Kan de computer wetenschappelijke artikelen beoordelen?

Het aantal wetenschappelijke publicaties groeit volgens sommige beweringen – op hun beurt ook weer vervat in wetenschappelijke publicaties – exponentieel, en een wetenschappelijke lockdown is nog lang niet in zicht. Toch is het eigenlijk niet duidelijk of zo’n enorme groei de wetenschap nu vooruit helpt of juist remt. De vele vaccins binnen korte tijd hebben we ongetwijfeld te danken aan deze wetenschappelijke ijver – praktische oplossingen kunnen zo snel worden gegenereerd – maar het is de vraag of in deze brij van gelijkvormige detailstudies uiteindelijk nog wel echt diepere inzichten naar boven kunnen komen. Een tamelijk bizarre gedeeltelijke oplossing is voorgesteld in een recent artikel – ook weer een wetenschappelijke publicatie – van drie Amerikaanse onderzoekers. Zij stellen voor om artikelen voor publicatie voortaan te laten beoordelen door computers. Op die manier worden onderzoekers van een zeer tijdrovende en vrijwel onzichtbare taak ontlast: het uitgebreid doornemen van de artikelen van hun collega’s op foutjes. Primitieve taal De onderzoekers zijn vrij kritisch over hun eigen resultaten. Het computersysteem dat ze hebben gebouwd beweert bijvoorbeeld nogal veel onzin (‘it generates non-factual statements’ noemen ze dat zelf eufemistisch) in de leesverslagen die het opstelt. We zijn er dus nog niet zeggen ze, al kan het systeem dat ze gebouwd hebben proeflezers wel helpen met een ruwe versie van hun rapport, bijvoorbeeld om een samenvatting te maken. De Amerikanen zien zo’n leesrapport dan ook puur als een stilistische exercitie: je neemt een artikel als input en destilleert daar zo’n verslag uit met altijd een samenvatting van het artikel en een eindoordeel, dat ‘beleefd en vriendelijk’ moet zijn. Dat gaat volgens mij voorbij aan waar zo’n leesverslag eigenlijk om zou gaan of zou moeten gaan. Zo lijkt me de samenvatting vooral zinnig om te laten zien hoe de reviewer het artikel begrepen heeft; een samenvatting door de computer is daarvoor waardeloos, bijvoorbeeld omdat de auteurs doorgaans zelf ook al een samenvatting leveren (het ‘abstract’). Het belangrijkste van zo’n leesrapport lijkt mij echter: een expert vertelt de redacteur hoe je dit artikel moet plaatsen binnen de wetenschappelijke literatuur. Staan er zaken in die elders al zijn weerlegd? Worden er methodologische fouten gemaakt in het onderzoek? Is dit juist heel vernieuwend op een interessante manier? Zo’n verslag kan ook in heel primitieve taal zijn opgeschreven om toch nuttig te zijn. Voorgekookte oplossingen Ik kan me voorstellen dat je expertsystemen kunt maken, computers die de hele literatuur kunnen overzien en begrijpen en dan verslagen maken. Maar dat is nog heel ver weg en ook helemaal niet wat de onderzoekers beogen. Eigenaardig is dat hun artikel zelf een voorbeeld is van iets heel anders wat er mis dreigt te gaan met de stortvloed aan publicaties. Dat begint met de clickbait-achtige titel. Een goed wetenschappelijk artikel hoort een titel te hebben die op het saaie af neutraal is en beschrijft wat er in het artikel staat. Hier wordt een sensationele vraag gesteld die vervolgens in het artikel met nee wordt beantwoord – de methode van Story en Privé. Zoiets zit ook al in het precieze antwoord dat de auteurs geven: “not yet”. Het venijn zit natuurlijk in het yet – een weinig bruikbaar resultaat wordt weergegeven als een potentiële oplossing. Er is dus een voortdurende toon van hype – de enige manier om nog op te vallen. Dat lijkt me het feitelijke probleem met dit artikel: de stortvloed aan reviewwerk is een rechtstreeks gevolg van het feit dat de wetenschap steeds meer als een artikelenfabriek functioneert in plaats van als een plaats waar creatieve oplossingen gevonden worden, een oord waar niet het risico wordt genomen van de sprong in het onbekende maar alleen de veilige oplossingen van het invullen van schema’s. Maar de gekozen oplossing stimuleert datzelfde gedrag alleen maar, want stel dat dit type algoritmen inderdaad de wetenschap gaan beoordelen, dan hebben alleen de voorgekookte oplossingen nog een kans op acceptatie.

Quote du Jour | Spy on the poor

Landmark ruling by a Dutch court stops government attempts to spy on the poor. This is a clear victory for all those who are justifiably concerned about the existential threats digital government and digital welfare poses for human rights.

Aldus Philip Alston, VN-Special Rapporteur on extreme poverty and human rights, over de uitspraak van de Haagse rechtbank over SyRI, het geheime profileringsalgoritme waarmee de overheid uitkeringsfraude wil opsporen. Voor SyRI worden een groot aantal persoonlijke gegevens die de overheid heeft van haar burgers gekoppeld en met behulp van een (geheim) algoritme doorzocht op afwijkende patronen. De rechtszaak tegen de Staat was aangespannen door een collectief van burgerrechtenorganisaties en de FNV die de campagne ‘Bij Voorbaat Verdacht’ startten.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

De macht van Facebook en Google door filters

ANALYSE - Waarom de geheime filters op de social media als Facebook en Google zo snel mogelijk verplicht openbaar moeten worden gemaakt

Stel je voor…

Stel… Mark Zuckerberg himself kijkt naar de televisie. Hij ziet dat er in Italië binnenkort verkiezingen zijn, en denkt: die Beppe Grillo, die moet winnen.

Ik zeg niet dat het zo is, sterker nog, waarschijnlijk is het niet zo. Het is maar een verzonnen voorbeeld.

Maar zo’n Zuckerberg zou in dat geval niet zoals wij normale burgers op zijn handen hoeven blijven zitten, of het blijven duimen voor zijn favoriet. Ook hoeft hij niet zoals andere big shots in business een grote donatie te doen aan zijn idool. Zelfs hoeft hij geen data te tappen.

Het enige wat hij hoeft te doen, is zijn team de opdracht geven dat het ultra-geheime Facebook algoritme een paar extra regels krijgt: artikelen over zijn idool worden vaker gedeeld, en artikelen waarin hij negatief wordt genoemd krijgen minder exposure.

Het kost niets, en als het maar redelijk subtiel gebeurt, zou niemand doorhebben dat het gebeurt. En omdat Facebook door de helft van de Italianen dagelijks gebruikt wordt, heeft het gegarandeerd een heel manifeste invloed op de uitslag van de stembus, dat ze zonder dat ze het wisten maanden blootgesteld aan een door filters gepimpte verslaggeving over Grillo.

Foto: Philips Communications (cc)

Is uw gemeente al overgenomen door algoritmen?

In de Canadese stad Toronto bestuurt Google een eigen wijk. De straten hangen vol met sensoren en camera’s die behalve het verkeer en de luchtkwaliteit ook de gedragingen van inwoners registreren. De stad wordt vergeleken met een Chinese surveillance-staat, maar zulke technologische toepassingen vinden in Nederland gretig aftrek.

De term ‘smart city’ duikt massaal op in verkiezingsprogramma’s. Slimme lantaarnpalen, social media meldkamers en zelflerende algoritmen beloven openbare ruimten efficiënter, groener en veiliger te maken. Mooie beloften maar moeten we ze ook geloven?

‘Living labs’ en ‘innovation hubs’ transformeren gemeenten in zelflerende computersystemen die doorlopend gevoed moeten worden met onze data. Terwijl we ons druk maken over randvoorwaarden zoals privacy, worden nergens de smart city-systemen zelf in twijfel getrokken.

Een smart city functioneert op basis van voorspellende algoritmen die beslissingen nemen. Deze algoritmen zijn niet transparant, kunnen verkeerde verbanden leggen en menselijke vooroordelen op grote schaal verspreiden. Steeds meer onderzoekers waarschuwen voor een blackbox-samenleving waar niemand meer weet op welke manier algoritmen besluiten nemen en op basis van welke data.

Om de samenleving daadwerkelijk veiliger en groener te maken, moeten we kritischer nadenken over de beslissingen die we aan algoritmen willen uitbesteden, voordat grote techbedrijven met uitsluitend een commercieel belang hiermee aan de haal gaan. Niet alleen in Toronto, maar ook in Nederland worden mensen steeds meer gereduceerd tot datamachines die door algoritmen worden aangepast aan de winstgevende datahandel van techbedrijven en economisch rendement van overheden.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Overheid moet stoppen met SyRI

NIEUWS - Vandaag heeft de rechtbank in Den Haag uitspraak gedaan over de inzet van het algoritmesysteem SyRI (Systeem Risico Indicatie) door de overheid. De rechter besloot dat de overheid moet stoppen met het profileren van burgers met grootschalige data-analyse om fraude met sociale voorzieningen op te sporen. Nederlanders zijn niet langer ‘bij voorbaat verdacht’.

De rechtszaak tegen de Nederlandse Staat was aangespannen door een coalitie van maatschappelijke organisaties, bestaand uit het Platform Bescherming Burgerrechten, het Nederlands Juristen Comité voor de Mensenrechten (NJCM), vakbond FNV, Privacy First, Stichting KDVP, de Landelijke Cliëntenraad en auteurs Tommy Wieringa en Maxim Februari.

Het algoritme van alles

Een complex idee als de chaostheorie laat zich niet zo makkelijk uitleggen. Ja, we weten dat een situatie van relatieve orde na verloop van tijd ontaardt in wanorde, onvoorspelbaar en ogenschijnlijk zonder enige sturing. En het feit dat kleine voorvallen grote gevolgen kunnen hebben, weten we ook. Maar hoe hangen die samen? Zijn chaos en orde wel twee tegenovergestelde zaken, net zoals zwart en wit (het antwoord is nee)?

Op mijn nachtkastje liggen momenteel twee klassiekers uit de jaren negentig, die ik zo’n beetje om en om lees. De eerste is Darwin’s Dangerous Idea van Daniel Dennett. De filosoof stelt hierin dat evolutie in feite niet veel meer is dan een algoritmisch proces, een programma waarin een paar regels met veel geduld en over zeer lange tijd worden uitgevoerd. Het resultaat is dat uit praktisch niets enorme complexiteit voortkomt.

Het tweede boek is Chaos: the making of a new science. Deze wetenschapsauteur toont hierin hoe de chaostheorie de wetenschappelijke wereld een compleet nieuwe richting heeft uitgeduwd. Hoe een grootheden als Turing en Mandelbrot het Newtoniaanse wereldbeeld kapot hebben geslagen. Een prachtig boek, maar pittig.

Toen kwam ik onderstaande documentaire tegen van de BBC. De makers hebben zich overduidelijk laten inspireren door bovenstaande auteurs, maar ik moet zeggen, dat hebben ze fantastisch gedaan. De docu duurt een uur en dat is geen verloren tijd.

Internet als echokamer

Het internet biedt de belofte van een haast onbegrensde pluriformiteit, alle informatie van alle kleuren en gezindten is immers binnen handbereik. De praktijk ontwikkelt zich anders. Internet wordt steeds meer een echokamer, waar netizens hun buurt nauwelijks nog uitkomen. Het enge is dat ze dat vaak niet eens door hebben.

Vandaag presenteert de Raad voor Maatschappelijke Ontwikkeling (RMO) haar nieuwe, wat inspiratieloos betitelde rapport De nieuwe regels van het spel: internet en het publiek debat. Daarin staan een hoop waarheden en open deuren. De oude media en de overheid zijn hun sturing van het publieke debat kwijtgeraakt, of optimistisch gezien, moeten die delen met nieuwe online spelers. Door het netwerkkarakter kunnen er veenbranden woeden, die af en toe ontaarden in vuurstormen, zoals het redeloze protest tegen de intentingen tegen baarmoederhalskanker van een paar jaar geleden. Het rapport bevestigt vooral wat we allemaal weten: het internet vreet aan machtsposities van intermediairs en leidt tot grotere pluriformiteit.

Interessant wordt het rapport als het gaat over internet als echokamer. De pluriformiteit van internet wordt niet waargemaakt omdat a) mensen elkaar nu eenmaal opzoeken en de discussies daardoor vooral in eigen kring worden gevoerd. En b) de technische en commerciële krachten op internet mensen letterlijk uit elkaar spelen. Hoe zit dat?

Foto: Eric Heupel (cc)

Zomercollege | The Numerati

De Amerikaanse journalist Stephen Baker schreef drie jaar terug het boek The Numerati. Hierin onderzoekt hij de wereld van Big Data. Zijn boek heeft aan actualiteit niets ingeboet, integendeel. Onze off- en online levens raken steeds meer verstrengeld. Baker beschrijft wat de consequenties daarvan zijn. Dan heeft hij niet eens over privacy, maar eerder hoe algoritmen steeds meer ons leven op de achtergrond bijsturen.