Hoe werkt dat nou, die wetenschap?

Als achtergrond bij deze serie over het Nijmeegse bijstandsexperiment, is het wellicht aardig voor mensen een beetje een idee te krijgen over hoe dat nou in zijn werk gaat, die wetenschap. In heel algemene zin. Want een historicus doet natuurlijk wat anders dan een chemicus, en een econoom wat anders dan een biomedicus. Maar aan het eind van de dag zijn er toch wel de nodige overeenkomsten – al zijn er ongetwijfeld op alles wat ik hieronder schrijf ook uitzonderingen, en pretendeer ik geen volledigheid. Een vraag – en dan verder Het begint met een vraag. Iemand wil weten hoe iets zit. Dat kan een wetenschapper zijn, of iemand met een zak geld die een wetenschapper opdracht geeft dat uit te zoeken. Of een aantal wetenschappers – voor het gemak schrijf ik hier in enkelvoud, maar meestal zal het gaan om meerdere mensen, of een heel team. Maar dat terzijde. Er is dus een vraag. Het eerste wat je dan gaat doen is je inlezen, de (wetenschappelijke) literatuur induiken. Wat weten we over dit vraagstuk, zijn er al mogelijke antwoorden, theorieën, soortgelijke vraagstukken in andere contexten die al beantwoord zijn? Eventueel kun je op basis van zo’n eerste studie komen tot hypothesen (‘ik denk dat het zo zit’) die je gaat toetsen. Er zijn mensen die aanhangen dat alleen hypothesetoetsende wetenschap ‘echte’ wetenschap is, maar dat is een vrij nauwe, Angelsaksische invulling van het begrip wetenschap (‘science’). Voor het verschil tussen ´wetenschap´ en het wat beperktere begrip ‘science’, zie hier. Vervolgens gaat een wetenschapper aan de slag. Er wordt data verzameld: dat kan van alles zijn, van de historicus die oude dagboeken gaat lezen, tot de medicus die een groot ‘randomized controlled trial’ houdt en een groep patiënten heeft waarvan de helft een experimenteel medicijn krijgen en de andere helft een placebo. En van de antropoloog die ergens gaat zitten observeren, tot de econoom die macro-economische gegevens, uit verschillende landen en over meerdere jaren, uit databases trekt. Die data wordt geanalyseerd, met een methode die (hopelijk) past bij het type onderzoek en de verzamelde gegevens. Daar komen resultaten uit, en die leiden tot een conclusie. Hoera! We hebben wetenschappelijk onderzoek gedaan. Een antwoord, maar ook nog niets Dat antwoord, daar kun je dan eigenlijk nog niets mee. Het wordt pas geaccepteerd door de wetenschappelijke gemeenschap, en als het goed is ook door de rest van de wereld, als het gedane onderzoek wordt gecontroleerd, gevalideerd en (dus) geaccepteerd door andere wetenschappers. In de regel gaat dat via ‘peer review’. Wetenschappers, vaak anoniem, lezen het verslag van het onderzoek en Vinden Er Dan Dingen Van. Variërend van ‘prima, niets meer aan doen kan gelijk gepubliceerd worden’ (zeer zeldzaam) tot ‘rotzooi dit deugt allemaal niet’. Even uitgaande van een artikel in een wetenschappelijk tijdschrift: veelvoorkomend is dat de anonieme critici het wel acceptabel achten, míts de wetenschapper nog een aantal aanpassingen doorvoert (ontbrekende literatuur leest die relevant is en dat meeneemt in het verhaal, extra testen doet, een andere methode gebruikt, meer data verzamelt etc.). Uiteindelijk leidt zo’n proces, na een paar keer heen en weer gaan, tot een artikel dat gepubliceerd kan worden. Wetenschappelijk gezien zijn de resultaten dan pas ‘echt’ – hoewel er natuurlijk nog steeds andere wetenschappers kunnen zijn die vinden dat het gedane onderzoek níet ok is. Het peer review systeem is een soort kwaliteitsborging, geen garantie voor uniformiteit (en gelukkig maar). Hiërarchie in publicaties Dit systeem zorgt wel voor een zekere hiërarchie qua publicaties. Sommige soorten publicaties worden beter (of strenger) gecontroleerd dan anderen, en dat weegt mee in hoe veel waarde wordt gehecht aan hetgeen gevonden is. Wat overigens ook weer kan verschillen per wetenschappelijke discipline, maar goed. Hieronder een (onvolledig) overzicht. Vaktijdschriften zitten een beetje op de grens. Ze zijn bedoeld voor een specifieke groep vakmensen – zelf zit ik bijvoorbeeld in de redactie van Sociaal Bestek, dat schrijft voor ‘specialisten op het gebied van participatie, sociale zekerheid en maatschappelijke ondersteuning’. In vaktijdschriften verschijnen soms artikelen geschreven door wetenschappers, op basis van bovenstaande methode. Echter: er is geen peer review. Een redactie kijkt wel mee naar de stukken, en heeft in grote lijnen natuurlijk verstand van het onderwerp van het blad. Maar de redactieleden zijn lang niet altijd zelf wetenschappers, en er is ook geen specialist aanwezig voor ieder onderwerp waar een mogelijk artikel over kan gaan. Goede weblogs met wetenschappelijke insteek vallen ook in deze categorie, zoals het economenblog MeJudice en Sociale Vraagstukken waar we hier ook regelmatig stukken van overnemen. Boeken zijn er in verschillende soorten. Zo zijn monografieën wetenschappelijke boeken, meestal van één auteur, over een bepaald onderwerp. Er is geen peer review, al zal de uitgever wellicht meekijken of er geen totale onzin in staat. Deze manier van publiceren is slechts nog gebruikelijk in een aantal disciplines, bijvoorbeeld bij studies in de letteren/humaniora. Voor bijvoorbeeld filosofie en geschiedenis wil je wel echt een boek (soms bestaande uit meerdere delen) hebben om een onderwerp echt goed aan te pakken. In bijvoorbeeld de sociale wetenschappen wordt veel meer gewerkt met losse artikelen, en zie je boeken vooral bij al gelauwerde wetenschappers die bijvoorbeeld een wat publieksvriendelijkere versie schrijven van hun werk (en deze hebben natuurlijk de status die past bij die van de schrijver). Net als boeken hebben Boekhoofdstukken in de regel meer wetenschappelijk statuur dan vakpublicaties, maar in de regel minder dan de hierna beschreven wetenschappelijke artikelen in wetenschappelijke journals. Het moet dan natuurlijk wel gaan om een boek in lijn meet wetenschappelijke methodes en uitgegeven bij een wetenschappelijke uitgeverij. Deze hebben vaak één of enkele editors, die verantwoordelijk zijn voor het boek, en die specialist zijn op het totaalonderwerp. Zij kijken mee met de (door anderen geschreven) hoofdstukken, maar er is geen anonieme peer review. Proefschriften zijn een bijzondere categorie, omdat het eigenlijk ook een onderwijsproduct is. Zo’n ding is natuurlijk eerst uitgebreid becommentarieerd door de promotor en copromotor(en). Daarna gaat het naar een onafhankelijke manuscriptcommissie, die beoordeeld of het geschikt is voor verdediging. En dáárna moet bij die verdediging ook nog langs enkele andere wetenschappers die de leescommissie vormen. Meer dan genoeg ‘peer feedback’ dus, want al deze lieden zijn expert op een onderwerp dat een proefschrift raakt. Maar het is niet anoniem. En, als ik me niet vergis, is het idee ook dat zo’n proefschrift alleen hoeft te bewijzen dat de schrijver kan functioneren als onafhankelijk wetenschappelijk onderzoeker. Er staat nergens dat het ook echt een hele goede onderzoeker hoeft te zijn. Wetenschappelijke tijdschriften, of journals, hebben over het algemeen het meeste status. Ingezonden artikelen moeten origineel werk bevatten, dat echt iets toevoegt aan de bestaande kennis, en die aansluit bij het tijdschrift waarin men wil publiceren. Artikelen worden beoordeeld door tussen de twee en vier experts, die echt verstand hebben van het betreffende onderwerp. Meestal is dit anoniem. Ook is er een redactie en een verantwoordelijk editor, die meekijken en al een eerste schifting maken of iets acceptabel is. Daarbij geldt trouwens ook dat hoe bekender zo’n tijdschrift is (en hoe meer status het heeft), hoe meer het te kiezen heeft. En Engelstalige journals staan hoger aangeschreven dan niet-Engelstalige, dus ook die kunnen veel strenger zijn in de beoordeling. Sommige hebben acceptatie-percentages van tussen de 5 en 10 procent. Dus ja, er gaat dus in de wetenschap veel tijd verloren aan indienen, afgewezen worden, herschrijven, opnieuw indienen, enz. etc. Risico’s van gebrek aan check Er zijn ook wat tussenvormen bij bovenstaande. Het is gebruikelijk voor wetenschappers om ideeën in een eerder stadium, voor publicatie, alvast te presenteren op conferenties, of in ‘working papers’. Dan heb je een preprint, een artikel dat wel conform wetenschappelijke methoden tot stand is gekomen, maar dat nog niet de toets der kritiek van andere experts heeft doorstaan. En daar zitten natuurlijk gevaren aan. Want met alle kritiek die mogelijk is op het systeem van peer review, het is wel een soort van kwaliteitsgarantie, waarbij je er van uit mag gaan dat de grootste rotzooi er in ieder geval uitgefilterd wordt. Als die controle er niet is geweest kan er natuurlijk van alles misgaan. Dat zag je in het geval van die Amsterdamse socioloog die in opspraak raakte, omdat hij controversiële dingen zei. Over onderwerpen buiten zijn eigen vakgebied. En wel als wetenschapper, maar dan op basis van blogs die geschreven waren en artikelen die nog ‘in voorbereiding’ waren. Maar dat heeft, zie hierboven, dus nog geen wetenschappelijke waarde totdat er een soort van collegiale check op is geweest. Dit risico was ook waarneembaar tijdens het hoogtepunt van de Covid-pandemie. Vanwege de grote urgentie, de talloze doden en de wereldwijde ontwrichting werden medische papers vaak al nieuws in het preprint stadium. Daar kwamen dan soms heel opvallende zaken uit, die later weer ingetrokken moesten worden – na peer review bleek het toch anders te zitten, de methode niet te deugen, de conclusies veel te stellig, et cetera. Ditzelfde risico heb je trouwens ook wanneer wetenschappers in opdracht een rapport tikken – dan is er ook geen extra controle op de uitkomsten, wat kan leiden tot allerlei ellende, van slordige wetenschap tot oneigenlijke beïnvloeding door de opdrachtgever. Ik beperk me tot één voorbeeld: een rapport van een paar wetenschappers voor de onderwijscommissie van het Europees Parlement, dat vrij verregaande uitspraken deed over het Nederlandse hoger onderwijs. Later bleek het, deels in ieder geval, zeer slordig. En bestond de basis uit twee blogs en een stukje in de Volkskrant. Waarvan één blog ook nog volledig verkeerd begrepen was. Rommel en vertrouwen Maar goed. Als ik heel eerlijk ben wordt ook met strenge peer review ook wel eens rommel gepubliceerd. Ook in grote internationale tijdschriften met veel status. Het hele wetenschappelijke systeem zoals we dat kennen biedt een check, maar geen absolute garantie voor kwaliteit. Hoe je daar dan mee om moet gaan, als burger, vind ik zelf ook lastig. Ergens moet toch het midden worden gevonden tussen enerzijds blind alles voor waar aannemen waar iemand met een titel aan geschreven heeft, en anderzijds verwappen en niet meer geloven in ‘de wetenschap’ in het algemeen, of het nu gaat om klimaat, vaccins of stikstof. Volgens mij moet dat ergens uitkomen bij in principe vertrouwen in de gevestigde wetenschap, maar het wel houden van een kritische houding en weten dat daar ook wel eens de plank wordt misgeslagen of belangenverstrengeling is. Een goede vuistregel bij 'kritisch zijn' lijkt me sowieso kijken in hoeverre de wetenschapper in kwestie echt expertise heeft op het gebied waarover ‘ie iets zegt. Tot slot Naast het onderzoeken zelf, is er dus het hele proces van publiceren. En zoals ik de vorige keer al aanstipte, zorgen dat de resultaten bij de goede mensen terechtkomen, in de samenleving. Met een lelijk woord ook wel ‘valorisatie’ genoemd. En daar zijn blogs en niet-wetenschappelijke tijdschriften dan weer uitstekend geschikt voor. Alleen bij voorkeur dus ná iets van wetenschappelijke kwaliteitscontrole.

Door: Foto: De Universiteit Leiden heropende op 17 september 1945 - foto publiek domein copyright ok. Gecheckt 30-10-2022

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Foto: James Royal-Lawson (cc)

AI als stemhulp

Met nog een week te gaan tot de Tweede Kamerverkiezingen, telt ons overzicht van stemwijzers en stemhulpen meer dan 30 tools en overzichten die je helpen je stem te bepalen. Naast de bekende StemWijzer en meerdere varianten van het Kieskompas, zijn er zeven kieswijzers met stellingen over specifieke onderwerpen en nog eens zeven stemhulpen die je stem bepalen op basis van historisch stemgedrag van partijen in de Tweede Kamer in de afgelopen jaren. We vonden daarnaast vijftien overzichten van standpunten op specifieke onderwerpen zoals klimaat, vrouwenrechten, duurzame economie, open overheid en mensenrechten.

De opkomst van generatieve AI die zelf teksten en beelden kan maken – denk aan ChatGPT en DALL-E – zorgt uiteraard voor een aantal nieuwe stemhulpen gebaseerd op AI. Kieswaizer, gemaakt door een softwarebedrijf, is de meest experimentele AI-tool die we tegenkwamen. Na het beantwoorden van tien door kunstmatige intelligentie gegenereerde vragen worden de antwoorden geanalyseerd met behulp van AI en rolt er een persoonlijke stemadvies uit. In de disclaimer lezen we: “geen garanties voor de juistheid, volledigheid of geschiktheid van de verstrekte informatie.” WijsStemmer [edit: is inmiddels offline] is een AI-chatbot die vragen beantwoordt over de verkiezingsprogramma’s, met verwijzingen naar de relevante passages in de verkiezingsprogramma’s. Je kunt ook kiezen voor ‘simpele taal’ maar ons viel op dat deze versie niet altijd het volledige standpunt weergeeft. De AI-stemwijzer is een simpele tool die je helpt met het doorzoeken en vergelijken van verkiezingsprogramma’s. Het meest verrassend is de AI-toepassing van de Stichting Politieke Academie die met behulp van DALL·E 3 – een AI die beelden creëert uit tekstuele beschrijvingen – verkiezingsprogramma’s visualiseert.

Foto: Roel Wijnants (cc)

De lange arm van Israël

COLUMN - Lodewijk Asscher vindt dat een cartoon van Jos Collignon in De Volkskrant over het antisemitisme in Nederland te ver gaat. De tekening laat een lange arm met davidster zien en een dikke duim met de tekst ‘O-ver-al herlevend antisemitisme’ naast een tv die beelden van Gaza vertoont met daarboven de tekst ‘2 weken onschuldigen bombarderen, 10.000 doden waarionder 4000 kinderen. Asscher schrijft niet terug te willen vallen in oude angsten van zijn familie: ‘Als mijn krant, de Volkskrant, op de dag van de herdenking van de Kristallnacht een spotprent plaatst met de boodschap dat de Joden het antisemitisme zelf verzinnen als onderdeel van de zogenaamde ‘lange arm’ van Israël, dan is een grens bereikt.’

Asscher verwijst naar een bericht in Het Parool waarin staat dat het CIDI een toename van antisemitische incidenten heeft geconstateerd van 818% sinds het begin van de oorlog tussen Israël en Hamas. Op de website van het CIDI staan enkele pijnlijke voorbeelden. Het CIDI heeft in tien niet nader genoemde gevallen aangifte gedaan, maar geeft verder geen details.’Hoewel we tijdens eerdere conflictperiodes een stijging zagen in het aantal antisemitische incidenten was deze nooit eerder zo significant als nu.’ Kritiek op Israël zou niet meegenomen zijn bij het registreren van de incidenten.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Closing Time | Telephone Call From Istanbul

Zweten, brullen, grommen en grimassen maken, dat kan deze artiest wel. Je verstaat er geen moer van, maar de manische performance van Waits zuigt de aandacht op als een spons.

Lyrisch zit een en ander echter strak in elkaar:

All night long on the broken glass
Livin’ in a medicine chest
Mediteromanian hotel back
Sprawled across a roll top desk

The monkey rode the blade on an overhead fan
They paint the donkey blue if you pay
I got a telephone call from Istanbul
My baby’s comin’ home today

Foto: Logos partijen LEF

Wie van de acht: LEF – Voor de Nieuwe Generatie

Nieuwe politieke partijen beginnen bij voorbaat op achterstand in de ‘ratrace naar het pluche’. Landelijke media besteden amper tot geen aandacht aan ze. Zitten er toch kanshebbers bij? Dat zoeken we uit in de korte serie ‘Wie van de acht?’ Vandaag: LEF – Voor de Nieuwe Generatie.

Natuurlijk stond Buitenhof ook afgelopen zondag in het teken van de Tweede Kamerverkiezingen. Deze keer met de lijstrekkers van Partij voor de Dieren, D66 en BBB. En met een entr’acte, uitgevoerd door een speciale gast: de behanger van LEF.

Presentator Pieter Jan Hagens bleek te falen qua live journalistiek. Hij deed in ieder geval of hij zijn ogen niet kon geloven (“ik kan niet precies lezen wat er op staat”). Esther Ouwehand kon het wel waarderen (“Ik mag het wel, een beetje buiten de lijntjes kleuren”). En die mevrouw van BBB bleek niet in staat buiten haar denkraam te kijken en zag het verschil niet tussen ludieke acties en aanslagen (“Ik vind het eng dat iemand zomaar op een ladder klimt en een actie uitvoert. Nu is het een poster, maar een ander met wél kwaad in zin, kan zo op een idee worden gebracht en met zwaarder geschut komen.”)

Foto: DAL-·E A symbolic representation of the world where various people around a large globe speaking their language

Verkiezingsprogramma van de Partij voor Taal

COLUMN - Wie denkt dat taal een belangrijk politiek onderwerp is, krijgt niet veel hoop van de verkiezingsprogramma’s van de Nederlandse politieke partijen in 2023. Het is armoe troef: men slaakt wat kreten die al vaker geslaakt worden zonder dat ze ooit ergens toe hebben geleid, of dat het duidelijk is dat ze ooit ergens toe zouden leiden. Zo willen de christelijke partijen al decennia lang dat het Nederlands in de grondwet komt, en ik durf nu al te voorspellen dat dit ook in de komende periode niet gaat gebeuren. Als het wel gebeurt, betekent het overigens nog steeds nauwelijks iets.

Over de andere hete hangijzer, het Engels op de universiteiten, is iedereen het erover eens dat dit minder moet, maar niemand heeft een plan over hoe dat dan daadwerkelijk zou moeten gebeuren.

Als je zo’n analyse maakt, zijn er altijd mensen die vragen: maar hoe zou jij het dan doen? Welnu, hieronder staan een aantal punten. Ik bied ze open access aan, iedere partij die ze wil adopteren, is van harte welkom.

Uitgangspunt

Taal is belangrijk voor een samenleving. Dankzij taal kunnen kinderen zich ontwikkelen en volwassenen tot overeenstemming komen. Dankzij taal kunnen we ons allen scholen en elkaar beter leren kennen. Taal is een van de belangrijkste immateriële goederen die we hebben.

Doneer!

Sargasso is een laagdrempelig platform waarop mensen kunnen publiceren, reageren en discussiëren, vanuit de overtuiging dat bloggers en lezers elkaar aanvullen en versterken. Sargasso heeft een progressieve signatuur, maar is niet dogmatisch. We zijn onbeschaamd intellectueel en kosmopolitisch, maar tegelijkertijd hopeloos genuanceerd. Dat betekent dat we de wereld vanuit een bepaald perspectief bezien, maar openstaan voor andere zienswijzen.

In de rijke historie van Sargasso – een van de oudste blogs van Nederland – vind je onder meer de introductie van het liveblog in Nederland, het munten van de term reaguurder, het op de kaart zetten van datajournalistiek, de strijd voor meer transparantie in het openbaar bestuur (getuige de vele Wob-procedures die Sargasso gevoerd heeft) en de jaarlijkse uitreiking van de Gouden Hockeystick voor de klimaatontkenner van het jaar.

Closing Time | Androgyny

Gender is een heet en controversieel onderwerp geworden de afgelopen jaren. Onze geslachtelijk bepaalde afbakeningen piepen en schuren onder alle authentieke zelfexpressie en de schreeuwen om individuele zelfontplooiing.

Slechts weinig mensen vallen echter volledig in een hokje te passen. Garbage zong er meer dan twintig jaar terug al over.

Closing Time | Daffodil Lament

The Cranberries waren een Ierse band die midden jaren negentig wereldberoemd werden met nummers als ‘Linger’ en ‘Zombie’.

Het kenmerkende stemgeluid van zangeres Dolores ‘O Riordan zal u ongetwijfeld bekend voorkomen.

Daffodil Lament is van hun album uit 1994 No Need to Argue. Zoek die plaat (nog) eens op mensen. Er staan een aantal behoorlijk luisterbare nummers op.

Closing Time | I See A Darkness

In de herfst van zijn leven nam Johnny Cash zes platen op met Amerikaanse muziekklassiekers.

Daaronder ook dit nummer van Bonnie “Prince” Billy, dat in de vaardige handen van Cash een ronduit melancholische kleur krijgt.

Vorige Volgende