Peilingennieuws geeft weinig informatie over onderzoeksaanpak. Hoe kan dat beter?

van Tom Louwerse en Rozemarijn van Dijk, eerder gepubliceerd op Stuk Rood Vlees. Peilingen worden veelvuldig gebruikt in de media tijdens verkiezingscampagnes. Hoeveel is partij X gestegen in de peilingen? Welke partij is groter, partij A of partij B? In een recent gepubliceerd artikel [gratis te lezen versie] onderzochten wij hoe die peilingen werden gerapporteerd: is er aandacht voor cruciale informatie over de onderzoekaanpak en, misschien nog wel belangrijker, worden verschuivingen en verschillen in de peilingen correct geïnterpreteerd? We hebben hierbij ook onderzocht of het uitmaakt of peilingbureaus in hun rapportages methodologische informatie vermelden: zorgt meer informatie in de rapportage van het onderzoeksbureau voor een beter nieuwsartikel? De kwaliteit van de rapportage Voor ons onderzoek, hebben we alle nieuwsartikelen in de vijf weken voor de verkiezingen van 2010, 2012 en 2017 verzameld waarin het woord ‘peiling’ en de naam van een onderzoeksbureau voorkwam.[1] Deze artikelen kwamen uit alle landelijke dagbladen en de online nieuwswebsites van NOS en RTL Nieuws. De kwaliteit van de krantenartikelen over peilingen kun je op verschillende manieren beoordelen. Wij hebben naar drie dingen gekeken: Het aantal aspecten van de onderzoeksaanpak dat werd genoemd, bijvoorbeeld hoeveel mensen werden ondervraagd, wanneer en hoe werden de gegevens verzameld; Het vermelden van de foutmarge van de peiling; De correcte interpretatie van verschuivingen en verschillen in een peiling. De WAPOR (World Association for Public Opinion Research) hanteert een lijst van 16 verschillende ‘essentiële feiten’ die bekend moeten zijn over een peiling waarover nieuws verschijnt. Hoewel je niet mag verwachten dat al die zaken ook in het nieuwsbericht vermeld worden (bijvoorbeeld: het opnemen van een volledige vragenlijst in een nieuwsbericht), kunnen we dit als een groslijst gebruiken. In de praktijk zien we dat 8 van de WAPOR-items in verschillende mate worden genoemd in nieuwsberichten: de populatie (bijvoorbeeld: alle kiezers), steekproefmethode, non-respons, de grootte van de sample, de data van het veldwerk, de dataverzamelingsmethode, de foutmarge en of de resultaten gewogen zijn (zie tabel 1). Tabel 1. WAPOR-criteria in krantenartikelen en peilingrapportages (%) Krantenartikelen Peilingrapportages 2010 2012 2017 2010 2012 2017 Populatie 0,0 2,4 2,7 14,3 22,0 25,9 Steekproefmethode 2,9 2,4 2,7 0,0 39,0 25,9 Non-respons 0,0 1,6 0,0 0,0 12,2 24,1 Steekproefomvang 14,7 14,5 0,0 23,8 36,6 41,4 Wegingsprocedure 0,0 0,0 0,0 23,8 26,8 25,9 Veldwerkperiode 0,0 4,8 2,7 23,8 36,6 36,2 Dataverzamelingsmethode 8,8 21,8 45,9 23,8 26,8 32,8 Foutmarge 5,9 28,2 64,9 9,5 39,0 67,2   Tabel 1 gaat alleen over nieuwsberichten die (vrijwel) geheel over een peiling gaan. Uit tabel 1 valt af te lezen dat in krantenartikelen doorgaans de steekproefomvang, de non-respons of veldwerkdata niet worden vermeld.[2] De dataverzamelingsmethode en foutmarge worden sinds 2010 steeds vaker in nieuwsberichten vermeld. Een groot deel van deze toename is toe te schrijven aan de berichten over de Peilingwijzer, die andere peilingen samenvoegt en daarbij consequent de score van partijen rapporteert met een onzekerheidsmarge. Peilers vermelden in hun rapportages steeds meer informatie over hun onderzoek, maar er zijn verschillen tussen bureaus. In 2017 zagen we dat met name I&O Research, Kantar en EenVandaag/GfK relatief veel informatie vermeldden over hun onderzoeksaanpak in hun eigen rapportages/nieuwsberichten.[3] We hebben getest of er een verband is tussen de hoeveelheid methodologische criteria die de peilbureaus rapporteren en de hoeveelheid criteria die door journalisten zijn vermeld. We vonden dat er geen verband was tussen de hoeveelheid methodologische informatie die peilbureaus verschaffen en de hoeveelheid informatie die journalisten rapporteerden. Het vermelden van de foutmarge verdient speciale aandacht. De foutmarge is immers erg belangrijk om een peiling correct te interpreteren: kleine verschuivingen in een peiling vallen binnen de foutmarge en kunnen dus het gevolg zijn van toevalligheden in de steekproeftrekking. Niet alleen zien we dat die foutmarge vaker wordt gerapporteerd in nieuwsberichten. We zien ook dat, als de foutmarge wordt vermeld door de peiler, de kans groter is dat dit ook in het nieuwsbericht terug te vinden is. Peilers vermelden de foutmarge op verschillende manieren. De meest gangbare manier is om ergens in het rapport te vermelden dat er een foutmarge is van bijvoorbeeld +/- 2,5%. Een andere manier, die wordt toegepast door de Peilingwijzer, is om de gepeilde zetelaantallen te presenteren als een interval. Een partij staat dan niet op 23 zetels in de peilingen, maar op 21-25 zetels. Deze laatste manier van rapporteren heeft een significant positief effect op de kans dat ook journalisten de foutmarge vermelden. Interpretatie van peilingen De hamvraag is: wordt door de vermelding van de foutmarge de interpretatie van peilingen ook beter? Dit hebben we onderzocht door te kijken naar de interpretatie van vergelijkingen tussen partijen in eenzelfde peiling (de zogenaamde synchrone vergelijking) en de interpretatie van de verschillen van de groei of daling van één partij tussen verschillende peilingen (de diachrone vergelijking). We zagen een sterk verband tussen het rapporteren van de foutmarge als interval en het correct interpreteren van de verschillen tussen partijen. Dit verband was niet aanwezig als ergens in het rapport was vermeld dat er een foutmarge bestaat. Het vermelden van een betrouwbaarheidsinterval zorgt er dus voor dat de kwaliteit van de rapportering van peilingen wordt vergroot. Voor stijging of daling van een partij tussen twee peilingen zien we echter geen effect van het vermelden van de foutmarge door de peiler. Hoe nu verder? Ons onderzoek suggereert dat het uitmaakt of peilers methodologische informatie vermelden in hun rapporten: het vermelden van de foutmarge als interval zorgt er niet alleen voor dat er meer kans is dat deze marge ook in het nieuwsartikel terecht komt; we kunnen het ook linken aan een betere interpretatie van verschillen tussen partijen in een peiling. Is ons advies nu om dan maar zoveel mogelijk methodologische informatie in peilingennieuws te proppen? Nee, daar wordt het bericht waarschijnlijk niet begrijpelijker en beter van. Maar het rapporteren van basale informatie, zoals wanneer een peiling werd gehouden, onder welke groep (hoeveel respondenten en hoe werden die geselecteerd), met welke foutmarge rekening kan worden gehouden en (online) een link naar de uitgebreide rapportage van de peiler, is niet teveel gevraagd. In sommige landen is dit zelfs wettelijk verplicht. Het zorgt ervoor dat duidelijk is hoe het onderzoek is uitgevoerd en dat helpt schrijvers en lezers van het nieuwsbericht bij het correct interpreteren van de resultaten. Dit advies geldt overigens niet alleen voor zetelpeilingen van de bekende bureaus, maar juist ook voor allerlei andere peilingen, waarbij nog veel vaker onduidelijk is wie er nu precies zijn ondervraagd en welke conclusies je daaraan kunt verbinden. Als onderzoeksbureaus willen bevorderen dat nieuwsmedia de onzekerheidsmarges rapporteren, dan kan het gebruik van een interval in de rapportage nuttig zijn. Dus: rapporteer de score van een partij als ‘10 tot 14 zetels’ in plaats van ‘12’ (als de foutmarge 2 zetels is). We zien in ons onderzoek dat dit interval dan vaak wordt overgenomen in nieuwsberichten. Een rapportage van zo’n interval benadrukt dat kleine verschillen tussen partijen niet betekenisvol zijn. Het plaatst de verschillen in perspectief en relativeert de precisie van peilingen. Nu kan het zo zijn dat het door ons gevonden verband tussen rapportages van bureaus en nieuwsberichten wordt gedreven door een selectie-effect. Journalisten die zelf meer waarde hechten aan een zorgvuldige rapportage van peilingen, kiezen er wellicht voor om te rapporteren over peilingen van een bureau dat meer methodologische informatie verstrekt. Als dat zo is, blijft het rapporteren van methodologische informatie door peilers belangrijk, maar moet allicht meer moeite worden gedaan om journalisten die nog niet zo zorgvuldig over peilingen berichten ervan te overtuigen om dat beter te doen. We moedigen daarom journalisten en peilers van harte aan om (nog) meer samen te werken ten behoeve van een correcte rapportage van peilingen. [1] Er zaten hierdoor ook artikelen bij over bijvoorbeeld buitenlandse peilingen of artikelen over peilingen in het algemeen. Voor de analyse hebben we ons alleen gericht op artikelen die expliciet gaan over een specifieke peiling of als er een peiling wordt gebruikt in het artikel om aan te geven op hoeveel zetels een (enkele) partij in de peiling heeft. [2] Tabel 1 bevat ook nieuwsberichten en rapportages over de Peilingwijzer, een gemiddelde van peilingen, waarvoor sommige criteria zoals veldwerkperiode en steekproefomvang niet (op dezelfde wijze) van toepassing zijn. [3] We keken naar de beschikbaarheid van methodologische informatie in de rapportage/persbericht zelf, niet of eventuele informatie elders (op de website van het onderzoeksbureau) gevonden kon worden. Daarom scoorde ook bijvoorbeeld de Peilingwijzer relatief laag op dit criterium.

Foto: Abhi Sharma (cc)

Een buitengewone en bizarre verkiezingscampagne

RECENSIE - © Uitgeverij Scriptum boekomslag De slag om het witte huisTerwijl een van de hoofdrolspelers zijn verlies nog altijd niet wil toegeven geeft Pieter Uittenbogaard ons in De slag om het Witte Huis alvast een terugblik op de campagne voor de Amerikaanse presidentsverkiezingen die vanwege de pandemie en de rassenrellen in een bijzondere crisissfeer verliep.

‘Van Iowa tot Wisconsin’ is de ondertitel van Uittenbogaards bijzonder boeiende chronologische verslag van een campagne die nog lang van invloed zal zijn op de Amerikaanse politieke verhoudingen. Het begint allemaal in Iowa, al in het voorjaar van 2019, omdat daar op 3 februari 2020 de eerste voorverkiezingen worden gehouden. Voor de Democraten hebben zich in totaal 28 kandidaten gemeld. Uiteindelijk wint Buttegieg nipt van Sanders,  die wel de meeste stemmen maar niet de meeste gedelegeerden wint. Warren komt op de derde plaats en Biden komt niet verder dan 13% en zes gedelegeerden.

Uittenbogaard ging in Iowa mee met op campagne met inmiddels totaal vergeten kandidaten als Eric Swalwell en Wayne Messam. In zalen en zaaltjes, op pleinen en in huiskamers presenteren de kandidaten zich en lopen de leden van de Democratische partij zich warm voor de verkiezingen. We zien een levendige democratie met een grote betrokkenheid van kiezers en debatten die over de inhoud gaan. Maar dat gaat snel veranderen. Na de primaries in Iowa gaat de coronacrisis de campagne overheersen en het politiegeweld dat de aanleiding is voor de Black Lives Matter beweging. De democratie aan de basis, zoals Uittenbogaard die ons in zijn eerste deel laat zien, komt niet meer terug.

Lezen: De wereld vóór God, door Kees Alders

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.

Waarom kiezers baat hebben bij meer ‘negative campaigning’, aldus NRC

Het NRC komt met een stuk met daarin drie campagnewetten naar aanleiding van het veelbesproken SP filmpje waarin ze stelt dat negatieve campagnes nuttig zijn.

Maar er is dus ook een andere werkelijkheid: ik sprak deze week politici en strategen uit zes partijen, ook SP en PvdA, en ze waren ervan overtuigd dat twee partijen hiervan profiteren.

Volgens Tom-Jan Meeus heeft het spotje in ieder geval één ding bereikt: iedereen weet dat er binnenkort verkiezingen zijn.

Foto: zoetnet (cc)

Dit is het beste wat het CDA kon overkomen

COLUMN - Met maar 258 stemmen verschil moet alles even pijn hebben gedaan. Had Omtzigt dan toch nog een avondje moeten canvassen in dat ene zaaltje? Wèl naar Oosterbeek in plaats van Gorssel? De Jonge is blij dat extra zaaltje nog te hebben gedaan, toch even op die selfie en een (te lange) borrel in Zaandam. Wat Omtzigt zichzelf verwijt, daarmee prijst De Jonge zich gelukkig. Hij is kapitein op het schip, de nummer één die het samen gaat doen.

Dus zoeken commentatoren naar de betekenis van deze kleine marge. Is de partij verdeeld? De helft van de 66 procent stemgerechtigden (da’s eenderde) van de partij koos toch voor een partij in het midden en de andere helft … ook.

Een opruiende lezing van dat verschil is m.i. weinig consequent beredeneerd: als media voor woensdag stellen dat er tussen beide kandidaten weinig licht zit, kan de lezing nu toch niet zijn dat de partij aan verdeeldheid ten onder gaat en implodeert. Het gaat alleen om de poppetjes, inhoudelijk zijn er weliswaar accentverschillen (Hugo is stad, Omtzigt platte land; Hugo wil een middenpartij zijn, Omtzigt een nieuw sociaal contract (hij leest de FT)), maar niet meer dan dat: accentverschillen.

Foto: Yuri Samoilov (cc)

Verkiezingsreces

COLUMN - De parlementair redacteur bij de Telegraaf had iets opgevangen over een mogelijk gebrek aan motivatie bij het kabinet. Hij informeerde daar afgelopen vrijdag bij de minister-president naar:

En is het voorstelbaar dat het kabinet, we krijgen natuurlijk de zomervakantie, we krijgen verkiezingscampagne. Is het denkbaar dat het kabinet besluit om deze periode geen nieuwe besluiten over extra maatregelen naast datgene wat al is aangekondigd?

Maar natuurlijk! Zomervakantie en dan de aanloop naar de verkiezingen in maart 2021. Het kabinet heeft wel wat beters te doen dan het land uit de coronacrisis tillen.

IJs en weder dienende gaat het politieke zomerreces in op 3 juli en gaat men per 1 september weer aan de slag. Die slag wordt ‘normaal gesproken’ onderbroken door een herfstreces (oktober), het kerstreces (december/januari) , het voorjaarsreces (februari)  en (even opletten!) het verkiezingsreces (26 februari t/m 22 maart 2021).

Het kabinet gaat er vooralsnog van uit dat de coronacrisis de voor 17 maart 2012 geplande verkiezingen niet in de weg zal zitten.  Minister van Binnenlandse Zaken Kajsa Ollongren gaat nog  uitvogelen hoe die verkiezingen passend gemaakt kunnen worden aan de cornonamaatregelen.

De verkiezingen zelf door laten gaan, prima. Maar de verkiezingscampagne ook? Zolang er sprake is van crisis, is het wellicht beter geen campagne voeren. Bij eerdere calamiteiten is dat al eens gebeurd.

Steun ons!

De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.

Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.

Foto: Jeso Carneiro (cc)

Dood in Brazilië

COLUMN - Vorige week is Jair Bolsonaro gekozen tot president van Brazilië. Op 1 januari wordt hij ingezworen. Volgens de leer van de weerbare democratie is ingrijpen vereist om moord op de democratie te voorkomen. Maar tevoren is geen adequate manier vastgelegd om dat te doen.

Ik zou een staatsgreep beginnen op de allereerste dag!” In 1999 liet Bolsonaro geen misverstand bestaan over wat hij zou doen als hij ooit president werd. “Begin de staatsgreep meteen, laten we dit een dictatuur maken.” Daarnaast heeft hij zich uitgesproken voor marteling, en gedreigd tegenstanders te vernietigen. In een toespraak in 1993 verklaarde hij doodleuk: “Ik ben voorstander van dictatuur.”

Dat was acht jaar na het einde van het militaire regime in Brazilië. Onder dat bewind werden media gemuilkorfd en politieke tegenstanders gemarteld, naar verluidt vaak door verkrachting en castratie. In 2014 rapporteerde een waarheidscommissie dat onder de militaire dictatuur 191 personen zijn gedood en nog eens 243 verdwenen. Bolsonaro zei dat de dictatuur meer mensen had moeten vermoorden.

In afgelopen verkiezingscampagne liet Bolsonaro een ander geluid horen. Op 31 mei ontkende hij dat hij het woord “interventie” had gebruikt, een eufemisme voor een staatsgreep. En vorige week nog beloofde hij een “verdediger van democratie” te zullen zijn. Maar vorige maand dreigde hij juist een eventueel verlies niet te zullen accepteren. Geen loos dreigement, gezien zijn contacten met het leger.

Foto: IISG (cc)

De verheffing

COLUMN - Allerlei partijen hebben de afgelopen weken alvast startsalvo’s gegeven voor de aankomende verkiezingen. Het campagneseizoen is begonnen. Maar zal het ook wezenlijk ergens over gaan?

Ik las een paar weken terug op Twitter dat betaalbare zorg hét verkiezingsitem van 2017 gaat worden. Nee, zeiden anderen, het wordt Nexit en immigratie.

Ik heb er een paar dagen over na lopen denken. Zijn dit nu echt essentiële onderwerpen voor de toekomst? Natuurlijk is zorg belangrijk. Maar behalve wat gesleutel aan de verdeling verwacht ik daar geen grote koerswijzigingen. Een nationaal zorgfonds (mocht dat er al komen) is wat mij betreft ook gesleutel aan de verdeling zonder aardverschuivingen. Nexit en immigratie, het eerste is een hobby van een handvol idioten en immigratie gaan wij niet over, het overkomt ons.

Er zijn wat mij betreft veel belangrijker thema’s waar we niets of veel te weinig over horen. Echte ouderwetse politiek-ideologische vraagstukken. Die helpen politiek consistente antwoorden op nieuwe vragen te vinden voorbij de waan van de dag (en de polls)

Het eerste is groen versus groei. We kunnen de keuze niet eindeloos blijven uitstellen want binnenkort zijn de fossiele brandstoffen op. (En misschien is er wel een optimist die groene groei voorziet). Ik hoorde het als dilemma ergens in het begin van mijn vakbondsloopbaan uit de mond van Hilda Verwey-Jonker en daarna werd het te vaak overschreeuwd door de waan van de dag.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Doe het veilig met NordVPN

Sargasso heeft privacy hoog in het vaandel staan. Nu we allemaal meer dingen online doen is een goede VPN-service belangrijk om je privacy te beschermen. Volgens techsite CNET is NordVPN de meest betrouwbare en veilige VPN-service. De app is makkelijk in gebruik en je kunt tot zes verbindingen tegelijk tot stand brengen. NordVPN kwam bij een speedtest als pijlsnel uit de bus en is dus ook geschikt als je wil gamen, Netflixen of downloaden.

Foto: Sargasso achtergrond wereldbol

Nucleair startschot verkiezingscampagne

Kerncentrale in Doel, België (Foto: Wikimedia Commons/Friedrich Tellberg)

Zeer opmerkelijk bericht: het CDA wil graag twee extra kerncentrales bouwen. Verhagen uitte het voornemen van de partij om nieuwe vergunningen af te geven tijdens een bezoek aan de reactor in Petten.

Reden voor de nieuwe centrales zou zijn dat de Nederlandse energievoorraden onder druk komen te staan de komende dertig jaar. Het voorstel is goed getimed: uit een onderzoek in opdracht van EZ en VROM, aangevuld met een analyse van het SCP, zou blijken dat tweederde van de bevolking voor kernenergie is. En eigenlijk zijn de papieren van kernenergie als alternatief helemaal niet zo slecht.

De grondstof kan in landen als Australië en Canada betrokken worden, terwijl olie uit allerlei dubieuze staten komt. De opslag van kernafval heeft tot nu toe niet tot veel problemen geleid, en de veiligheid van de centrales schijnt ook stukken beter te zijn. De kosten zijn vergelijkbaar met een kolencentrale, en op de kleine hoeveelheden zeer giftig restafval na is een kerncentrale zeer milieuvriendelijk. En zoals Verhagen al opmerkte gebruiken we nu wel gewoon geïmporteerde kernenergie, en dat is toch wel een beetje hypocriet.

Zoals te verwachten stribbelen ‘groene’ groeperingen, zoals GroenLinks, tegen. Verbeterde veiligheid ten spijt, een nieuw Tsjernobyl zal veel doden veroorzaken en een flink deel van ons toch al zeer kleine landje onbewoonbaar maken. Nog altijd gebeuren er allerlei kleinere ongelukken met kerncentrales, dus zo heel denkbeeldig is dat niet.

Lezen: Het wereldrijk van het Tweestromenland, door Daan Nijssen

In Het wereldrijk van het Tweestromenland beschrijft Daan Nijssen, die op Sargasso de reeks ‘Verloren Oudheid‘ verzorgde, de geschiedenis van Mesopotamië. Rond 670 v.Chr. hadden de Assyriërs een groot deel van wat we nu het Midden-Oosten noemen verenigd in een wereldrijk, met Mesopotamië als kernland. In 612 v.Chr. brachten de Babyloniërs en de Meden deze grootmacht ten val en kwam onder illustere koningen als Nebukadnessar en Nabonidus het Babylonische Rijk tot bloei.