van Tom Louwerse en Rozemarijn van Dijk, eerder gepubliceerd op Stuk Rood Vlees.
Peilingen worden veelvuldig gebruikt in de media tijdens verkiezingscampagnes. Hoeveel is partij X gestegen in de peilingen? Welke partij is groter, partij A of partij B? In een recent gepubliceerd artikel [gratis te lezen versie] onderzochten wij hoe die peilingen werden gerapporteerd: is er aandacht voor cruciale informatie over de onderzoekaanpak en, misschien nog wel belangrijker, worden verschuivingen en verschillen in de peilingen correct geïnterpreteerd? We hebben hierbij ook onderzocht of het uitmaakt of peilingbureaus in hun rapportages methodologische informatie vermelden: zorgt meer informatie in de rapportage van het onderzoeksbureau voor een beter nieuwsartikel?
De kwaliteit van de rapportage
Voor ons onderzoek, hebben we alle nieuwsartikelen in de vijf weken voor de verkiezingen van 2010, 2012 en 2017 verzameld waarin het woord ‘peiling’ en de naam van een onderzoeksbureau voorkwam.[1] Deze artikelen kwamen uit alle landelijke dagbladen en de online nieuwswebsites van NOS en RTL Nieuws.
De kwaliteit van de krantenartikelen over peilingen kun je op verschillende manieren beoordelen. Wij hebben naar drie dingen gekeken:
Het aantal aspecten van de onderzoeksaanpak dat werd genoemd, bijvoorbeeld hoeveel mensen werden ondervraagd, wanneer en hoe werden de gegevens verzameld;
Het vermelden van de foutmarge van de peiling;
De correcte interpretatie van verschuivingen en verschillen in een peiling.
De WAPOR (World Association for Public Opinion Research) hanteert een lijst van 16 verschillende ‘essentiële feiten’ die bekend moeten zijn over een peiling waarover nieuws verschijnt. Hoewel je niet mag verwachten dat al die zaken ook in het nieuwsbericht vermeld worden (bijvoorbeeld: het opnemen van een volledige vragenlijst in een nieuwsbericht), kunnen we dit als een groslijst gebruiken. In de praktijk zien we dat 8 van de WAPOR-items in verschillende mate worden genoemd in nieuwsberichten: de populatie (bijvoorbeeld: alle kiezers), steekproefmethode, non-respons, de grootte van de sample, de data van het veldwerk, de dataverzamelingsmethode, de foutmarge en of de resultaten gewogen zijn (zie tabel 1).
Tabel 1. WAPOR-criteria in krantenartikelen en peilingrapportages (%)
Krantenartikelen
Peilingrapportages
2010
2012
2017
2010
2012
2017
Populatie
0,0
2,4
2,7
14,3
22,0
25,9
Steekproefmethode
2,9
2,4
2,7
0,0
39,0
25,9
Non-respons
0,0
1,6
0,0
0,0
12,2
24,1
Steekproefomvang
14,7
14,5
0,0
23,8
36,6
41,4
Wegingsprocedure
0,0
0,0
0,0
23,8
26,8
25,9
Veldwerkperiode
0,0
4,8
2,7
23,8
36,6
36,2
Dataverzamelingsmethode
8,8
21,8
45,9
23,8
26,8
32,8
Foutmarge
5,9
28,2
64,9
9,5
39,0
67,2
Tabel 1 gaat alleen over nieuwsberichten die (vrijwel) geheel over een peiling gaan. Uit tabel 1 valt af te lezen dat in krantenartikelen doorgaans de steekproefomvang, de non-respons of veldwerkdata niet worden vermeld.[2] De dataverzamelingsmethode en foutmarge worden sinds 2010 steeds vaker in nieuwsberichten vermeld. Een groot deel van deze toename is toe te schrijven aan de berichten over de Peilingwijzer, die andere peilingen samenvoegt en daarbij consequent de score van partijen rapporteert met een onzekerheidsmarge. Peilers vermelden in hun rapportages steeds meer informatie over hun onderzoek, maar er zijn verschillen tussen bureaus. In 2017 zagen we dat met name I&O Research, Kantar en EenVandaag/GfK relatief veel informatie vermeldden over hun onderzoeksaanpak in hun eigen rapportages/nieuwsberichten.[3]
We hebben getest of er een verband is tussen de hoeveelheid methodologische criteria die de peilbureaus rapporteren en de hoeveelheid criteria die door journalisten zijn vermeld. We vonden dat er geen verband was tussen de hoeveelheid methodologische informatie die peilbureaus verschaffen en de hoeveelheid informatie die journalisten rapporteerden.
Het vermelden van de foutmarge verdient speciale aandacht. De foutmarge is immers erg belangrijk om een peiling correct te interpreteren: kleine verschuivingen in een peiling vallen binnen de foutmarge en kunnen dus het gevolg zijn van toevalligheden in de steekproeftrekking. Niet alleen zien we dat die foutmarge vaker wordt gerapporteerd in nieuwsberichten. We zien ook dat, als de foutmarge wordt vermeld door de peiler, de kans groter is dat dit ook in het nieuwsbericht terug te vinden is.
Peilers vermelden de foutmarge op verschillende manieren. De meest gangbare manier is om ergens in het rapport te vermelden dat er een foutmarge is van bijvoorbeeld +/- 2,5%. Een andere manier, die wordt toegepast door de Peilingwijzer, is om de gepeilde zetelaantallen te presenteren als een interval. Een partij staat dan niet op 23 zetels in de peilingen, maar op 21-25 zetels. Deze laatste manier van rapporteren heeft een significant positief effect op de kans dat ook journalisten de foutmarge vermelden.
Interpretatie van peilingen
De hamvraag is: wordt door de vermelding van de foutmarge de interpretatie van peilingen ook beter? Dit hebben we onderzocht door te kijken naar de interpretatie van vergelijkingen tussen partijen in eenzelfde peiling (de zogenaamde synchrone vergelijking) en de interpretatie van de verschillen van de groei of daling van één partij tussen verschillende peilingen (de diachrone vergelijking). We zagen een sterk verband tussen het rapporteren van de foutmarge als interval en het correct interpreteren van de verschillen tussen partijen. Dit verband was niet aanwezig als ergens in het rapport was vermeld dat er een foutmarge bestaat. Het vermelden van een betrouwbaarheidsinterval zorgt er dus voor dat de kwaliteit van de rapportering van peilingen wordt vergroot. Voor stijging of daling van een partij tussen twee peilingen zien we echter geen effect van het vermelden van de foutmarge door de peiler.
Hoe nu verder?
Ons onderzoek suggereert dat het uitmaakt of peilers methodologische informatie vermelden in hun rapporten: het vermelden van de foutmarge als interval zorgt er niet alleen voor dat er meer kans is dat deze marge ook in het nieuwsartikel terecht komt; we kunnen het ook linken aan een betere interpretatie van verschillen tussen partijen in een peiling.
Is ons advies nu om dan maar zoveel mogelijk methodologische informatie in peilingennieuws te proppen? Nee, daar wordt het bericht waarschijnlijk niet begrijpelijker en beter van. Maar het rapporteren van basale informatie, zoals wanneer een peiling werd gehouden, onder welke groep (hoeveel respondenten en hoe werden die geselecteerd), met welke foutmarge rekening kan worden gehouden en (online) een link naar de uitgebreide rapportage van de peiler, is niet teveel gevraagd. In sommige landen is dit zelfs wettelijk verplicht. Het zorgt ervoor dat duidelijk is hoe het onderzoek is uitgevoerd en dat helpt schrijvers en lezers van het nieuwsbericht bij het correct interpreteren van de resultaten. Dit advies geldt overigens niet alleen voor zetelpeilingen van de bekende bureaus, maar juist ook voor allerlei andere peilingen, waarbij nog veel vaker onduidelijk is wie er nu precies zijn ondervraagd en welke conclusies je daaraan kunt verbinden.
Als onderzoeksbureaus willen bevorderen dat nieuwsmedia de onzekerheidsmarges rapporteren, dan kan het gebruik van een interval in de rapportage nuttig zijn. Dus: rapporteer de score van een partij als ‘10 tot 14 zetels’ in plaats van ‘12’ (als de foutmarge 2 zetels is). We zien in ons onderzoek dat dit interval dan vaak wordt overgenomen in nieuwsberichten. Een rapportage van zo’n interval benadrukt dat kleine verschillen tussen partijen niet betekenisvol zijn. Het plaatst de verschillen in perspectief en relativeert de precisie van peilingen.
Nu kan het zo zijn dat het door ons gevonden verband tussen rapportages van bureaus en nieuwsberichten wordt gedreven door een selectie-effect. Journalisten die zelf meer waarde hechten aan een zorgvuldige rapportage van peilingen, kiezen er wellicht voor om te rapporteren over peilingen van een bureau dat meer methodologische informatie verstrekt. Als dat zo is, blijft het rapporteren van methodologische informatie door peilers belangrijk, maar moet allicht meer moeite worden gedaan om journalisten die nog niet zo zorgvuldig over peilingen berichten ervan te overtuigen om dat beter te doen. We moedigen daarom journalisten en peilers van harte aan om (nog) meer samen te werken ten behoeve van een correcte rapportage van peilingen.
[1] Er zaten hierdoor ook artikelen bij over bijvoorbeeld buitenlandse peilingen of artikelen over peilingen in het algemeen. Voor de analyse hebben we ons alleen gericht op artikelen die expliciet gaan over een specifieke peiling of als er een peiling wordt gebruikt in het artikel om aan te geven op hoeveel zetels een (enkele) partij in de peiling heeft.
[2] Tabel 1 bevat ook nieuwsberichten en rapportages over de Peilingwijzer, een gemiddelde van peilingen, waarvoor sommige criteria zoals veldwerkperiode en steekproefomvang niet (op dezelfde wijze) van toepassing zijn.
[3] We keken naar de beschikbaarheid van methodologische informatie in de rapportage/persbericht zelf, niet of eventuele informatie elders (op de website van het onderzoeksbureau) gevonden kon worden. Daarom scoorde ook bijvoorbeeld de Peilingwijzer relatief laag op dit criterium.
