van Tom Louwerse en Rozemarijn van Dijk, eerder gepubliceerd op Stuk Rood Vlees. Peilingen worden veelvuldig gebruikt in de media tijdens verkiezingscampagnes. Hoeveel is partij X gestegen in de peilingen? Welke partij is groter, partij A of partij B? In een recent gepubliceerd artikel [gratis te lezen versie] onderzochten wij hoe die peilingen werden gerapporteerd: is er aandacht voor cruciale informatie over de onderzoekaanpak en, misschien nog wel belangrijker, worden verschuivingen en verschillen in de peilingen correct geïnterpreteerd? We hebben hierbij ook onderzocht of het uitmaakt of peilingbureaus in hun rapportages methodologische informatie vermelden: zorgt meer informatie in de rapportage van het onderzoeksbureau voor een beter nieuwsartikel? De kwaliteit van de rapportage Voor ons onderzoek, hebben we alle nieuwsartikelen in de vijf weken voor de verkiezingen van 2010, 2012 en 2017 verzameld waarin het woord ‘peiling’ en de naam van een onderzoeksbureau voorkwam.[1] Deze artikelen kwamen uit alle landelijke dagbladen en de online nieuwswebsites van NOS en RTL Nieuws. De kwaliteit van de krantenartikelen over peilingen kun je op verschillende manieren beoordelen. Wij hebben naar drie dingen gekeken: Het aantal aspecten van de onderzoeksaanpak dat werd genoemd, bijvoorbeeld hoeveel mensen werden ondervraagd, wanneer en hoe werden de gegevens verzameld; Het vermelden van de foutmarge van de peiling; De correcte interpretatie van verschuivingen en verschillen in een peiling. De WAPOR (World Association for Public Opinion Research) hanteert een lijst van 16 verschillende ‘essentiële feiten’ die bekend moeten zijn over een peiling waarover nieuws verschijnt. Hoewel je niet mag verwachten dat al die zaken ook in het nieuwsbericht vermeld worden (bijvoorbeeld: het opnemen van een volledige vragenlijst in een nieuwsbericht), kunnen we dit als een groslijst gebruiken. In de praktijk zien we dat 8 van de WAPOR-items in verschillende mate worden genoemd in nieuwsberichten: de populatie (bijvoorbeeld: alle kiezers), steekproefmethode, non-respons, de grootte van de sample, de data van het veldwerk, de dataverzamelingsmethode, de foutmarge en of de resultaten gewogen zijn (zie tabel 1). Tabel 1. WAPOR-criteria in krantenartikelen en peilingrapportages (%) Krantenartikelen Peilingrapportages 2010 2012 2017 2010 2012 2017 Populatie 0,0 2,4 2,7 14,3 22,0 25,9 Steekproefmethode 2,9 2,4 2,7 0,0 39,0 25,9 Non-respons 0,0 1,6 0,0 0,0 12,2 24,1 Steekproefomvang 14,7 14,5 0,0 23,8 36,6 41,4 Wegingsprocedure 0,0 0,0 0,0 23,8 26,8 25,9 Veldwerkperiode 0,0 4,8 2,7 23,8 36,6 36,2 Dataverzamelingsmethode 8,8 21,8 45,9 23,8 26,8 32,8 Foutmarge 5,9 28,2 64,9 9,5 39,0 67,2 Tabel 1 gaat alleen over nieuwsberichten die (vrijwel) geheel over een peiling gaan. Uit tabel 1 valt af te lezen dat in krantenartikelen doorgaans de steekproefomvang, de non-respons of veldwerkdata niet worden vermeld.[2] De dataverzamelingsmethode en foutmarge worden sinds 2010 steeds vaker in nieuwsberichten vermeld. Een groot deel van deze toename is toe te schrijven aan de berichten over de Peilingwijzer, die andere peilingen samenvoegt en daarbij consequent de score van partijen rapporteert met een onzekerheidsmarge. Peilers vermelden in hun rapportages steeds meer informatie over hun onderzoek, maar er zijn verschillen tussen bureaus. In 2017 zagen we dat met name I&O Research, Kantar en EenVandaag/GfK relatief veel informatie vermeldden over hun onderzoeksaanpak in hun eigen rapportages/nieuwsberichten.[3] We hebben getest of er een verband is tussen de hoeveelheid methodologische criteria die de peilbureaus rapporteren en de hoeveelheid criteria die door journalisten zijn vermeld. We vonden dat er geen verband was tussen de hoeveelheid methodologische informatie die peilbureaus verschaffen en de hoeveelheid informatie die journalisten rapporteerden. Het vermelden van de foutmarge verdient speciale aandacht. De foutmarge is immers erg belangrijk om een peiling correct te interpreteren: kleine verschuivingen in een peiling vallen binnen de foutmarge en kunnen dus het gevolg zijn van toevalligheden in de steekproeftrekking. Niet alleen zien we dat die foutmarge vaker wordt gerapporteerd in nieuwsberichten. We zien ook dat, als de foutmarge wordt vermeld door de peiler, de kans groter is dat dit ook in het nieuwsbericht terug te vinden is. Peilers vermelden de foutmarge op verschillende manieren. De meest gangbare manier is om ergens in het rapport te vermelden dat er een foutmarge is van bijvoorbeeld +/- 2,5%. Een andere manier, die wordt toegepast door de Peilingwijzer, is om de gepeilde zetelaantallen te presenteren als een interval. Een partij staat dan niet op 23 zetels in de peilingen, maar op 21-25 zetels. Deze laatste manier van rapporteren heeft een significant positief effect op de kans dat ook journalisten de foutmarge vermelden. Interpretatie van peilingen De hamvraag is: wordt door de vermelding van de foutmarge de interpretatie van peilingen ook beter? Dit hebben we onderzocht door te kijken naar de interpretatie van vergelijkingen tussen partijen in eenzelfde peiling (de zogenaamde synchrone vergelijking) en de interpretatie van de verschillen van de groei of daling van één partij tussen verschillende peilingen (de diachrone vergelijking). We zagen een sterk verband tussen het rapporteren van de foutmarge als interval en het correct interpreteren van de verschillen tussen partijen. Dit verband was niet aanwezig als ergens in het rapport was vermeld dat er een foutmarge bestaat. Het vermelden van een betrouwbaarheidsinterval zorgt er dus voor dat de kwaliteit van de rapportering van peilingen wordt vergroot. Voor stijging of daling van een partij tussen twee peilingen zien we echter geen effect van het vermelden van de foutmarge door de peiler. Hoe nu verder? Ons onderzoek suggereert dat het uitmaakt of peilers methodologische informatie vermelden in hun rapporten: het vermelden van de foutmarge als interval zorgt er niet alleen voor dat er meer kans is dat deze marge ook in het nieuwsartikel terecht komt; we kunnen het ook linken aan een betere interpretatie van verschillen tussen partijen in een peiling. Is ons advies nu om dan maar zoveel mogelijk methodologische informatie in peilingennieuws te proppen? Nee, daar wordt het bericht waarschijnlijk niet begrijpelijker en beter van. Maar het rapporteren van basale informatie, zoals wanneer een peiling werd gehouden, onder welke groep (hoeveel respondenten en hoe werden die geselecteerd), met welke foutmarge rekening kan worden gehouden en (online) een link naar de uitgebreide rapportage van de peiler, is niet teveel gevraagd. In sommige landen is dit zelfs wettelijk verplicht. Het zorgt ervoor dat duidelijk is hoe het onderzoek is uitgevoerd en dat helpt schrijvers en lezers van het nieuwsbericht bij het correct interpreteren van de resultaten. Dit advies geldt overigens niet alleen voor zetelpeilingen van de bekende bureaus, maar juist ook voor allerlei andere peilingen, waarbij nog veel vaker onduidelijk is wie er nu precies zijn ondervraagd en welke conclusies je daaraan kunt verbinden. Als onderzoeksbureaus willen bevorderen dat nieuwsmedia de onzekerheidsmarges rapporteren, dan kan het gebruik van een interval in de rapportage nuttig zijn. Dus: rapporteer de score van een partij als ‘10 tot 14 zetels’ in plaats van ‘12’ (als de foutmarge 2 zetels is). We zien in ons onderzoek dat dit interval dan vaak wordt overgenomen in nieuwsberichten. Een rapportage van zo’n interval benadrukt dat kleine verschillen tussen partijen niet betekenisvol zijn. Het plaatst de verschillen in perspectief en relativeert de precisie van peilingen. Nu kan het zo zijn dat het door ons gevonden verband tussen rapportages van bureaus en nieuwsberichten wordt gedreven door een selectie-effect. Journalisten die zelf meer waarde hechten aan een zorgvuldige rapportage van peilingen, kiezen er wellicht voor om te rapporteren over peilingen van een bureau dat meer methodologische informatie verstrekt. Als dat zo is, blijft het rapporteren van methodologische informatie door peilers belangrijk, maar moet allicht meer moeite worden gedaan om journalisten die nog niet zo zorgvuldig over peilingen berichten ervan te overtuigen om dat beter te doen. We moedigen daarom journalisten en peilers van harte aan om (nog) meer samen te werken ten behoeve van een correcte rapportage van peilingen. [1] Er zaten hierdoor ook artikelen bij over bijvoorbeeld buitenlandse peilingen of artikelen over peilingen in het algemeen. Voor de analyse hebben we ons alleen gericht op artikelen die expliciet gaan over een specifieke peiling of als er een peiling wordt gebruikt in het artikel om aan te geven op hoeveel zetels een (enkele) partij in de peiling heeft. [2] Tabel 1 bevat ook nieuwsberichten en rapportages over de Peilingwijzer, een gemiddelde van peilingen, waarvoor sommige criteria zoals veldwerkperiode en steekproefomvang niet (op dezelfde wijze) van toepassing zijn. [3] We keken naar de beschikbaarheid van methodologische informatie in de rapportage/persbericht zelf, niet of eventuele informatie elders (op de website van het onderzoeksbureau) gevonden kon worden. Daarom scoorde ook bijvoorbeeld de Peilingwijzer relatief laag op dit criterium.
Na dit vrij pijnlijke incident lijkt me de kans klein dat ik nog vaak bij @EenVandaag zal worden uitgenodigd ;-) Mij was net duidelijk geworden dat we niet gingen praten over het onderwerp waarvoor ik was uitgenodigd: de rol van media in het klimaatdebat.
Energieonderzoeker Remco de Boer had even geen antwoord toen de journalist van EenVandaag hem een vraag stelde over iets wat buiten zijn expertise ligt. Hij antwoorde vervolgens als volgt:
Bedrieglijk echt gaat over papyrologie en dan vooral over de wedloop tussen wetenschappers en vervalsers. De aanleiding tot het schrijven van het boekje is het Evangelie van de Vrouw van Jezus, dat opdook in het najaar van 2012 en waarvan al na drie weken vaststond dat het een vervalsing was. Ik heb toen aangegeven dat het vreemd was dat de onderzoekster, toen eenmaal duidelijk was dat deze tekst met geen mogelijkheid antiek kon zijn, beweerde dat het lab uitsluitsel kon geven.
COLUMN - We worden ondermijnd door onze journalisten,’ bezwoor Baudet ons afgelopen woensdagavond. De NOS, waar hij graag op mag afgeven, zond die overwinningsspeech van 22 minuten integraal uit, en wist na afloop daarvan niet veel meer te doen dan een grap maken over dat rare woord ‘boreaal’, om vervolgens een cabaretière om commentaar te vragen. ‘Nou, die heeft grootse plannen hoor,’ zei ze, ‘ik denk dat we nog veel van hem zullen horen.’ Intussen kopte diezelfde NOS op haar website klakkeloos ‘Een nieuwe lente, een nieuw geluid’ – een poëtische frase die collega-FVD’er Hiddema eerder die avond had ontleend aan de socialistische dichter Herman Gorter, die zich nog urenlang snikkend in zijn graf omdraaide.
Dus dat van die ondermijning door journalisten, daar was ik het wel mee eens.
Als je weet dat het Forum die dag waarschijnlijk de meeste stemmen haalt en je kennelijk op voorhand besluit zo’n overwinningsspeech in z’n geheel uit te zenden, dan zorg je toch dat je mensen hebt klaarzitten die daar naderhand iets degelijks over kunnen zeggen? Als nationale nieuwszender heb je toch een grotere taak dan het leveren van beaat commentaar, dan wel om als naïef kwebbelend doorgeefluik voor een proto-fascistische speech te fungeren?
Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.
Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.
De redactie van Sargasso bestaat uit een club vrijwilligers. Naast zelf artikelen schrijven struinen we het internet af om interessante artikelen en nieuwswaardige inhoud met lezers te delen. We onderhouden zelf de site en houden als moderator een oogje op de discussies. Je kunt op Sargasso terecht voor artikelen over privacy, klimaat, biodiversiteit, duurzaamheid, politiek, buitenland, religie, economie, wetenschap en het leven van alle dag.
Om Sargasso in stand te houden hebben we wel wat geld nodig. Zodat we de site in de lucht kunnen houden, we af en toe kunnen vergaderen (en borrelen) en om nieuwe dingen te kunnen proberen.
Op een vroege zomerochtend loopt de negentienjarige Simone naakt weg van haar vaders boerderij. Ze overtuigt een passerende automobiliste ervan om haar mee te nemen naar een afgelegen vakantiehuis in het zuiden van Frankrijk. Daar ontwikkelt zich een fragiele verstandhouding tussen de twee vrouwen.
Wat een fijne roman is Venus in het gras! Nog nooit kon ik zoveel scènes tijdens het lezen bijna ruiken: de Franse tuin vol kruiden, de schapen in de stal, het versgemaaide gras. – Ionica Smeets, voorzitter Libris Literatuurprijs 2020.