ANALYSE - Door Jelke Bethlehem (bijzonder hoogleraar in de survey-methodologie en verbonden aan het Instituut Politieke Wetenschap van Universiteit Leiden).
Op 22 november 2023 zijn er weer verkiezingen voor de Tweede Kamer. Dan wordt er weer volop gepeild. De vraag is of al die peilingen in staat zijn om te voorspellen hoe de uitslag van de verkiezingen eruit zal zien. Hoe accuraat zijn die peilingen eigenlijk? Om wat meer duidelijkheid te krijgen over de nauwkeurigheid van peilingen, kijken we terug naar de Tweede Kamerverkiezingen van 15 maart 2017. Voor die verkiezingen hebben we alle cijfers beschikbaar en kunnen we dus peilingen en verkiezingsuitslag met elkaar vergelijken. Zo kunnen we vaststellen hoe goed de prognoses waren.
Tijdens de verkiezingscampagne in 2017 waren verschillende peilers actief. Het LISS-Panel van de Tilburg University kwam elke dag met een nieuwe peiling. Peil van Maurice de Hond deed het elke week en de Politieke Barometer van Ipsos elke twee weken. De Stemming van GfK en de peilingen van I&O Research en Kantar TNS hadden een lagere frequentie. Al die peilingen beoogden hetzelfde te meten: het stemgedrag als er op dat moment verkiezingen zouden zijn. Peilingen die op hetzelfde moment werden uitgevoerd, zouden dus dezelfde prognose moeten opleveren. Helaas was dat niet het geval.
De grafiek hieronder laat de prognoses voor de PVV zien waarmee de peilingen eind januari / begin februari 2017 kwamen. Er blijken nogal wat verschillen tussen die peilingen te zitten. De prognoses voor de PVV lopen uiteen van 24 zetels (door het LISS-Panel) tot 35 (door Kantar TNS). Dat is een verschil van maar liefst 11 zetels. Waar komen deze verschillen vandaan?
In het ideale geval zou je voor een peiling alle pakweg ruim 13 miljoen stemgerechtigden om hun mening willen vragen. Dit is te tijdrovend en te kostbaar. Daarom beperken peilers zich tot een steekproef van een paar duizend mensen. Hun conclusies zijn dus gebaseerd op een steekproef. Die conclusies zijn alleen dan juist als die steekproef een goede afspiegeling is van de gehele populatie van kiesgerechtigden. De steekproef moet representatief zijn. Daarvoor moet je de steekproef loten uit de populatie. Zo’n steekproef noemen we een aselecte steekproef.
Als je een steekproef netjes (aselect) hebt getrokken, dan kun je de ruis in de uitkomsten kwantificeren. Dat wil zeggen dat je de maximale afwijking van de prognose kunt berekenen. Die afwijking noemen we de onzekerheidsmarge. De grafiek toont de onzekerheidsmarges in de vorm van foutbalken aan de uiteindes van de staven.
De foutbalken van, bijvoorbeeld, Peil en De Stemming overlappen elkaar. Daarom kun je niet de conclusie trekken dat de uitkomsten van de peilingen echt van elkaar verschillen. Het is de ruis die nu eenmaal in de steekproef zit. Bij het LISS-Panel en Kantar TNS is het anders. De foutbalken overlappen elkaar niet. Ze zijn duidelijk gescheiden. Er is dus een significant verschil tussen beide peilingen dat je niet kunt verklaren door de ruis van de steekproef. We moeten dan ook concluderen dat er sprake is van ‘echte’ verschillen tussen de peilingen.
Om de uitkomsten van peilingen goed te kunnen analyseren, moet je dus aselecte steekproeven gebruiken. Dat is lang niet altijd mogelijk. Dan zoeken peilers hun heil in het toepassen van zelfselectie. Ze zetten de vragenlijst van de peiling voor iedereen vrij beschikbaar op het internet. Dus iedereen die dat wil, kan meedoen. Dus ook personen die niet behoren tot de doelgroep. Soms kun je de vragenlijst zelfs meer dan één keer invullen. Dit leidt allemaal tot steekproeven die meestal verre van representatief zijn. Maar misschien nog belangrijker is het dat groepjes personen de uitkomsten van de peiling kunnen manipuleren. Zie Bethlehem (2023a) voor een aantal voorbeelden van gemanipuleerde zelfselectie-peilingen.
Als een peiling is gebaseerd op een aselecte steekproef, dan nog is dit geen garantie dat prognoses altijd nauwkeurig zijn. Een belangrijk aspect is het tijdstip van de peiling. Naarmate er meer tijd zit tussen de peiling en de verkiezingen zelf, kun je verwachten dat de prognoses minder nauwkeurig zijn. De prognoses in de tabel zijn daarvan een voorbeeld. De peilingen vonden een week of zes voor de verkiezingen plaats. De werkelijke verkiezingsuitslag voor de PVV was 20 zetels. Er zaten dus grote verschillen tussen de prognoses (variërend van 24 tot 35 zetels) en de werkelijke uitslag. De peilingen gingen door tot twee dagen voor de verkiezingen. De prognoses voor deze laatste peilingen waren een stuk beter. De afwijkingen kwamen niet boven de negen zetels uit. Zie Bethlehem (2017).
Ook Paul Whiteley (2022) beschrijft de problemen van peilen ver voor de verkiezingen. Voor een grote reeks Britse peilingen berekende hij de correlatie (samenhang) tussen prognoses en werkelijke verkiezingsuitslag. Is de correlatie gelijk aan 1, dan kun je de uitslag exact voorspellen. En een correlatie van 0 betekent dat er totaal geen verband is tussen prognose en uitslag. Whiteley toonde aan dat de correlatie lager werd naarmate er meer tijd zat tussen peiling en verkiezingsuitslag. Twee jaar voor de verkiezingen was de correlatie met een waarde van rond de 0,5 laag. En één maand voor de verkiezingen was de correlatie gestegen tot boven de 0,8. Een stuk beter dus. Ook hier moet de conclusie luiden dat het weinig zinvol is om ver voor de verkiezingen te peilen.
Peilen ver voor de dag van de verkiezingen is dus niet zo’n goed idee. Waarom zijn die vroege peilingen zo onnauwkeurig? Er zijn diverse mogelijke oorzaken. Die liggen deels bij de partijen. Het kan nog niet duidelijk zijn welke partijen wel of niet meedoen. Er kunnen na de peiling nog partijen bijkomen. Of misschien besluit een partij wel om juist niet mee te doen. De oorzaken kunnen ook bij de stemgerechtigden liggen. Die weten vaak nog niet of ze gaan stemmen en als ze denken te gaan stemmen, dan weten ze misschien nog niet op welke partij. En als ze het wel weten dan kunnen gebeurtenissen (bijvoorbeeld een verkiezingsdebat op tv) ertoe leiden dat ze van mening veranderen (een late swing).
Het zal duidelijk zijn dat peilingen niet goed bruikbaar zijn als deze ver voor de verkiezingen worden gehouden. Het is beter om niet te veel waarde te hechten aan losstaande prognoses. Beperk je hooguit tot een globale inschatting van de trend in de cijfers. Meer over de praktijk van het peilen is te vinden in Bethlehem (2023b).
Literatuur:
-
– Bethlehem, Jelke (2017), Hoe deden de peilers het bij de verkiezingen https://peilingpraktijken.nl/weblog/2017/03/hoe-deden-de-peilers-het-bij-de-verkiezingen/
-
– Bethlehem, Jelke (2023a), Peilingpraktijken: Over de gevaren van zelfselectie. Stator, jaargang 24, nr. 1, blz. 32-35.
-
– Bethlehem, Jelke (2023b), Peilingen in de praktijk. Zebra Reeks 68, Epsilon Uitgaven, Amsterdam.
-
– Whiteley, Paul (2022), How accurate are the polls when forecasting election outcomes well into the future? British Politics and Policy at LSE (12 July 2022).
Dit artikel verscheen eerder in De Hofvijver, de maandelijkse uitgave van het Montesquieu Instituut met beschouwingen, opinies, columns en achtergronden uit Den Haag en Brussel.
Reacties (6)
Dit is de technische kant van het verhaal waarom peilingen wel of niet zinvol zijn.
Interessanter is de vraag: beïnvloeden de (publicaties van) peilingen ook de uiteindelijke uitslag? En zo ja: is dat eigenlijk wel wenselijk/zinvol?
Die invloed lijkt er wel te zijn, zie de redelijk succesvolle tweestrijdstrategie waarbij twee partijen elkaar als ‘vijand’ benoemen en zo stemmen ter linker of rechterzijde wegtrekken. De zogenoemde strategische stemmer kan alleen maar zinvol strategisch stemmen als er een indicatie is welke kant het op gaat.
Peilingen die ver voor verkiezingen worden gehouden zijn toch helemaal niet bedoeld om de uitslag van die toekomstige verkiezingen te voorspellen? Ze geven een beeld van de toestand op het moment van de peiling. Niks meer en niks minder.
Een peiling ver voor de verkiezingen heeft meestal niet als doel om de verkiezingsuitslag te voorspellen, maar om het sentiment op dat moment te onderzoeken. Dat de peiling onnauwkeuriger wordt hoe meer tijd er zit tussen de peiling in de verkiezingsuitslag is natuurlijk een open deur, en op zichzelf geen reden om maar niet te peilen.
De betrouwbaarheid van de peilingen is natuurlijk een ding, vanwege de problemen die je tegen komt als je een aselecte steekproef wil trekken (hoge kosten, hoge non-respons, misschien ook selectieve non-respons). Naar mijn weten lossen de peilers dit op door een steekproef te trekken van een steekproef onder een online panel, en vervolgens de uitkomsten te wegen. Dit kan een prima verantwoorde methode zijn, wat ook blijkt als je peilingen vlak voor de verkiezingen vergelijkt met de uitslag. Je kan ook vreselijk de mist in gaan, dus openheid over de methode en discussie daarover is belangrijk.
Ik zie dan ook niet in waarom peilingen ver voor de verkiezingen een slecht idee zouden zijn. Een andere manier om een indruk te krijgen van de opinie van de bevolking is er niet, en de beschikbaarheid van informatie over wat de bevolking vindt zorgt in elk geval voor tegenwicht tegen alle claims die over die steun worden gedaan door politici (en anderen). De voordelen wegen ruimschoots op tegen de nadelen.
Dan zijn er ook nog eens gebeurtenissen, waarvan de berichtgeving is te sturen. Een voorbeeld: Als de kranten ineens vol staan met berichten over een pedo, zal de stemming onder het publiek een tijdlang een stuk conservatiever zijn. Een beetje doortrapte club weet met zo’n open deur wel raad.
Zoals Hans Custers al aangeeft, peilingen zijn geen voorspellingen. Het is natuurlijk belangrijk dat peilingen nauwkeurig en betrouwbaar zijn, maar de nauwkeurigheid van peilingen zegt niets over hun voorspellende waarde.
Op zich zijn peilingen nuttige informatie voor politici, journalisten, en politiek bovenmatig geinteresseerde burgers. Maar ze krijgen veel te veel aandacht in de pers en voor de verkeerde redenen. Peilingen raadplegen om een idee te krijgen van de algemene stemming in het land is nuttig. Peilingen als bron voor wilde speculatie en eindeloze discussie over mogelijk toekomstig te vormen regeringen zijn schadelijk voor het politieke debat en ongewenste beinvloeding van de verkiezingen.
Het succes van Omtzigt in de huidige peilingen zou aanzet moeten geven tot vervolgonderzoek naar wat mensen in hem zien en reflectie op of dat beeld strookt met de feiten. Maar journalisten (en nieuwsconsumenten?) lijken alleen geinteresseerd in de mogelijke gevolgen voor politieke partijen en politici van een puur speculatieve verkiezingsuitslag.