Onzeker en overschat: waarom peilingen maar peilingen zijn
Zelfs nu er van Tweede Kamerverkiezingen voorlopig geen sprake is, berichten vrijwel alle nieuwsmedia over de (twee)wekelijkse peilingen van de Politieke Barometer en Peil.nl. Ze leggen graag alle verschillen tussen die peilingen onder het vergrootglas. Elke week schrijven kranten en websites over de verschuivingen van één of enkele zetels. Politicologen wijzen er terecht op dit soort conclusies op op drijfzand zijn gebouwd. Peilingen hebben foutmarges, zo wordt terecht opgemerkt. Hoe groot zijn die foutmarges nu precies?
De peilers kunnen het u niet vertellen. In de onderzoeksverantwoording van Peil.nl noch Politieke Barometer staat niets over de onzekerheid van de gepeilde zetelaantallen. Terwijl die onzekerheid er weldegelijk is. Je ondervraagt immers hooguit een paar duizend mensen. Als je een paar duizend andere mensen vraagt, is de uitkomst waarschijnlijk net anders. Dit wordt ook wel de foutmarge of het betrouwbaarheidsinterval genoemd. Je kunt eenvoudig berekenen hoe groot die betrouwbaarheidsinterval is, ingeval je een willekeurige (aselecte) steekproef trekt.
In een peiling met 1000 respondenten (zoals bij de Politieke Barometer), is er een (95%) foutmarge van plus of min 3,7 zetels voor een partij die dertig zetels krijgt in de peiling. Die partij kan dus in werkelijkheid een steun hebben van tussen de ruim 26 en bijna 34 zetels. Beter gezegd: je kunt er 95% zeker van zijn dat het werkelijke zetelaantal tussen de 26 en 34 zetels ligt. Met meer respondenten wordt de foutmarge kleiner, hoewel het verschil tussen 3000 en 4000 mensen niet meer zo groot is. Voor kleinere partijen is de foutmarge natuurlijk ook kleiner, maar toch nog rond de twee zetels voor een partij die tien zetels peilt. Verschuivingen tussen peilingen die binnen deze foutmarges liggen, zeggen dus niets. Ze kunnen net zo goed toevallig zijn, als ze een gevolg van een ‘echte’ kiezersverschuiving. Het is dus zeer opvallend dat de SGP in sommige peilingen altijd twee zetels scoort, zoals Joop van Holsteyn opmerkte. Als de peilers een echte willekeurige steekproef zouden trekken, zou dat zeer onwaarschijnlijk zijn: het zouden er ook regelmatig 1 of 3 moeten zijn.
