Voorafgaande aan de verkiezingen voor de Provinciale Staten kwamen de peilingbureaus met inschattingen wat deze verkiezingen zouden betekenen voor de samenstelling van de Eerste Kamer. Peilen is niet eenvoudig en voor de Eerste Kamer al helemaal niet: verschuivingen in één bepaalde provincie kunnen net het verschil maken in de Senaat. Dat blijkt ook uit een vergelijking van de peilingen/prognoses met de (voorlopige) uitslag.
Op dit weblog heb ik de laatste weken prognoses voor de Eerste Kamer gepubliceerd, gebaseerd op Tweede Kamerpeilingen (TNS NIPO, Peil en Synovate), opkomstverwachtingen en regionale verschillen in partijkeur. De vergelijking van mijn laatste model op basis van de peilingen tot en met 2 maart laat zien dat deze aanpak redelijk succesvol was. In onderstaande figuur staat de laatste verwachting, waarbij het aantal verwachte zetels (volgens het ANP) grijs is gekleurd. Bij een aantal partijen is de meest waarschijnlijke verwachting bewaarheid geworden: ChristenUnie, D66, SGP en de overigen behaalden even veel zetels als verwacht. Bij een aantal andere partijen lag het uiteindelijke percentage ruim binnen de foutmarge: GroenLinks, PvdA, PvdD, SP en VVD. Alleen bij het CDA (en in zekere zin ook bij de PVV) is dit niet het geval: deze partij deed het met 11 zetels duidelijk beter dan verwacht. Slechts in één van de 1000 simulaties van het modelkreeg het CDA dat aantal. CDA’ers blijken nog trouwer te zijn opgekomen dan verwacht, maar er kan ook sprake zijn van een last-minute ‘pity swing’: stemmers voor de coalitie die niet wilden dat de meest rechtse partijen in de coalitie de overhand zouden krijgen.
 |
| Simulaties Eerste Kamer model: vergelijking met uitslag (grijze staven geven gerealiseerd zetelaantal aan volgens verwachting ANP) |
In vergelijking met de laatste Eerste Kamer peilingen van Peil.nl (Maurice de Hond) en Synovate (Politieke Barometer) deed het hier gepubliceerde model het goed. De grote peilingbureaus zaten er beide 14 zetels naast, terwijl de prognose van deze site er ‘slechts’ 8 zetels naast zat. Daarmee deden de grote bureaus het slechter dan bij de laatste Tweede Kamerverkiezingen, toen ze er ook zo’n 15 zetels naast zaten, maar toen op een totaal van 150 (nu 14 op 75 zetels). Alleen de exit poll van Synovate deed het nog beter: die zat er 4 zetels naast. Helaas voor de samenstellers van de exit poll zat die afwijking nu juist in het verschil tussen oppositie en coalitie (de coalitie stond in de exit poll op 35, maar lijkt uiteindelijk af te stevenen op 37).
Bovenstaand beeld laat zien dat het loont om de gegevens van verschillende peilingbureaus te combineren. Daardoor worden bijvoorbeeld uitschieters uitgevlakt. Daarnaast lijkt het er op dat de hier gebruikte methodiek van het omrekenen van de uitslag naar de Provinciale Staten beter werkt dan de omrekenmethodes van de peilingbureaus – hoewel dat lastig te zeggen is omdat zij niet erg duidelijk zijn hoe ze tot hun Eerste Kamer prognoses komen. Daarnaast is het van belang om duidelijk te maken welke onzekerheidsmarges een rol spelen. Dat kan wellicht voorkomen dat er zure stukjes in kranten verschijnen waarin wordt gemeld dat peilingen ‘er altijd naast zitten’. Peilingen hebben onzekerheidsmarges en daarmee moet rekening worden gehouden: één zetel afwijking per partij betekent niet dat de peiling niet deugt, want dat valt binnen de foutmarge. Aan de wetten van de steekproeftrekking ontkomt namelijk niemand.
Reacties (6)
Beste Tom,
Ik wil je nog even attenderen op de laatste peiling van TNS NIPO (waarvan het veldwerk tot en met 27 februari liep): http://www.tns-nipo.com/pages/nieuws-pers-politiek.asp?file=persvannipobnr_verkiezingen2011.htm
Ons inziens hebben we het dit keer (net als in juni 2010) meer dan redelijk gedaan, met een opkomstvoorspelling van minimaal 50% (De Hond hield het op slechts 45%) en een zetelprognose ’too close to call’ (ook niet door iedereen voorzien).
Daarnaast hebben we in een vroeg stadium al ingeschat dat de mobilisatie van de eigen achterban een sleutelrol zou gaan spelen, waar met name de PVV (en dus de coalitie) onder te lijden zou hebben. Met andere woorden, zoals je al zei: het is leuk een achterban te hebben, maar men moet wel gaan stemmen! En opvallend genoeg (ik zou willen dat het deel van het grote publiek dat in samenzweringstheorieen gelooft dat een keer tot zich zou nemen): dit keer geen gordijnbonus, anders dan in juni 2010 zaten we in onze slotpeiling met de PVV te hoog (en met de PvdA te laag, en D66 weer te hoog).
Uiteraard was de slotpeiling verre van vlekkeloos (we zaten we er ook nog met andere partijen een procent of meer naast), maar hij was toch niet slecht. Zeker gezien het feit dat er de laatste dagen nog flink gemobiliseerd is, en je – dat kan inderdaad niet genoeg worden benadrukt – te maken hebt met de ijzeren wetten van de statistiek.
Iedereen wijst de maar naar de opkomst. Is het niet mogelijk dat een bepaald type kiezer toch is teruggegaan van PVV naar CDA wegens de problemen die het PVV heeft gehad na de Kamerverkiezingen? Als veiligheid op straat voor jou het belangrijkste punt is, dan heeft de PVV toch een veer moeten laten met al die affaires rond Kamerleden.
Martijn, dat lijkt niet waarschijnlijk, gezien het feit dat er tot enkele dagen voor de verkiezingen weinig verkeer was tussen de PVV en het CDA. Maar je weet inderdaad pas achteraf of dat ook in het stemhokje het geval was. Het grote verschil in opkomstintentie tussen de achterban van respectievelijk de PVV en het CDA (zo’n 20%) lijkt hoe dan ook een grotere rol te hebben gespeeld.
Beste Tom,
Interessante uitkomsten van je ‘poll of polls’.
Wat die zure stukjes betreft: de Volkskrant zit er helemaal naast vandaag met de suggestie dat de zeer nauwkeurige exit poll *) van ons bureau, Synovate, de kiezers op het verkeerde been zou hebben gezet.
In het artikel ‘politici in verwarring’staat een feitelijke onjuistheid, waardoor de gehele strekking niet klopt. De slotzinnen luiden :
De zogenoemde ‘definitieve’ prognose, waar het CDA en de PvdA zich aanvankelijk op baseerden, voorspelde 16 zetels voor de VVD, 10 voor het CDA, 9 voor de PVV en 14 voor de PvdA. Het verschil met de uitslag tot nu toe is 2 zetels voor de vier genoemde partijen. Twee cruciale zetels, want het is het verschil tussen wel of geen meerderheid voor de regeringspartijen en de PVV in de senaat.
Dit is pertinent onjuist. Het was niet het verschil tussen wel/geen meerderheid. De prognose luidde 35 zetels, de uitkomst is 37 zetels, inderdaad 2 zetels verschil, maar beide geen meerderheid, zoals ook de uitkomst van de verkiezingen was.
Dus niet: ‘het verschil tussen wel of geen meerderheid voor VVD, CDA en PVV in de senaat’ maar het verschil tussen een krappe of een nog krappere minderheid in de senaat. Een totaal ander perspectief dan in het artikel wordt gesuggereerd!
Geen ‘foute peiling’ maar een fout van de journalist zou ik zeggen.
*)Voor bijzonderheden zie:
http://www.synovate.nl/content.asp?targetid=333
Is de exitpoll van Synovate geen foute peiling? Ze zitten in elk geval weer relatief dicht op de uitslag. Toch twee opmerkingen:
1) Ik ben een week in het buitenland geweest, en heb helaas geen info gevonden over de steekproefgrootte van de exitpoll. Maar als die lijkt op de peiling in juni (ruim 55.000 potentiele kiezers, waarvan dan een opkomstpercentage), zou die zuinig geschat rond de 28000 respondenten kunnen liggen. [Inmiddels bevestigd door Aad van der Veen]
Ik zou graag een betrouwbaarheidsinterval zien van Synovate: die zou bij een grote exitpoll toch niet heel groot moeten zijn? Met een reguliere onzekerheidsmarge (95%) wijken de peilingen van CDA en PVV dan normaliter significant af van de werkelijkheid. Dat zou een teken zijn van een wat onjuiste steekproef.
Complicatie is natuurlijk dat de steekproef tweevoudig was (alleen kiezers van een paar stembureaus). Daar zit dan ook de crux van de voorspelling. Als je gebruik maakt van statistische eisen (met betrouwbaarheidsmarge) kom je dan tot waarschijnlijk erg onzekere uitslagen. Als je gaat wegen naar eerdere verkiezingen, ben ik benieuwd wat het nog met de statistiek te maken heeft.
2) Bovendien moeten we volgens mij niet naar de drie partijen apart kijken. Tom Louwerse stelt in zijn post: “Helaas voor de samenstellers van de exit poll zat die afwijking nu juist in het verschil tussen oppositie en coalitie”. Maar het gaat juist om de kans DAT het precies bij deze drie partijen tegelijkertijd en eenzijdig verkeerd ging. Die kans is veel kleiner dan de random fouten van de drie partijen afzonderlijk bij elkaar opgeteld. Althans, bij een goede steekproef.
Synovate zit inderdaad dicht op de uitslag, maar als bovenstaande bespiegelingen kloppen, zijn er toch nog serieuze aandachtspunten.
De fouten zijn niet geheel te wijten aan de ‘ijzeren wetten van de statistiek’. En het is te makkelijk om dit uitsluitend aan de journalisten toe te schrijven. Peilers moeten gewoon hun betrouwbaarheidsmarges geven, en van de journalisten vragen daar serieus aandacht aan te besteden!
@1 @4 @5 Met Tom van der Meer ben ik het van harte eens dat peilers veel duidelijker moeten zijn over hun methodes en in het bijzonder de betrouwbaarheidsmarges. Wat dat betreft is het in Nederland, in vergelijking met andere landen maar droevig gestemd. Zelden presenteren peilingbureaus foutmarges en steekproefgrootte (uitzondering: TNS NIPO voor wat betreft de steekproefgrootte). Dat maakt het lastig te controleren of er nu werkelijk een verschil is (van week tot week, of tussen peiling en uitslag). Mede daardoor komen peilingen in een negatief daglicht te staan.
Daarnaast zouden alle peilingbureaus naast de zetelaantallen ook de percentages moeten melden (Synovate doet dat, althans voor de Tweede Kamer en in de exit poll). Een verschuiving van één zetel kan namelijk ruim een procent zijn of vrijwel niets. Dat zien we in zekere zin ook terug in de exit poll van Synovate: de afwijking van 0.6% voor het CDA vertaalt zich in een hele zetel verschil, dat is 1.33% – meer dan het dubbele*. Zetels zijn dus (zeker bij de Eerste Kamer) een nogal grove schatting.
Dit alles doet overigens niets af van de verantwoordelijkheid van journalisten om peilingen op een juiste manier te interpreteren.
* Met 28000 respondenten is 0.6% overigens zoals Tom van der Meer al schreef buiten het 95% betrouwbaarheidsinterval voor een proportie van .134 – overigens is de betrouwbaarheidsmarge bij een geclusterde steekproef vaak veel groter dan bij een gewone willekeurige steekproef. Des te meer reden om de marges van een peiling te publiceren.