ANALYSE - NRC was de afgelopen weken op zoek naar de beste premier die Nederland sinds 1900 heeft gehad. Afgelopen weekend berichtte de krant over de bevindingen van onder andere een enquête onder experts, waar Willem Drees als beste naar voren kwam, en een peiling onder bezoekers van nrc.nl, die de meeste stemmen aan Ruud Lubbers gaven.
De initiatiefnemers hebben duidelijk de meeste energie gestoken in de eerstgenoemde enquête onder experts. Uit de verantwoording blijkt dat zij tachtig deskundigen – historici, politicologen, etc. – hebben aangeschreven, waarvan er uiteindelijk vijftig de vragenlijst hebben geretourneerd (vijfendertig experts hebben daadwerkelijk een volledige enquête ingeleverd). De vragenlijst bevatte tal van vragen die vervolgens op transparante wijze zijn gecombineerd en geaggregeerd tot een uiteindelijke score. Hoewel je best kunt bakkeleien over de gemaakte keuzes – waarom tellen bijvoorbeeld beide onderdelen van de enquête (de open vraag over ‘beste premier’ en de tien gesloten vragen) elk voor 50% mee? – is het duidelijk hoe de scores tot stand zijn gekomen.
Wie is ‘het publiek’?
De bezoekerspoll daarentegen is gwoon een enkele vraag over wie de beste premier was sinds 1900. Het was een internetpoll zoals zoveel nieuwssites en blogs die dagelijks plaatsen. Uiteindelijk hebben 3.441 mensen een stem uitgebracht en won Lubbers dus met 885 stemmen (25,7%). Het is voor iedereen natuurlijk volstrekt helder dat deze steekproef in de verste verte niet representatief is voor de Nederlandse bevolking.
In haar eigen berichtgeving spreekt NRC dan ook consequent over ‘de publiekspoll op nrc.nl’, ‘lezers (via nrc.nl)’, ‘bezoekers’, etc. Ik heb slechts één keer in de verantwoording ‘het publiek’ zien staan zonder direct daarachter een koppeling aan de bezoekers van hun website. (Overigens kun je ook hier je vraagtekens plaatsen bij een generalisatie naar ‘nrc.nl-lezers’ in het algemeen omdat het onduidelijk is wie concreet heeft deelgenomen en hoe de steekproef is samengesteld. Het enige dat we weten van deze respondenten is dat zij die premiersvraag hebben beantwoord…)
Maar helaas is het dus niet voor iedereen volstrekt helder dat het hier gaat om respondenten van een webenquête op NRC.nl. Het ANP-bericht over de NRC-premierspoll is in identieke vorm terug te vinden op Volkskrant.nl, nu.nl, AD.nl en vast nog op veel andere nieuwssites. Er wordt in dat bericht met geen woord gerept over het feit dat het hier gaat om bezoekers van een website. Zowel in de kop als in de tekst volstaat men met ‘het publiek’ of een ‘publiekspoll’. Dat er ‘ruim 3.000 mensen’ meededen staat los van de representativiteit van deelnemers als geheel (zie dit klassieke voorbeeld uit de Amerikaanse presidentsverkiezingen van 1936). Het niveau is werkelijk beneden alle peil (pun intended). Lees nou toch eens de verantwoording bij enquête-onderzoek! En dat geldt net zozeer als je over deze premierspoll wilt berichten als voor de bekende zetelpeilingen.
Onwetendheid, slordigheid of apathie?
Nu rijst de vraag waarom dergelijke berichten in eerste instantie überhaupt worden opgesteld en in tweede instantie klakkeloos worden overgenomen door gerespecteerde nieuwssites. Dit is een oprechte vraag mijnerzijds waarmee ik worstel sinds ik de mediaberichtgeving over peilingen en publieke opinie nauwgezet, welhaast obsessief, ben gaan volgen (ongeveer sinds de campagne van de Tweede Kamerverkiezingen van 2012). Ja, elke zondag is voor mij inderdaad een martelgang zonder weerga.
Ik hoop niet dat het uit onwetendheid is. Dat kán bijna niet. En zo ja, dan moet ik mijn mensbeeld weer wat naar beneden bijstellen. Het kan natuurlijk het gevolg zijn van slordigheid, maar van een persbureau waarvan de hoofdredacteur nota bene anderen uitnodigt voor ‘een lesje feiten checken, in moordend tempo’ verwacht je toch wat anders.
Mijn indruk op dit moment, maar ik hoor graag als dit beeld niet klopt, is dat het simpelweg een gevolg van apathie is. Het boeit deze journalist die het ANP-bericht heeft opgesteld, noch diegenen die het klakkeloos hebben overgenomen op hun websites, in de verste verte niet of de berichtgeving wel klopt. Ze willen gewoon content aanbieden. En er klikken nou eenmaal meer bezoekers op je artikel als daar in de kop staat ‘Kenners kiezen Drees, publiek Lubbers tot beste premier’ dan ‘Kenners kiezen Drees, bezoekers van nrc.nl Lubbers tot beste premier’. Generalisatie van bevindingen naar het brede pubiek maakt onderzoek inderdaad nieuwswaardiger. Maar wat hier is gebeurd is je reinste lezersbedrog.
Volg Armen Hakhverdian op Twitter. Dit artikel stond eerder op Stuk Rood Vlees.
Reacties (2)
Gebeurt heel veel bij polls, ook regionale kranten hebben er een handje van.
Vreemd die nadruk op deze slordig en zelfs met het “mensbeeld weer wat naar beneden bijstellen”.
Journalistieke slordigheid komt vaker voor. Ook de wetenschap kent dit verschijnsel, dat lijkt me een groter probleem.