KORT | Datajournalistiek is ook niet meer wat het geweest is

DATA - Fittie in columnistenland USA.

Nate Silver, die zijn reputatie vestigde door de uitkomst van de Amerikaanse presidentsverkiezingen in zowel 2008 als 2012 een heel stuk accurater te voorspellen dan welke gevestigde politieke analist dan ook, heeft het aan de stok met econoom en New York Times-columnist Paul Krugman.

Silver lanceerde onlangs een eigen nieuwssite, FiveThirtyEight, onder de aegis van de Amerikaanse sportgigant ESPN. De initiële reacties (I, II, III) waren al niet onverdeeld gunstig, maar toen Paul Krugman eveneens met stevige kritiek kwam aanzetten, was de boot natuurlijk aan. De kern van Krugmans bezwaren:

But I’d argue that many of the critics are getting the problem wrong. It’s not the reliance on data; numbers can be good, and can even be revelatory. But data never tell a story on their own. They need to be viewed through the lens of some kind of model, and it’s very important to do your best to get a good model. And that usually means turning to experts in whatever field you’re addressing.

Unfortunately, Silver seems to have taken the wrong lesson from his election-forecasting success. In that case, he pitted his statistical approach against campaign-narrative pundits, who turned out to know approximately nothing. What he seems to have concluded is that there are no experts anywhere, that a smart data analyst can and should ignore all that.

Silver sloeg terug met een stuk waarin hij impliceerde dat Krugmans kritiek vooral werd gedreven door het gegeven hij met zijn nieuwe website de overstap had gemaakt van de respectabele New York Times naar een ‘onserieuze’ sports broadcaster.

Het resultaat was deze tabel, waarin Silver de toon van Krugmans vermeldingen van FiveThirtyEight afzet tegen de plaats waar dit blog op dat moment onderdak had gevonden:

(bron)

Silver had echter geen betere manier kunnen bedenken om Krugmans fundamentele kritiek te valideren. Een derde blogger, Kieran Healy, als socioloog verbonden aan Duke University, kwam namelijk met deze tabel, waarin tevens werd gekeken of Silver een conclusie trok op basis van een doorwrocht statistisch model:

(bron)

En wat bleek? Silvers model leed aan omitted variable bias. Met andere woorden: door in het model een cruciale variabele weg te laten, werd een onvolledige, mogelijkerwijs volstrekt onjuiste conclusie aan de data ontleend.

Een mooie illustratie van het feit dat, zonder subjectieve menselijke selectie, interpretatie en zelfs presentatie, data allesbehalve een silver bullet zijn.