ANALYSE - Op dit moment worden grote politieke besluiten genomen op basis van ‘harde’ cijfers van het Centraal Plan Bureau. Die cijfers blijken echter zeer rekbaar.
Voor de goede orde, het is niet mijn bedoeling om het Centraal Plan Bureau (CPB) af te zeiken, al spelen haar cijfers wel een hoofdrol in dit verhaal. Er is een grote spanning tussen de stelligheid waarmee ramingen en cijfers van het CPB worden gebruikt door de Haagse stolp en de rekbaarheid en relativiteit van diezelfde cijfers.
Om deze frictie duidelijk te maken heb ik gekeken hoe nauwkeurig het CPB een aantal economische indicatoren heeft voorspeld in de afgelopen jaren. Ik heb álle gepubliceerde ramingen sinds 2004 op een rij gezet en vergeleken met wat er uiteindelijk in de reële economie van die ramingen is terechtgekomen.
Met andere woorden: wie de ramingen van het CPB plot, ziet weliswaar een patroon, maar wel in de vorm van een schot hagel.
Vijf indicatoren
Zeker drie keer per jaar publiceert het CPB ramingen over veel econonomische indicatoren. In maart verschijnt het Centraal Economisch Plan waarin naar het huidige jaar en het volgende wordt gekeken. In september komt de Macro Economische Verkenning uit en aan het einde van het jaar de Decemberraming die het volgende jaar onder de loep neemt. Tussendoor worden ook nog de effecten van beleid doorgerekend, bijvoorbeeld van het Catshuisoverleg, of het Kunduz-akkoord.
Uit die stapels cijfers heb ik vijf indicatoren gekozen die door de jaren heen niet onderhevig zijn geweest aan definitiewijzigingen. Het zijn ook indicatoren die met name de beleidsvorming en het bedrijfsleven raken en waarover betrouwbare data beschikbaar zijn: economische groei (bruto binnenlands product), de eurokoers, de olieprijs (Brent), de relevante wereldhandel en de koopkracht (mediaan van alle huishoudens).
Per jaar zijn meerdere ramingen beschikbaar. In onderstaand overzicht staan die in blauwe bolletjes aangegeven. De vaststelling achteraf van het juiste cijfer voor dat jaar staat in rode kruisjes genoteerd.
Enkele conclusies alvast:
De economische groei werd tot en met 2007 onderschat, daarna vooral overschat. Hetzelfde geldt voor de olieprijs. Het meest opvallend vind ik hoe de koopkrachtontwikkeling steevast te optimistisch werd voorspeld. Het geeft een indicatie dat we ieder jaar minder te besteden hebben dan de rekenmeesters ons van tevoren voorschotelden. Maar kijk vooral zelf even. Mocht je fouten tegenkomen, dan hoor ik het graag in de comments.
Onder de visualisatie vertel ik waarom mijn oordeel over het CPB desondanks toch mild is.
Een goede econometrist (en beleidsmaker) weten hoe flexibel cijfers zijn en met welke slagen om de arm voorspellingen behandeld moeten worden. Sterker nog, ook achteraf worden economische cijfers vaak nog bijgesteld. Voordat alle relevante data zijn gevonden, gevalideerd en gecontroleerd, ben je zo een paar jaar verder.
Dramatische voorspelling
De Amerikaanse columnist en datanerd Nate Silver geeft in zijn boek The Signal and the Noise: why so many predictions fail but some don’t een mooi voorbeeld van hoe economen er vreselijk naast kunnen zitten met hun voorspellingen. In de VS wordt ieder kwartaal een onderzoek gehouden onder een grote groep economen waarin ze een aantal indicatoren voorspellen, the Survey of Professional Forecasters. Voor 2008 voorspelden ze (gemiddeld) een groei van 2,4 procent. ‘This was a very bad forecast’, schrijft Silver. ‘GDP actually shrank by 3.3 percent once the financial crisis hit. What may be worse is that the economists were extremely confident in their bad prediction. They assigned only a 3 percent hance to the economy’s shrinking by any margin over the whole of 2008. And they gave it only about a 1-in-500 chance of shrinking by at least 2 percent, as it did.’
Volgens Silver is er geen sprake van dat de professionele voorspellers alleen door de crisis op het verkeerde been werden gezet. Een aantal studies bekeek de resultaten van alle voorspellingen sinds 1968. Zeker in de helft van de gevallen zat de Survey er flink naast. Een ander ontnuchterend feit: Sinds begin jaren negentig hebben economen slechts twee van de 60 recessies (wereldwijd) correct voorspeld.
Het probleem, aldus Silver, is dat er veel data zijn en daardoor ook veel ruis. Niet alle data dragen bij aan een betere analyse. De kunst is om te bepalen welke indicatoren relevant zijn en welke niet. Zo wist een econoom de prestaties van de beurs lange tijd te voorspellen door de uitslagen van de American Football League bij te houden – hier was duidelijk sprake van een correlatie, maar niet van een causaal verband (duh). Daarnaast is de economie een dynamisch, chaotisch systeem, met allerlei feedback loops. De politiek reageert op economische voorspellingen en het nieuwe beleid grijpt weer in op de economie. De politiek neemt geen besluiten, waardoor mensen gaan sparen en de economie verder vertraagt. Dat soort feeback loops.
Stellig
Het CPB is er altijd stellig over dat haar cijfers met enige rekbaarheid beschouwd moeten worden. Jammer genoeg vind je die rekbaarheid niet terug in persberichten of in de samenvattingen van de officiële ramingen. Dat journalisten en politici vervolgens met die cijfers aan de haal gaan is kwalijk, maar wordt ook nauwelijks door het CPB getemperd.
En dat is schadelijk. Het zou best kunnen dat u dit jaar meer voor de kinderopvang betaalt, voor huur of een onnodig hoge BTW omdat er zo halsstarrig aan een drieprocentsnorm wordt vastgehouden, terwijl we niet eens zeker weten of we daar op of onder komen te zitten (of zo’n norm überhaupt wenselijk is in tijden van recessie is een andere discussie). Er wordt in de politieke onderhandelingen gegoocheld met koopkrachtplaatjes, terwijl we slechts een richting met bandbreedten en kansen hebben om op te sturen. Maar ja, probeer daar eens een goede soundbite van te maken.
Reacties (11)
Leuk om dit op een rijtje te zien. Nassim Nicholas Taleb noemt in Black Swan nog een interessante bevinding: Er is een negatieve correlatie tussen de ‘naam’ die een expert heeft en de nauwkeurigheid van de voorspelling (ten opzichte van de gerealiseerde waarde). Verder noemt hij ook het fenomeen kuddevorming in economische voorspellingen: De gemiddelde afwijking van de voorspelling van de daadwerkelijk economisch cijfers is groter dan de gemiddelde afwijking tussen de verschillende voorspellingen.
leestip:
“the logic of failure” van Dittrich Dorner
http://www.urbanophile.com/2011/03/24/replay-the-logic-of-failure-by-dietrich-dorner/
Goed overzicht, chapeau.
Met de conclusie ben ik het ook behoorlijk eens, hoewel ik vind dat je journalisten en politici er wel mild van af laat komen, aangezien die willens en wetens de context die het CPB er altijd bij noemt weglaten voor hun eigen gewin.
Nog een kanttekening bij de ramingen van het CPB: de uitkomsten van hun ramingen zorgen vaak ook weer voor beleidsaanpassing. Die werkelijke aanpsasing zal niet in de berekeingen zijn opgenomen. Dat is dus wel een kanttekening bij het vergelijken van de prognoses met de werkelijke uitkomsten.
Complimenten.
Er wordt bijna voetstoots van uitgegaan dat de voorspellingen kloppen. En beleid op gemaakt. Und so weit. Hoeveel ambtenaren heb je daar wel niet voor nodig? Het is mede het bestaansrecht van een hele kliek beleidsambtenaren. Elke keer rapporten en plannen bijstellen. Want ja, 2% minder in de prognoses.
Er is ook wel eens kritiek vanuit de oppositie op bijvoorbeeld NIBUD, die een gemiddeld huishouden met uitkering financieel ging berekenen. Daarbij kwamen ze met zeer gunstige cijfers. Je kan aan je water aanvoelen dat als je wat duurder woont, of een hogere energierekening, of weet ik wat heb, dat gemiddelde maar een gemiddelde is. Dus dat er ook mensen buiten de boot vallen.
Beleid hoorde ik dan ook van een hoge ambtenaar is gebaseerd op 80% van de doelgroep (als het over mensen gaat) de rest heeft pech.
Dimitri, Leuk stukkie. Ik heb een keer de septemberramingen van het CPB 2000-2009 vergeleken met de daadwerkelijke gerealiseerde groei BBP. Correlatie van bijna niets tussen voorspelde waarde en gerealiseerde waarde (r2 0,134). Ik vind een dergelijke vrijwel non-correlatie nog duidelijker dan de wat moeilijke grafiekjes die je hierboven presenteert. En wat helemaal erg is, en je terecht aanvoert, is dat op basis van voorspellingen die bijna nergens over gaan hele zware politieke maatregelen worden genomen. Ik vind het verwijtbaar aan het CPB dat ze geen onzekerheidsmarges publiceert met haar voorspellingen.
Overigens complimenten voor de analyses.
@5, ja ik heb flink lopen peinzen over hoe ik het nou het beste kan weergeven. Mijn visualisatievaardigheden zijn ook maar beperkt.
Wat ik eigenlijk nog wil doen, maar waarvoor ik de vaardigheden mis, is laten zien hoe de voorspellingen over tijd eruit zien. Dus welk effect krijg je als het verschil tussen vaststelling en voorspelling groter wordt, maw als je over langere perioden gaat voorspellen.
@3, ja het klopt, politici en journalisten komen er wat makkelijk mee weg. Zal wel aan mijn natuur liggen dat ik mij snel in mensen probeer te verplaatsen ;-). Ik zit zelf ook dicht op die nieuwscyclus en die is redelijk moordend. Maar dat gezegd hebbende: het is zeker zo dat er wel eens wat meer vakgenoten eens kritisch naar hun eigen werk moeten kijken. De NOS bijvoorbeeld zou toch flink wat economische expertise in huis moeten kunnen halen…
Het CPB hanteert graag als norm een afwijking van ¾% boven of beneden de werkelijke uitkomst als graadmeter voor de nauwkeurigheid van de bbp-groei raming. De afwijking van de raming was zes keer boven, vier keer onder en twee keer binnen die bandbreedte in de periode 2000-2011. Helemaal fair is deze vergelijking natuurlijk niet met een forse internetcrisis en een buitengewone kredietcrisis. Aan de andere kant zijn de prognoses van het CPI niet veel beter, zodat het product van groei x prijs van navenante kwaliteit is.
http://tinyurl.com/c3gyrn5
http://tinyurl.com/cb5q2y2
Ik vind het verwijtbaar aan het CPB dat ze geen onzekerheidsmarges publiceert met haar voorspellingen.
Minnetje. Onzekerheidssmarges zijn schijnnauwkeurigheid. Zoals de crisis van 2008 laat zien kan d’r zomaar iets gebeuren waardoor het verschil tussen raming en realizatie 4% afwijkt.
Je kunt natuurlijk stellen dat zo’n crisis een eenmalig verschijnsel is. Maar d’r zijn heel veel van dat soort eenmalige verschijnselen. Als Israel Iran aanvalt, d’r een bank omvalt die net wel systeemgevoelig was, dan heeft dat ook impact. Dat kun je allemaal niet voorspellen. Het beste wat je kunt doen is cijfers publiceren met het idee ‘als er geen al te gekke dingen gebeuren heb je een bandbreedte van zus-en-zoveel procent, en we weten niet wat ‘al te gekke dingen’ zijn’.
Oh, en verder wat Taleb al drie boeken lang zegt.
Terzijde:Ik vind het *schandalig* dat zo’n beetje iedere politicus (maar ook reaguurders) lopen te wauwelen over ‘koopkrachtplaatjes’ waarin kennelijk harde bedragen genoemd staan (-1%, -0.25%, etc), terwijl ze die dingen overduidelijk nog nooit gezien hebben. Zie hier pagina 19.
Met die koopkrachtplaatjes kom je een aardig end in de buurt van ‘onzekerheidsmarges’ (alleen noem je ze dan ‘spreiding’ of ‘verdeling’).
Gronk, niet eens met je #8. Voor de laatste 10 jaar BNP is het zo dat er een outlyer is die je als Zwarte Zwaan kunt rekenen. Voor de overige negen jaar is er per jaar typisch een afwijking van een tot twee procent van de voorspelde waarde en de behaalde waarde. Ik vind het relevant dat het CPB zegt “volgend jaar verwachten we een economische groei van +0,25% (+/- 2%)”. Het geeft namelijk aan hoe ze in normale jaren een enorme marge nodig hebben om hun voorspellingen recht te doen, los van forse ongelukken. Maar dat doen ze niet.
Verder is het zo dat de puntenwolken van koopkrachtplaatjes #9 inderdaad een veel beter beeld lijken te geven dan de enkelvoudige cijfers. Maar ik had het niet over koopkracht.
@frankw: #9 was niet tegen jou gericht, en had ik expliciet voorzien van ’terzijde’. Dus wat wil je nog meer.
Maar dat doen ze niet.
En het CBS doet dat ook niet. Want die realizaties zijn ook niet zo spijkerhard. Of dacht jij dat het echt mogelijk was om het begrotingstekort in een nauwkeurigheid van tienden van procenten weer te geven? Dus je kunt d’r op twee plekken naastzitten.
Daarnaast: het CPB heeft zelf ook wel eens vergelijkingen gemaakt zoals Dimitri die heeft gemaakt, die ongeveer op hetzelfde uitkwamen. Maar het punt wat economen nog wel eens maken is dat de exacte marges niet overeen hoeven te komen, als ze de ’turning points’ van de business cycle maar goed hebben. De focus van het CPB ligt dan ook veel meer op structurele tekorten (flows) dan op incidentele uitschieters.