ACHTERGROND - Technisch klinkend cijfermateriaal verleent vaak extra geloofwaardigheid aan conclusies – zelfs als het om betekenisloze formules gaat.
Wiskunde is een prestigieuze tak van wetenschap. En dat straalt af op diegenen die hun argumenten kracht bijzetten met wiskundige formules en berekeningen. Sociaal wetenschapper Kimmo Eriksson publiceerde onlangs een paper (pdf) waaruit bleek dat zodra een betekenisloze wiskundige formule werd toegevoegd aan de samenvatting van een wetenschappelijke publicatie, proefpersonen de kwaliteit van het gepresenteerde onderzoek over het algemeen hoger inschatten. Dit effect was het sterkst onder proefpersonen die over de minste wiskundige kennis beschikten. Maar zelfs proefpersonen met een wiskundige of technische achtergrond – die toch heus beter zouden moeten weten – werden nauwelijks in negatieve zin beïnvloed in hun oordeel over de kwaliteit van het gepresenteerde onderzoek. In de woorden van Eriksson:
Quality judgments of research are known to be influenced by cues outside the research itself, such as the prestige of the author and the author’s institution […] The experiment presented here demonstrated a related but arguably more problematic effect: Participants judged the quality of research as higher when the content included unintelligible elements, which arguably ought to detract from the quality. Specifically, the experimental results suggest a bias for nonsense math in judgments of quality of research.
Eriksson verklaart deze conclusie als volgt:
It may be that […] mathematics […] [is] held in undeserved awe among nonexperts. It may also be that people always tend to become impressed by what they do not understand, irrespective of what field it represents – much in line with the “Guru effect” discussed by Sperber (2010).
In de praktijk maakt het natuurlijk weinig uit of wiskunde op zichzelf als gezaghebbend en betrouwbaar wordt gezien of dat dit zo is omdat maar weinigen er iets van begrijpen. Persoonlijk vermoed ik dat de vermeende exactheid van alles wat naar wiskunde riekt een belangrijke rol speelt: ‘Je kunt het precies uitrekenen, dus moet het wel waar zijn!’
Wat echter maar al te vaak wordt vergeten is dat een wiskundige formule kan kloppen zonder dat deze een observeerbare relatie met de realiteit heeft. Een berucht voorbeeld hiervan is het wiskundige model dat ten grondslag ligt aan de zogenaamde snaartheorie – een poging om een alomvattende verklaring van de werking van het universum te formuleren. Het probleem? Ondanks de innerlijke consistentie van het model, is er geen enkel experimenteel bewijs dat deze theorie ook maar iets van doen heeft met de werkelijkheid.
Wat geldt voor wiskundige modellen die de fysieke realiteit beschrijven, geldt ook voor modellen die een weergave bieden van de economische realiteit. Zo heb ik er al eerder op gewezen dat het CPB een model hanteert dat onder meer bepaalt dat wanneer de pensioenleeftijd wordt verhoogd de werkgelegenheid automatisch toeneemt. In theorie zal dit ongetwijfeld wel kloppen, maar in de praktijk? Waar komen die banen dan vandaan? Wie het weet mag het zeggen.
Toch worden de modellen en bijbehorende voorspellingen van het CPB (net als die van het IMF, de ECB, etc.) in het algemeen kritiekloos geaccepteerd. Dit wordt natuurlijk deels veroorzaakt door de reputatie van het instituut. Maar belangrijker nog: het gaat om cijfers! Om statistiek! Om wiskunde! En dan gaat maar al te vaak het verstand op nul.
Reacties (34)
Met klimaat’wetenschap’ als een van de meest pregnante voorbeelden. Het wiskundig instrumentarium om niet lineaire problemen te kunnen oplossen ontbreekt en de fysische/chemische/biologische kennis van de atmosfeer, de oceanen, de zon, de aarde en de biosfeer fysica is ruim onvoldoende om deze fatsoenlijk te kunnen beschrijven. Desalniettemin lopen hele volkstammen achter de uitkomst van computermodelletjes aan.
@1:
Zucht.
Er zijn inmiddels hele karrenvrachten aan observaties die de juistheid van klimaatmodellen ondersteunen.
Het probleem zit ‘m nu juist in (wiskundige) modellen die niet of onvoldoende door observaties van de waarneembare werkelijkheid worden ondersteund.
Haha, Anton leest ook geen wetenschappenlijke artikelen!
Het wordt een trend hier op Sargasso, niet lezen en toch spuien.
Verder een goede link, thx @ 0
“.. maar in de praktijk? Waar komen die banen dan vandaan?”
Voor de toets op het model geldt de vraag: komen er meer banen? Blijkbaar is het antwoord ja, want nu komt de vervolgvraag: Waar komen die banen vandaan?
Het model wordt bevestigd, doch een verklaring ontbreekt (nog).
Is de toenemende omvang van stukken ook niet mede bedoeld om het aantal lezers te verminderen en zo het aanzien van het stuk te doen stijgen?
Ze werden er zelfs niet door beïnvloed. Het effect was het toevoegen was voor degenen met een achtergrond in exacte wetenschappen niet significant. Waarom zouden ze ook: je krijgt een heel stuk goed samenhangende tekst met of zonder één raar zinnetje eronder dat totaal niet te plaatsen is. Op die ene zin ga je niet je hele oordeel negatief naar beneden bijstellen.
De experimentele testbaarheid van snaartheorie is een probleem, maar dat is een ander probleem dan waar Eriksson het over heeft, namelijk dat mensen die weinig van wiskunde weten kwaliteit hoger inschatten als er wat met willekeurige formules wordt gestrooid. Natuurkundigen die aan snaartheorie werken doen niet zomaar wat. Bovendien klopt de theorie altijd met de wel waarneembare natuur.
Vraag het het CPB. Die stoppen echt niet zomaar wat aannames in hun modellen. Ze kunnen je ongetwijfeld haarfijn, ondersteund door een hele stapel onderzoek uitleggen waarom ze dat hebben gedaan. Het CPB weet ook ongetwijfeld ook wat de beperkingen van het model zijn.
Is dit een probleem van de wiskunde of van indrukwekkend ogende nonsens in het algemeen? Als het goed is zou een bewering die wiskundig uitgedrukt wordt juist beter toetsbaar aan de werkelijkheid moeten zijn dan een bewering in natuurlijke taal. Dat veel mensen de wiskundige notatie niet direct begrijpen is een probleem, maar zolang er maar uitgelegd kan worden dat wat er staat inderdaad klopt, is dat vooral een probleem van die mensen.
Of zoals Noam Chomsky zei over de postmoderne filosofie:
Tja, ik wil geen oude discussies weer oprakelen, maar zijn sommige auteurs op Sargasso hier niet ook schuldig aan? Ik moest bij het lezen van dit artikel toch denken aan dat artikel over vuurwapenbezit van SocProf dat hier laatst werd doorgeplaatst, en op basis waarvan Paul Teule in de inleiding van een later stukje opmerkte dat een verband tussen wapenbezit en het aantal moorden wel duidelijk leek. Verband tussen wapenbezit en aantal moorden? Ja hoor, kijk maar: puntenwolk en lijntje. En check die vet hoge R^2 – statistische significantie all over the place. Interpretatie? Nah, niet belangrijk. Uiteindelijk is dat net zo’n poging tot intellectuele intimidatie als een betekenisloze formule, en volgens mij had het hier en daar nog succes ook (i.i.g. bij Teule).
Je kunt niet overal op rekenen.
Daarover gesproken, waar blijft de reactie van onze expert op dat gebied, HPax? ;)
@Martijn:
We weten dus dat snaartheorie waar kan zijn, maar omdat positieve bewijzen volledig ontbreken niet meer dan dat.
Met andere woorden: snaartheorie is een theorie zonder bewijs. In dat opzicht verschilt snaartheorie niet eens zo heel veel van theologie.
Een berucht voorbeeld hiervan is het wiskundige model dat ten grondslag ligt aan de zogenaamde snaartheorie – een poging om een alomvattende verklaring van de werking van het universum te formuleren. Het probleem? Ondanks de innerlijke consistentie van het model, is er geen enkel experimenteel bewijs dat deze theorie ook maar iets van doen heeft met de werkelijkheid.
Berucht voorbeeld? Niks met de werkelijkheid van doen hebben? Wat een gezwets. De snaartheorie beschrijft de werkelijkheid vrij exact. We weten alleen nog niet in hoeverre nieuwe zaken die de theorie voorspelt correct zijn (hoewel de LHC wel enkele frappante zaken heeft bespeurd die in die richting wijzen). Daarmee heeft deze theorie vooralsnog net zoveel van doen met de werkelijkheid als iedere andere unificatietheoriekandidaat.
Wat geldt voor wiskundige modellen die de fysieke realiteit beschrijven, geldt ook voor modellen die een weergave bieden van de economische realiteit.
En ook die vergelijking gaat m.i. niet op. De snaartheorie beschrijft simpelweg alles wat we weten van de fysieke realiteit; het is veel meer dan slechts een statistisch model, het is een volledige beschrijving waarmee concrete voorspellingen worden gedaan.
Economische theorieën zijn altijd slechts op statistiek gebaseerde modellen: een vergaande simplificatie van de werkelijkheid. Bovendien zijn de door het CBS gehanteerde modellen doorgaans ietwat conservatief (verouderd:P). Het is kansberekenen, de kans dat je simpele model stand houdt in bepaalde omstandigheden.
En dat lijkt me hier nou net het probleem. Het niet kunnen bevatten van dat fundamentele verschil. Het niet op waarde kunnen schatten van cijfers, niet begrijpen wat het verschil tussen een statistisch model en een theorie is. Of, zoals Kimmo Eriksson, denken dat een onderzoek uitvoeren via Amazon’s Mechanical Turk betrouwbare/representatieve data oplevert omdat er wetenschappelijke publicatie is geschreven waarin wordt gesteld dat de data minstens net zo representatief is als bij klassieke onderzoeksmethoden. En hoe doet men dat? Toch niet op basis van een veel te eenvoudig model met criteria die niet representatief zijn voor dit onderzoek? Het zal toch niet…?
@2&3 Zoals die exponentieel stijgende temperatuur als functie van lineair toenemende CO2 concentratie. Was toch de kern van de hypothese als ik mij goed herinner.
A travesty.
Keep the faith jongens, in Staphorst houden ze dat ook vol eeuwen nadat ze door de werkelijkheid zijn ingehaald.
@10:
Een wetenschappelijk theorie staat of valt niet bij positieve bewijzen, maar bij falsifieerbare voorspellingen. Snaartheorie is wetenschappelijk, omdat alle uitspraken in principe falsifieerbaar zijn. In de praktijk is dat vaak lastig of met de huidige stand van de techniek onmogelijk, maar zoals #11 al aangeeft: wat ze bij CERN onderzoeken heeft vaak wel implicaties voor snaartheorie. Er zijn altijd al wetenschappers geweest die voorspellingen hebben gedaan die pas eeuwen later goed konden onderzocht. Dat maakt die uitspraken niet onwetenschappelijk.
Daar klinkt wat minachting voor theologie in door. Niet doen: mensen als Plato, Augustinus van Hippo, Thomas van Aquino en Erasmus hebben een belangrijke bijdrage geleverd aan onze kennis en beschaving.
Maar het verschil is uiteindelijk dat theologie gaat over metafysische zaken in plaats van fysische.
@Anton, #12 Er is helemaal geen exponentiele relatie, het gaat om het omgekeerde, namelijk een logaritmische relatie tussen CO2 concentratie en de mate waarin deze CO2 in de atmosfeer straling absorbeert; met ieder beetje extra CO2 neemt het extra effect af. Overigens kunnen we dat gewoon meten en klopt dat gewoon. Iedereen kan dat tot op zekere hoogte (met de nodige moeite) zelfs zelf thuis meten. Niet zo’n sterk punt dus. Svp wel de juiste argumenten gebruik bij ongebreideld skeptisch debunken.
Kleine tip van mij, je kunt beter tegen iets schoppen dat niet zo makkelijk te meten is. De warmtedistributie in de oceanen bijvoorbeeld. Of de hoeveelheid albedoverlagende wolken. Of klats er een willekeurige al dan niet relevante maar interressant ogende wiskundige formule bij, dat schijnt ook te helpen qua ovetuigingskracht heb ik ergens gelezen in een artikel:p Dankuwel.
@12: Ooit wel eens bedacht dat mensen je minnen omdat je als een dolle Telegraaf-stier keer op keer een geheel andere discussie probeert aan te zwengelen op basis van een zeer zwak verband met het geschreven onderwerp?
Persoonlijk had ik je allang gepermabanned om bovenstaande reden, wellicht dat je de fluwelen handschoen van Sargasso een keer mag bedanken.
@11:
Even ter verdediging van Eriksson: hij heeft op dit moment best wel een interessant experimentje gedaan. Er valt nog het nodige aan de opzet te verbeteren, maar het is een goed beginpunt om verder te gaan. Wel verbazingwekkend dat hij een hele paper kan ophangen aan één schamel experiment, dat pleit niet voor The Journal of Decision Making.
@15: welnee, een paar van dat soort figuren houden de boel levendig. Als je alle tegenstand wegbant hou je alleen een navelstarend clubje reaguurders over, en dan is de lol van het reaguren d’r snel af.
Ben ik de enige die zich afvraagt of de snaartheorie in dit artikel alleen maar genoemd wordt met als doel dat de kwaliteit van dit artikel hoger wordt geschat door lezers die snaartheorie niet (goed) begrijpen? ;-)
@1: “Het wiskundig instrumentarium om niet lineaire problemen te kunnen oplossen ontbreekt” – ja, die heb ik eerder gehoord van klimaatsceptici, maar daar klopt helemaal niets van. Ooit van differentiaalvergelijkingen gehoord? Ben benieuwd waar dat onzin-verhaal vandaan komt.
@11:
Alsof natuurkundige modellen geen vergaande simplificaties van de werkelijkheid zijn!
Sterker nog: natuurkundige modellen zijn de meest rigoreuze abstracties van de werkelijkheid die je ooit tegen zult komen. Of dacht je nu heus dat een serie natuurkundige formules ‘de werkelijkheid’ in al zijn facetten weergeeft?
Juist dankzij de vergaande mate van abstrahering zijn natuurkundige modellen zo succesvol. Economische modellen zijn per definitie veel minder abstract – en daardoor ook veel minder goed in voorspellen. Daar staat dan weer tegenover dat je aanzienlijk meer aspecten van de werkelijkheid, waaronder menselijk gedrag, in zo’n model kunt vangen.
De snaartheorie beschrijft de werkelijkheid dus helemaal niet ‘vrij exact.’ Het is een rigoreuze abstrahering van de werkelijkheid waarmee voorspellingen worden gedaan waarvan wij simpelweg niet weten of die nu wel of niet waar zijn.
@13:
Je hebt mij toch niet horen beweren dat snaartheorie geen wetenschappelijke theorie is?
Er bestaat geen experimenteel bewijs voor deze theorie omdat er voorlopig nog niks te falsificeren valt (en misschien kunnen we dat wel nooit). Het is juist de afwezigheid van bewijs (of ‘falsificeerbaarheid’ als je dat liever hebt) waarin de overeenkomst schuilt met theologische aannames. En dus niet in de manier waarop snaartheorie tot stand is gekomen.
Als er goede redenen zijn om dergelijke verbanden te veronderstellen, ook al weten we niet waarom ze zo zijn, dan mag dat toch gewoon in dat model worden opgenomen? Waar die banen vandaan komen, geen idee. Dat maakt toch niet uit? Je hoeft toch niet te weten waaróm iets is, om vast te kunnen stellen en gebruik te mogen maken van het feit dát het zo is?
Kevin, jouw redenatie doet me sterk denken aan de Friedman doctrine. Mooie theorietjes maken, modelletjes, en vervolgens als er geen ondersteunend bewijs is beweren dat het om een black box model gaat en doen alsof de werkelijkheid minder belangrijk is dan het in stand houden van de modellen. Dat heeft decennia lang het economisch denken van de grootste economie ter wereld bepaald.
Ik heb zelf de sommetjes niet gemaakt, maar vermoed dat als je CPB voorspellingen legt naast daadwerkelijk gerealiseerde cijfers over de economie dat er, zeker op termijnen van meer dan een jaar, weinig van blijkt te kloppen.
@21:
Een economisch model is (zoals ieder model) een simplificatie van de werkelijkheid. (En in tegenstelling tot natuurkundige modellen zijn economische modellen niet falsificeerbaar). Kortom: je weet daarom nooit zeker ‘dát het zo is’.
De waarom-vraag is daarom een nuttige check. Als je deze niet kunt beantwoorden, is er waarschijnlijk iets mis met je model. Je hebt dan immers iets geconstrueerd wat je niet begrijpt. En dat voorspelt doorgaans weinig goeds…
@10: “Met andere woorden: snaartheorie is een theorie zonder bewijs. In dat opzicht verschilt snaartheorie niet eens zo heel veel van theologie.” Flauwekul. Snaartheorie is volledig in lijn met wat we al konden waarnemen. Het woord “bewijs” is so-wie-so misplaatst, want theorieën worden nooit bewezen.
@21: /kevin: Wel. Omdat wat jij beschrijft de essentie is van ‘cargo cult science’: doe een ritueel, en er verschijnt een vliegtuig met hulpgoederen. Doe twee keer een ritueel, en er verschijnen twee vliegtuigen met hulpgoederen. Wel, niet echt.
Hetzelfde kun je ook stellen voor dat CPB-model.
@24:
Een niet nader gespecificeerde god die de oerknal heeft veroorzaakt en daardoor indirect de wereld heeft geschapen is ook ‘volledig in lijn met wat we al konden waarnemen’. Alleen over die god valt verder niets te bewijzen.
Evenzo is snaartheorie volledig in lijn met wat we kunnen waarnemen, behalve dat er geen enkel bewijs bestaat met betrekking tot die zogenaamde ‘snaren’.
Maar wel aannemelijk gemaakt. Door middel van bewijs.
@22
Dat wordt helemaal niet gesteld. Ik beweer niet dat modellen belangrijker zijn dan de waarneembare werkelijkheid, maar áls er iets waargenomen wordt, dan mag dat toch gewoon meegenomen worden in het model? In het artikel staat nadrukkelijk dat het wel waar zal zijn, maar dat de auteur niet snapt waaróm… Dan zeg ik: maakt het uit waarom, als je er wel van overtuigd bent dat het waar is? Altijd wel leuk om te weten waarom, maar geen vereiste.
@23
Goed punt, maar is dat niet ook gewoon twijfel over de juistheid van de correlatie? De auteur zegt nadrukkelijk dat hij daar geen probleem mee heeft, maar dat het hem dwars zit dat hij niet begrijpt waarom die correlatie er is.
@27:
Ik denk dat je me verkeerd begreep.
Ik schreef dat de door het CPB gesuggereerde causaliteit ‘in theorie’, dat wel zeggen: volgens het gehanteerde model, er vast wel zou zijn, maar dat ik twijfelde of deze ook in de realiteit zou optreden.
Die twijfels werden vooral gevoed door het ontbreken van een geloofwaardig antwoord op de waarom-vraag, namelijk: ‘Waarom leidt het verhogen van de pensioenleeftijd tot meer werkgelegenheid?’
EDIT: het antwoord van het CPB is immers dat door het ontbreken van een AOW-uitkering bijna-gepensioneerden harder hun best zullen gaan doen om toch nog aan het werk te blijven. Daardoor zullen deze mensen ook daadwerkelijk werk vinden, waardoor meer mensen dan voorheen aan het werk zullen zijn, wat vervolgens zou betekenen dat de werkgelegenheid stijgt.
Kortom: het CPB gelooft dat een grotere vraag naar werk ook noodzakelijkerwijs tot een groter aanbod van werk leidt.
Ik heb daar (heel veel) twijfels bij.
@28 Dank voor de uitleg, dat is al een stuk logischer. Je gebruik van ‘in theorie’ is wat mij betreft nogal verwarrend. Je had beter ‘volgens het model’ kunnen schrijven, denk ik.
@28
Aanbod stijgt t.o.v. vraag -> prijs per uur daalt, het totaal dat werkgevers besteden aan arbeid blijft constant -> vraag gemeten in uren stijgt.
Zoiets zal het wel zijn.
Dat kan allemaal veel korter: suggestie en perceptie.
Zoals we in de reclamewereld al ‘eeuwen’ weten, die eerste indruk blijft vaak hangen. Zelfs tegen beter weten in heeft een nietszeggend stukje algebra een langdurig effect op je perceptie.
@28: Kortom: het CPB gelooft dat een grotere vraag naar werk ook noodzakelijkerwijs tot een groter aanbod van werk leidt.
Empirisch valt dat wel te onderbouwen. De toegenomen deeltijdparticipatie van vrouwen in de jaren ’90 lijkt samen te vallen met de toename van deeltijd werkgelegenheid. Er bestaan statistische methoden om de kip-ei vraag op te beantwoorden, die zullen ongetwijfeld ooit zijn toegepast op de economie van de arbeidsmarkt.
Ik ben geen expert op dat gebied maar doen alsof het allemaal uit de lucht gegrepen is gaat mij een beetje ver..
Snaartheorie beloofde van alles maar heeft niets opgeleverd. Al die goede breinen hebben jaren getrokken aan een dood paard. De grootste wetenschappelijke verspilling van de laat 20ste eeuw.
Meten is Weten, toch? Ervan overtuigd zijn dat het dan ook zo is en daaraan vasthouden omdat je het ‘gemeten’ hebt als basis voor alle daarop volgende beslissingen lijkt mij een beperkte benadering. Opnieuw Meten is Opnieuw Weten, toch?