COLUMN - Als Europeaan is het flink gniffelen bij Republikeinse voorverkiezingen. Onbetwiste topentertainer is natuurlijk The Donald, maar onderschat ook Ted Cruz niet, die prachtige verkiezingsvideo’s uitbrengt over hoe je bacon bereidt met een machinegeweer. En dan zijn er die domme Republikeinse kiezers, waarvan minder dan de helft gelooft in klimaatverandering en evolutie.
Volgens de Amerikaanse jurist en wetenschapper Dan Kahan heeft ontkenning van klimaatverandering echter niets met domheid te maken. Kahan is professor aan de Amerikaanse universiteit van Yale en een van de leiders van het “cultural cognition project”, dat met behulp van experimenten onderzoekt waarom mensen geloven in het tegendeel van de wetenschappelijke consensus.
Een aantrekkelijke eerste hypothese is de “public irrationality thesis” (PIT), een dure manier om te zeggen dat mensen dom zijn. Zoals Kahan in deze video uitlegt is de PIT echter simpel te weerleggen. In een steekproef van doorsnee Amerikanen is er namelijk geen enkele correlatie tussen geloof in klimaatverandering en maatstaven voor wetenschappelijk begrip (“scientific literacy”) en rekenkunde (“numeracy”). Sterker nog, het blijkt dat mensen die hoog scoren op numeracy meer gepolariseerd zijn over geloof in klimaatverandering dan mensen die laag scoren.
In een vervolgexperiment, besproken in dezelfde video, onderzochten Kahan en zijn team hoe dit komt. In het experiment werd deelnemers verteld dat de volgende tabel de testresultaten gaf van een nieuwe zalf tegen huiduitslag.
| Uitslag verergerd | Uitslag verdwenen | |
| Gebruikt zalf | 223 | 75 |
| Gebruikt geen zalf | 107 | 21 |
Vervolgens was de vraag of het zalfje helpt tegen uitslag. Op basis van de tabel is het juiste antwoord ja, en zoals verwacht deden mensen met een hogere “numeracy” score het beter op deze test.
Daarna deden de onderzoekers dezelfde test met een politiek geladen vraag, namelijk of de vrijheid om verborgen wapens te dragen leidt tot meer of minder misdaad. Nu bleek dat de rekenwonders het alleen beter deden als het antwoord paste bij hun politieke overtuiging. Was dit niet het geval, dan scoorden ze net zo slecht als de anderen. Het gevolg is dat vooral de ‘slimmere’ mensen door nieuw bewijs gepolariseerd raakten.
Kahan argumenteert op basis van deze en andere experimenten dat ontkenning van klimaatverandering geen zaak is van domoren of wetenschapshaters. Integendeel, de mensen die de wetenschap ‘buigen’ naar hun doelen zijn juist rationeel. Want individueel geloof in klimaatverandering heeft geen invloed op het klimaat, maar heeft in Amerika wel een enorme invloed op je sociale omgeving. Een rechtenprofessor in Yale die niet in klimaatverandering gelooft heeft geen leven, en een republikeinse politicus in South Carolina die in klimaatverandering gelooft verliest de verkiezingen.
Het is een provocatieve stelling, die echter op alle punten onderbouwd is met feiten. Maar laat die feiten uw plezier in Trump en zijn collega’s vooral niet verpesten.
Reacties (48)
Wie is bereid om die klimaatverandering tegen te gaan, of kun je best in klimaatverandering geloven en aktie nalaten?
Interessant. Veklaart in ieder geval waarom den linksmensch in catastrofaal AGW blijft geloven terwijl daar in de werkelijkheid geen schrijntje bewijs voor is.
@2: Als er geen schrijntje bewijs is, waarom doen al die wetenschappers dan alsof dat er wel zou zijn?
“Als Europeaan is het flink gniffelen bij Republikeinse voorverkiezingen”
Als Europeaan siert het je niet anderen de maat te nemen. De Barosso’s, van Rompuy’s en Verhofstadts doen namelijk helemaal niets onder voor de meest doorgeslagen Republikein. In tegendeel zelfs.
Grappig dat zodra het om klimaat (lees: co2 emissierechten) gaat, wetenschappelijk BEWIJS er niet meer toe doet, en alles ineens draait om CONCENSUS.
@3: Welke wetenschappers bedoel je?
@6 Doe eens een willekeurige greep: https://www.ipcc.ch/pdf/ar5/ar5_authors_review_editors_updated.pdf
Waarom zouden ze bewijs faken?
@4: Toch raar dat je het in het buitenland zoekt (nota bene onder politici van alleszins doorsnee kaliber), terwijl we in Nederland echt erger hebben. Op een schaal van Verhofstadt (redelijk) naar Trump (vollidiot) ligt Wilders echt meer dan halverwege naar die laatste.
@8: Roemer en Thieme kunnen er ook prima bij qua gekkigheid.
Kan iemand me uitleggen waarom het rekenvoorbeeld verhelderend is om aan te tonen dat ik innumerate ben?
Want ik vind dat die zalf toch beter niet verkocht kan worden omdat hij nog altijd in 75% van de gevallen de uitslag erger maakt of gewoon niet helpt. Hij is nog niet eens twee keer zo werkzaam als niets tegen de uitslag doen.
Volgens mij is er niemand die niet gelooft in de klimaatverandering.
Waar de meningen over uiteenlopen (ook in de wetenschap) is de oorzaak.
@10: “Hij is nog niet eens twee keer zo werkzaam als niets tegen de uitslag doen.”
Ik mag hieruit concluderen dat je toch numerate genoeg bent om te concluderen dat wel zalf smeren werkzamer is dan geen zalf smeren? En dat je toch tegen mensen met uitslag zegt: Hé, met deze zalf wordt de kans groter dat je uitslag verdwijnt, maar ik raad je desondanks af om hem te gebruiken?
Ik denk dat je dan toch een beetje valt in de categorie mensen waar dit artikel eigenlijk over gaat: Overtuigd blijven van het met wetenschappelijk bewijs omvergeworpen standpunt, ondanks afdoende rekenkunde.
@7:
Kom nu niet met namen/bewijs aanzetten:
Dat is vervelend voor Anton, want dan kan hij niet alleen reageren met kretologie, van zijn (nep)blonde leider ;-)
@13, Sorry. Ik wil slechts van hem weten waarom al die mensen zouden veinzen dat er sprake is van klimaatverandering veroorzaakt door menselijk handelen.
@12: Jij kijkt naar de stijging van “niets doen helpt in 16 % van de gevallen – de zalf in 25%” en concludeert: doen!
Ik zie vooralsnog dat er dat de kans dat de zalf uberhaupt helpt maar klein is (25%) en concludeer dat ik mijn geld er niet aan hoef uit te geven.
Ik kan me niet voorstellen dat het RIVM ermee weg komt als het met degelijke cijfers een nieuwe inenting wil uitrollen.
@14 Vanwege al die heerlijke onderzoeksbeurzen die klimaatalarmisten over zich uitgestort krijgen, natuurlijk!
“Easy money
Rain it down on the wife and the kids
Rain it down on the house where we live
Rain until you got nothing left to give
And rain that ever-loving stuff down on me”
Hoewel je, als het ze alleen maar om het geld te doen was, zou verwachten dat er over tijd steeds meer klimatologen naar het sceptische kamp over zouden lopen, aangezien er meer geld te halen valt bij de industrie.
@15 Volgens mij zegt Bismarck in #12 toch echt klip en klaar dat deze zalf weliswaar werkzaam is, maar dat iedereen met een beetje gezond verstand zou afraden om de zalf te gebruiken.
Let op het woord ‘werkzaam’; dat is dus net iets anders dan de formulering dat de zalf ‘helpt’ (hetgeen mij ook op het verkeerde been zette bij het interpreteren van de tabel in het oorspronkelijke stuk).
@7: En die geloven allemaal in catastrofaal AGW?
@18
Je plakt de sticker catastrofaal ervoor en je bent in business, wat catastrofaal wordt het alleen als we niets doen.
Dus nee daar “geloven” ze niet is, ze hebben op basis van wetenschappelijk verkregen bewijs en na eigen onderzoek vast gesteld dat meer CO2 opwarming betekend.
Dit in tegenstelling to de “sceptici”die immuun zijn voor de conclusies van wetenschappelijk onderzoek en hun mening laten bepalen door hun politieke richting
Ik vind de discussie van @0 troebel door gebruik van het woord ‘dom’. Dit is een woord met meerdere betekenissen variërend van simpelweg onintelligent tot onverstandig of dwaas. We hebben minstens drie begrippen die een rol spelen bij het tot stand komen van een verstandig oordeel. Ten eerste intelligentie, ten tweede opleiding en ten derde ‘gezond verstand’ of ‘wijsheid’. Je kunt in aanleg intelligent zijn maar door gebrek aan opleiding of afkomst niet in aanraking gekomen of getraind zijn in een logisch-wetenschappelijke denkwijze.
Daarnaast kun je ook onverstandig of onwijs zijn. Ik ken veel voorbeelden van mensen die wel intelligent zijn maar hun verstand met regelmaat weigeren te gebruiken.
Volgens @0 zijn die mensen niet dom, maar ik ben geneigd ze wel zo te noemen, al vind ik ‘gebrek aan gezond verstand’ een duidelijkere aanduiding.
@18: Je kunt zo veel bijvoeglijk naamwoorden toevoegen wat je wilt, maar daarmee geef je nog geen antwoord op mijn vraag.
Waarom zouden al die wetenschappers, honderden, duizenden mannen en vrouwen, doen alsof er wel degelijk bewijs is voor AGW (zonder bijvoeglijk naamwoord)?
Leg me dat eens uit.
@17: En volgens mij is dat een verkeerde conclusie:de zalf is niet “meer werkzaam”, maar “wel” of “niet” werkzaam, in een bepaald groter of kleiner percentage van de gevallen. Je uitslag neemt dus niet “meer” af.
Ik begrijp nu nog niet of ik nu wel of niet of meer of minder numerate ben…
@21: Zonder bijvoegelijk naamwoord? Dan ben ik het met je eens. Ontbossing, grootschalige landbouw, verstedelijking, emissies, etcetra. Er zijn vele menslijke factoren die invloed hebben op het klimaat. De vraag is echter hoeveel, hoe die menselijke invloed zich verhoudt tov de natuurlijke, wat de gevolgen zijn (positief/negatief, global/regionaal).
Uit niets blijkt echter dat 1 van die vele factoren, CO2 emissies, een klimaatcatastofe gaat veroorzaken. Hoe graag de politieke opdrachtgevers:
http://www.ipcc.ch/docs/UNGA43-53.pdf
van al die wetenschappers uit je lijstje dat ook zouden willen.
Beetje off-topic wel inmiddels: volgens @0 gaat het bij klimaatgeloof niet om wetenschap maar om de sociale groep waartoe je jezelf rekend. Daar lijkt Van der Weele zeker een punt te hebben.
Op zich zijn ontkenners van klimaatverandering natuurlijk dom, aangezien het klimaat al verandert zolang de aardkloot bestaat. Ontkenners dat dit voornamelijk door menselijk toedoen komt weer niet.
@23 Je ontwijkt de vraag. Zal ik hem nog eens stellen?
Waarom zouden al die honderden wetenschappers, in jouw ogen werknemers van politieke opdrachtgevers klaarblijkelijk, doen alsof er bewijzen voor AGW zijn?
@10, @17: De zalf werkt niet – dat was mijn eerste intuitie bij het zien van de cijfers in de tabel. Vervolgens las ik tot mijn verbazing dat het de bedoeling is dat “numerate” mensen vinden dat het wel werkt. Volgens mij ben ik echt wel numerate, namelijk.
Dus maar de wetenschap toegepast, en er een chi-kwadraattoets op losgelaten. Chi-kwadraat = som (Observed – Expected) in het kwadraat delen door expected. De uitkomst bij deze getallen is 4.107, terwijl bij de standaardgrens die meestal gehanteerd wordt (p=0.05) en 3 vrijheidsgraden chi-kwadraat 7,815 zou moeten zijn.
De conclusie is keihard: Er is op basis van deze tabel geen reden om aan te nemen dat de zalf werkt. Volgens http://www.socscistatistics.com/pvalues/chidistribution.aspx: p = 0.25. Veel te groot.
In normaal nederlands: de kans dat deze getallen door toeval veroorzaakt worden is ongeveer 25%; de kans dat er echt iets aan de hand is is 75%. Voor een wetenschappelijke conclusie dat het werkt is dat veel te dun; dan moet de toevalscomponent op z’n minst tot 5% teruggedrongen worden.
@15: Het is geen inenting maar een zalf (en dus goedkoop, ja dat denk ik erbij). Ik zeg absoluut doen tegen iedereen met uitslag.
@26: Oei, ligt het toch aan je rekenkunde! Deze 2×2 tabel levert 1 vrijheidsgraad op en dus een KW van 3,841. De p-waarde is daarmee kleiner dan 0,05 en dus significant. okto en de vier mensen die hem geplust hebben mogen bij mij op statistiekbijles komen.
PS: “de kans dat deze getallen door toeval veroorzaakt worden is ongeveer 25%; de kans dat er echt iets aan de hand is is 75%. “
Deze zin klopt ook helemaal niet.
@25: lees@0 en @23 nog eens daar staat de antwoorden om een zodanig simpele manier uitgespeld dat zelfs jij het kunt begrijpen. Dacht ik, maar helaas kennelijk je intellectuele vermogens overschat.
Dan kauw ik het wel helemaal voor je uit:
Er is (vrijwel) niemand die beweert dat de mens geen invloed heeft op het klimaat, de vraag is echter hoeveel en hoe erg.
De lieden die beweren dat co2 emissie tot een catastrofe leidt doen dat vanwege:
1 geld/financieel belang
2 sociale acceptatie/politieke overtuiging
Zo, nu moet zelfs iemand met een iq van 70 het snappen. Eens zien of je die 70 haalt.
@28: oeps, je hebt gelijk. Ik had 1 ipv 3 vrijheidsgraden moeten nemen. Het was kennelijk al vrij laat op de avond.
Beter is trouwens om een proportion Z-test te doen dan een chi-kwadraat kruistabel, want die 1 vrijheidsgraad is wat dubieus. Dat levert Z=1.98; p=0.024. Wel significant dus. Werkt inderdaad toch.
@29, Je ad hominems daargelaten, distilleer ik na vele omwegen het volgende antwoord op mijn vraag:
Samenvattend begrijp ik het het volgende uit je verder ontwijkende betoog.
Duizenden wetenschappers die op de één of andere manier onderzoek verrichten naar (de gevolgen van) AGW zijn allemaal in de ban van het grote geld en macht. Allemaal! Behalve een enkeling zoals Roy Spencer.
Dat vind ik dan vreemd. Als het om puur amoreel financieel belang gaat, dan zou ik me juist laten inhuren door de fossiele industrie: de zakken van de olie- en kolenboeren zijn vele malen dieper. Daar valt meer te winnen. Bovendien is het efficiënter: je hoeft geen tijd te besteden aan onderzoeken en het publiceren daarvan in een tijdrovend peer-review proces.
En als het om macht gaat, dan is het toch ook aantrekkelijker om jezelf in te zetten voor de grote molochen die klimaatverandering bagatelliseren dan voor marginale groene clubjes?
Ik snap de logica niet.
Tenzij je heilig gelooft in complottheorieën.
@30: Er is echt niets mis met het gebruik van de chi-kwadraattoets in deze situatie (de Z-toets levert ook geen beter resultaat op, die is de wortel van de chi-kwadraat bij df=1) en als je het echt beter wil doen, mag je de Fisher’s exact toets gebruiken (veel plezier met rekenen bij deze steekproefgrootte). Waarom neem je trouwens een eenzijdige p-waarde? Doorgaans wordt er tweezijdig getoetst. Dan wordt de p-waarde 0.048, verandert niets aan de conclusie, maar als ik toch statistiekles aan het geven ben… ;-)
@30: Ok. Ik ben niet goed in statistiek. Dat kun je van de meeste mensen ook niet te verwachten volgens mij.
Ik ga het originele artikel een keer goed lezen: daarin staat in ieder geval dat de cijfers gefingeerd zijn en ook een keer zijn omgedraaid.
Als ik het goed lees, op het eind, vinden de schrijvers dat je het vermogen moet ontwikkelen om interpretatie en beleidsconclusies van wetenschappelijke kennis te kunnen loskoppelen van je politieke, culturele en morele opvattingen. Daar is wel wat voor te zeggen maar er zitten ook risico’s aan. Het lijkt me al te gebeuren in de ontwikkeling van wapenstystemen bijvoorbeeld en ik kan me ook voorstellen dat in eugenetica dan wetenschappelijke voorspellingen een groter gewicht krijgen bij het bepalen van het gedrag rond zwangerschap.
@5: “Grappig dat zodra het om klimaat (lees: co2 emissierechten) gaat, wetenschappelijk BEWIJS er niet meer toe doet, en alles ineens draait om CONCENSUS.”
Omdat er geen hard bewijs is, oen! Het is niet volgens de regels te bewijzen. We hebben geen tweehonderd aardes en 100 jaar om een dubbelblind experiment te doen. Dus gaat het erom of het gerechtvaardigd is om moeilijke veranderingen af te dwingen op basis van de feiten die niet of nauwelijks omstreden zijn.
@32
Zo duidelijk en simpel is het volgens mij niet.
Zelfs zonder rekening te houden met het feit of een oordeel wel/geen effect niet 100% zuiver hoeft te zijn, is het meestal niet onder de p<0.05:
zalf<-matrix(c(223,107, 75, 21), nrow=2)print(zalf); fisher.test(zalf); chisq.test(zalf); chisq.test(zalf, correct=F)
## [,1] [,2]## [1,] 223 75
## [2,] 107 21
#### Fisher's Exact Test for Count Data
##
## data: zalf
## p-value = 0.05742
## alternative hypothesis: true odds ratio is not equal to 1
## 95 percent confidence interval:
## 0.3239569 1.0193301
## sample estimates:
## odds ratio
## 0.5842468
#### Pearson's Chi-squared test with Yates' continuity correction
##
## data: zalf
## X-squared = 3.4515, df = 1, p-value = 0.06319
#### Pearson's Chi-squared test
##
## data: zalf
## X-squared = 3.9374, df = 1, p-value = 0.04722
Maar je zou ook nog een inschatting moeten maken hoe vaak het oordeel tussen wel/geen effect onjuist is. En dan wordt de onzekerheid groter.
Dus voor mij geen twijfelgevallletje, maar een dikke NEE.
@31: <70
@36 je gelooft dus duidelijk in complot theorieën….
@36: Anton <10
@35: “Maar je zou ook nog een inschatting moeten maken hoe vaak het oordeel tussen wel/geen effect onjuist is. En dan wordt de onzekerheid groter.”
Je bedoelt denk ik het tegenovergestelde? Mits de beoordelaars geblindeerd zijn, zullen meetfouten logischerwijs leiden tot non-differentiële misclassificatie en daarmee de toetsuitslag richting minder significant bewegen. Je mag er dus van uitgaan dat als er meetfouten zijn gemaakt, de werkelijke samenhang sterker is dan tot uitdrukking komt in deze data (en de p-waarde van de toetsing dus kleiner). Aangezien de p-waarde van de Fisher’s exact test al heel dicht tegen significantie aanzit, zou na correctie voor onbetrouwbaarheid vrijwel zeker een significant resultaat ontstaan.
“Dus voor mij geen twijfelgevallletje, maar een dikke NEE.”
Foei toch, bij zo’n uitslag zou je geen dikke nee geven, maar zeggen: Inconclusive, need more data.
@36: Dan voor je inhoudelijke reactie. Ik ben veel wijzer geworden hiervan en zal mijn leven beteren. (/sarcasme uit)
@37 Het lijkt me dat Anton zijn mening inderdaad oplepelt van een site die naar een complottheorie vernoemd is en in de ontkennerskringen toch wel veel geroemd wordt. (Nee, niet niburu.nl, maar die andere, waar Hans L. tegenwoordig voor schrijft).
De discussie over de zalf overziend kom ik tot deze conclusie: het enige juiste antwoord op die vraag is “weet niet”. Waarbij ik er voor het gemak maar even van uit ga dat je niet direct “scientific illiterate” bent als je als deelnemer van dat onderzoek niet alle kennis paraat hebt om meteen de statistische significantie te berekenen.
Kahan heeft dus aangetoond dat mensen het antwoord kiezen dat aansluit bij hun politieke opvattingen als het juiste antwoord niet bij de keuzemogelijkheden staat.
@41: Mwoa, je kan nog discussiëren over de significantie (zoals blijkt) en ik wil je ook toegeven dat niet iedereen meteen een papiertje of rekenmachine bij de hand heeft om die uit te rekenen, maar de getallen wijzen in het geval van de zalf toch wel vrij sterk in een bepaalde richting. Zeker mensen die de significantie niet kunnen uitrekenen, maar wel (ongeveer) de verhoudingen verbeterd/verergerd bij beide groepen (en dat lijkt me de meerderheid van de Westerse mensen van boven de 10 jaar) zouden al snel een juiste conclusie moeten kunnen trekken.
@39 – ik moest wel even opzoeken wat dat is (moeilijk woord) maar het is: “Nondifferential misclassification is when all classes, groups, or categories of a variable (whether exposure, outcome, or covariate) have the same error rate or probability of being misclassified for all study subjects”.
Goed, neem dus aan dat iedereen 10% kans had verkeerd te worden geklassificeerd. Je kan dat simpel simuleren. Het confidence interval wordt bij 10% misklassificatie iets groter. Volgens dit experiment, maar misschien is dit niet wat je bedoelt, heb je het mis. Het was wel ongeveer wat ik in gedachten had.
jackpot=c(rep(0, 330), rep(1, 96));
range=1:20000
result<-sapply(range, function(i) sum(sample(jackpot, 426)[1:128]))
print(quantile(result, c(0.025,0.5, 0.975)))
## 2.5% 50% 97.5%
## 21 29 37
jackpot=c(rep(0, 359), rep(1, 67)); # verschuiving nodig
range=1:20000
result<-sapply(range, function(i) {
b <- sample(jackpot, 426)[1:128]
for (i in 1:128) b[i]=sample(c(b[i], 1-b[i]), 1, prob=c(0.9, 0.1))
return(sum(b))
})
print(quantile(result, c(0.025,0.5, 0.975)))
## 2.5% 50% 97.5%
## 20.975 29.000 38.000
@43: Je rekent de verkeerde kant uit: De misclassifiatie zit al in de tabel (en dus in je BI). Je moet dan terugrekenen hoe het eruit zou zien als er geen meetfouten gemaakt waren en dan kom je dus juist op een smaller BI uit.
Ook al kun je er niets mee. De zalftabel geeft een mooie modale interpretatie weer door het op deze manier te beschrijven:
deze zalf [mag niet, 223], [moet, 75], [kan, 107], [hoeft niet, 21] gebruikt (te) worden bij mijn type huid.
Niemand houdt ervan de les te worden gelezen, dus vervang [mag niet] en [moet] door [kan het beste niet], [kan het beste wel].
Hoe is het resultaat als de [kan]groep alsnog de zalf gebruikt met hetzelfde resultaat?
@44, ik begrijp je niet. Als we er van uit gaan dat de waargenomen H0-verhouding 330/96 het gevolg is van een 10% misklassificatie, dan is de werkelijke verhouding toch (ongeveer) 359/ 67? Want:
359 – 35.9 +6.7 = 329.8
67 -6.7 + 35.9 = 96.2
en dat is wat we waarnemen. Vandaar mijn berekening, zie boven.
Bis, kom jij eens met een rekenvoorbeeld, want ik snap je zo niet.
@45 “… met hetzelfde resultaat” moet zijn “… met dezelfde verdeling verergerd 223 – verdwenen 75.
Mensen zijn niet dom, ze zijn ignorant. De Amerikanen tenminste, volgens Gore Vidal.
De zalf gebruiken? Ik zou zeggen: doen!
Verergert de uitslag van de huid ermee?, direct stoppen.
Is er geen verbetering te constateren?, stoppen (of doorgaan) na de tijd aangegeven dat men de eerste resultaten verwacht.
Is er verbetering?, u hebt de goede zalf gekozen, experimenteer ermee, gebruik hem weer bij een volgende irritatie.
@Bismarck (43 o.a), je vindt het kennelijk niet relevant nog te antwoorden op mijn @46, maar ik heb toch maar even verder geneusd in de literatuur. Er blijkt in de jaren ’90 een hele discussie te zijn in de wetenschappelijke literatuur, zoals bijv[1] over non-differentail classification (zoals: wat is het eigenlijk, en wat is het effect), waaruit volgens mij zonneklaar blijkt dat mijn interpretatie de juiste is. Dus ik zie – zeg het nogmaals – graag een tegen- en rekenvoorbeeld van jouw hand.
[1] Tom Sorahan, Mark S Gilthorpe, Non-differential misclassification of exposure always leads to an underestimate of risk: an incorrect conclusion