Zijn vleeseters onbetrouwbaar?

Het is niet fijn wakker worden als je de ochtendkrant openslaat en er paginagroot wordt gezegd dat je een onwaarheid de wereld in hebt gebracht. NRC Next heeft een uitspraak van mij gechecked. Maar in het stuk maakt auteur Lynn Berger zelf twee grote fouten. Die wil ik rechtzetten. Van een factcheck-rubriek mag je verwachten dat hij feitelijk correct is. Daarnaast wil ik natuurlijk gewoon heel kinderachtig gelijk krijgen. Mijn belangrijkste bezwaren: het onderzoek van NRC Next is onvolledig en trekt een verkeerde conclusie. Ik leg ’t aan de jury (u) voor.

Waar gaat het over?

In een opiniestuk in NRC Handelsblad (ook op Sargasso verschenen) deed ik de volgende uitspraak over een luchtvaartmaatschappij die er achter gekomen was ,,dat vegetarische reizigers minder vaak hun vlucht annuleren of te laat komen opdagen. Sommige maatschappijen laten de mate van overboeking daarom mede afhangen van het aantal bestelde vegetarische maaltijden. Let op dat sprake is van een correlatie, dus van een kans. Vegetariërs missen ongetwijfeld ook weleens hun vlucht, maar op geaggregeerd niveau zijn vleeseters – in de ogen van de luchtvaartmaatschappij – minder betrouwbaar.”

De kop die ik had aangeleverd luidde Privacy is dood: laten we het over levenskansen hebben. De eindredacteur heeft er zonder mijn medeweten dit van gemaakt: Uw digitale schaduw:”vleeseter, dus onbetrouwbaar.

En toen?

Ik kreeg enkele dagen later een mail van Lynn Berger met de vraag waar ik de uitspraak vandaan had. Ik moest meteen bekennen dat ik dat niet meer wist. Uiteindelijk wist ik te reproduceren dat ik de passage vermoedelijk eind 2010 heb geschreven (in mijn boek), maar dat ik op mijn nieuwe laptop geen stukken meer had waarin de passage voorkwam. Mijn papieren aantekeningen heb ik in mei in New York achtergelaten, toen ik terug naar Nederland verhuisde. Ik heb Berger daarom een aantal suggesties gedaan van betrouwbare bronnen die ik vaak gebruik. The New York Times, The Economist en nog een paar.

Uiteindelijk bleek de passage in The New York Times te staan (die een fout had gemaakt) en in The Economist. Vermoedelijk heb ik de laatste gebruikt. Toen bleef het een flinke tijd stil.

Het oordeel van NRC Next

Berger heeft een aantal Nederlandse vliegmaatschappijen gebeld en die wisten van niks. Uiteindelijk is ze terecht gekomen bij Sabre AirVision, een bedrijf dat software levert aan de luchtvaartindustrie. Een woordvoerder daarvan zegt dat The Economist zich waarschijnlijk heeft gebaseerd op de praktijken van een grote Britse of Amerikaanse luchtvaartmaatschappij. Vervolgens vertelt de woordvoerder dat uit eigen onderzoek blijkt dat de kans dat een passagier op tijd komt opdagen voor een vlucht groter is als hij iets extra’s heeft gedaan, zoals het bestellen van een  vegetarische maaltijd. De woordvoerder zegt ook nog dat een aantal luchtvaartmaatschappijen zelf onderzoeksafdelingen hebben die dit soort data-analyses doen, namelijk United Airlines en American Airlines.

Berger heeft blijkbaar deze maatschappijen niet gebeld.

Berger trekt de volgende conclusie: ,,Volgens Dimitri Tokmetzis zijn vleeseters in de ogen van een luchtvaartmaatschappij „op geaggregeerd niveau” minder betrouwbaar dan passagiers die om een vegetarische maaltijd vragen. Hoewel het onduidelijk is om welke luchtvaartmaatschappij het precies gaat, is het aannemelijk dat er inderdaad één of meer maatschappijen bestaan die het aantal overboekingen deels laten afhangen van het aantal passagiers dat bij het boeken om iets extra’s heeft gevraagd – dat kan een vegetarische maaltijd zijn, maar ook een rolstoelplek of een Hindoeïstisch maal. Dit wil echter niet zeggen dat omgekeerd geldt dat vleeseters in de ogen van die maatschappij ‘minder betrouwbaar’ zijn: het voorspelmodel gaat niet over onbetrouwbaarheid, alleen over betrouwbaarheid. Dat betekent: boekt een vleeseter een ruimere stoel of een plaats aan het gangpad, dan zit ook hij in de ‘betrouwbare’ groep – en schat de vliegtuigmaatschappij de kans dat deze passagier komt opdagen ook hoger in. De bewering, in de kop en in het artikel, dat vleeseters volgens een luchtvaartmaatschappij ‘minder betrouwbaar’ zouden zijn, beoordelen we dan ook als onwaar.”

Het is aannemelijk. We hebben het hier over feiten toch?  Het voorspelmodel – van Sabre Air Vision. Dat is één bron. Twee aanvullende telefoontjes hadden meer zekerheid kunnen brengen.

Conclusie

Berger heeft het over de bewering in de kop die niet klopt. Inderdaad, daarin heeft ze, op basis van dit onvolledige onderzoek, gelijk. Maar ik heb die kop niet gemaakt. Ik heb het woord onbetrouwbaar nergens in mijn stuk gebruikt. Ik heb gezegd minder betrouwbaar. Ik heb daarmee een logische fout gemaakt, of een slordige formulering gebruikt en daarop mag ik terecht worden aangesproken.

Door af te gaan op alleen de kop en die ene kleine bijzin, wordt echter een hoop context weggelaten. Context die wél blijkt te kloppen. De context is namelijk die waar mijn boek over gaat: dat we op basis van onze digitale profielen verschillend behandeld worden en dat overheden en bedrijven zich steeds meer door dat soort profielen laten leiden. Dat Berger zich concentreert op een bijzin die hijgerig tot kop is gepromoveerd doet daar niets aan af.

Ik trek daarom twee conclusies. Nummer 1: op basis van dit onvolledige onderzoek moet ik constateren dat mijn uitspraak grotendeels waar is, of goed, laten ik de hand in eigen boezem steken, half waar. Nummer 2: op basis van deze ervaring moet ik concluderen dat NRC Next de lat voor zijn eigen factcheck wel iets hoger mag leggen.

Foto Caribb

  1. 3

    Afgezien van de precieze bewoordingen gaat het uiteindelijk denk ik om de vraag of de hogere kans op no-show e.d. gerelateerd is aan het zijn van vegetariër of het überhaupt opgeven van een voorkeur. Dat is niet moeilijk na te gaan als de data voorhanden is: wat zijn de no-show percentages voor vegetarische, kosher, zout-arme boekingen etc? Sabre suggereert dus dat het om het opgeven van een voorkeur gaat, en dat lijkt mij ‘aannemelijk’. Maar ‘onwaar’ is een oordeel dat NRC Next niet hard kan maken, of in hun eigen terminologie: ‘on(voldoende)-gefundeerd’…

  2. 6

    Uit het NRC-stuk:
    Volgens het ‘voorspelmodel’ dat Sabre op basis van boekinginformatie en vluchtgegevens uit het verleden heeft ontwikkeld, is de kans dat een passagier komt opdagen groter „wanneer die passagier bij het boeken iets extra’s heeft gedaan” – wanneer hij om een stoel aan het raam heeft gevraagd bijvoorbeeld, of om een maaltijd die Kosher of vegetarisch is

    Wat dit soort stukken onbetrouwbaar maakt is dat je niet weet waar het onderzoek eindigt en waar de fantasie van de journalist begint. Blijkt die stoel-aan-het-raam-optie uit de data, of is dat gewoon een voorbeeld wat alleen maar wordt aangehaald om iets duidelijk te maken?

    En @dimitri: is het niet zo dat ‘data’ en ‘journalistiek’ op gespannen voet met elkaar staan? Journalisten willen altijd een lekkere kop boven hun artikel, ook al zegt de data iets heel anders. Want genuanceerde koppen trekken geen lezers. Het is natuurlijk wel lekker makkelijk van de NRC om daar dan vervolgens op in te gaan hakken.

  3. 7

    Ze maken hier wel meer fouten: het gaat niet om ‘vleeseters’, maar om ‘mensen zonder bijzondere eetwensen/vluchtwensen’ (dus geen vegetariers, kosher etende mensen, etc). Maar dat is te droog, dus gebruik je het goed-bekkende ‘vleeseters’ (=niet-vegetariers).

  4. 8

    Het heeft ook te maken met het verschil tussen ‘detail’ en ‘het grote verhaal’. Ieder wetenschappelijk boek bevat ‘fouten’. Maar zijn dat details of klopt het grote verhaal niet? De feiten die NRC zou moeten checken, zouden over ‘het grote verhaal’ moeten gaan en niet over de details.

    In dit geval vergroot de NRC een detail en verdraait daarmee zelf de waarheid. Erg jammer. Er zijn immers genoeg boeken/onderzoeken/beweringen die van A tot Z niet deugen.

  5. 9

    De NRC heeft gelijk. Jouw bewering dat ‘vleeseters’ als ‘minder betrouwbaar’ worden gezien is volledig ongegrond.

    Dat je óók dingen heb gezegd die wél gegrond zijn doet daar verder niks meer aan af.

    Het dat het om een miezerig en onbelangrijk detail gaat, dat bovendien geen jota aan je punt afdoet, doet me overigens wel het bestaansrecht van de NRC in twijfel trekken.

  6. 10

    Sterker nog, data zijn zelf vaak ook fout. We werken veel met data tegenwoordig en waar wij vooral heel veel tijd aan kwijt zijn, misschien wel het meeste, is checken of de data kloppen en tot nu toe ben ik nog geen enkele dataset tegengekomen, ook niet van hele betrouwbare bronnen, die voor 100 procent klopt. Dat geeft wel te denken over het betrouwbaarheidsgehalte van heel veel stukken.

  7. 12

    Volgens mij had de conclusie van NRC Next moeten luiden: het is ons niet gelukt om het te checken … maar dat levert natuurlijk geen stukkie op.

    Gezien de lange tijd die er tussen het eerste contact van NRC met Dimitri zat en de publicatie, gok ik dat er een gat in de krant zat en dat de redactie toen dacht: nou ja, dan doen we dit rammelende artikel maar.

  8. 13

    Overigens zijn niet alle vliegpassagiers die vegetarisch bestellen ook vegetarier. Sommige ervaren reizigers bestellen het omdat het van een kleinere productielijn komt dan de standaard maaltijd en en regelmatig iets meer zorg aan besteed is. Ook leent het zich vaak beter voor opwarmen, een stukje vlees komt toch meer tot zijn recht als het rechtstreeks uit de pan of van de gril komt.

  9. 17

    Ik neem aan dat je in elk geval hebt geleerd je papieren documentatie mee te verhuizen en je digitale archief op te slaan op een van die megaschijven die er tegenwoordig bestaan.

    Verder vind ik het een beetje geneuzel over niets en geef ik jou gelijk.

  10. 18

    Ik zou er, naast je conclusies, ook twee leermomentjes aan willen toevoegen.
    1) Altijd vertellen waar je je informatie vandaan hebt gehaald.
    2) Altijd vragen welke kop er boven je artikel komt te staan. Of is dat not done?

  11. 20

    Ach als je er een meervoudig logistisch regressiemodel van maakt, zal de variabele vegetariër* een negatieve richtingscoëfficiënt hebben. Dus in die zin, mits je de vlucht cancelen gelijk stelt aan onbetrouwbaar zijn, klopt het gewoon. Dat iets niet de enige risicofactor is, ontslaat het nog niet van het zijn van een risicofactor.

    *Eigenlijk: Besteller van een vegetarische maaltijd.

  12. 21

    Papieren documentatie moet je gewoon ook digitaal maken (scannen). En megaschijven zijn achterhaald, dat zijn tegenwoordig teraschijven ;-)

    Voor backupdoeleinden heb je altijd minstens twee extra schijven nodig plus een manier om je backups te automatiseren. Als je eraan moet denken om backups te maken dan gaat het altijd een keer mis.

    Voor digitale archivering (backup over langere termijn) kies je nog altijd beter voor DVD’s van goede kwaliteit. Ook hiervoor geldt: één schijf is géén schijf.

  13. 22

    Dimitri, je schrijft: “Ik heb gezegd minder betrouwbaar. Ik heb daarmee een logische fout gemaakt, of een slordige formulering gebruikt en daarop mag ik terecht worden aangesproken”, maar dat is helemaal geen logische fout. Als mensen die een vegetarische maaltijd bestellen gemiddeld betrouwbaarder zijn dan mensen die dat niet doen, zoals blijkt uit het stuk van Berger, dan volgt daar noodzakelijkerwijs uit dat mensen die geen vegetarische maaltijd bestellen gemiddeld minder betrouwbaar zijn dan mensen die dat wel doen.

    Verder zou Lynn Berger als NRC journalist toch moeten weten dat het heel gebruikelijk is dat een of andere editor z’n eigen kop boven een artikel zet (wat regelmatig fout gaat). Ik zou een rectificatie eisen.