COLUMN - Soms zijn er van die dagen dat alles lukt. Je projectvoorstel wordt gehonoreerd, je baas verrast je met een promotie, en onderweg naar huis vind je ook nog eens 10 euro op straat. Op zulke dagen zou je bijna, tegen beter weten in, een kraslot kopen om dit tijdelijke geluk optimaal te benutten.
Het idee dat goede uitkomsten voorkomen in clusters staat bekend als het “hot hand” effect, genoemd naar basketballers die series succesvolle schoten afleveren. In de basketbalwereld gelooft men heilig in het bestaan van dit effect en spelers proberen het zoveel mogelijk uit te buiten. De vedette LeBron James passt bijvoorbeeld extra ballen naar teamgenoten waarvan hij gelooft dat die een hot hand hebben.
Het probleem met deze strategie is dat 30 jaar gedragswetenschappelijk onderzoek heeft vastgesteld dat de hot hand een illusie is. De zogenaamde hot hand fallacy werd geboren in een studie uit 1985, met meer dan duizend academische citaties. Drie top-psychologen lieten daarin zien dat de succesreeksen in het basketbal niet te onderscheiden zijn van de reeksen die gegenereerd worden door een volledig toevallig proces.
Tientallen vervolgstudies op verschillende toepassingsgebieden bevestigden deze analyse. In zijn boek “Thinking Fast en Slow” uit 2011 noemt de Nobelprijswinnaar Daniel Kahneman de hot hand een “massive and widespread cognitive illusion”. Onderzoekers begonnen zich zelfs af te vragen wat er toch mis was met die basketballers die maar niet van hun geloof in die hot hand af te brengen waren.
Nu, dertig jaar later, demonstreren twee jonge onderzoekers dat de hot hand fallacy zelf een illusie is. In het paper “A Cold Shower for the Hot Hand Fallacy” laten economen Joshua Miller Adam Sanjurjo zien dat de hot hand in het basketbal wel degelijk bestaat en dat wetenschappers de data decennia lang verkeerd hebben geanalyseerd.
De statistische fout is pijnlijk maar subtiel. Ruwweg vergeleken onderzoekers altijd de volgende twee kansen: 1) de gemiddelde kans op succes in een poging volgend op een reeks van drie of meer successen met 2) de gemiddelde kans op succes over alle gemeten pogingen. Als kans 1) hoger is dan kans 2) is dat bewijs voor de hot hand. Het probleem met deze methode is dat bij het berekenen van kans 1) de voorafgaande reeks successen uit de steekproef wordt verwijderd. Daarmee is daaropvolgende kans op een succes dus systematisch lager dan de gemiddelde kans in de steekproef die die reeks wel bevat (kans 2), en onderschat de test dus het bestaan van de hot hand.
De auteurs laten zien dat deze ogenschijnlijk onschuldige fout tot een grote onderschatting van de hot hand effect leidt. In een uitgebreide studie van wedstrijden in “driepunters gooien” vonden ze een substantieel hot hand effect, waarbij een succesvolle worp 9 procentpunten waarschijnlijker is als die volgt op twee of drie eerdere successen. Een her-analyse van de originele studie uit 1985 laat zien dat de hot hand zelfs in die data te vinden is. De auteurs leveren weliswaar geen direct bewijs voor de hot hand op andere gebieden dan basketbal (en al helemaal niet dat u op uw geluksdag een kraslot moet gaan kopen!), maar de rehabilitatie van de hot hand maakt vervolgonderzoek plotseling weer spannend.
Het levensverhaal van de hot hand fallacy doet mij denken aan de analyses van Foucault over de sociale constructie van ‘normaliteit’. In de gedragswetenschappen maken de statistici uit wie normaal is en wie een beetje gek. Wanneer de statistici zich bedenken, lachen de gekken het laatst.
Reacties (8)
Doet mij denken aan het onderzoek naar Steen Papier Schaar.
http://fronza.nl/blog/52/altijd-winnen-bij-steen-papier-schaar
Ik begrijp de uitleg niet helemaal. En ik vind de PDF nogal taai om door te worstelen. (Daarmee zeg ik niets over de geloofwaardigheid van het verhaal. Het feit dat ik het niet begrijp zegt niets over het verhaal, en waarschijnlijk veel over mij.)
Maar simpel gezegd: je kunt voor een reeks van 300 pogingen toch berekenen hoe veel reeksen van meer dan 3 successen erin moeten voorkomen, uitgaand van het succespercentage van de hele reeks. En gebaseerd op de aanname dat successen volstrekt willekeurig optreden en onafhankelijk van de voorgaande resultaten, zoals bij een rouletteballetje.
Dan kun je het aantal werkelijk gevonden reeksen van meer dan 3 succesen vergelijken met het theoretisch aantal van dergelijke reeksen. Ik zou denken dat dat met een beetje VWO-wiskunde en zonder ingewikkelde statistische methoden moet kunnen.
Daarmee bedoel ik wederom niet dat ik het beter weet dan deze wetenschappers, maar vraag ik me af of iemand kan vertellen waarom het moeilijker is dan het mij als leek toeschijnt.
De fallacy bij de hot hand fallacy lijkt me dat men ervan uit gaat dat basketbal net zoiets is als dobbelsteentjes gooien, waarbij men chance game behoorlijk met skills game verwart. En zelfs dát is een foute vergelijking, want volgens mij kun je met flink wat oefening zélfs nog de statistische uitkomst van dobbelsteengooien beïnvloeden.
@2: Wat je zegt klinkt aannemelijk. Inderdaad bestaat er een test die in deze studies af en toe wel gebruikt wordt, de “runs test”. Het idee is dat een hot hand effect langere reeksen met successen oplevert, en dus minder reeksen (vgl 000011111 met 010101001). Een laag aantal reeksen is dan een indicatie van een hot hand. De auteurs zijn niet zo duidelijk over wat het probleem is met deze test, behalve dat de test weinig power heeft (je hebt erg veel data nodig). In een ander paper zeggen ze dat deze test (en andere tests)
“allow false negatives and false positives of hot hand performance, as among other issues, they provide no way of separating hot hand from cold hand (shooting worse after several consecutive misses) shooting”
De auteurs verwijzen verder naar een working paper met meer details, maar dat kan ik online nog niet vinden.
@3: Inderdaad zijn games of skill en games of luck heel verschillend. Het originele onderzoek argumenteerde echter niet dat een hot hand in games of skill per definitie onmogelijk is (zoals dat bij bijv. dobbelen het geval is – je laatste zin begrijp ik daarom ook niet), maar dat het in de praktijk niet optreedt. M.a.w. zodra er enige vorm van skills in het spel zijn dan is het bestaan van het hot hand effect (door bijvoorbeeld tijdelijk extra geconcentreerd te zijn) wel degelijk een empirische vraag, en daar gaat de literatuur over.
@4: Dank voor de toelichting!
@3: Spijker op de kop. Basketbal heeft vooral te maken met skill en fitheid. Iemand die toevallig net lekker in zijn vel zit, zal gemiddeld beter presteren dan iemand die dat niet heeft. Voor dobbelstenen of krasloten geldt dat natuurlijk niet.
Geinig. Het einde is een beetje raar. Het gaat hier toch om statistiek vs. statistiek?