1. 1

    In het nu.nl-artikel staat aan ’t eind even kort wat er mis is met ’t onderzoek van dr. Bem. Het kapotchecken (PDF) is blijkbaar niet zo moeilijk, wel aardig van de onderzoekers die dat gedaan hebben om een verschijnsel naar dr. Bem te noemen:”…confusion between exploratory and confirmatory studies, brought about by
    what we have termed the Bem Exploration Method (BEM)”

  2. 3

    “Bij zijn experimenten liet Bem proefpersonen bijvoorbeeld raden op welke plek op een computerscherm er een erotische afbeelding zou verschijnen. De deelnemers kregen de keuze uit twee posities. Uiteindelijk bleek 53,1 procent correct te voorspellen op welke plek het erotische plaatje verscheen.”

    Sorry? Met 50% gokkans valt te verwachten dat ongeveer de helft van de proefpersonen het goed raadt.

  3. 4

    Klinkt als een gevalletje multiple hypotheses testing, met het alom bekende probleem van de oplopende kans op type-II fouten. De wetenschapper mag dan wel gerespecteerd zijn, maar een bachelorstudent in sociale wetenschappen behoort al te weten dat hij de fout in gaat.

  4. 6

    Bem heeft dus gewoon een hele sloot data bij elkaar gegooid en gekeken of daar leuke significante conclusies uit te trekken waren.

    En het probleem is dus dat als je je dataset maar groot genoeg maakt, je altijd significante verbanden zult vinden.

    Deze zijn dan toe te schrijven aan toeval.

  5. 7

    @3: Klopt, maar als je het maar vaak genoeg doet kom je uit bij een kans van 95% dat de mensen het tussen bv 48% en 52% keer goed raden. Als je dan op 53% komt, dan mag je volgens wetenschappelijk conventies zeggen dat het waarschijnlijk niet door toeval komt, maar een oorzaak heeft. Alleen in één van de 20 gevallen is het dus wel toeval. Als dr. Bem maar genoeg proefjes doet, dan komt er op een gegeven moment wel een keer eentje uit met een heel onverwachte uitkomst. Dat noemen ze ‘a fishing expedition’. Vooral berucht uit onderzoek waarbij eerst enorme databases met heel veel variabelen worden verzameld. Dan laat je de computer zoeken naar een verband tussen die variabelen en voila, er rollen er altijd wel een paar uit waar totaal onverwacht een sterk verband tussen blijkt te bestaan.

  6. 9

    @8: Nou eigenlijk niet, want je weet dat de gevonden (meestal niet zo sterke, maar wel “statistisch significante”) verbanden een vrij grote kans hebben het gevolg van toeval te zijn.

    Beter zou je eerst eens aan plausibiliteit kunnen denken (is er een onderliggend mechanisme, bestaan er analogieën) en vervolgens een experiment opstellen dat specifiek het verband veroorzaakt door het veronderstelde mechanisme toetst. In dit geval lijkt me reproductie nou precies een voorbeeld van weggegooid geld. Ik ben erg benieuwd welke private partij het gaat betalen, want belastinggeld zou je er niet in moeten steken.

  7. 10

    @10: Juist wel, juist door experimenten te herhalen kom je erachter of die ‘significante verbanden’ toeval zijn of dat je ze bij iedere herhaling van het experiment weer tegenkomt (wel een heel beperkt gebruik van het begrip significant trouwens).

    Er zijn mensen die bepaalde zaken waarnemen -of menen waar te nemen- en dan kun je die waarnemingen negeren ‘omdat het niet kan’ of je kijkt serieus naar die waarnemingen en kijkt of de waarneming klopt (zonder vooroordeel). De tweede methode lijkt mij de wetenschappelijke. Er zijn plekken waar dat gebeurt (bijvoorbeeld hier) en daar hebben ze nog niet echt veel gevonden. Ook het onderzoeksobjekt van dr. Ben lijkt me een legitiem onderzoeksobjekt, de zwakte zit ‘m in zijn methodes.

    Ik vermoed dat er ook niks te vinden valt, maar als je geloof in paranormale verschijnselen als onwetenschappelijk wilt wegzetten, dien je dat wel met wetenschappelijk onderzoek te onderbouwen.
    Alleen het ontbreken van bekende mechanismes is niet voldoende om het bestaan te ontkennen, er zijn wel meer zaken en verschijnselen waarvan we het bestaan weten, maar de oorzaak of werking niet, bijvoorbeeld een groot deel van ons denken of de precieze werking van een heleboel geneesmiddelen.

    Zwaartekracht bestond tenslotte ook al voor Newton.

  8. 11

    @10: ”Ik vermoed dat er ook niks te vinden valt, maar als je geloof in paranormale verschijnselen als onwetenschappelijk wilt wegzetten, dien je dat wel met wetenschappelijk onderzoek te onderbouwen.”

    En dat is dus al gedaan (door Dr. Bem). Als hij zijn alpha aangepast had op zijn familywise errors, had hij waarschijnlijk geen significante resultaten gevonden. Dus gewoon zijn onderzoek (inclusief alle onderzochte correlaties) erbij pakken, daar een correctie voor multiple testing op los laten en als er dan niets significants overblijft, is er niets de moeite waard om te onderzoeken. Dat lijkt me stukken wetenschappelijker dan onnodig geld steken in verificatie van in werkelijkheid niet-significante resultaten.

    In jouw methodiek missen de stappen van inductie en deductie. Uit de waarnemingen ga je eerst een theorie vormen (of een bestaande aanpassen) en vanuit die theorie ga je testbare hypotheses genereren, daarna is pas nieuw onderzoek aan de beurt. Jij stelt voor als een kip zonder kop maar elke correlatie die je toevallig ergens tegen komt maar meteen opnieuw te onderzoeken, ook als daar niet de minste aanleiding toe is. Dat is zonde van het geld en levert bovendien praktisch nooit nieuwe kennis of meer inzicht op.

    ”Zwaartekracht bestond tenslotte ook al voor Newton.”

    Voor Newton (en ook nog lang daarna) werd er ook nog niet serieus aan toetsende statistiek gedaan. De analogie gaat niet op.

  9. 12

    @11: “En dat is dus al gedaan (door Dr. Bem).”
    Het onderzoek van Bem deugt niet, dus kan niet als argument dienen.

    “Jij stelt voor als een kip zonder kop maar elke correlatie die je toevallig ergens tegen komt maar meteen opnieuw te onderzoeken, ook als daar niet de minste aanleiding toe is.”
    Nee, dat stel ik helemaal niet voor, maar als iemand anekdotische argumenten aanhaalt (“mijn tante had ’s een keer…”) voor paranormale verschijnselen is de reaktie dat ’t onzin is ‘omdat het niet past in mijn wetenschappelijke wereldbeeld’ niet de sterkste.

    Wat mij betreft is onderzoek op dit terrein waarschijnlijk sowieso weggegooid geld. Dat wil zeggen dat zulk onderzoek weinig tot niets aan onze kennis zal toevoegen; maar je slaat in elk geval het argument dat ‘er geen bewijs gevonden is, omdat de wetenschap dit soort verschijnselen niet serieus neemt’ uit de handen van de sprookjesadventisten.

  10. 13

    @12: Pas op, het onderzoek van Bem deugt wel (of laten we zeggen, er is niet aangetoond dat het niet deugt), maar de data-analyse en bijbehorende conclusies deugen niet. Nou is het mooie dat dat precies het enige is dat je fout kunt doen, zonder dat de data van je onderzoek waarde verliezen. Gewoon een kwestie van alsnog de goede statistiek toepassen op de data en je kunt wel valide conclusies trekken. Ik zou zeggen begin daar eerst mee (het grootste deel van het werk is immers toch al gedaan), dan hoef je niet nieuw onderzoek op te zetten.

    verder gaat het niet om een “wetenschappelijk wereldbeeld”, maar een theoretisch kader, waarin die paranormale verschijnselen moeten passen (toegegeven, dat zal best lastig worden, gezien de definitie van paranormaal).

    Veel medicijnenonderzoek (@10) is overigens ook weinig wetenschappelijk te noemen. Alleen omdat je een dubbelblind RCT uitvoert, doe je nog geen wetenschappelijk onderzoek.

  11. 14

    @13:”het onderzoek van Bem deugt wel (of laten we zeggen, er is niet aangetoond dat het niet deugt), maar de data-analyse en bijbehorende conclusies deugen niet.”

    Flauwe woordspelletjes, voor mij is het onderzoek de experimenten plus de analyse van de uitkomsten daarvan, en dan deugt het onderzoek dus niet, maar ik ben ’t met je eens dat ik nergens kan terugvinden dat de experimenten op zich niet deugden, daar heb ik dan ook niks over gezegd.
    Wat ik niet met je eens ben, is dat de opzet van het onderzoek deugde (d.w.z. de keuze voor welke experimenten om welk verschijnsel aan te tonen), je zou de data nog steeds kunnen gebruiken, maar de valide konklusies die je zou kunnen trekken zijn van een andere orde dan de konklusies die Bem meent te kunnen trekken (zie het citaat in #1).

    Dat aan veel medicijnenonderzoek ook heel wat mankeert ben ik met je eens, maar dat bedoelde ik niet.
    Wat ik wel bedoelde was dat van allerlei stofjes waarvan bekend is dat ze een bepaalde werking hebben, niet of niet precies bekend is hoe die werking is, slechts dat ze er is.

  12. 15

    deze voorgevoelens heb ik ook al een tijdje en ze zijn ombewust :O ik had een keer een gedachte dat een collega van mij iets met ze hand kreeg ombewust he, kwam die later naar me toe en ja hoor pecies zo als ik dacht gebeurde het, een snee in ze handpalm en zo kan ik er nog wel een paar opnoemen ;)

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

| Registreren