Aio’s begrijpen de diepere betekenis van ‘eerlijk duurt het langst’.
#2
Anton
Sinds november 2009 al bekend. Verrassend hoe lang journalisten nodig hebben om ‘nieuws’ te signaleren.
#3
Frank
Pfff, tendentieus stuk. Alleen al zo een opmerking “Ooit was wetenschap een tijdverdrijf voor deftige heren, die elkaar in plechtige lezingen vertelden wat ze hadden ontdekt.” Darwin en Wallace anyone?
Och, Darwin kwamen uit een zeer gegoed gezin. Hij kreeg alleen ruzie met zn pa – heel typisch: over zn studieresultaten – waarop hij op de Beagle meevoer.
Volgens mij is Hulspas’ z’n punt niet dat nette heren uit de upper class nooit frauderen; maar dat ze zelf de illusie koesterden dat zij daar boven verheven waren, en dat wetenschappers deze pretentie hebben overgenomen.
Nou Prediker, ik lees toch echt iets anders
“De wortels van die illusie van morele superioriteit zijn niet moeilijk te vinden. Ooit was wetenschap een tijdverdrijf voor deftige heren, die elkaar in plechtige lezingen vertelden wat ze hadden ontdekt (…) In die versleten aristocratische illusie (‘wij deftige heren bedriegen niet’) zit de wetenschap nog steeds gevangen. En dat terwijl het allang een volstrekt ordinaire bedrijfstak is (…)”
Ik erger me overigens wel aan de gemoedelijke toon die Dijkgraaf e.a. aanslaan. Fraude komt overal voor, ook onder wetenschappers. Al kan ik me niet voorstellen dat het bovenmatig veel voorkomt in de wetenschap.
Oké, wat betekent de uitdrukking “aristocratische illusie (‘wij deftige heren bedriegen niet’)” dan volgens jou? Want volgens mij betekent het dat ook die deftige heren elkaar in werkelijkheid natuurlijk wel bedrogen, maar dat ze zichzelf en elkaar wijsmaakten dat zij daar boven waren verheven, gezien hun stand.
Prediker, dat dacht ik eerst ook, totdat de zin voorbij kwam waarin de schrijver stelt dat de wetenschap inmiddels een volstrekt ordinaire bedrijfstak is geworden.
Kun je een voorbeeld geven van de “gemoedelijke toon” van Dijkgraaf? Ik vond hem allesbehalve gemoedelijk klinken bij KvdB over dit onderwerp.
#6
Spam
Toch is het zelfreinigend vermogen van de wetenschap vrij groot. Als wetenschapper leef je uiteindelijk toch van het publiek maken van je resultaten. Artikelen, presentaties, discussies. En in dat publiek zitten heel wat mensen die deskundig zijn op jouw gebied, waardoor je resultaten altijd inhoudelijk worden getoetst. Hoe meer succes, hoe meer deskundig publiek en hoe lastiger het is om knollen voor citroenen te verkopen. Als je veel succes hebt, zijn er altijd deskundige collega’s die het niet met je eens zijn of je je succes misgunnen.
Met het type onderzoek van dhr Stapel (eenvoudig alleen uit te voeren, te oninteressant om te reproduceren) en wat mooie praatjes hou je het misschien wat langer vol dan als je beweert koude kernfusie te realiseren, maar ook deze man liep tegen de lamp.
Stapel heeft er wel Science mee gehaald. Misschien moeten de primaire onderzoeksgegevens (met info over hoe en waar gewonnen etc) gewoon systematisch ter beschikking worden gesteld.
Cycloop, ik kan het Science paper van Stapel hier niet zien, maar Science (en heel veel andere topjournals) verplichten auteurs hun ruwe data ter beschikking te stellen in een repository of via online appendices.
Quote uit artikel: ” Voor een onderzoek in 2006 deden enkelen van ons een poging om de onderzoeksgegevens op te vragen van 141 recente studies in toptijdschriften in de psychologie. Ondanks herhaalde verzoeken en ethische richtlijnen die het delen van gegevens verplichten kregen we slechts de beschikking over 27% van de gegevens (American Psychologist, Oktober 2006). De meeste onderzoekers reageerden niet, zeiden de gegevens kwijt te zijn, of weigerden botweg inzage in de basis van hun conclusies. Ook Diederik Stapel, overigens.”
Ik zit zelf in de (zachte variant van de) betahoek, en bijna altijd als ik de achterliggende data in papers in dergelijke tijdschriften wil zien dan lukt het me die te pakken te krijgen. Nou ben ik maar n=1, maar ik vraag me af of er toch niet meer spraken is van een fundamenteel probleem in de geesteswetenschappen.
Die brondata is het probleem helemaal niet. Niet iedereen zit data te simuleren of met SPSS te prutsen. In de chemie, biologie en experimentele natuurkunde loop je veel vaker aan tegen zaken als ‘hoe hebben ze dat gedaan’. Hebben ze net een elementaire stap uit een opwerking niet genoemd. Of dan gaan ze er van uit dat je zelf wel begrijpt (als ‘expert’) hoe je iets moet doen. De reproduceerbaarheid van een artikel valt vies tegen; de opbrengsten van chemische reacties haal je vaak bij lange na niet zonder dat je eerst een stuk procesoptimalisatie doet.
En soms kunnen de auteurs er ook helemaal niets aan doen. Een bepaald type reactie lukte in het lab waar ik stage liep alleen echt goed in de herfst; blijkbaar was de luchtvochtigheid alleen dan precies goed. Dat soort ongein verzin je niet.
(sowieso is dat een leuke: de reactiesnelheden van labs in de bergen zijn anders dan die van labs aan zee. Luchtdruk enzo.)
Voor wat voor onderzoek? En hoe slecht/fout was dat?
En natuurlijk gaat er ook bij peer review (‘zelfs’ bij Science) wel eens wat mis. Maar een artikel in Science is ook alleen maar een begin van succes. De aandacht die dat genereert zorgt pas voor de echte controle. Een Nobelprijs fraudeer je niet zomaar bij elkaar.
Sociale psychologie (vakgebied van Stapel) is niet echt een klassieke geesteswetenschap. Misschien is het wel van alle sociale wetenschappen het meest beta-achtig. Met laboratoriumexperimenten (waar vooral studenten de proefkonijnen zijn) etc. en nogal wat statistiek. Het gaat heel vaak om kwantitatief onderzoek. Beetje kort de bocht, maar ik hoop dat je een idee hebt.
Stapel heeft dus hoogstwaarschijnlijk zijn eigen vragenlijsten etc ingevuld en kwamen daardoor tot de conclusies die hij wilde aantonen.
Nog erger: Stapel sloeg de vragenlijsten gewoon over, en kwam direct met datasets. Niet alleen voor zijn eigen onderzoek, maar ook voor de scripties en promotieonderzoeken van zijn studenten.
Ik heb het even doorgenomen, het materiaal via Science zelf beschikbaar is zeer beperkt. Science eist dat “After publication, all reasonable requests for data and materials must be fulfilled.” Ik had begrepen dat Stapel dat echter niet deed.
Het is trouwens heel moeilijk om data goed te fabriceren/frauderen. Er zijn meerdere statistische checks om te kijken of er niet één of andere bias in zit.
Juist wel. ‘Echte’ data is in principe volkomen random (ruis) buiten de werkelijke causale effecten. Als je gegevens gaat fabriceren, is het heel moeilijke om bovenop jouw gewenste uitkomst pure ruis te zetten. Net zoals het moeilijk is een goede willekeurige-getallengenerator te maken.
Diederik Stapel heeft al zeker vanaf zijn promotieonderzoek (1997) en vermoedelijk daarvoor met zijn data gefraudeerd zonder dat iemand daar ooit naar vroeg. Sterker nog, hij heeft op dat gefraudeer van ‘m een glansrijke carrière weten te bouwen.
De enige reden dat hij tegen de lamp liep, was dat hij het te bont maakte: hij leverde ook de datasets voor zijn studenten en AIO’s, en de controverse die ontstond toen Roos Vonk de resultaten van zijn gefingeerde datasets met een persbericht de media in knalde nog voordat er een artikel lag. Daardoor gingen zijn AIO’s zich namelijk achter de oren krabben: wie had dat onderzoek eigenlijk uitgevoerd? Hoe zat het überhaupt met die prachtige datasets die professor Diederik iedereen wist te leveren?
Had Stapel het allemaal voorzichtiger gespeeld, en er ook op cruciale momenten een echt onderzoekje doorheen gegooid, dan had ‘ie nog veertig jaar door kunnen gaan zonder ontdekt te worden.
Ironisch is dus de voorbarige en weinig wetenschappelijke actie van Roos Vonk (die kwam met conclusies voordat er überhaupt iets gepubliceerd was) de katalysator geweest voor Stapel’s ondergang. Of zie ik het verkeerd?
Bewijzen kan ik het niet, maar het heeft er alle schijn van: het is wel erg toevallig dat het zo dicht op elkaar volgt; de commotie over de publicatie en de gang van de junior-onderzoekers naar de rector magnificus.
Het werken aan de val van stapel is al ongeveer een jaar geleden begonnen. Ver voor het onderzoek met Vonk dus.
#7
Christian
Als pas gepromoveerde heb ik ooit een artikel naar een peer reviewed tijdschrift over kunstmatige intelligentie gestuurd. De anonieme reviewers wezen het af, waarvan eentje in nogal onbeschofte termen. Mijn hoogleraar raadde me aan het artikel te herschrijven, zodat het minder goed leesbaar zou zijn. De helderheid van mijn betooglijn zou de indruk geven dat het om een triviaal punt ging. Voor mij was het vooral een vingerwijzing dat de wetenschap niets voor mij was.
De ervaringen van Christian komen mij bekend voor.Ruim 25 jaar geleden schreef ik een scriptie over een universeel organigram (SUNOS). het ‘wetenschappelijk’ commentaar was:’te eenvoudig’. Inderdaad, het was gesteld in een voor iedereen begrijpelijke huis-tuin en keukentaal. En ook ik kreeg het advies om het geheel te herschrijven met in elk geval een zeker percentage ‘moeilijke’ woorden. Ik heb het niet gedaan, maar ik overweeg een vertaling in het Engels! Misschien is Sanscriet nog wel beter! In elk geval heb ik aan de hand van dit ‘model’ de plaats van de wetenschap in de samenleving bestudeert. Dat ziet er niet best uit! O.a. Erasmus en Multatuli hebben hiervoor al gewaarschuwd.
#8
Baron E
Wat Spam zegt in #6: nogal tendentieus, en er staan in Hulspas’ stuk zelf ook meerdere misvattingen. Laat ik me beperken tot zijn punt 2, peer review, want ik ben de laatste tijd wel vaker onzin daarover tegengekomen.
Als een artikel de peer review is gepasseerd, dan betekent het niet dat het “waar” is, het wordt ook door niemand zo opgevat. De peer review bestaat omdat de redacteur van het tijdschrift niet genoeg expertise heeft om de waarde van het artikel te beoordelen, dus dat wordt uitbesteed, waaraan wetenschappers om niet aan meehelpen. In peer review wordt vastgesteld:
1) Of het artikel geschikt is voor dit specifieke tijdschrift, puur op onderwerp, stijl en nieuwigheid;
2) Of de gevolgde redeneringen en methoden in het artikel juist zijn. Dus consistent, geen rekenfouten, geen eerdere resultaten overgeslagen, gedegen foutenanalyse.
Als de beweringen in het artikel niet waar zijn, dan komt dat pas naar voren inderdaad wanneer collega’s het herhalen. Dit kan lang duren, maar zo gaat het nu eenmaal.
Hoe hier mee om te gaan? Hanteer de stelregel: één artikel is geen artikel, en ga niet af op ieder wissewasje.
#9
JSK
@Baron E: Dus je wil zeggen dat peer review helemaal geen kwaliteitscontrole behelst? Goh, dat is nou net het punt van Hulspas.
Misschien moeten de universiteiten intern aan quality control doen. Net zoals dat in de maakindustrie en in toenemende mate bij banken gebeurt (“model validation”).
@JSK
De peer review wordt geacht tegenstrijdigheid met eerdere resultaten wel op te merken, maar niet om bijvoorbeeld het experiment te herhalen, noch een werkbezoek af te leggen om te kijken hoe het er allemaal aan toe gaat in het lab. Dat snapt iedereen. De verificatie is voor collega-wetenschappers. Daarom wordt een effect pas geaccepteerd wanneer het door meerdere groepen bevestigd is.
Dit is ook wat Dijkgraaf bedoelt met dat echte vooruitgang pas komt nadat andere wetenschappers gaan schieten op een nieuw resultaat. Als dat het schieten overleeft, is het kennelijk robuust.
Dit is ook wat Dijkgraaf bedoelt met dat echte vooruitgang pas komt nadat andere wetenschappers gaan schieten op een nieuw resultaat. Als dat het schieten overleeft, is het kennelijk robuust.
Maar wat voor’n prikkel hebben andere wetenschappers om te gaan schieten? De zucht naar de waarheid? In weinig andere beroepen is de kwaliteitscontrole zo informeel en niet dwingend (ik kan eigenlijk maar een ander voorbeeld bedenken: de medische wereld). Is het model van controle door (directe) collega’s niet een beetje ouderwets?
Bij een flutartikel over een flutonderzoek (vegetariërs zijn hufters of zo) is die prikkel misschien niet zo groot, zeker niet als er eigenlijk ook geen onderzoek is. Maar in het algemeen is de behoefte tot controleren vrij groot.
Een groot deel van al het wetenschappelijk onderzoek houdt zich bezig met het proberen te reproduceren van eerder onderzoek. Zo worden artikeltjes langzaam echte theorieën. Als je met opzienbarende hypotheses komt, in grote tijdschriften en op belangrijke congressen publiceert of om andere redenen veel in de publiciteit komt, dan komt er vanzelf een hoop tegengeluid en -onderzoek.
Hmmm… in mijn tak van sport (economie) is ongeveer 90% van het onderzoek niet-opzienbarend. Maar het lijkt mij niet onbelangrijk dat zelfs niet-opzienbarend onderzoek eerlijk wordt uitgevoerd.
En wat is je alternatief dan? Je kunt wetenschappelijke artikelen moeilijk door leken laten controleren.
Ik wil daarnaast opmerken, dat de controleurs zelden directe collega´s zijn. Het zijn eerder concurrenten, die voor verschillende instituten en bedrijven werken, en die ter meerdere eer en glorie van zichzelf niets liever doen dan het werk van conculega´s af te breken. Zelfs binnen één universiteit komt dat al voor, zoals prachtig beschreven door WF Hermans in ‘Onder professoren’.
Universiteitsbrede teams van statistici die steekproefsgewijs onderzoeksresultaten doorlichten?
Ik wil daarnaast opmerken, dat de controleurs zelden directe collega´s zijn. Het zijn eerder concurrenten, die voor verschillende instituten en bedrijven werken,
Het zijn de lui waarnaast je als onderzoeker zit op allerlei congressen.
“Universiteitsbrede teams van statistici die steekproefsgewijs onderzoeksresultaten doorlichten” zijn nog steeds concullega´s van de wetenschappers. Het staat bovendien iedere wetenschapper vrij de resultaten van zijn concullega´s te controleren. We kunnen die controle natuurlijk wel institutionaliseren en daar een boel belastinggeld voor reserveren. Daar ben ik op zich geen tegenstander van hoor. Dat zou de wetenschappelijke kwaliteit van onderzoeken wel vergroten, maar ik ben bang, dat hier vanwege de hoge kosten geen meerderheid voor te vinden is.
“Het zijn de lui waarnaast je als onderzoeker zit op allerlei congressen”
Ja, soms wel, maar met de meesten niet. Maar wat wil je daar mee zeggen? Dat wetenschappers hun werk niet goed meer doen, als ze naast anderen op congressen zitten? Er zit wel een kern van waarheid in hoor, maar niet meer dan de simpele constatering, dat in de top van onze samenleving relatief meer afgestudeerden van Nijenrode zitten (en dat Oxford en Cambridge die rol vervullen in GB). Op zich is het ‘old boys network’ een redelijk punt, maar op dat gebied zijn er sectoren van de maatschappij, die er veel erger aan toe zijn dan de wetenschap. M.n. in de economie heeft het gebrek aan controle tot de afgelopen crisis geleid. Het gebrek aan integriteit onder bankdirecteuren heeft ons allen veel harder geraakt dan een mogelijk gebrek aan integriteit onder wetenschappers.
Volgens mij Zegt Baron E toch precies het tegenovergestelde. Een peer review is een kwaliteitscontrole (en niets meer, dus ook geen controle op fraude).
#10
Dr Banner
wetenschappers zijn inderdaad net journalisten en net opiniemakers (misschien alleen gemiddeld een beetje netter).
#11
mb
Een goede start zou al zijn om te verplichten de data en methoden openbaar te maken op de datum van publicatie; zeker bij eerste geldstroom.
Overigens zie ik af en toe de suggestie voorbijkomen dat het een eigenschap van de sociale wetenschappen zou zijn. Vind ik een lastige. Bieden de betavakken volstrekt geen ruimte voor manipulatie, misleiding en valse contextualisatie?
kan me niet voorstellen
#12
Mark3000
Applaus @Prediker
Leuke artikelen die ik zo af en toe voorbij zie komen.
@11: Beta-vakken bieden die ruimte ook, alleen is de noodzaak ertoe minder groot. Reproduceerbaarheid heeft namelijk te maken met de waarde van het artikel. Als iemand een methode/formule of wat dan ook, wat ook ik kan gebruiken, dan heeft het artikel waarde voor mij en zal ik ernaar refereren. Als de methode/formule/etc niet bruikbaar/reproduceerbaar is, dan is de waarde van het paper een stuk lager.
Bovendien maakt het voor de onderzoeker in kwestie ook veelal niet uit of er A of B uitkomt, waardoor er geen reden is om dat dus aan te passen of te doen laten lijken dat het anders zou zijn.
Reacties (51)
Aio’s begrijpen de diepere betekenis van ‘eerlijk duurt het langst’.
Sinds november 2009 al bekend. Verrassend hoe lang journalisten nodig hebben om ‘nieuws’ te signaleren.
Pfff, tendentieus stuk. Alleen al zo een opmerking “Ooit was wetenschap een tijdverdrijf voor deftige heren, die elkaar in plechtige lezingen vertelden wat ze hadden ontdekt.” Darwin en Wallace anyone?
Och, Darwin kwamen uit een zeer gegoed gezin. Hij kreeg alleen ruzie met zn pa – heel typisch: over zn studieresultaten – waarop hij op de Beagle meevoer.
http://en.wikipedia.org/wiki/Charles_Darwin
Voor de rest: goed stuk.
Hulspas schrijft wel vaker aardige stukken, bijv. over Wilders:
http://www.depers.nl/binnenland/584917/De-kogel-kwam-van-rechts.html
Charles Dawson was ook zo´n deftige heer en amateurwetenschapper, die dus nooit bedrog zou hebben gepleegd volgens Hulspas:
http://en.wikipedia.org/wiki/Charles_Dawson
Volgens mij is Hulspas’ z’n punt niet dat nette heren uit de upper class nooit frauderen; maar dat ze zelf de illusie koesterden dat zij daar boven verheven waren, en dat wetenschappers deze pretentie hebben overgenomen.
Nou Prediker, ik lees toch echt iets anders
“De wortels van die illusie van morele superioriteit zijn niet moeilijk te vinden. Ooit was wetenschap een tijdverdrijf voor deftige heren, die elkaar in plechtige lezingen vertelden wat ze hadden ontdekt (…) In die versleten aristocratische illusie (‘wij deftige heren bedriegen niet’) zit de wetenschap nog steeds gevangen. En dat terwijl het allang een volstrekt ordinaire bedrijfstak is (…)”
Ik erger me overigens wel aan de gemoedelijke toon die Dijkgraaf e.a. aanslaan. Fraude komt overal voor, ook onder wetenschappers. Al kan ik me niet voorstellen dat het bovenmatig veel voorkomt in de wetenschap.
Oké, wat betekent de uitdrukking “aristocratische illusie (‘wij deftige heren bedriegen niet’)” dan volgens jou? Want volgens mij betekent het dat ook die deftige heren elkaar in werkelijkheid natuurlijk wel bedrogen, maar dat ze zichzelf en elkaar wijsmaakten dat zij daar boven waren verheven, gezien hun stand.
Prediker, dat dacht ik eerst ook, totdat de zin voorbij kwam waarin de schrijver stelt dat de wetenschap inmiddels een volstrekt ordinaire bedrijfstak is geworden.
Kun je een voorbeeld geven van de “gemoedelijke toon” van Dijkgraaf? Ik vond hem allesbehalve gemoedelijk klinken bij KvdB over dit onderwerp.
Toch is het zelfreinigend vermogen van de wetenschap vrij groot. Als wetenschapper leef je uiteindelijk toch van het publiek maken van je resultaten. Artikelen, presentaties, discussies. En in dat publiek zitten heel wat mensen die deskundig zijn op jouw gebied, waardoor je resultaten altijd inhoudelijk worden getoetst. Hoe meer succes, hoe meer deskundig publiek en hoe lastiger het is om knollen voor citroenen te verkopen. Als je veel succes hebt, zijn er altijd deskundige collega’s die het niet met je eens zijn of je je succes misgunnen.
Met het type onderzoek van dhr Stapel (eenvoudig alleen uit te voeren, te oninteressant om te reproduceren) en wat mooie praatjes hou je het misschien wat langer vol dan als je beweert koude kernfusie te realiseren, maar ook deze man liep tegen de lamp.
Stapel heeft er wel Science mee gehaald. Misschien moeten de primaire onderzoeksgegevens (met info over hoe en waar gewonnen etc) gewoon systematisch ter beschikking worden gesteld.
Cycloop, ik kan het Science paper van Stapel hier niet zien, maar Science (en heel veel andere topjournals) verplichten auteurs hun ruwe data ter beschikking te stellen in een repository of via online appendices.
Ik had het over systematisch, dus bij elk onderzoek.
Lees dit artikel van enkele wetenschappers:
http://www.volkskrant.nl/vk/nl/3184/opinie/article/detail/2900040/2011/09/09/Universiteiten-en-subsidieverstrekkers-moeten-fraude-aanpakken.dhtml
Quote uit artikel: ” Voor een onderzoek in 2006 deden enkelen van ons een poging om de onderzoeksgegevens op te vragen van 141 recente studies in toptijdschriften in de psychologie. Ondanks herhaalde verzoeken en ethische richtlijnen die het delen van gegevens verplichten kregen we slechts de beschikking over 27% van de gegevens (American Psychologist, Oktober 2006). De meeste onderzoekers reageerden niet, zeiden de gegevens kwijt te zijn, of weigerden botweg inzage in de basis van hun conclusies. Ook Diederik Stapel, overigens.”
Ik zit zelf in de (zachte variant van de) betahoek, en bijna altijd als ik de achterliggende data in papers in dergelijke tijdschriften wil zien dan lukt het me die te pakken te krijgen. Nou ben ik maar n=1, maar ik vraag me af of er toch niet meer spraken is van een fundamenteel probleem in de geesteswetenschappen.
Die brondata is het probleem helemaal niet. Niet iedereen zit data te simuleren of met SPSS te prutsen. In de chemie, biologie en experimentele natuurkunde loop je veel vaker aan tegen zaken als ‘hoe hebben ze dat gedaan’. Hebben ze net een elementaire stap uit een opwerking niet genoemd. Of dan gaan ze er van uit dat je zelf wel begrijpt (als ‘expert’) hoe je iets moet doen. De reproduceerbaarheid van een artikel valt vies tegen; de opbrengsten van chemische reacties haal je vaak bij lange na niet zonder dat je eerst een stuk procesoptimalisatie doet.
En soms kunnen de auteurs er ook helemaal niets aan doen. Een bepaald type reactie lukte in het lab waar ik stage liep alleen echt goed in de herfst; blijkbaar was de luchtvochtigheid alleen dan precies goed. Dat soort ongein verzin je niet.
(sowieso is dat een leuke: de reactiesnelheden van labs in de bergen zijn anders dan die van labs aan zee. Luchtdruk enzo.)
‘ruwe data’ is vaak een data-set , en er zijn programma’s om die zelf genereren.
Voor wat voor onderzoek? En hoe slecht/fout was dat?
En natuurlijk gaat er ook bij peer review (‘zelfs’ bij Science) wel eens wat mis. Maar een artikel in Science is ook alleen maar een begin van succes. De aandacht die dat genereert zorgt pas voor de echte controle. Een Nobelprijs fraudeer je niet zomaar bij elkaar.
Sociale psychologie (vakgebied van Stapel) is niet echt een klassieke geesteswetenschap. Misschien is het wel van alle sociale wetenschappen het meest beta-achtig. Met laboratoriumexperimenten (waar vooral studenten de proefkonijnen zijn) etc. en nogal wat statistiek. Het gaat heel vaak om kwantitatief onderzoek. Beetje kort de bocht, maar ik hoop dat je een idee hebt.
Stapel heeft dus hoogstwaarschijnlijk zijn eigen vragenlijsten etc ingevuld en kwamen daardoor tot de conclusies die hij wilde aantonen.
Nog erger: Stapel sloeg de vragenlijsten gewoon over, en kwam direct met datasets. Niet alleen voor zijn eigen onderzoek, maar ook voor de scripties en promotieonderzoeken van zijn studenten.
Het artikel is Science is denk ik deze:
http://www.sciencemag.org/content/332/6026/251.abstract
Ik heb het even doorgenomen, het materiaal via Science zelf beschikbaar is zeer beperkt. Science eist dat “After publication, all reasonable requests for data and materials must be fulfilled.” Ik had begrepen dat Stapel dat echter niet deed.
Het is trouwens heel moeilijk om data goed te fabriceren/frauderen. Er zijn meerdere statistische checks om te kijken of er niet één of andere bias in zit.
Waarom zeg je dat? Als de data gefabriceerd is kan je dat met geen enkele statistische toets achterhalen lijkt mij.
Juist wel. ‘Echte’ data is in principe volkomen random (ruis) buiten de werkelijke causale effecten. Als je gegevens gaat fabriceren, is het heel moeilijke om bovenop jouw gewenste uitkomst pure ruis te zetten. Net zoals het moeilijk is een goede willekeurige-getallengenerator te maken.
Zie bijvoorbeeld “The Difficulty of Faking Data”
http://www.astro.uni-bonn.de/~willerd/Bendorf.pdf
Maar je moet er wel een goede statisticus met toegang tot de originele gegevens en veel tijd voor hebben.
Is dit nu waar of niet (en is de foto misschien ook geshopt?): http://www.rug.nl/soc/nieuws/nieuwsFacultairSoc/NRC_20110408_1_009_article4.pdf
Diederik Stapel heeft al zeker vanaf zijn promotieonderzoek (1997) en vermoedelijk daarvoor met zijn data gefraudeerd zonder dat iemand daar ooit naar vroeg. Sterker nog, hij heeft op dat gefraudeer van ‘m een glansrijke carrière weten te bouwen.
De enige reden dat hij tegen de lamp liep, was dat hij het te bont maakte: hij leverde ook de datasets voor zijn studenten en AIO’s, en de controverse die ontstond toen Roos Vonk de resultaten van zijn gefingeerde datasets met een persbericht de media in knalde nog voordat er een artikel lag. Daardoor gingen zijn AIO’s zich namelijk achter de oren krabben: wie had dat onderzoek eigenlijk uitgevoerd? Hoe zat het überhaupt met die prachtige datasets die professor Diederik iedereen wist te leveren?
Had Stapel het allemaal voorzichtiger gespeeld, en er ook op cruciale momenten een echt onderzoekje doorheen gegooid, dan had ‘ie nog veertig jaar door kunnen gaan zonder ontdekt te worden.
Ironisch is dus de voorbarige en weinig wetenschappelijke actie van Roos Vonk (die kwam met conclusies voordat er überhaupt iets gepubliceerd was) de katalysator geweest voor Stapel’s ondergang. Of zie ik het verkeerd?
Bewijzen kan ik het niet, maar het heeft er alle schijn van: het is wel erg toevallig dat het zo dicht op elkaar volgt; de commotie over de publicatie en de gang van de junior-onderzoekers naar de rector magnificus.
Het werken aan de val van stapel is al ongeveer een jaar geleden begonnen. Ver voor het onderzoek met Vonk dus.
Als pas gepromoveerde heb ik ooit een artikel naar een peer reviewed tijdschrift over kunstmatige intelligentie gestuurd. De anonieme reviewers wezen het af, waarvan eentje in nogal onbeschofte termen. Mijn hoogleraar raadde me aan het artikel te herschrijven, zodat het minder goed leesbaar zou zijn. De helderheid van mijn betooglijn zou de indruk geven dat het om een triviaal punt ging. Voor mij was het vooral een vingerwijzing dat de wetenschap niets voor mij was.
Misschien was het wel niet zo’n goed onderzoek/artikel. Het was in ieder geval geen goede hoogleraar.
wetenschappelijk publiceren is net reaguren (misschien gemiddeld wel een beetje relevanter).
Misschien was het geen goed artikel, maar van reviewers verwachtte ik als jonge onderzoeker opbouwende kritiek, geen afzeikverhaal.
De ervaringen van Christian komen mij bekend voor.Ruim 25 jaar geleden schreef ik een scriptie over een universeel organigram (SUNOS). het ‘wetenschappelijk’ commentaar was:’te eenvoudig’. Inderdaad, het was gesteld in een voor iedereen begrijpelijke huis-tuin en keukentaal. En ook ik kreeg het advies om het geheel te herschrijven met in elk geval een zeker percentage ‘moeilijke’ woorden. Ik heb het niet gedaan, maar ik overweeg een vertaling in het Engels! Misschien is Sanscriet nog wel beter! In elk geval heb ik aan de hand van dit ‘model’ de plaats van de wetenschap in de samenleving bestudeert. Dat ziet er niet best uit! O.a. Erasmus en Multatuli hebben hiervoor al gewaarschuwd.
Wat Spam zegt in #6: nogal tendentieus, en er staan in Hulspas’ stuk zelf ook meerdere misvattingen. Laat ik me beperken tot zijn punt 2, peer review, want ik ben de laatste tijd wel vaker onzin daarover tegengekomen.
Als een artikel de peer review is gepasseerd, dan betekent het niet dat het “waar” is, het wordt ook door niemand zo opgevat. De peer review bestaat omdat de redacteur van het tijdschrift niet genoeg expertise heeft om de waarde van het artikel te beoordelen, dus dat wordt uitbesteed, waaraan wetenschappers om niet aan meehelpen. In peer review wordt vastgesteld:
1) Of het artikel geschikt is voor dit specifieke tijdschrift, puur op onderwerp, stijl en nieuwigheid;
2) Of de gevolgde redeneringen en methoden in het artikel juist zijn. Dus consistent, geen rekenfouten, geen eerdere resultaten overgeslagen, gedegen foutenanalyse.
Als de beweringen in het artikel niet waar zijn, dan komt dat pas naar voren inderdaad wanneer collega’s het herhalen. Dit kan lang duren, maar zo gaat het nu eenmaal.
Hoe hier mee om te gaan? Hanteer de stelregel: één artikel is geen artikel, en ga niet af op ieder wissewasje.
@Baron E: Dus je wil zeggen dat peer review helemaal geen kwaliteitscontrole behelst? Goh, dat is nou net het punt van Hulspas.
Misschien moeten de universiteiten intern aan quality control doen. Net zoals dat in de maakindustrie en in toenemende mate bij banken gebeurt (“model validation”).
@ JSK je kan niet lezen; net als met dat wikipedia-artikel over Darwin. Dat verhaspelde je ook.
Jaja, FU2…
@JSK
De peer review wordt geacht tegenstrijdigheid met eerdere resultaten wel op te merken, maar niet om bijvoorbeeld het experiment te herhalen, noch een werkbezoek af te leggen om te kijken hoe het er allemaal aan toe gaat in het lab. Dat snapt iedereen. De verificatie is voor collega-wetenschappers. Daarom wordt een effect pas geaccepteerd wanneer het door meerdere groepen bevestigd is.
Dit is ook wat Dijkgraaf bedoelt met dat echte vooruitgang pas komt nadat andere wetenschappers gaan schieten op een nieuw resultaat. Als dat het schieten overleeft, is het kennelijk robuust.
Dit is ook wat Dijkgraaf bedoelt met dat echte vooruitgang pas komt nadat andere wetenschappers gaan schieten op een nieuw resultaat. Als dat het schieten overleeft, is het kennelijk robuust.
Maar wat voor’n prikkel hebben andere wetenschappers om te gaan schieten? De zucht naar de waarheid? In weinig andere beroepen is de kwaliteitscontrole zo informeel en niet dwingend (ik kan eigenlijk maar een ander voorbeeld bedenken: de medische wereld). Is het model van controle door (directe) collega’s niet een beetje ouderwets?
Bij een flutartikel over een flutonderzoek (vegetariërs zijn hufters of zo) is die prikkel misschien niet zo groot, zeker niet als er eigenlijk ook geen onderzoek is. Maar in het algemeen is de behoefte tot controleren vrij groot.
Een groot deel van al het wetenschappelijk onderzoek houdt zich bezig met het proberen te reproduceren van eerder onderzoek. Zo worden artikeltjes langzaam echte theorieën. Als je met opzienbarende hypotheses komt, in grote tijdschriften en op belangrijke congressen publiceert of om andere redenen veel in de publiciteit komt, dan komt er vanzelf een hoop tegengeluid en -onderzoek.
Hmmm… in mijn tak van sport (economie) is ongeveer 90% van het onderzoek niet-opzienbarend. Maar het lijkt mij niet onbelangrijk dat zelfs niet-opzienbarend onderzoek eerlijk wordt uitgevoerd.
“In weinig andere beroepen is de kwaliteitscontrole zo informeel en niet dwingend”
het zijn dan ook theorieën..
“Is het model van controle door (directe) collega’s niet een beetje ouderwets?”
laten controleren door God is nog ouderwetser..
En wat is je alternatief dan? Je kunt wetenschappelijke artikelen moeilijk door leken laten controleren.
Ik wil daarnaast opmerken, dat de controleurs zelden directe collega´s zijn. Het zijn eerder concurrenten, die voor verschillende instituten en bedrijven werken, en die ter meerdere eer en glorie van zichzelf niets liever doen dan het werk van conculega´s af te breken. Zelfs binnen één universiteit komt dat al voor, zoals prachtig beschreven door WF Hermans in ‘Onder professoren’.
Universiteitsbrede teams van statistici die steekproefsgewijs onderzoeksresultaten doorlichten?
Ik wil daarnaast opmerken, dat de controleurs zelden directe collega´s zijn. Het zijn eerder concurrenten, die voor verschillende instituten en bedrijven werken,
Het zijn de lui waarnaast je als onderzoeker zit op allerlei congressen.
“Universiteitsbrede teams van statistici die steekproefsgewijs onderzoeksresultaten doorlichten” zijn nog steeds concullega´s van de wetenschappers. Het staat bovendien iedere wetenschapper vrij de resultaten van zijn concullega´s te controleren. We kunnen die controle natuurlijk wel institutionaliseren en daar een boel belastinggeld voor reserveren. Daar ben ik op zich geen tegenstander van hoor. Dat zou de wetenschappelijke kwaliteit van onderzoeken wel vergroten, maar ik ben bang, dat hier vanwege de hoge kosten geen meerderheid voor te vinden is.
“Het zijn de lui waarnaast je als onderzoeker zit op allerlei congressen”
Ja, soms wel, maar met de meesten niet. Maar wat wil je daar mee zeggen? Dat wetenschappers hun werk niet goed meer doen, als ze naast anderen op congressen zitten? Er zit wel een kern van waarheid in hoor, maar niet meer dan de simpele constatering, dat in de top van onze samenleving relatief meer afgestudeerden van Nijenrode zitten (en dat Oxford en Cambridge die rol vervullen in GB). Op zich is het ‘old boys network’ een redelijk punt, maar op dat gebied zijn er sectoren van de maatschappij, die er veel erger aan toe zijn dan de wetenschap. M.n. in de economie heeft het gebrek aan controle tot de afgelopen crisis geleid. Het gebrek aan integriteit onder bankdirecteuren heeft ons allen veel harder geraakt dan een mogelijk gebrek aan integriteit onder wetenschappers.
Volgens mij Zegt Baron E toch precies het tegenovergestelde. Een peer review is een kwaliteitscontrole (en niets meer, dus ook geen controle op fraude).
wetenschappers zijn inderdaad net journalisten en net opiniemakers (misschien alleen gemiddeld een beetje netter).
Een goede start zou al zijn om te verplichten de data en methoden openbaar te maken op de datum van publicatie; zeker bij eerste geldstroom.
Overigens zie ik af en toe de suggestie voorbijkomen dat het een eigenschap van de sociale wetenschappen zou zijn. Vind ik een lastige. Bieden de betavakken volstrekt geen ruimte voor manipulatie, misleiding en valse contextualisatie?
kan me niet voorstellen
Applaus @Prediker
Leuke artikelen die ik zo af en toe voorbij zie komen.
@11: Beta-vakken bieden die ruimte ook, alleen is de noodzaak ertoe minder groot. Reproduceerbaarheid heeft namelijk te maken met de waarde van het artikel. Als iemand een methode/formule of wat dan ook, wat ook ik kan gebruiken, dan heeft het artikel waarde voor mij en zal ik ernaar refereren. Als de methode/formule/etc niet bruikbaar/reproduceerbaar is, dan is de waarde van het paper een stuk lager.
Bovendien maakt het voor de onderzoeker in kwestie ook veelal niet uit of er A of B uitkomt, waardoor er geen reden is om dat dus aan te passen of te doen laten lijken dat het anders zou zijn.