peer review Archives

Peer review: ergernis en kwaliteitscontrole

11 januari 2024 , 12:00 , door Janos

ACHTERGROND - De afgelopen maanden heb ik het weer regelmatig met jullie gehad over de bijstandsexperimenten, en dan met name over de inhoud daarvan. En hoewel de inhoud natuurlijk het belangrijkst is, zou ik nu graag toch weer een moment nemen om het over ‘de wetenschap’ te hebben. En dan specifiek over mijn ervaringen tijdens mij promotietraject met het publicatieproces en peer review.

Peer review is, denk ik, vaak wel een nuttig iets. Zoals ik eerder in deze serie beschreef zit op de meeste wetenschappelijke publicaties wel een soort van een collegiale check. De strengheid van die check draagt vaak bij aan hoe serieus een wetenschappelijk artikel wordt genomen. De strengste vorm van zo’n collegiale check is de anonieme peer review, zoals gedaan bij wetenschappelijke tijdschriften. Die laten twee, drie of soms vier experts mee kijken naar een ingediend artikel. Die zorgen dat de echte rotzooi er tussenuit wordt gehaald, en dat de artikelen die uiteindelijk gepubliceerd worden naar een wat hoger niveau worden getild. De wederzijdse anonimiteit moet dan objectiviteit garanderen. Hier zitten wel de nodige haken en ogen aan. In semiwillekeurige volgorde een aantal waar ik me het meest aan stoor.

Hemeltergend traag

Geheel persoonlijk: wat duurt dat proces ongelooflijk irritant lang soms. Ik ben niet het geduldigste mens op aarde, dat speelt vast mee. Maar het proces van:

Lezen: De wereld vóór God, door Kees Alders

Mededeling

De wereld vóór God – Filosofie van de oudheid, geschreven door Kees Alders, op Sargasso beter bekend als Klokwerk, biedt een levendig en compleet overzicht van de filosofie van de oudheid, de filosofen van vóór het christendom. Geschikt voor de reeds gevorderde filosoof, maar ook zeker voor de ‘absolute beginner’.

In deze levendige en buitengewoon toegankelijke introductie in de filosofie ligt de nadruk op Griekse en Romeinse denkers. Bekende filosofen als Plato en Cicero passeren de revue, maar ook meer onbekende namen als Aristippos en Carneades komen uitgebreid aan bod.

Lezen: De BVD in de politiek, door Jos van Dijk

Mededeling

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Foto: Brian Rinker (cc)

Anoniem commentaar

26 maart 2015 , 11:00 , door Marc van Oostendorp

Het weblog bedreigt de sociologische wetenschap. Althans, momenteel is vooral een bepaald deel van de sociologie in gevaar: het sterk op statistiek gerichte deel. Maar dat is slechts toeval – het komt doordat bloggers nu eenmaal relatief vaak geïnteresseerd zijn in rekenen. Het zou weleens de voorbode kunnen zijn van een grotere verandering.

De Amerikaanse socioloog Andrew Lindner schreef er onlangs over op zijn weblog. Hij had jarenlang gewerkt aan een artikel waarin hij met veel datageweld probeerde aan te tonen waarom films waarin intelligente vrouwen spelen, relatief weinig geld opleveren. (kortweg: omdat er relatief weinig geïnvesteerd wordt in zulke films).

Die jaren waren vooral heengegaan met het gebruikelijke proces van aanbieden aan redacties, allerlei commentaar krijgen over de vraag of er niet eigenlijk een andere theorie had moeten worden gebruikt, het artikel aanpassen, dan toch afgewezen worden, en doorgaan naar een ander tijdschrift waarin de reviewers weer andere obsessies bleken te hebben.

Knallen

Ondertussen kwam een blogger met een post waarin een zeer gelijksoortig onderzoek werd gepresenteerd. Het was wat rommeliger, de data waren van wat mindere kwaliteit, een en ander werd minder goed in de literatuur geïntegreerd. Maar de resultaten waren wel vrijwel dezelfde.

Foto: Bill Dickinson (cc)

Ring van wetenschapsfraudeurs ontdekt

14 juli 2014 , 11:00 , door Marco de Baar

ACHTERGROND - Wetenschapsfraude is niet alleen een probleem van de geesteswetenschappen, zoals de bèta’s wel eens graag lijken te denken.

Veel bèta’s deden de recente gevallen van wetenschapsfraude af als een probleem van de geesteswetenschappen. ‘Onze’ vakken zijn zo ingekaderd door de empirie en natuurwetten, dat fraude bijna niet mogelijk is, zo redeneren veel van mijn collega’s. Een voorbeeld van een groot fraudegeval uit de natuurkunde werd terzijde geschoven als een interessant freak accident.

Het idee dat fraude makkelijker in de geesteswetenschappen zou plaatsvinden is echter erg naïef! Het wordt gevoed door de notie dat fraude alleen kan plaatsvinden aan de start van de keten, het analyseren van de data en het schrijven van het artikel. Maar fraude kan worden gepleegd in het hele proces: data-aquisitie, schrijven, artikel aanbieden, en refereeing.

Peer review is het systeem dat wetenschappers benaderd worden door journals om het werk van hun collega-wetenschappers, hun peers, te beoordelen. Dit werk is vaak een publicatie die ter plaatsing is aangeboden bij het tijdschrift, maar het kan ook om voorstellen gaan. Vaak vindt peer review ‘single blind‘ plaats. Dat wil zeggen: de referee weet wel de namen van de auteurs, maar de auteurs weten niet wie de referees zijn. Er zijn goede argumenten te geven voor waarom het proces zo is opgezet, maar blind review biedt kansen voor identiteitsfraude. En er zijn wetenschappers die in gat springen, zo blijkt.

Ook schrijven voor Sargasso?

Mededeling

Dat kan! Sargasso is een collectief van bloggers en we verwelkomen graag nieuw blogtalent. We plaatsen ook regelmatig gastbijdragen. Lees hier meer over bloggen voor Sargasso of over het inzenden van een gastbijdrage.

Lezen: Mohammed, door Marcel Hulspas

Mededeling

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Academische fraude geen verrassing

8 september 2011 , 08:00 , door Jona Lendering

Ik schreef, naar aanleiding van de Guttenberg-affaire, op 14 mei j.l. een stukje in het Handelsblad (hier). Ik wees erop dat het bizar was dat de frauderende doctor steeds in het nieuws terugkeerde, terwijl er meer mensen moesten zijn geweest die ervan geweten hadden. Ik wees er ook op dat dit dodelijk was voor het toch al sterk verminderende maatschappelijke vertrouwen in de universiteiten. Ik eindigde met:

Veel Nederlanders geloven de wetenschap niet langer. Wordt het, om het vertrouwen te herstellen, niet tijd voor een onafhankelijk onderzoek naar onze universiteiten? Of wachten we tot we ook in Nederland een affaire-Guttenberg meemaken?

Ik kreeg daarop verschillende reacties van mensen die zeiden dat ik het veel te somber inzag. Dit was slechts een incident, meenden ze. Ik meende van niet, en dat leidde tot een weddenschap. Inzet: één krat bier. Binnen drie jaar zou er, volgens mij, in Nederland een gepromoveerde wegens fraude in opspraak zijn. Mijn opponenten dachten dat zeker niet zou gebeuren.

Honderdzestien dagen na het publiceren van mijn stukje heb ik mijn krat bier al binnen. Gisteren, zo las ik, is de Tilburgse hoogleraar cognitieve sociale psychologie Diederik Stapel op non-actief gezet omdat hij in zijn publicaties gebruik zou hebben gemaakt van gefingeerde gegevens.