Het weblog bedreigt de sociologische wetenschap. Althans, momenteel is vooral een bepaald deel van de sociologie in gevaar: het sterk op statistiek gerichte deel. Maar dat is slechts toeval – het komt doordat bloggers nu eenmaal relatief vaak geïnteresseerd zijn in rekenen. Het zou weleens de voorbode kunnen zijn van een grotere verandering.
De Amerikaanse socioloog Andrew Lindner schreef er onlangs over op zijn weblog. Hij had jarenlang gewerkt aan een artikel waarin hij met veel datageweld probeerde aan te tonen waarom films waarin intelligente vrouwen spelen, relatief weinig geld opleveren. (kortweg: omdat er relatief weinig geïnvesteerd wordt in zulke films).
Die jaren waren vooral heengegaan met het gebruikelijke proces van aanbieden aan redacties, allerlei commentaar krijgen over de vraag of er niet eigenlijk een andere theorie had moeten worden gebruikt, het artikel aanpassen, dan toch afgewezen worden, en doorgaan naar een ander tijdschrift waarin de reviewers weer andere obsessies bleken te hebben.
Knallen
Ondertussen kwam een blogger met een post waarin een zeer gelijksoortig onderzoek werd gepresenteerd. Het was wat rommeliger, de data waren van wat mindere kwaliteit, een en ander werd minder goed in de literatuur geïntegreerd. Maar de resultaten waren wel vrijwel dezelfde.
Het is het zoveelste voorbeeld van een probleem met het huidige publicatiemodel. Het voorval laat volgens mij niet zien dat het weblog het wetenschappelijke tijdschrift moet vervangen. Dat kan niet: er moet meer controle zijn voor een wetenschappelijke publicatie dan zoiets als het soort pagina’s dat je nu leest, waar iedereen maar alles op kan knallen.
Regelen
Maar het moet in ieder geval soms ook sneller kunnen.
Mijn idee is dat het grootste probleem zit in de manier waarop het peer review-systeem functioneert: veel reviewers hebben, kennelijk ook in de sociologie, dat ze mee moeten bepalen wat voor soort artikel de kopij moet zijn – welke theorieën er aan de orde moeten komen, wat het kader precies moet zijn. Dat lijkt me niet de taak van zo’n reviewer, die vooral moet toetsen of er geen feitelijke onzin wordt beweerd, of er geen rekenfouten zijn gemaakt, en zo voort, en die dus nauwelijks advies kan geven of een artikel wel of niet gepubliceerd moet worden.
In wat voor theoretisch kader een en ander moet worden behandeld en hoe het artikel moet worden gestructureerd, dat lijkt mij vooral iets tussen de redacteur en de schrijvers. Die zouden dat onderling ook beter moeten kunnen regelen dan wanneer er iedere keer drie anonymi tussendoor komen met weer een aantal nieuwe opmerkingen.
Barst
De mening van anonymi is natuurlijk de belangrijkste mening: hij is minder gefilterd door beleefdheid en door pogingen bij de ander in het gevlei te komen. Dat is heel waardevol, maar vooral als het gaat over de kern van het artikel: de waarheid. Ik heb me in het verleden weleens geroepen gevoeld om anoniem te oordelen of een artikel wel in een bepaald tijdschrift paste, of het inhoudelijk niet beter ergens anders kon worden geplaatst. Dat moet niet.
Want dat is het voordeel van het weblog: het barst uit elkaar van het commentaar van anonymi, maar je hoeft je er niets van aan te trekken.
Reacties (5)
De fysici hebben arxiv, waar je preprints kunt aanbieden. Slaat om de een of andere reden niet aan in andere vakgebieden (zelfs niet in andere beta-gebieden zoals chemie/biologie).
Ik denk dat een wetenschapper vooral niet moet proberen een journalistiek artikel af te leveren, of andersom. En dan klagen dat een ander je voor is.
En fivethirtyeight is het blog van Nate Silver, dat is natuurlijk ook niet zomaar een blog.
Tsja en de aanschaf van JSF is deze week ook opeens 10 procent duurder geworden dankzij Mario Draghi en ECB .. Toch bekend de overheid ..Computers zijn ook opeens 10 procent duurder
Het is hetzelfde als in de muziekindustrie, de filmindustrie en de uitgeverij. Peer review is extreem overschat. In de goeie ouwe tijd tot aan 2005 kon je er vreselijk veel geld mee verdienen bij de gratie van een schaarste in publicatie en distributie ervan.
Die schaarste is verdwenen en de middle man daarmee ook.
Bomen blijken voor al die middle men niet tot in de hemel te rijken. Muzikanten, wetenschappers, acteurs en schrijvers verdienden toch al nauwelijks geld en nemen nog steeds genoegen met een habbekrats als ze maar gepubliceerd en gedrukt worden. Alle peers kunnen als ze willen er toch wel aan komen.
Peer review is niet helemaal functieloos. Maar het is ook niet meer zo dat er goud geld mee te verdienen valt door je monopolie op het werk van een ander uit te buiten. Jammer hoor. Dat je toch niet voor eeuwig geld blijkt te kunnen verdienen met niets doen.
Vroeger zag je Seinfeld een keer op tv en was je blij als je m had opgenomen op video, zodat je m vaker kon zien wat je dan nooit deed. NBC verdiende goud geld aan de distributie van Seinfeld aan omroepen over de wereld, aan promo-materiaal etc. Nu kun je de hele 90 uur bij de rommelmarkt voor 3 euro kopen. Dat geldt mutatis mutandis over 10 jaar ook voor hele jaargangen van “Nature”. Het is een kwestie van tijd.
Ook al duurt het wel eens lang, het merendeel van de artikelen in mijn vakgebied doet er geen jaren over te worden gepubliceerd en anders mankeert er echt wel wat aan.
Peer review is geen ultiem systeem maar te prefereren boven het zomaar ongereviewd papers de wereld inslingeren. Overigens vind ik dat reviewers niet anoniem mogen zijn, ik onderteken altijd, ook al zal me dat later misschien een keer last opleveren.