Impact schmimpact – Citaties tellen en impact factor

Dit stuk gaat over het tellen van hoe vaak wetenschappelijk werk geciteerd wordt, en over soortgelijke zaken. En dat is natuurlijk keimegasuperbelangrijk, dat snapt u. Niet? Maakt niet uit, ik heb er toch een uitgebreid stukje over getikt. Want hoe mooi en nuttig de wetenschap ook is: er valt ook genoeg over te zeuren. Hoe meet je kwaliteit van wetenschap? De kwaliteit van een wetenschapper en de impact van wetenschappelijk werk wordt vaak bepaald door ‘tellen’. Er is zelfs een heel veld ontstaan, de bibliometrie, dat zich bezig houdt met het meten van de kwaliteit van wetenschappelijk werk. Maar ja, dat gebeurt, zoals helaas wel vaker, vervolgens op basis van kwantitatieve indicatoren. En het kwantificeren van kwaliteit is zoals bekend heel erg lastig en gevaarlijk vanwege mogelijke (onvoorziene) perverse neveneffecten. Er zijn een aantal indicatoren opgesteld waarop kwaliteit wordt beoordeeld. Sommige zijn vrij recht toe recht aan. Voor een wetenschapper wordt bijvoorbeeld vaak gekeken naar het aantal keer dat ‘ie geciteerd is, en hoeveel artikelen er zijn geschreven. En voor een artikel wordt hoe vaak het geciteerd is gezien als een aanduiding van kwaliteit. Daar even over nadenken zou al tot een opgetrokken wenkbrauw kunnen leiden, want laten we wel wezen: als iemand een artikel publiceert en vervolgens citeren 100 mensen dat artikel als voorbeeld van slecht onderzoek of ondeugdelijke methodes, dan lijkt het puur op basis van de cijfers (100x geciteerd!) heel wat. Maar er zijn ook wat complexere manieren van tellen ontwikkeld. Zo is er de ‘h-index’. Die is X als je als wetenschapper X artikelen hebt die X keer zijn geciteerd. Heb je 1 artikel dat 1 keer is geciteerd, is je h-index 1, met 5 artikelen die 5 keer zijn geciteerd, dan is hij 5, nou ja, u volgt ‘em wel. Een wetenschappelijk tijdschrift heeft ook zo’n h-index. Maar tijdschriften hebben ook een impactfactor (gebaseerd op het aantal citaties van artikelen), en omdat vakgebieden niet vergelijkbaar zijn qua hoeveel er geciteerd wordt is ook netjes aangegeven in welk kwartiel een tijdschrift zich bevindt binnen een vakgebied (Q1 staat voor de 25% beste, en dat betekent natuurlijk meest geciteerde, tijdschriften, en zo verder). Op handige sites als Scimago kun je vervolgens mooie overzichten vinden van elk (vrijwel) elk wetenschappelijk tijdschrift (al staan de predatory journals en sommige kleintjes er niet tussen). Persoonlijke ervaring De kritische lezer zal zich waarschijnlijk nog steeds afvragen wat bovenstaande nou echt zegt over de kwaliteit van een wetenschapper, artikel of tijdschrift. Een artikel kan wetenschappelijk heel goed zijn zonder vaak geciteerd te worden, en een tijdschrift dat historisch gezien een grote reputatie heeft verworven zal veel artikelen blijven trekken puur op basis van die reputatie uit het verleden (en de bijbehorende grote h-index). Op basis van mijn persoonlijke ervaring (die, zeg ik er gelijk bij, bescheiden is voor iemand die pas een paar jaar wetenschapt, en dat ook nog in deeltijd), is de waarde van dit soort cijfers vrij betrekkelijk. Als ik kijk naar wie mijn werk gebruikt, zitten daar een aantal citaties bij die overduidelijk (inhoudelijk gezien) wetenschappelijk geen waarde hebben. Je ziet gewoon die reviewer schrijven “jullie moeten nog wat zeggen over selectie bias bij jullie reflectie”, en zo’n wetenschapper vervolgens braaf die term invoeren in Google Scholar en een referentie toevoegen naar een artikel van mijn hand met die term in de titel – terwijl de informatie die vervolgens gebruikt wordt uit mijn artikel net zo goed of beter uit tig handboeken gehaald had kunnen worden. Aan de andere kant is mijn werk gebruikt op plekken die echt invloed hebben, in de maatschappij, die niet meetellen. Zo heeft het CPB naar mijn bevindingen over het Nijmeegse experiment verwezen, en wordt er naar mijn proefschrift verwezen in de Memorie van Toelichting bij het wetsvoorstel Participatiewet in Balans – maar ja, die belanden niet in Google Scholar en tellen daar dus niet. Citaties pretenderen iets te zeggen over impact – nou, ik weet wel waar in de bovenstaande gevallen mijn impact het grootste was. Soms zeggen aantallen zelfs helemaal niets. Op een gegeven moment kwamen er in Google Scholar zes citaties tegelijk bij van het rapport dat we schrijven over het Nijmeegse bijstandsexperiment voor de gemeenteraad. Wat bleek? De collega’s uit Amsterdam hebben een mooi boek geschreven over het experiment, maar op de één of andere manier is elk hoofdstuk ergens geüpload met de complete literatuurlijst, en die zijn weer in Scholar beland. Waarmee een enkele verwijzing naar ons Nijmeegse rapport in één hoofdstuk opeens zes keer in een lijstje staat. Citaties kunnen dus enorm variëren van ‘dit bouwt echt voort op mijn werk’ tot ‘eeeeeh geen idee waarom ik hier gerefereerd wordt’. Goodheart en Campbell manen tot voorzichtigheid En dan is er natuurlijk nog het probleem dat, wanneer citaties en impact en dergelijke cijfers opeens belangrijk worden voor geld, status of een vast contract, ze altijd manipuleerbaar zijn. Dat weten we overigens allang. In de wetenschap kennen we zelfs ‘de wet van Campbell’ en ‘de wet van Goodhart’, die beide ongeveer hetzelfde stellen, vrij samengevat: een indicator houdt op een goede indicator te zijn wanneer er te veel van af gaat hangen. Want dan kan deze gemanipuleerd worden. En als je dat wil, is ook een systeem van impact, rankings en h-indexen makkelijk te gamen als je dat wil. Je kan met een clubje onderzoekers afspreken elkaars werk veel te citeren. Dat kan informeel, maar ook grootschalig waarmee je uitkomt op een heus citatiekartel. Als professor kun je je promovendi en post-docs suggereren (of dwingen) om vooral veel eigen werk te refereren. Als scriptiebegeleider trouwens ook - als studenten in hun scripties naar jouw werk verwijzen tellen deze in sommige systemen ook (via universitaire ‘repositories’ waar deze in worden geüpload komen deze ook in Google Scholar). En dan zijn er zelfcitaties: je kan natuurlijk ook ruimschoots citeren uit eigen werk. Ik ben overigens de eerste om toe te geven dat zelf graag te doen, want ik vind mijn eigen werk vrijwel zonder uitzondering relevant en belangrijk (en trouwens ook nog mooi geschreven). Maar zonder gekheid: het lastige is dat al bovenstaande zaken niet per se slecht zijn. Een clubje onderzoekers die op dezelfde thema’s werkt kan ook gewoon veel naar elkaar verwijzen omdat ze elkaars werk goed kennen en met hetzelfde onderwerp bezig zijn, zonder kwade bedoelingen of expliciete afspraken. Het is logisch dat promovendi, postdocs en masterstudenten begeleid worden door iemand die iets weet van het onderwerp waar zij zich mee bezig houden, en daar zelf ook wel eens iets zinnigs over hebben geschreven. En zelfcitaties kunnen ook nuttig en zelfs logisch zijn. Weer naar mijn eigen werk kijkend: al mijn artikelen voor mijn proefschrift gingen over hetzelfde experiment, en het eerste artikel was een methodologische verdieping (wie deden mee aan het experiment en waarom en wat betekent dat voor het interpreteren van de resultaten?). Dan is het volstrekt logisch om daar op terug te komen als je in latere artikelen het gaat hebben over die resultaten. Je eigen geweten Maar er is een vrij groot grijs gebied, waarbij het de vraag is of die verwijzing die je suggereert aan je student of AiO écht nuttig en noodzakelijk is, zonder dat het overduidelijk onzinnige manipulatie van je h-index is. Je bent dan je eigen geweten. Voor een hoop mensen werkt dat. Maar je weet ook dat het niet bij iedereen zo werkt. In de wetenschap werken veel mensen voor wie status belangrijk is. En citaties en andere kwantitatieve indicatoren zijn bepalend voor iemands carrière, kans op een vast contract, en salaris. Dat is ook wel een beetje vragen om problemen.

Door:
Foto: Michael Coghlan (cc)

What if companies had to pay?

ACHTERGROND - A recent report shows the cost of various industries on our natural capital.

The environment is a public good. We all share and depend on clean water, a stable atmosphere, and abundant biodiversity for survival, not to mention health and societal well-being. But under our current global economy, industries can often destroy and pollute the environment—degrading public health and communities—without paying adequate compensation to the public good. Economists call this process “externalizing costs,” i.e. the cost of environmental degradation in many cases is borne by society, instead of the companies that cause it.

A new report from TEEB (The Economics of Ecosystems and Biodiversity), conducted by Trucost, highlights the scale of the problem: unpriced natural capital (i.e. that which is not taken into account by the global market) was worth $7.3 trillion in 2009, equal to 13 percent of that year’s global economic output. In other words, under our current economic system companies are forcing global society, their governments, and future generations to pick up a $7.3 trillion tab, and that was just in 2009. Just as importantly, the study found that none of the “high impact” industries would be profitable if they accounted for their natural capital.

Lezen: Mohammed, door Marcel Hulspas

Wie was Mohammed? Wat dreef hem? In deze vlot geschreven biografie beschrijft Marcel Hulspas de carrière van de de Profeet Mohammed. Hoe hij uitgroeide van een eenvoudige lokale ‘waarschuwer’ die de Mekkanen opriep om terug te keren tot het ware geloof, tot een man die zichzelf beschouwde als de nieuwste door God gezonden profeet, vergelijkbaar met Mozes, Jesaja en Jezus.

Mohammed moest Mekka verlaten maar slaagde erin een machtige stammencoalitie bijeen te brengen die, geïnspireerd door het geloof in de ene God (en zijn Profeet) westelijk Arabië veroverde. En na zijn dood stroomden de Arabische legers oost- en noordwaarts, en schiepen een nieuw wereldrijk.

Lezen: De BVD in de politiek, door Jos van Dijk

Tot het eind van de Koude Oorlog heeft de BVD de CPN in de gaten gehouden. Maar de dienst deed veel meer dan spioneren. Op basis van nieuw archiefmateriaal van de AIVD laat dit boek zien hoe de geheime dienst in de jaren vijftig en zestig het communisme in Nederland probeerde te ondermijnen. De BVD zette tot tweemaal toe personeel en financiële middelen in voor een concurrerende communistische partij. BVD-agenten hielpen actief mee met geld inzamelen voor de verkiezingscampagne. De regering liet deze operaties oogluikend toe. Het parlement wist van niets.

Foto: Sargasso achtergrond wereldbol

WW: Meteoorinslag

De woensdagmiddag is op GeenCommentaar Wondere Woensdagmiddag. Met extra aandacht voor de nieuwste ontwikkelingen in Wetenschap- en Techniekland.

De impactkrater bij een inslag van een 2 km grote meteoriet in Amsterdam (Bron/Visualisatie: down2earth.eu)

Na de ‘gevreesde’ blauwe maandag overleefd te hebben kunnen we onze depressie op peil houden door eens flink te fantaseren over een plotseling einde van de wereld. En welke kant kunnen we daarvoor beter opkijken dan omhoog, de hemel in, vanwaar de dodelijke meteoren ieder moment op ons hoofd kunnen vallen?

De meteoorinslag is een geliefd onderwerp voor apocalyptische fictieschrijvers, Wikipedia geeft een lijst van maar liefst 54 fictiewerken waarin een ‘impact event’ (of inslagproces) voorkomt. Hierin zorgt de impact van een meteoor, maan of planetoïde vaker wel dan niet voor gedeeltelijk of totale uitroeiing van het leven zoals wij dat kennen. De schrijvers schudden deze feiten niet geheel uit hun mouw, geologisch en paleontologisch onderzoek hebben aangetoond dat er minstens vijf Massa-extincties zijn voorgekomen in de laatste 540 miljoen jaar. Hiervan is de Perm-Trias extinctie de meest bekende. Sinds die tijd moeten we onder andere de trilobieten, rugose koralen en graptolieten missen. De oorzaak van deze plotselinge massasterfte wordt over het algemeen gezocht in de hoek van de vulkaanuitbarstingen of meteoorinslagen. Vooral de vrij recente ontdekkingen van grote impactkraters en de observatie van de catastrofale impact van de komeet Shoemaker-Levy 9 met Jupiter in 1994 leidden tot de conclusie dat inslagen significante veranderingen hebben bewerkstelligd gedurende de geschiedenis van de aarde.

En wat in het verleden gebeurd is, kan zo weer gebeuren. Discover magazine riep dan ook in hun ‘20 Ways the World Could End‘ de meteoorinslag uit tot meest waarschijnlijke oorzaak voor het Einde der Tijden. Het artikel noemt ook de vrij recente Tunguska impact. In 1908 vond in Siberië een explosie plaats die zijn weerga niet kende. Volgens ooggetuigen daalde een vuurbal neer uit de hemel en knalde deze in de lucht uit elkaar. De precieze toedracht is nog altijd niet duidelijk, maar de meest gangbare verklaring is een meteoriet die acht kilometer boven het aardoppervlak uit elkaar spatte. De energie die daarbij vrijkwam deed alle alle bomen in een omtrek van 40 kilometer breken als luciferhoutjes.