ONDERZOEK - Onlangs werd ik benaderd door een studente bestuurskunde. Ze had een rapport gelezen waar ik als projectleider eindverantwoordelijk voor was en haar opdracht was om een kritische reflectie te schrijven op het rapport, op basis van een lijst kwaliteitscriteria. Dat was een leerzame ervaring voor ons beiden. Zo vond ze dat alle experts die geraadpleegd waren met naam en toenaam genoemd moesten worden in het openbare rapport. Ook een integraal verslag van een expertbijeenkomst ontbrak; dat had transparanter gemogen.
De presentatie van onderzoeksresultaten was ook bij het schrijven voortdurend een punt van aandacht geweest. We hadden 50 mensen geïnterviewd, maar kozen er niet voor om resultaten in percentages uit te drukken. Dit omdat deze 50 mensen allen heel verschillende organisaties vertegenwoordigden, met verschillend “gewicht”. Ook wilden we geen kwantitatief beeld schetsen op basis van kwalitatieve methoden. Het kostte ons nogal wat moeite om de druk te weerstaan: de verleiding om toch percentages te noemen was groot.
Aan die ervaring moest ik denken bij het lezen van het onderzoekspaper over topdocenten. Het was afgelopen week groot in het nieuws: volgens diverse media geeft een derde van de docenten op universiteiten slecht les.
Bron: Goudsteen & Company (2016). Meer geluk dan wijsheid. De kwaliteit van topdocenten aan onze universiteiten. Onderzoekspaper.
De bron van deze bevinding blijkt een onderzoekspaper van adviesbureau Goudsteen & Company. Dat paper is de moeite waard: ze hebben inhoudelijk goed beschreven wat de kenmerken zijn van een “topdocent”. Daarbij gebruikten ze de reglementen van verkiezingen voor topdocent van het jaar en onderwijsprijzen. Een nuttige exercitie die heel concreet maakt welke eigenschappen men aan docenten toekent.
Maar de statistieken in het paper gaan een brug te ver. Het staat vol met percentages en uitspraken als deze:
Naar schatting 30% van de universitaire docenten functioneert slecht en daar wordt vrijwel niets mee gedaan. Dat 25% uitstekend en 45% goed functioneert, is hoofdzakelijk gevolg van de persoonlijke motivatie van de betreffende docenten.
“Naar schatting” is inderdaad een goede omschrijving en al iets minder stellig in vergelijking met de kop in het AD: “Derde van docenten op universiteiten geeft slecht les“.
Maar waar komt die 30% vandaan? Er zijn 14 topdocenten geïnterviewd. Daarvan heeft 28% aangegeven de vraag over kwaliteit van docenten niet te kunnen beantwoorden. Dat zijn er (bijna) 4. Als ik het goed interpreteer zijn er dus 10 docenten die een inschatting hebben gemaakt over kwaliteit van alle docenten. Al zijn deze docenten nog zo top in lesgeven, ik geloof toch niet dat we dit al te serieus kunnen nemen. Storend is dan wel dat de percentages je vervolgens om de oren vliegen. De infographic die gemaakt is staat er ook bol van, zonder dat duidelijk is hoe klein de populatie is.
Een andere aardigheid van het paper is dat men vijf keer zoveel onderwijswetenschappers bevraagd heeft als docenten (60 in totaal). Dan gaat het vooral over de redenen waarom er weinig onderzoek gedaan wordt naar docentkwaliteit. Een groots thema, maar het komt de balans in het paper niet ten goede (ik had een nieuw paper eraan gewijd: twee keer publiciteit).
Overigens vind ik het paper wel degelijk de moeite waard: het had alleen zonder grafieken gekund. Alleen al de top 20 excellentie-criteria (gebaseerd op 97 gevonden criteria in 10 reglementen) is het uitprinten waard. En tot slot geeft het kaartje van Nederland dat ik hier gebruik mij het geruststellende gevoel dat overal in Nederland topdocenten te vinden zijn.