ANALYSE - Lees ook deel één, twee, drie, vier, vijf, zes, zeven en acht.
In deze serie is uitgebreid aandacht besteed aan hoe in ons hoger onderwijs het toezicht op kwaliteit is geregeld. In dit laatste artikel in deze serie wil ik het hebben over wat er beter kan aan de externe kwaliteitscontrole op opleidingsniveau. Want hé, na acht stukken over wat er allemaal niet deugt aan wetten, wetsvoorstellen, instanties en systemen, mag de lezer ook wel een visie verwachten over hoe het dan wél moet.
Hoe kan het beter?
Momenteel kennen we twee soorten controles op opleidingsniveau: beperkt en uitgebreid. De uitgebreide controle vindt plaats bij hogescholen en universiteiten die een toets op instellingsniveau niet hebben gehaald, of niet hebben gedaan. Bij de uitgebreide controles op opleidingsniveau is naast kwaliteit ook aandacht voor beleidsmatige onderwerpen. Terwijl als de opleidingskwaliteit goed is, we aan kunnen nemen dat bijvoorbeeld het personeelsbeleid ook op orde is. Als we die conclusie doortrekken, en de uitgebreide controles afschaffen, hoeft het panel van deskundigen dat langs komt zich alleen op de inhoud van het onderwijs te richten. En dat is toch veruit het boeiendst.*
Een andere verbetermogelijkheid is de controle van een opleiding aan de ‘achterkant’ te beginnen: bij het door de studenten gerealiseerde eindniveau. Ook nu al kijkt het panel van deskundigen naar de afstudeerstage, eindscriptie, de meesterproef, het eindportfolio, het kunstwerk, of wat het dan ook is waarmee studenten aantonen dat ze het gewenste eindniveau bereikt hebben. Wanneer het panel begint bij het eindproduct, en uit een steekproef blijkt dat de studenten het juiste niveau hebben, kunnen we er van uitgaan dat het onderwijs dat daartoe heeft geleid óók van niveau is. En geen verder onderzoek behoeft. Wanneer er uit de eindwerken van studenten wel blijkt dat ergens iets aan schort, kan een panel besluiten tot een controle ‘on site’, of gesprekken met de opleiding.
Voor de mensen die dit te ver gaat: deze werkwijze kan worden aangepast. Bijvoorbeeld door het panel inzicht te geven in een beperkt aantal andere stukken, zoals de notulen van opleidings- en examencommissies, of in externe evaluaties van het onderwijs.** Of door standaard gesprekken te houden met studenten en docenten (eventueel via de webcam), bijvoorbeeld met diegenen die betrokken waren bij de afstudeerwerken die het panel gezien heeft. Wanneer uit deze gesprekken en stukken rare dingen naar voren komen, kan een panel alsnog besluiten tot een visitatiebezoek.
Het voordeel van deze twee mogelijke aanpassingen in ons stelsel is dat enerzijds de lasten van het toezicht gereduceerd worden (en dat vindt onze Tweede Kamer belangrijk), en dat anderzijds de onafhankelijke controle door experts op het eindniveau van de opleiding blijft bestaan.
Versterken van de interne kwaliteitszorg: leve de opleidingscommissie
Samenhangend met deze aanpak zou echter wel de rol van de opleidingscommissies danig versterkt moeten worden. Dit is het belangrijkste interne kwaliteitszorgorgaan op opleidingsniveau. In praktijk komen deze commissies meestal niet vaker bijeen dan de twee keer per jaar die wettelijk minimaal verplicht is. Of zelfs dat niet eens. En krijgen de docenten in deze commissies nauwelijks uren beschikbaar voor dit werk, waardoor ze er (helaas) soms maar zeer beperkt tijd in investeren. De wet zou strengere voorwaarden moeten stellen voor opleidingscommissies, bijvoorbeeld door minimale ondersteuning en facilitering te regelen. Gedacht kan worden aan een minimum aantal bijeenkomsten (bijvoorbeeld eens per maand) en normen voor de vergoeding en de tijd die docenten en studenten krijgen voor hun werk in deze commissie.
Weg met de vierpuntsschaal
Een kleine verbetering binnen het huidige stelsel is het stoppen met de vierpuntsschaal. Een opleiding kan momenteel onvoldoende, voldoende, goed of excellent scoren. Dat suggereert echter een zekere mate van detail in de beoordeling, en een eenvormigheid in oordelen tussen de verschillende panels. Die eenvormigheid is echter een illusie. Panels bestaan uit een handjevol individuen, en hoe deskundig ook, een ander handjevol kan tot een andere afweging komen. Zeker als het oordeel toch al tot een voldoende leidt. Daarbij leidt de vierpuntsschaal tot allerlei oneigenlijk gebruik. De overheid gebruikt het om ‘prestatieafspraken’ te toetsen, waar een deel van de financiering van instellingen mee gemoeid is. Hierdoor wordt een ‘goed’ een doel op zich. En dat leidt weer tot perverse prikkels. Het hogere management gebruikt vervolgens deze scores in de managementcontracten met het lagere management. Waardoor een opleidingsdirecteur niet afgerekend wordt op ‘goed onderwijs’ maar op het al dan niet scoren van een ‘goed’ bij de visitatie. Dit kan door goed onderwijs aan te bieden, maar ook door het visitatiepanel zaken mooier voor te spiegelen dan ze zijn. En dat is weer jammer van de verbeterfunctie van het stelsel.
Een mooie afsluiter
Er kan dus van alles beter. Het goede nieuws is: dat lijkt deels daadwerkelijk te gaan gebeuren! De hierboven beschreven suggestie om kwaliteitscontroles beginnen met de output, is iets waar mee geëxperimenteerd gaat worden. En dat is goed nieuws, want deze experimenten vervangen de eerder in deze serie gelaakte experimenten met instellingsaccreditatie. In plaats van experimenten met iets onverstandigs en contraproductiefs, wordt er geëxperimenteerd met iets relatief vernieuwends en kansrijks. Met dank aan met name Pieter Duisenberg van de VVD, die tegen de wil van de minister en de eigen coalitiepartner in bleef hameren op het belang van een onafhankelijke controle op opleidingsniveau. Hij sloot een coalitie met de SP en met GroenLinks en kwam met een eigen voorstel.
Ook op het gebied van opleidingscommissies is er wat ten positieve veranderd. Onlangs besprak de Tweede Kamer een aantal voorstellen ter verbetering van de bestuurs- en medezeggenschapsstructuur. Hoewel ik daar weinig van verwachtte, ook omdat de minister vrijwel niets wezenlijks wilde veranderen, zijn de rechten van de opleidingscommissies toch flink uitgebreid, met dank aan de Kamer.***
Ten slotte: dat er dingen zijn die beter kunnen, laat onverlet dat het huidige controlesysteem best prima werkt, en het de afgelopen jaren ongelooflijk veel heeft bijgedragen aan de kwaliteit van ons onderwijs, in ieder geval in het hbo. Veel opleidingen zijn serieuzer werk gaan maken van het afstuderen, en hebben de lat inhoudelijk flink hoger gelegd. En daarmee de kwaliteit van het onderwijs stevig verbeterd. Er is veel meer aandacht voor het analytisch vermogen van studenten. Ze leren beter nadenken, verantwoorden hun keuzes beter, denken meer na over wat nou eigenlijk het (beroepsmatige) probleem is dat ze op willen lossen en waarom ze dat op een bepaalde manier gaan doen. Dat is pure winst. En ik durf de stelling aan dat die voor een heel groot deel op het conto van de opleidingskeuringen is te schrijven, en de wijze waarop die verbeterd zijn sinds 2011.
Omdat er al genoeg gezeurd wordt over de kwaliteit van ons hoger onderwijs en wat daar allemaal niet aan deugt, ben ik blij deze serie positief af te kunnen sluiten.
János Betkó was ruim vijf jaar lang secretaris bij opleidingscontroles (‘visitaties’) door onafhankelijke experts en was als bestuurslid van de Landelijke Studenten Vakbond betrokken bij de totstandkoming van de huidige wetgeving op dit gebied.
* Bovendien, zoals beschreven in het vorige stuk, werkt die instellingstoets ook nog vrij matig. Of hij moet worden afgeschaft of worden verbetert, laat ik hier in het midden.
** Zoals de nationale studentenenquête (NSE) of de HBO-monitor.
*** Wat onverlet laat dat er nog veel meer in had gezeten, in deze wijziging. Maar omdat dit de positieve afsluiter is gaan we het daar nu niet over hebben.
Reacties (6)
“In praktijk komen deze (opleidings)commissies meestal niet vaker bijeen dan de twee keer per jaar die wettelijk minimaal verplicht is. Of zelfs dat niet eens.”
Ik ben benieuwd waar je deze praktijk vandaan haalt. Het komt totaal niet overeen met de praktijk die ik ken.
Het idee om de opleidingscommissie “te versterken” (door betere facilitering en hogere vergaderfrequentie) is op zich leuk, maar geen enkele garantie voor de kwaliteit van een opleiding. De OC heeft immers een uitsluitend adviserende functie (en is dus een tandeloze tijger). Benoeming (op zijn mins formeel) geschied bovendien door de decaan, uit het docenten- en studentencorps van de faculteit (zodat onafhankelijkheid van de OC onder druk kan komen). Ik heb al eens meegemaakt dat de voorzitter van een OC door een opleidingsdirecteur (die tevens zijn vakgroepvoorzitter was) onder druk is gezet om een OC-advies te wijzigen, omdat dat advies het faculteitsbestuur niet beviel.
Het lijkt me daarom hoogst noodzakelijk dat er af en toe een commissie van buiten de universiteit de opleiding eens goed tegen het licht houdt en dat het resultaat van dat bezoek vergaande consequenties moet kunnen hebben.
@1 Die opmerking maak ik op basis van mijn ervaringen, zowel als bestuurder van Landelijke Studentenvakbond (waar dit soort signalen vaak binnenkwamen), als in contacten met andere studenten- en medezeggenschapsorganisaties, als mijn tijd als panelsecretaris bij opleidingsvisitaties. Daar kwam ik regelmatig opleidingen tegen die ten tijde van de visitatie geen opleidingscommissie (oc) hadden, of waarbij de oc werd (her)opgericht 1 of 2 jaar voor aanvang van de visitatie, of waarbij de oc slechts het wettelijk minimale aantal keer bij elkaar kwam. Zelfs wanneer een oc vaker bij elkaar kwam ging het in de interne gesprekken vaak niet over de inhoud van het onderwijs, maar om meer procesmatige randzaken. Ook van bekenden die in een oc zitten of hebben gezeten heb ik dit soort signalen gehoord. Uiteraard gaat het vaak ook wel goed.
Als ik kijk naar de voorbeelden die jij geeft, zie ik een beetje een tweeledig beeld: enerzijds komen oc’s wel vaak bij elkaar (en hebben het dan ook over de inhoud van het onderwijs, neem ik aan?), anderzijds heb je ook meegemaakt dat zo’n commissie overruled wordt door de directie. Klopt dat? Dat overrulen herken ik (helaas) ook, juist daarom is het van belang dat oc’s versterkt worden. Dat is onlangs gebeurd door de Tweede Kamer in de wet versterking bestuurskracht, daar hebben ze ook instemmingsrechten gekregen (en zijn ze volwaardige medezeggenschap geworden). Al moet die wet nog langs de Eerste Kamer, en het zou niet de eerste keer zijn dat daar een goed idee stukloopt op de bestuurslobby uit het hoger onderwijs. Maar het is daarbij ook van groot belang dat opleidingscommissies goed hun werk kunnen doen, hun rechten kennen, vaak genoeg bij elkaar kunnen komen en zich gedegen voor kunnen bereiden; ook dan kunnen ze minder makkelijk overruled worden (door druk, bluf, whatever). Ze kunnen een heel belangrijke rol spelen voor de kwaliteit van een opleiding, daar moeten ze wel de middelen voor krijgen (en pakken).
Dat doet niets af dat ik het met je eens ben dat die externe commissie van buiten, met verregaande consequenties, ook langs moet komen. Maar de Tweede Kamer had al uitgesproken dat ze willen experimenteren met een minder arbeidsintensieve vorm van een dergelijk visitatiecommissiebezoek (zie de motie Rog waar ik naar link in mijn stuk). Als dat al een voorwaarde is voor een pilot, dan heb ik een verregaande voorkeur de pilot die er nu uit is gekomen. Mét die externe, onafhankelijke commissie, die in ieder geval het eindniveau van een opleiding toetst. (En liefst met een versterkte opleidingscommissie om op die manier voldoende aandacht te leggen bij de rest van de opleiding.) Het alternatief was dat instellingen voortaan hun keuring helemaal zelf mochten regelen, en zelf hun panels uit mochten zoeken. Waarom ik dat een dom idee vind, daar heb ik de afgelopen 8 stukjes denk ik genoeg letters aan besteed ;)
@2: “Maar het is daarbij ook van groot belang dat opleidingscommissies goed hun werk kunnen doen, hun rechten kennen, vaak genoeg bij elkaar kunnen komen en zich gedegen voor kunnen bereiden”
Ik heb maar een kleine N in mijn bereik (er zijn vier OC’s waarvan ik het functioneren ken), maar daar geldt dat dat in 100% van de gevallen gebeurt: Maandelijkse vergaderingen, er zijn vergoedingen voor alle leden (dus ook de studenten en de voorzitter krijgt geloof ik zelfs 0,2 fte), er is ambtelijke ondersteuning, ze krijgen jaarlijks training (waarin rechten en taken ook voorbij komen), mogen daarnaast zelf ook buiten de instelling (gedeclareerd) scholing zoeken en ze richten zich volledig op de kwaliteit van de opleiding en de randvoorwaarden die daarvoor nodig zijn. Punt blijft dat er helemaal niet overbluft hoeft te worden, omdat elk OC-advies terzijde geschoven kan worden. De enige wettelijke vereiste is dat het bestuur een onderbouwing van de afwijzing verzint (en dat is toch echt een formaliteit). Wellicht dat de nieuwe wetgeving daar wat verandering in brengt (maar laten we dat eerst eens afwachten).
Door een off-site visitatie (waar jij voor pleit als ik het goed lees), kun je onvoldoende achterhalen in hoeverre een OC serieus wordt genomen (en ik betwijfel zelfs of je het functioneren goed kunt achterhalen uit de OC-notulen) en hetzelfde geldt voor de EC. Daarvoor moet je gewoon echt met de leden gaan praten en dat is wat vroeger met die “arbeidsintensieve” visitaties ook gebeurde. Zo arbeidsintensief waren die visitaties trouwens helemaal niet, ik zie dat als een pure smoes van bestuurders, die vooral het rapport lastig vonden, omdat er wel eens dingen in stonden die niet met hun eigen plannen overeenkwamen (die grosso modo toch vooral op “efficiëntie” gericht waren, dwz. kostenreductie en schaalvergroting van opleidingen, ook als dat ten koste gaat van kwaliteit).
Bovendien zou de intensiviteit al heel makkelijk een stuk naar beneden kunnen door niet per opleiding, maar per opleidingscluster te visiteren; Je spreekt immers precies dezelfde groep mensen (EC’s en OC’s zijn tegenwoordig meestal verantwoordelijk voor 1 of 2 bachelors en meerdere “doorstroom”masters). Je kunt dan toch per opleiding oordelen, maar je komt maar 1 keer langs in plaats van 8 keer. Vergt allicht wel een wat andere samenstelling en werkwijze van de commissie, maar veel zaken (zoals het functioneren van OC en EC, maar ook of studenten zich gehoord voelen, studeerbaarheid, hoe het zit met staf/student ratio en de faciliteiten) kun je ook beoordelen zonder 100% inhoudelijke affiniteit met de opleiding.
@3 Hulde dat het zo geregeld is bij de plekken die je kent (jouw opleiding / instelling?). Was het overal maar zo. Ik denk dat zowel een goede facilitering als een fatsoenlijke rechtspositie voorwaardelijk zijn om het in het hele land fatsoenlijk geregeld te krijgen (en niet alleen op de plekken waar management / bestuur al redelijk welwillend zijn tov inspraak studenten / docenten).
Waar ik voor pleit… tja, ik ben het met je eens hoor; ik vind het huidige stelsel prima werken, inclusief de gesprekken met de opleidingscommissies (al haal je uit notulen ook al vrij veel, bijvoorbeeld als de oudst beschikbare notulen beginnen met iets in de trant van “na enige jaren slapend te zijn geweest, heeft het opleidingsmanagment in het kader van de komende visitatie besloten de opleidingscommissie nieuw leven in te blazen” ;)) Ook het geklaag van bestuurders over de ‘last’ vind ik grotendeels onterecht, ik heb hier ook het nodige over geschreven in eerdere stukken in deze serie.
Maar de Tweede Kamer heeft unaniem een motie aangenomen met de strekking “er moet een pilot komen met verregaande gereduceerde lasten”, en die motie stuurde al richting instellingsaccreditatie.
Met dat gegeven (er moet sowieso een pilot komen gebaseerd op lastenverlichting), pleit ik voor experimenten met visitaties waarbij alleen het eindniveau gecontroleerd wordt, en alleen als het nodig is gekeken gaat worden naar andere dingen. Ik vind dat spannend, want enerzijds kun je dan echt dingen missen die niet goed gaan in het curriculum of de organisatie. Anderzijds, als het eindniveau goed is, dan zal het misschien ook wel mee vallen. Wat ik ideaal zou vinden is om het huidige stelsel te handhaven, en kleinschalige experimenten houden met die outputcontrole. Variërend van off-site visitaties met alleen minimale materiaalbestudering (scripties of equivalent daar van), tot de huidige aanpak met site bezoek met alle toeters en bellen, voor zover betrekking op dingen gerelateerd aan het eindniveau (dus wel notulen, gesprekken, NSE-scores, you name it). En misschien een tussenvariant.
Dan kijken we over 6 jaar wel, bij accreditatie 4.0 (als we dan nog steeds die vervelende .nul termen gebruiken) wat de resultaten waren, en dit een heilzame of heilloze weg is.
Die opleidingsclusters: klinkt inhoudelijk zinnig, maar ik weet niet hoe makkelijk dat te organiseren is; immers, het is nu zo dat één panel meerdere opleidingen van dezelfde soort controleert bij verschillende instellingen (ook om een vergelijking te kunnen maken). Opleidingsclusters bestaan op verschillende instellingen uit verschillende opleidingen, dus ook met één heel groot panel wordt dat lastig (als zo’n groot panel al werkbaar is). Maar misschien kan het wel, zou iemand eens goed over na moeten denken.
Overigens: eigenlijk zijn visitaties er niet om te controleren hoe de oc’s functioneren, maar alleen om de kwaliteit vast te stellen. Het is een lacune in het systeem dat er helemaal niemand controleert of oc’s functioneren (de inspectie doet het ook niet), dat is m.i. ook één van de redenen dat ze op veel plekken ook niet goed werken. Maar liever oc’s dan maar bij de visitaties een beetje meenemen, dan helemaal niet.
@4: “Overigens: eigenlijk zijn visitaties er niet om te controleren hoe de oc’s functioneren, maar alleen om de kwaliteit vast te stellen”
In dat geval gingen visitatiecommissies in het verleden structureel buiten hun boekje, want er werd altijd niet alleen op de kwaliteit van de opleiding gecontroleerd, maar ook op de kwaliteitsbewaking (dat houdt wat meer in dan alleen de OC en EC, ook werd studenten gevraagd naar wat er met hun klachten gedaan werd en gekeken of er sprake was van systematische onderwijsevaluaties, of die voldoende opgetuigd waren en of die ook tot actie leidden als daar reden toe was). Zelf heb ik dat altijd als positief ervaren, omdat je anders wel heel erg een momentopname kreeg, terwijl een goede evaluatiecyclus ook een betere garantie vormt voor kwaliteitsbehoud en -verbetering.
@5 Nou ja, ‘interne kwaliteitszorg’ was wel een expliciet onderdeel geweest van de visitaties in het oude stelsel, en in de uitgebreide beoordelingen in het huidige stelsel. Het functioneren van oc’s was daar onderdeel van. Ook in het huidige stelsel is (zowel beperkt als uitgebreid) een gesprek met oc en examencommissie verplichte kost, wat inderdaad heel goed is.
Wat ik bedoel is dat het doel van accreditatie en visitaties an sich niet is om te controleren of oc’s goed werken. Ook bij het beoordelen van ‘interne kwaliteitszorg’ ging/gaat het in principe alleen om dat alle relevante partijen betrokken worden bij de kwaliteitszorg (studenten, docenten, alumni, ontvangend werkveld); als een oc zeer matig functioneerde maar docenten en studenten op een andere manier goed betrokken werden, kon een panel het nog steeds prima vinden. De verplichte gesprekken met oc en examencommissie zijn er in gekomen in het huidige stelsel, en dat is een positief punt, maar officieel is een visitatie niet bedoeld om te controleren of ze goed werken.
Idealiter zou de Inspectie daar op toe moeten zien, op basis van signalen (en dat valt ook onder hun takenpakket: naleving van de wet); maar ik heb nooit de indruk dat het een prioriteit bij ze is.