ZBO-evaluaties 2021-2025

ZBO’s moeten volgens artikel 39 van de Kaderwet ZBO’s eens in de vijf jaar worden geëvalueerd, met name op doelmatigheid en doeltreffendheid. Het is de vraag of dit ook gebeurt en wat de kwaliteit en uitkomsten van die evaluaties zijn. Dit onderzoek streeft ernaar om deze vraag te beantwoorden en betreft alle ZBO-evaluaties die zijn gepubliceerd vanaf 2021 tot en met 2025. Dit onderzoek bouwt voort op eerder onderzoek naar dit onderwerp voor Staat van de Uitvoering en gebruikt dezelfde werkwijze.

Het beeld dat uit de bevindingen naar voren komt, verschilt op kleine puntjes van de eerdere analyses maar niet wezenlijk. Vergeleken met de vorige analyse zijn er wat kleine lichtpuntjes: er worden weer net iets meer ZBO’s geëvalueerd en ook iets regelmatiger, en de kwaliteit van de evaluaties toont verbetering. Desondanks zijn er ook kritiekpunten, bijvoorbeeld op het feit dat ZBO-evaluaties meer een administratieve routine zijn geworden, zonder dat er veel geleerd lijkt te worden van de uitkomsten. Zo is gebruik van de informatie in het parlement nog steeds onder de maat.

ZBO-evaluaties zijn meer een administratieve routine geworden

De naleving van artikel 39 van de kaderwet is nog altijd onder de maat. Net iets meer dan de helft van de ZBO’s (52%) die geëvalueerd hadden moeten worden, zijn dat ook maar dus nog altijd iets minder dan de helft (48%) niet. Ook wordt de verplichte 5-jaars termijn lang niet altijd nageleefd, al speelt in de periode sinds 2020 de coronapandemie daar ook een rol bij. Daar waar wel wordt geëvalueerd is de horizonbepaling van de Kaderwet overigens wel het voornaamste motief (>80%).

De werkwijze rond ZBO-evaluaties laat zien dat het nog meer dan eerst een routine-achtige activiteit is geworden. Ministeries geven opdracht en consultancies voeren uit. Voor sommigen van hen is het zelfs een soort verdienmodel geworden. Het lijkt erop dat ZBO’s niet echt een rol spelen in het proces om te komen tot een evaluatie, of tot het formuleren van de onderzoeksvragen. Pas in de fase van dataverzameling en hoor/wederhoor nadat de resultaten bekend zijn, komen de ZBO’s in beeld.

De meeste onderzoeken zijn, vanuit wetenschappelijke criteria bezien, matig van kwaliteit

De kwaliteit van het evaluatieonderzoek vertoont op onderdelen wat verbetering, bijvoorbeeld door de aanwezigheid van een begeleidingscommissie, toepassing van hoor/wederhoor en het gebruik van externe bronnen inclusief externe stakeholders tijdens de interviews. In enkele rapporten wordt ook teruggekomen op aanbevelingen uit eerdere evaluaties, wat de lerende functie van evalueren laat zien. Maar de meeste onderzoeken zijn, vanuit wetenschappelijke criteria bezien, matig van kwaliteit bijvoorbeeld qua formulering van de vraagstelling en ontwikkeling van een theoretisch kader. Wellicht is een wetenschappelijk theoretisch kader ook niet altijd dienstig, maar in de helft van de rapporten ontbreekt ook een expliciet beoordelingskader, wat wel een belangrijke basis is voor evaluatieonderzoek. De methodologische verantwoording is meestal wel aanwezig, meestal in de bijlagen. Er wordt voornamelijk gebruik gemaakt van bronnen van het onderzochte ZBO zelf, zowel documenten als respondenten. Dat hoeft niet slecht te zijn, maar de onderzoekers zouden zich bewust moeten zijn van de mogelijke risico’s hiervan ten aanzien van betrouwbaarheid en validiteit. Ondanks dat er wel getallen worden genoemd (bijvoorbeeld over financiën of prestaties), zijn de evaluaties altijd gebaseerd op kwalitatief onderzoek.

De onderwerpen die worden onderzocht in de evaluaties gaan veel verder dan de wettelijk voorgeschreven doelmatigheid en doeltreffendheid. Zo wordt er vaak gerapporteerd over de governance, met name de relatie met het moederdepartement. Dat staat echter niet voorgeschreven in de kaderwet. Daarin staat wel dat er ook over de houdbaarheid van de rechtsvorm moet worden gerapporteerd, maar dat onderwerp komt nagenoeg niet aan bod. Een verbetering ten opzichte van de vorige analyse is dat evaluaties van het ZBO (als organisatie) en het beleid dat het ZBO uitvoert, minder vaak door elkaar worden gehaald. De kaderwet ziet alleen toe op een evaluatie van het ZBO als organisatie.

 Er gebeurt in de Kamer verder nagenoeg niets met de uitkomsten

Tot slot, evaluatierapporten worden eigenlijk altijd naar de Tweede Kamer gezonden, meestal (>2/3^e) met een inhoudelijke begeleidende brief en toegevoegd aan agenda’s voor overleggen. Maar er gebeurt in de Kamer verder nagenoeg niets met de uitkomsten. Op dit punt is er niets veranderd ten opzichte van eerdere evaluatieperioden.

• Verbeter de naleving van artikel 39 van de Kaderwet maar zorg ervoor dat dit niet alleen maar een bureaucratische exercitie is. Evaluatieonderzoek heeft een belangrijke lerende functie. Een van de manieren om hier meer gebruik van te maken is door in het evaluatieonderzoek in te gaan op wat er met de aanbevelingen van de vorige evaluatie is gedaan.
• Voor ZBO en Ministerie: bereid gezamenlijk de evaluatie voor, inclusief de aanbesteding. Betrek zowel eigenaar als opdrachtgever binnen het departement hierbij.
• Voor ZBO en Ministerie: combineer een evaluatie van het ZBO als organisatie (output) niet met een beleidsevaluatie (outcome). Organiseer deze evaluaties ook niet op hetzelfde tijdstip; dat leidt tot hogere administratieve lasten voor de organisatie en verwarring over de inhoudelijke uitkomsten. Voor ZBO, Ministerie en onderzoekers: formuleer een of meerdere duidelijke vragen voor het evaluatieonderzoek, waarbij ook ingegaan wordt op prestaties (niet alleen percepties).
• Voor de onderzoekers: stel een duidelijk beoordelingskader op en geef een goede methodologische verantwoording. Verzamel zowel kwantitatieve als kwalitatieve informatie, en interpreteer deze informatie in de context van het ZBO. Overweeg ook om bijvoorbeeld een benchmark met een buitenlandse organisatie te doen als er geen Nederlands equivalent voor handen is.
• Voor de onderzoekers: betrek meer en andere respondenten in het onderzoek dan alleen ZBO en Ministerie. Denk bijvoorbeeld aan Kamerleden of externe stakeholders (ook uit het buitenland; dat kan online).
• Voor Ministerie: maak de procedure meer transparant door ook informatie over de aanbesteding, de kosten, doorlooptijden en dergelijke te vermelden in het rapport en/of de begeleidende brief aan de Kamer.