Evidence-based beleid maken: vijf lessen uit het programma VIA

De Beleidsonderzoekers evalueren het programma Verdere Integratie op de Arbeidsmarkt (VIA) van het ministerie van Sociale Zaken en Werkgelegenheid. Onlangs is het eerste evaluatierapport gepubliceerd. Daaruit blijkt dat het behoorlijk ingewikkeld kan zijn om invulling te geven aan de evidence-based werkwijze van het programma. Vijf lessen over ‘evidence-based policymaking’ van het programma VIA.

VIA richt zich op het verkleinen van de achterstanden op de arbeidsmarkt van mensen met een niet-westerse migratieachtergrond. Dit doet VIA door de inzet van acht pilots. Deze pilots richten zich op cruciale momenten in de loopbaan van mensen waarop achterstanden ontstaan en waar een aanpak een groot verschil kan maken. Binnen een pilot onderzoekt het ministerie samen met werkgevers, partijen voor arbeidstoeleiding (gemeenten en UWV) en onderwijsinstellingen welke interventies effectief zijn. Het opzetten van pilots en onderzoek bleek echter behoorlijk lastig. Vijf factoren spelen daarbij een rol.

  1. Vrijwilligheid

Werkgevers, gemeenten en onderwijsinstellingen hebben zelf de keuze om al dan niet mee te doen aan een pilot binnen het programma VIA en onder welke voorwaarden. Het ministerie is dus afhankelijk van de wil en capaciteit van organisaties om deel te nemen aan effectiviteitsonderzoek. Organisaties bleken vaak niet bereid om deel te nemen aan experimenteel onderzoek, waarbij de interventie willekeurig is toebedeeld aan een experimentele en een controlegroep.

  1. Tijd

Het ontwikkelen van pilots en onderzoeksplannen bleek zeer tijdsintensief. Eerst moet men met de uitvoerende organisatie afstemmen bij welke bestaande interventie kan worden aangesloten of welke nieuwe interventie ingevoerd moet worden. Vervolgens is afstemming nodig over het type onderzoek dat wenselijk en haalbaar is. Bij beide vormen van afstemming is vaak ook inspraak en akkoord op het niveau van de uitvoerende professionals en de verantwoordelijke manager/bestuurder nodig. Daarna moet onderzoek aanbesteed worden en moeten onderzoeksvoorstellen worden geschreven.

De tijd voor uitvoering van pilots is beperkt. Voor het einde van de huidige kabinetsperiode moeten de pilots de belangrijkste kennis opleveren. De langetermijneffecten van arbeidsmarktbeleid treden doorgaans echter pas na een aantal jaar op en zijn – door vertragingen bij het beschikbaar komen van datasets – vaak nog een aantal jaar later pas goed meetbaar.

  1. Type kennis

Gemeenten, werkgevers en onderwijsinstellingen hebben niet (alleen) behoefte aan informatie over de effectiviteit van interventies, maar (ook) aan informatie over de vraag hoe de interventie uitgevoerd moet worden om zoveel mogelijk effect te bereiken en welke verbeteringen in de praktijk mogelijk zijn. Er is met andere woorden vaak (ook) behoefte aan procesevaluaties en onderzoek naar werkzame elementen.

  1. Controlegroepen

Ook wanneer organisaties wel bereid zijn om (quasi-)experimenteel onderzoek te laten uitvoeren, is het vaak moeilijk om een goede controlegroep te vinden. Om effecten aan te tonen, moet meestal een behoorlijk grote groep mensen worden toebedeeld aan de experimentele- en controlegroep. De doelgroep Nederlanders met een niet-westerse migratieachtergrond is echter vaak niet in voldoende grote aantallen aanwezig in de (bestanden van) organisaties. Daarnaast speelt mee dat met name gemeentelijke datasets vaak ontoereikend zijn om via econometrische technieken te corrigeren voor selectiviteit bij de inzet van interventies.

  1. Methodologische beperkingen

Het ministerie mikte in het programma VIA aanvankelijk vooral op experimenteel en quasi-experimenteel onderzoek. Dit type onderzoek heeft in het sociale domein methodologische beperkingen. Interventies in het sociale domein – zoals de pilots binnen VIA – zijn te kenschetsen als complexe interventies. Complexe interventies bestaan uit meerdere stappen die nodig zijn om de interventie uit te voeren, meerdere werkzame elementen die op elkaar inwerken en meerdere actoren die betrokken zijn. De effecten treden dus niet altijd op, maar alleen onder bepaalde omstandigheden en via bepaalde mechanismen. (Quasi)experimenteel onderzoek is niet goed in staat om deze omstandigheden en mechanismen te identificeren.

In het najaar van 2020 verschijnt een tweede evaluatierapport over het programma VIA. Dat bevat informatie over de ervaringen met de uitvoering van pilots in tijden van Corona. Ook beschrijft het rapport de eerste opbrengsten van de pilots. Welke kennis levert het programma op en welke interventies lijken op het eerste gezicht effectief te zijn?

Lennart de Ruig

E: lennart@beleidsonderzoekers.nl
T: 06 48 31 35 67
LI: Lennart