Gemeenten nemen veel veiligheidsmaatregelen, zoals het ophangen van camera’s en de inzet van buitengewoon opsporingsambtenaren voor handhaving op straat. Maar hoe evalueren we deze maatregelen? Praktijkgerichte wetenschap biedt uitkomst.
Kosten en baten van handhaving zijn vaak een vraagteken voor de overheid. In zijn whitepaper De belangrijke samenhang tussen risicoanalyse en preventie betoogt Willem Dijsselhof terecht dat zomaar handhaven niet handig is. Er moet een goede onderlinge afstemming worden gezocht tussen dienstverlening, toezicht, communicatie, preventie en repressie.
Gerichte interventies
Met de hulp van een risicomatrix kunnen gemeenten lokale problemen in kaart brengen, prioriteiten stellen, een analyse uitvoeren naar de effecten van dreigingen en gerichte interventies plegen. Financieel-economische verliezen en andere schade aan mens en milieu moeten worden voorkomen. Vervolgens is het zaak om interventies grondig te monitoren, informatie te verzamelen en beleid waar nodig bij te stellen.
Deze werkwijze brengt rationaliteit en structuur in integraal veiligheidsbeleid. Toch blijft het lastig om de baten van genomen maatregelen te evalueren. Klassiek is om veranderingen door beleidsinterventies te meten met behulp van de ‘gouden standaard’ – dat wil zeggen: een quasi-experiment, inclusief nulmeting, eindmeting en vergelijkende controlegroep.
Nulmeting onmogelijk
Maar in de praktijk werkt zo’n experiment nauwelijks. Het blijkt doorgaans uitgesloten om een vergelijkbare situatie te vinden waar geen beleidsinterventie is geïmplementeerd. Daarnaast vinden implementaties meestal niet op een duidelijk moment plaats, maar is er sprake van geleidelijkheid. Ook hebben beleidsmakers bij aanvang niet altijd een helder idee van wat ze precies willen weten. Dat maakt een nulmeting onmogelijk.
Maar valt er dan helemaal niets meer te zeggen over de effecten van complex lokaal veiligheidsbeleid? Het zou interessant zijn als gemeenten hun licht opsteken bij de Nederlandse Spoorwegen. In 2017 lieten de NS een onderzoek uitvoeren naar de werkzaamheid van een pakket maatregelen ter verbetering van de sociale veiligheid op het spoor.
Realistische methode
Dat gebeurde door gebruik te maken van wat bekend staat als de ‘realistische evaluatiemethode’. Deze methode wijkt af van de vaak onwerkbare ‘gouden’ evaluatiestandaard door effecten van beleid te analyseren via zogenaamde CMO-configuraties: het blootleggen van mechanismen (M) die door een bepaalde beleidsinterventie op gang zijn gebracht en binnen een bepaalde context (C) een uitkomst (O) tot stand brengen.
Een voorbeeld: de NS hangen op stations en in treinen bewakingscamera’s op. Deze camera’s zijn nog niet overal geplaatst of op dezelfde manier in gebruik, zodat een nulmeting en vergelijkende controlegroep lastig te realiseren zijn in het evaluatieproces. Wel kunnen hypothesen over werkzame mechanismen worden opgesteld: camera’s vergroten de (gepercipieerde) pakkans, reizigers en medewerkers vinden het fijn als iemand een oogje in het zeil houdt, handhavers kunnen ter plekke beter worden aangestuurd, beelden zorgen voor bewijslast en ze dragen ook bij aan de opsporing.
Zo wordt de veiligheid op een station of in een trein vergroot. Met behulp van interviews, cijfers en inzichten uit de literatuur gaan onderzoekers na of het aannemelijk is dat de veronderstelde mechanismen daadwerkelijk invloed hebben op de veiligheid. Contextfactoren zijn hierbij belangrijk: de situatie op Amsterdam Centraal is duidelijk anders dan op station Dalfsen.
Begrijpen lokaal beleid
De realistische evaluatiemethode biedt veel ruimte om dergelijke factoren mee te nemen, bevindingen te duiden en handvatten te geven aan beleid. Op deze manier steekt praktijkgerichte wetenschap een spade dieper in het begrijpen van lokaal veiligheidsbeleid. Want niets is zo praktisch als goede theorie.
Dr. Ronald van Steden is als Universitair Hoofddocent verbonden aan de Kenniswerkplaats Veiligheid & Veerkracht binnen de afdeling Bestuurswetenschappen & Politicologie en het Institute for Societal Resilience van de Vrije Universiteit Amsterdam.
Ik ben dol op Realistic Evaluation. In bepaalde situaties is de gouden standaard van de Randomized Controlled Trial trouwens wel degelijk haalbaar en bruikbaar. Dan moet je die natuurlijk ook doen, maar dan wel altijd aangevuld met een glasheldere theorie over mechanismen en contexten. Heb ik laatst nog gedaan voor de evaluatie van de bodycams in de Eenheid Amsterdam van de Nationale Politie.
Voor de volledigheid: het onderzoek naar cameratoezicht op stations en in treinen is niet gedaan door de NS zelf, maar was een opdracht van het WODC (die daarvoor achtereenvolgens DSP-groep en het Verwey-Jonker Instituut inhuurden). Je kunt hier het eindrapport lezen:
https://www.wodc.nl/binaries/2813_Volledige_Tekst_tcm28-283388.pdf