INHOUD PRESENTATIE - Inspectieloket

EFFECTMETING, HOE DOE JE DAT?
Het proces in de praktijk
Jet van Mourik
26-11-2009
INHOUD PRESENTATIE
Effectmeting in de context van toezicht en handhaving
Theorie effectmeting en het model
Pilot effectmeting Amsterdam
Het model in de praktijk

De sleutel tot succesvolle handhaving…
Hoe weten we of we effectief zijn?
Programmatisch handhaven
Planmatige, ‘expert-based’ (evidence) aanpak van toezicht en handhaving
Capaciteit beperkt: prioriteiten stellen op basis van juiste risico’s
Op basis van doelgroepanalyse (T11) gerichte interventies
Vanuit visie op handhaving aanpak gedragsrisico’s met effectieve
interventies
Op basis van effectmeting bijstelling van prioriteiten en aanpak
Cyclisch, democratisch, integraal, transparant, samenwerkend

Programmatisch handhaven…
Begrippen
Effectmeten = (beoogde) consequenties van handelen vaststellen en
causale relatie aantonen tussen handelen en het effect.
Waarom?
Om te weten of we onze doelen bereiken (doeltreffendheid).
Om te kunnen verantwoorden en sturen (doelmatigheid).
Om te weten of de behaalde resultaten het gevolg zijn van ons
handelen, zodat we weten wat werkt.
Evaluatie = beleid of proces, kwaliteit, achteraf
Monitoring = continuë activiteit of over bepaalde tijd meten van vaste
set gegevens

effectketen
Wat meet je?
outcome
input
troughput
output
intermediate
immediate
impact
handhavingsorganisatie hondenbezitter samenleving
Aantal controles
Aantal boetes
Verkoopcijfers zakjes
Mate van naleving
Kwaliteitsmeting parken
Leefbaarheidsscore
Gezondheidsbeleving
bevolking
Effectmeting: wat
Effectmeting op verschillende niveaus: type effectindicatoren
•Input: indicatoren voor de bronnen (mensen, middelen) van de
handhaving
•Throughput: indicatoren voor de feitelijke activiteiten
•Output: indicatoren voor de resultaten van die activiteiten
•Outcome: indicatoren die iets zeggen over gedragsveranderingen
bij de gehandhaafde (mate van naleving)
•Final outcome ofwel impact: beleidseffect / maatschappelijk
effect in de samenleving

Relatie met doelstellingen
Effectmeting veronderstelt helderheid over doelstellingen;
Bijvoorbeeld:
verbeteren van de naleving bij doelgroepen;
verbeteren van de sociale of fysieke veiligheid,
levenomstandigheden, etc
Deze doelstellingen zijn duidelijk, SMART geformuleerd:
(Specifiek, Meetbaar, Acceptabel, Realistisch, Tijdgebonden)
Effecten meten de realisatie van doelstellingen
Relatie met sturing en verantwoording
Voor welk besluitvormingsniveau binnen de organisatie is de
effectmeting bedoeld?
• Politiek-bestuurlijk, strategisch
• Tactisch
• Operationeel
m.a.w.: wie wil wat weten en waarom?

Data verzamelen
Baken domein af
Onderscheid doelgroepen
Ontwikkel indicatoren
Breng het onder in de reguliere bedrijfsvoering en processen
Onderzoek naar causaliteit: kies voor enkele prioritaire
onderwerpen een onderzoeksdesign
Experiment
Quasi-experiment
Beleidsevaluatie: T 1
– T o
Nb denk bij je onderzoeksdesign altijd aan de a-selecte
controlegroepen
Data analyseren
Maak gebruik van bestaande sociaal-wetenschappelijke analyse
technieken
“Meten is weten, maar doe – vooralsnog - meer met zo ongeveer”
Maak van de toerekenbaarheid geen halszaak:
streef er naar alternatieve verklaringen te kunnen weerleggen

Kernvragen proces van effectmeting
Wat willen we bereiken, wat is onze doelstelling per prioriteit of
handhavingstaak?
Waar sturen we dan op?
Welke interventies gaan we plegen?
Wat moeten we meten om te weten of we de doelstelling bereikt
hebben? (indicatoren benoemen)
Hoe meten we dat?
Hoe analyseren we dat?
Gemeente Amsterdam, Stedelijk
Programma Regelgeving en Handhaving
“Minder regels, beter handhaven”
Ambities:
Minder regeldruk
Goedkopere vergunningen in minder tijd
Afname toezichtlast
Aantoonbaar beter handhaven
Uniforme en eenduidige handhaving

Aantoonbaar beter handhaven…
Programmatisch handhaven, kwaliteitscriteria
Model handhavingsprogramma
Eén toezicht- en sanctieproces
Harmonisatie
Professionalisering
Aantoonbaar beter handhaven?
Dat veronderstelt inzicht in effect!
Waarom effectmeting in Amsterdam?
Omdat we aantoonbaar beter willen handhaven
Omdat we onze doelstellingen willen behalen
Omdat we meer effect willen bereiken
Dat veronderstelt inzicht in de resultaten, effecten van handhaving
En dat veronderstelt inzicht in causaal verband tussen gemeten
effecten en de handhavingsinspanningen (“echte effectmeting”)

Pilot effectmeting
Opdracht: ontwikkel een methodiek voor effectmeting, waarmee
de stadsdelen en diensten zelf, laagdrempelig, aan de slag
kunnen
Aanpak:
Werkgroep gevormd met 6 stadsdelen, advies Dienst Onderzoek
en Statistiek (O&S)
Matrix ontwikkeld, ingevuld met voorbeeld indicatoren per
handhavingsdomein, op verschillende niveaus
Wens: een onderzoeksexperiment naar causaal verband (maar
investering in proces bleek al snel urgenter)
De matrix

Voorbeeld indicatoren: input
Indicatoren voor de bronnen (mensen, middelen) van de
handhaving:
•Aantal fte besteed aan deze handhavingstaak
•Aantal productieve uren besteed aan deze handhavingstaak
•Bestede financiële middelen aan deze handhavingstaak
Waarom belangrijk?
Om te kunnen sturen (plannen) en verantwoorden
Voorbeeld indicatoren: output
Indicatoren voor de resultaten van de activiteiten in termen van
productie:
•Aantal uitgevoerde controles (evt. gespecificeerd naar
doelgroep, wijk etc)
•Aantal uitgevoerde controles t.o.v. totale doelgroep / bevolking
•Uitkomst controle: aantal ingezette boetes (BSB),
waarschuwingen…
Waarom belangrijk?
Om te kunnen sturen, verantwoorden

Voorbeeld indicatoren: outcome (1)
Indicatoren die iets zeggen over het nalevingsniveau:
•% geconstateerde overtredingen t.o.v. aantal controles of t.o.v.
totale doelgroep (bijv. aantal hondenbezitters)
•% boetes / BSB t.o.v. aantal controlesof t.o.v. totale doelgroep
En in de tijd:
•Toe- of afname van overtredingen, van aantal benodigde
sancties, waarschuwingen of tijd om tot naleving te komen
Waarom belangrijk?
Voor je risicoanalyse en je handhavingsprogramma, om te weten
waar de ‘problemen’ zitten en om trends in naleving te kunnen
constateren
Voorbeeld indicatoren: (final) outcome
Indicatoren die iets kúnnen zeggen over de impact, het
maatschappelijk effect van handhaving:
•OBJECTIEF: scores dienst O&S (bijv verloederingsscore,
schoonheidsindex etc), eigen tellingen en metingen op straat
(schouwen, turven, monitoren van meetvakken)
•SUBJECTIEF: bijv. aantal klachten, beleefde verloederingsscore,
subjectieve veiligheidsindex, bewonersenquête, bewonerspanel
Waarom belangrijk?
Dat is waar je het voor doet!

Effectmeting: hoe
Opnemen in handhavingsprogramma, proces PH
Gebruik maken van de matrix met voorbeeld-indicatoren
Het proces:
•Doelstellingen ‘SMART’ formuleren
•Doelstellingen ‘slim’ verbinden aan activiteiten (wat werkt?)
•Indicatoren benoemen die doelstellingen meten (voorbeelden)
•Resultaten van de activiteiten meten (gegevens verzamelen)
•Gegevens analyseren en conclusies trekken
•Maak gebruik van trends!
•Conclusies zijn weer input voor een nieuwe cyclus
Weerbarstige praktijk…
•Geen ‘smart’ geformuleerde doelstellingen voor toezicht en
handhaving
•Geen koppeling problematiek, prioriteiten, doelstellingen en
inspanningen (vooral politiek ingegeven risico’s > controlereflex)
•Er wordt door toezicht en handhaving weinig gemeten of er
wordt niet over gerapporteerd en er wordt al helemaal niet
geanalyseerd
•Er wordt nauwelijks tot geen (innovatief) gebruik gemaakt van
bestaande kwalitatieve metingen, of ze worden ‘misbruikt’

Alle begin is moeilijk…
Voorbeeld schoonmonitoring (maandelijks)
Maandelijkse resultaten en duidelijke trends
10,0
9,0
8,0
7,0
6,0
5,0
4,0
april mei juni juli augustus september
Omgeving container Objecten schoon - graffiti en wildplak Hondenpoep
Zwerfvuil gras Zwerfvuil verblijfsverharding Zwerfvuil rijweg

Schoonmonitoring
(halfjaarlijks als onderdeel van de bedrijfsvoeringsmonitoring)
Onderschrijding norm:
% van de meetpunten dat
onvoldoende of slecht scoort
Groen Schoon
Minder dan 5%
5 tot 10 %
10 tot 20 %
20 tot 30%
meer dan 30 %
Gemiddelde score:
Gemiddelde score van alle
meetpunten in de wijk:
(>8)
(7-8)
(6-7)
(4-6)
(

Maak de cyclus rond…
Effectmeting bij jullie?
Wat staat er over in jullie toezicht- of handhavingsprogramma’s?
Wat meten jullie al?
Kun je voor jouw domein enkele indicatoren benoemen op final
outcome niveau? (impact, maatschappelijk effect?)
Hoe meet je dat? (zelf schouwen, onderzoeksdesign, enquêtes…)

Stand van zaken en vervolg pilot A’dam
•Onderzoek dienst O&S, vervolmaken lijst voorbeeld indicatoren
in de matrix
•Inbedding in model handhavingsprogramma
•Bewustwording en ‘opleiding’ van handhavingsregisseurs,
handhavers en hun teamleiders
•Aanbeveling causaliteitsonderzoek: experiment cameratoezicht
verkeerd geplaatst huisvuil
•Ontwikkeling stadsbreed monitoringsysteem, handhaving wordt
opgenomen
•Landelijk: model en voorbeeld indicatoren beschikbaar stellen
voor andere gemeenten, opname in methodiek programmatisch
handhaven
Handhavingspiramide