Vejledning om effektivitetsundersøgelser - Rigsrevisionen

Vejledning om
effektivitetsundersøgelser
Februar
2013
rigsrevisionen
rigsrevisionen

Indholdsfortegnelse
VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 1
I. Indledning .................................................................................................................... 2
II. Forundersøgelse .......................................................................................................... 4
III. Undersøgelse af målopfyldelse .................................................................................... 5
IV. Undersøgelse af effekt ................................................................................................. 7
V. Undersøgelse af omkostningseffektivitet ................................................................... 11
VI. Metaundersøgelse ..................................................................................................... 12

2 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
I. Indledning
1. Denne vejledning giver nogle grundlæggende redskaber til at gennemføre effektivitetsundersøgelser
i Rigsrevisionen. Vejledningen indeholder 6 kapitler. Kap. I er en introduktion
til effektivitetsundersøgelser i Rigsrevisionen. Kap. II beskriver forundersøgelsen til en
effektivitetsundersøgelse. Kap. III handler om undersøgelse af målopfyldelse, kap. IV
handler om undersøgelse af effekt og Rigsrevisionens model til udarbejdelse af effektundersøgelser,
og kap. V beskriver undersøgelse af omkostningseffektivitet. Endelig handler
kap. VI om metaundersøgelser.
Hvad er effektivitet og effektivitetsundersøgelser?
2. Effektivitetsundersøgelser er sammen med produktivitets- og sparsommelighedsundersøgelser
grundstenene i forvaltningsrevisionen. Indholdet i en effektivitetsundersøgelse er
beskrevet i INTOSAI’s ”Implementation Guidelines for Performance Auditing”. Her defineres
effektivitet på følgende måde:
Effectiveness is essentially a goal-attainment concept. It is concerned with the relationship
between goals or objectives, outputs and impacts. Are the stipulated aims
being met by the means employed, the outputs produced and the impacts observed?
Are the impacts observed really the result of the policy rather than other circumstances?
(Implementation Guidelines for Performance Auditing, ISSAI 3000, s. 17).
Effektivitetsundersøgelser er således en fællesbetegnelse for undersøgelser af målopfyldelse,
effektundersøgelser og undersøgelser af omkostningseffektiviteten. Effektivitetsundersøgelser
kan bidrage med at synliggøre statslige indsatsers målopfyldelse, effekt og omkostningseffektivitet
ved at analysere forholdet mellem mål, aktiviteter, resultat og virkning.
Økonomistyrelsen har udarbejdet publikationen, ”Ramme for Case-samlingen – inspiration
til effekt”, som er et inspirationsmateriale til offentlige institutioner, der arbejder med at udvikle
og anvende effektmåling i staten 1) .
1) Økonomistyrelsen skelner mellem effektundersøgelser og effektivitetsundersøgelser. Effekt defineres som
at opnå ønskede virkninger på omgivelserne via en indsats. Effektivitet defineres som at opnå virkninger
med så få resurser som muligt, hvilket i denne vejledning betegnes som omkostningseffektivitet.

I Rigsrevisionen skelner vi mellem 3 former for effektivitetsundersøgelser:
VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 3
Undersøgelser af målopfyldelse sammenligner det faktisk realiserede resultat med
de opstillede mål. Undersøgelsen kan omfatte mål på alle niveauer (fx inputmål, aktivitetsmål
og produktivitetsmål). Det skal dog bemærkes, at resultatmål ikke i sig selv angiver
en kausalitet til selve effekten – dette skal undersøges i en effektundersøgelse.
Effektundersøgelser undersøger, om den forventede effekt med en indsats er indtruffet,
om der er opnået andre virkninger end de tilsigtede, og i hvilket omfang resultatet er
en konsekvens af den indsats, der er iværksat (årsags-virkningssammenhængen). Ved
effekt forstås den virkning på kort eller langt sigt, der opnås efter gennemførelsen af en
indsats.
Undersøgelser af omkostningseffektiviteten vurderer forholdet mellem indsatsens
samlede omkostninger og den effekt, indsatsen har medført.
Vejledningen tager udgangspunkt i ovenstående tredeling. Sondringen mellem de 3 undersøgelsesformer
vil dog i praksis ofte være flydende. Figur 1 illustrerer forholdet mellem indsats,
effekt og de 3 former for effektivitetsundersøgelser 2) .
Figur 1. Forholdet mellem indsats, effekt og de 3 former for effektivitetsundersøgelser
3. Genstanden for en effektivitetsanalyse kan være én, flere eller alle indsatser i en institution.
Begrebet ”indsats” anvendes som fællesbetegnelse for et program, en ordning, en foranstaltning
osv.
4. Det følgende kapitel handler om de aktiviteter, som bør foretages i forundersøgelsen til
en effektivitetsundersøgelse.
2) Økonomistyrelsen sondrer i deres materiale om effektmålinger mellem samfundseffekter og brugerrettede
effekter, da en institution både kan påvirke samfundet som helhed og konkrete borgere/virksomheder. I denne
vejledning sondres der ikke mellem de 2 typer af effekter.

4 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
II. Forundersøgelse
5. Formålet med en forundersøgelse er at afklare, om det er relevant, og om der er et tilstrækkeligt
grundlag til, at iværksætte en effektivitetsundersøgelse. En effektivitetsundersøgelse
vil ofte være en del af en større undersøgelse, hvor der også gennemføres andre
relevante analyser af det pågældende område.
6. Da Rigsrevisionens effektivitetsundersøgelser så vidt muligt bør tage udgangspunkt i en
vurdering af de analyser, som den reviderede institution selv har foretaget, er første trin i
forundersøgelsen at afklare, hvilke analyser der allerede er foretaget af indsatsen. Hvis den
reviderede institution selv udarbejder relevante effektivitetsundersøgelser, bør disse lægges
til grund for revisionen. Undersøgelser af eksisterende analyser betegnes metaundersøgelser,
jf. kap. VI.
7. Hvis den reviderede institution ikke selv udarbejder effektivitetsundersøgelser, vil forundersøgelsen
skulle bruges til at afklare, om Rigsrevisionen skal udarbejde en effektivitetsundersøgelse.
Beslutningen herom bør bl.a. bygge på følgende overvejelser:
Er indsatsen moden til en undersøgelse af målopfyldelse, effekt og/eller omkostningseffektivitet?
Er antagelserne om sammenhængen mellem mål, indsats og effekt tydelige?
Foreligger det fornødne datagrundlag i institutionen, eller kan det tilvejebringes?
8. De følgende kapitler beskriver fremgangsmåden for at gennemføre undersøgelser af målopfyldelse
(kap. III), effekt (kap. IV) og omkostningseffektivitet (kap. V). Metaundersøgelser
omtales specifikt i kap. VI, men forholder sig til samme elementer, som er beskrevet i de foregående
kapitler.

III. Undersøgelse af målopfyldelse
VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 5
9. I en undersøgelse af målopfyldelse sammenlignes de opstillede mål med de faktisk
realiserede resultater. Undersøgelsen kan omfatte mål på alle niveauer, fx inputmål, aktivitetsmål,
resultatmål, effektmål mv. Hvis undersøgelsen tager udgangspunkt i effektmål, vil
undersøgelsen få karakter af en effektundersøgelse, jf. kap. IV.
Vurdering af indsatsens mål
10. Det første trin i en undersøgelse af målopfyldelse er at vurdere de mål, den reviderede
institution har opstillet for indsatsen. Herunder om de opstillede mål for indsatsen er omfattet
af de overordnede målsætninger, der er på policy-området. Der er forskellige tilgange
til at vurdere kvaliteten af de opstillede mål. I det følgende beskrives de krav, som man kan
stille til gode mål, med udgangspunkt i SMART-modellen.
SMART-modellen
11. Ifølge SMART-modellen er et godt mål kendetegnet ved at være:
specifikt (Specific)
målbart (Measurable)
accepteret (Acceptable)
realistisk (Realistic)
tidsbestemt (Timely) 3) .
12. Et mål er specifikt, hvis det er så konkret og detaljeret, at det præcist angiver, hvad der
ønskes opnået med indsatsen. Målet skal helst være formuleret som en positiv angivelse af
den udvikling, som indsatsen skal bidrage til. Målet skal desuden være målbart, hvilket vil
sige, at det så vidt muligt skal kunne nedbrydes i kvantitative succeskriterier.
Hvis et mål ikke er specifikt og målbart, kan det være svært at vurdere, om målet er nået, og
dermed afgøre, om midlerne bruges i overensstemmelse med bevillingen. Som revisor kan
det derfor være nødvendigt ex post at kvantificere målene og opstille succeskriterier, så det
bliver muligt at vurdere, om målet er nået. Det er vigtigt at inddrage den reviderede institution
i en sådan proces.
Ifølge SMART-modellen skal et mål også være accepteret og realistisk. Det vil sige, at der
skal være enighed om målet blandt de vigtigste aktører, og at det skal være sandsynligt, at
målet kan nås med de resurser, der er til rådighed.
Endelig stiller SMART-modellen krav om, at målet er tidsbestemt, så det klart fremgår,
hvornår indsatsen eller dele af indsatsen skal være opfyldt. Hvis målet ikke er tidsbestemte,
kan det være vanskeligt at vurdere udviklingen i målopfyldelsen.
3) Der findes forskellige udlægninger af, hvad bogstaverne SMART står for.

6 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
CREAM-modellen
13. For at kunne følge op på de opstillede mål, vil det ofte være nødvendigt at udvikle indikatorer,
så man har noget at måle på. CREAM-modellen kan anvendes til at kvalitetssikre,
om de valgte indikatorer er gode at styre efter. Ifølge CREAM-modellen er en god indikator
kendetegnet ved at være:
klar (Clear)
relevant (Relevant)
ikke-resursekrævende (Economic)
dækkende (Adequate)
målbar (Monitorable).
14. Ifølge CREAM-modellen skal en indikator være klar og relevant, hvilket vil sige, at indikatoren
skal være præcis og entydig i forhold til det fænomen, den måler, og at den skal
være tilstrækkelig i forhold til at kunne belyse de ønskede resultater. Indikatoren skal desuden
være ikke-resursekrævende og dækkende, hvilket vil sige, at udgifterne til indsamling
af data skal stå mål med den viden om de ønske resultater, som indikatoren giver, og at
den skal give et tilstrækkeligt grundlag at vurdere resultaterne på. Endelig skal indikatoren
være målbar, hvilket vil sige, at den så vidt muligt skal give en pålidelig og gyldig viden om
udviklingen i målopfyldelsen.
Øvrige krav til gode mål
15. Ud over de krav, som SMART- og CREAM-modellerne formulerer, er det relevant at
overveje, om indsatsens mål er i overensstemmelse med målene for institutionens øvrige
virke. Desuden er det relevant at vurdere alle mål for indsatsen som helhed. Målene skal
helst repræsentere forskellige aspekter af indsatsen. Fx kan der opstilles mål for både produktivitetsudvikling,
effekt, kvalitet og service.

IV. Undersøgelse af effekt
VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 7
16. I det følgende gennemgås Rigsrevisionens model til udarbejdelse af en effektundersøgelse.
Modellen beskriver 6 faser:
1) analyse af mål for indsatsen, jf. kap. III
2) kortlægning af indsatsens programteori 4)
3) udpegning af indikatorer
4) undersøgelsesdesign, identifikation af data og valg af dataindsamlingsmetode
5) dataindsamling
6) analyse.
Fase 2-4 gennemføres som hovedregel i den opstillede rækkefølge, men man kan efterfølgende
vende tilbage hertil, hvis det senere viser sig, at de beslutninger, som er taget tidligt
i undersøgelsesforløbet, må revideres for at give et bedre fundament for den videre undersøgelse.
Fase 1: Analyse af mål for indsatsen
17. I den første fase undersøges målene for indsatsen. Målene vurderes efter samme principper
som i en undersøgelse af målopfyldelse, der er beskrevet i kap. III.
Fase 2: Kortlægning af indsatsens programteori
18. Programteorien for en indsats er den teori eller de forestillinger om sammenhæng mellem
indsats og effekt, som ligger til grund for iværksættelsen af en indsats. Programteorien
beskriver, hvordan indsatsen antages at føre til en opnåelse af de opstillede mål og forventede
effekter. I nogle tilfælde fremgår programteorien direkte af lovgivningen eller andet
baggrundsmateriale. I andre tilfælde vil det være nødvendigt, at Rigsrevisionen rekonstruerer
programteorien i samarbejde med den reviderede institution. I sådanne situationer er
der flere mulige kilder til programteorien:
lovgivning og andre officielle dokumenter
faglig teori
evalueringer, undersøgelser og rapporter
fagfolks/sagsbehandleres erfaringer
observationer
interviews med brugere.
Uanset hvilken metode der vælges, er det altid vigtigt at inddrage den reviderede institution
i kortlægningen af en programteori.
4) I denne vejledning bruges ”programteori” som betegnelse for den teori eller de forestillinger om sammenhæng
mellem indsats og effekt, der ligger til grund for iværksættelsen af en indsats. Andre betegnelser
for ”programteori” er forandringsteori eller interventionslogik.

8 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
19. Boks 1 viser en oversigt over, hvad en programteori ideelt set indeholder.
BOKS 1. PROGRAMTEORI
Den gode programteori rummer:
en beskrivelse af indsatsen pindet ud i detaljer
en beskrivelse af ønskede og uønskede led i kæden mellem indsats og virkning
en beskrivelse af de forventede resultater
en beskrivelse af mulige utilsigtede virkninger
en beskrivelse af de betingelser, der er afgørende for, at hvert led i kæden fører til det næste
en beskrivelse af mulige eksterne faktorer, der kan påvirke effekten.
20. Når programteorien er kortlagt, skal de dele af programteorien, der skal indgå i den videre
undersøgelse, udvælges. Boks 2 angiver relevante spørgsmål i forbindelse med udvælgelsen
af disse dele af programteorien.
BOKS 2. RELEVANTE SPØRGSMÅL VED UDVÆLGELSEN AF DELE AF PROGRAMTEORIEN
Relevante spørgsmål ved udvælgelsen af dele af programteorien til nærmere undersøgelser:
Hvilke dele af programteorien er kritiske eller afgørende for indsatsen?
Hvor er programteorien ”tyndest” – dvs. hvor er antagelserne som sammenhæng mellem
indsats og virkning mest usikre?
Hvor anvendes der flest resurser?
Hvad er der størst behov for at få viden om?
Hvad er der størst politisk interesse for?
Hvad er mest interessant set fra en revisionsmæssig vinkel?
Er programteorien eller dele af programteorien ændret over tid?
Fase 3: Udpegning af indikatorer
21. Når programteorien er opstillet, skal der identificeres målbare indikatorer for de effekter,
som indsatsen stiller i udsigt. Indikatorerne bruges til at vurdere, om den ønskede effekt opnås.
I praksis er det ofte ikke muligt at finde en enkelt indikator, der nøjagtigt måler effekten
af indsatsen. Det vil derfor ofte være nødvendigt at arbejde med flere indikatorer, som belyser
forskellige dele af programteorien. Gode indikatorer kan opstilles efter de principper,
som er beskrevet i kap. III.
22. Indikatorerne kan blive påvirket af en række udefrakommende faktorer, fx demografiske
forhold, konjunkturudviklingen eller statistiske problemer. Effekten af den konkrete
indsats bør derfor så vidt muligt isoleres i analysen. Nogle faktorer kan således inddrages
som kontrolvariable i en statistisk analyse, fx hvis det drejer sig om demografiske eller socioøkonomiske
forhold som aldersfordeling og uddannelsesniveau. Det er dog i praksis
særdeles svært at tage højde for alle de faktorer, der kan påvirke sammenhængen mellem
indsats og effekt. Alternativt kan man derfor beskrive, hvilke faktorer der potentielt kan påvirke
indikatorernes validitet, og inddrage dette i en samlet vurdering af undersøgelsens
pålidelighed.
Fase 4: Undersøgelsesdesign, identifikation af data og valg af dataindsamlingsmetode
23. I denne fase undersøges mulige undersøgelsesdesign, valg af data til belysning af de
udpegede indikatorer og metoder til indsamling af data. Valget af dataindsamlingsmetode
bør vurderes i forhold til omkostningerne ved indsamlingen.

VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 9
24. Når der tilrettelægges en undersøgelse af effekt, bør det overvejes, hvilket evidensniveau
det er muligt at opnå med undersøgelsesdesignet i forhold til, hvilke data der er til
rådighed. Placeringen i evidenshierarkiet er udtryk for, hvor sikker viden om årsags-virkningssammenhæng
det valgte undersøgelsesdesign vil give. Boks 3 illustrerer evidenshierarkiet
og beskriver, hvilke krav de forskellige undersøgelsesdesign stiller til data.
BOKS 3. EVIDENSHIERARKIET FOR FORSKELLIGE UNDERSØGELSESDESIGN
Niveau Undersøgelsesdesign Krav til data
1 Randomiserede, kontrollerede forsøg,
hvor kontrolgruppen er udvalgt forud for
indsatsen.
2 Kvasieksperimentelle, kontrollerede forsøg
baseret på matchning, hvor kontrolgruppen
kan findes, efter at indsatsen er
gennemført.
Kvantitative data for 2 ens grupper i kontrollerede omgivelser,
hvor den ene gruppe (indsatsgruppen) modtager indsatsen,
mens den anden gruppe (kontrolgruppen) ikke modtager indsatsen.
Data kan indsamles på forskellige måder, fx register,
målinger, observationer, spørgeskema mv.
Kvantitative data for 2 ensartede grupper, hvor den ene gruppe
får indsatsen, mens den anden er kontrolgruppe. Data kan
indsamles på forskellige måder (register, målinger, observationer,
spørgeskema mv.).
3 Tidsserieundersøgelser Kvantitative data, der følger indsatsgruppen over tid.
4 Paneldataanalyser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter
over tid.
5 Tværsnitsundersøgelser Kvantitative data for 2 eller flere sammenlignelige undersøgelsesobjekter
på et bestemt tidspunkt.
6 Procesevaluering Kvantitative og/eller kvalitative data for et indsatsforløb. Ideelt
indsamles data realtime, mindre ideelt via historisk analyse.
7 Kvalitative casestudier Kvalitative data – udsagn om indsatsens virkning og systematiske
observationer. Designet kan også bruges til at indsamle
kvantitative data (optællinger mv.).
8 Erfaringer og eksempler på god praksis Kvalitative data – udsagn om, hvorfor indsatser virker.
9 Ekspertvurderinger Kvalitative data – udsagn om indsatsens virkning.
10 Brugerevalueringer Kvantitative og/eller kvalitative data, der beskriver brugernes
oplevelse af indsatsens virkning.
Kilde: Frit efter Olaf Rieper og Hanne Foss Hansen i ”Metodedebatten om evidens” (AKF-forlaget 2007).
25. Som det fremgår af boks 3, har undersøgelser med sammenligninger mellem 2 grupper
(en undersøgelsesgruppe og en kontrolgruppe) størst evidens. Randomiserede, kontrollerede
forsøg forudsætter imidlertid, at de 2 grupper påvirkes lige meget af eksterne forhold,
hvilket i praksis er svært at gennemføre, mens kvasieksperimentelle, kontrollerede forsøg
forudsætter, at påvirkningen fra indsatsen kan isoleres fra øvrige påvirkninger. Tidsserieundersøgelser,
paneldataanalyser og tværsnitsundersøgelser er baseret på kvantitative data
for en indsatsgruppe og er i praksis lettere at gennemføre end de 2 førnævnte metoder.
Metoderne er uddybet under fase 6. De øvrige metoder, der fremgår af evidenshierarkiets
niveau 6-10, er ofte baseret på både kvantitative og kvalitative data for indsatsen.

10 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
26. Rigsrevisionens undersøgelser vil ofte være baseret på flere af de nævnte metoder og
være baseret på både kvantitative og kvalitative data, idet det ofte vil være nødvendigt at
kvalificere resultaterne af en kvantitativ undersøgelse gennem fx interviews og ekspertvurderinger.
27. For de kvantitative dele af undersøgelsen er det vigtigt, at Rigsrevisionen og den reviderede
er enige om pålideligheden, relevansen og validiteten af de anvendte data, så de
pågældende data kan anvendes som grundlag for de videre analyser. Ved identifikation af
data for indikatorerne kan der fx anvendes data fra institutionens egne registreringssystemer
eller fra Danmarks Statistiks forskellige databaser, herunder data fra statistikbanken.
28. Hvis der skal indhentes registerdata, kontaktes de relevante myndigheder med henblik
på at få oplyst leveringstider og priser for afgivelsen af data. Rigsrevisionens egne muligheder
for at analysere data undersøges, og det undersøges, hvilke alternativer der er hertil, fx
at få foretaget analyser hos eksterne udbydere.
29. Hvis der skal foretages interviews, vurderes det, hvor mange og hvilke personer der skal
interviewes, og hvor lang tid der er til rådighed til at gennemføre interviewene. Ved brug af
ekspertpaneler og spørgeskemaundersøgelser undersøges mulighederne og tidsperspektivet
på denne løsning.
Fase 5: Dataindsamling
30. I denne fase er det vigtigt at forholde sig kritisk til de anvendte datas validitet og pålidelighed
og teste datas repræsentativitet. Hvis der fx foretages et udtræk på erhvervsvirksomheder
i Danmark, vil det være en god idé at få klarhed over, om data fordeler sig nogenlunde
som forventet.
Fase 6: Analyse
31. I denne fase undersøges de enkelte årsags-virkningssammenhænge i forhold til programteorien
ud fra de indhentede data. I de fleste tilfælde vil det være en fordel at inddrage
flere forskellige metoder, så både rent kvantitative målinger foretages, og mere kvalitative
resultater belyses.
32. Valget af den kvantitative metode afhænger af, hvilke data det har været muligt at indsamle,
jf. boks 3. Da det ofte ikke er muligt at foretage randomiserede, kontrollerede eksperimenter
og kvasieksperimentelle undersøgelser, vil undersøgelserne ofte være en
tidsserieundersøgelse, en tværsnitsundersøgelse eller en paneldataanalyse.
33. Tværsnitsundersøgelser giver mulighed for at analysere flere grupper, der påvirkes
forskelligt af et program i en given tidsperiode. Evidensen af resultaterne af en sådan analyse
svækkes af, at analysen alene foretages i én periode. Ved at kombinere en tværsnitsundersøgelse
med en tidsserieundersøgelse bliver det muligt at foretage en paneldataanalyse.
Her er det muligt at undersøge, hvordan flere grupper påvirkes af et program over
tid, hvilket styrker analyseresultaternes evidens.
34. Tidsserieundersøgelse, herunder før- og efteranalyser, giver ligeledes mulighed for
evidente resultater, da det er den samme gruppe, der analyseres over tid. Dog er der risiko
for, at gruppen påvirkes forskelligt af eksterne forhold gennem undersøgelsesperioden,
hvilket vil underminere analyseresultaternes pålidelighed.

V. Undersøgelse af omkostningseffektivitet
VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER 11
35. Formålet med en undersøgelse af omkostningseffektivitet kan enten være at vurdere
omkostningseffektiviteten (dvs. forholdet mellem de opnåede effekter og de anvendte resurser)
for en enkelt indsats eller at udpege den indsats blandt flere, som levere en indsats af
høj kvalitet til lavest mulige omkostninger.
I en undersøgelse af omkostningseffektivitet sammenlignes omkostningerne ved indsatsen
(opgjort i kroner og ører) med effekten af indsatsen (opgjort i fysiske enheder, fx antal hofteoperationer,
antal personer med en ungdomsuddannelse osv.). Herunder søges også eventuelle
sideeffekter værdisat. Boks 4 viser de punkter, der bør vurderes forud for en undersøgelse
af omkostningseffektivitet.
BOKS 4. VURDERINGER VED UNDERSØGELSE AF OMKOSTNINGSEFFEKTIVITET
Anvendes en kontering for omkostninger og indtægter, som gør det muligt at følge de finansielle
transaktioner vedrørende en indsats med det formål at måle omkostningseffektiviteten?
Er alle relevante input opgjort og medtaget i undersøgelsen?
36. En undersøgelse af omkostningseffektivitet kan foretages ved hjælp af 3 analysemetoder:
brøkmetoden, hvor forholdet mellem produktion og resurseanvendelse vurderes
Data Envelopment Analysis (DEA)-metoden, hvor den optimale sammenhæng mellem
produktion og resurseanvendelse findes ved hjælp af lineær programmering
regressionsanalyse, hvor der estimeres en gennemsnitlig sammenhæng mellem produktion
og resurseanvendelse.
37. Både regressionsanalysen og DEA-metoden giver mulighed for at beregne omkostningseffektiviteten
ud fra en marginalbetragtning, dvs. hvor meget ændres effekterne, når resurseanvendelsen
ændres. Opgøres resurseanvendelsen som omkostninger, bliver det derved
muligt at foretage et skøn over de gennemsnitlige og marginale ”priser” for effekterne.

12 VEJLEDNING OM EFFEKTIVITETSUNDERSØGELSER
VI. Metaundersøgelse
38. I metaundersøgelsen bedømmes kvaliteten af de analyser, som den reviderede institution
selv har gennemført, og af de eventuelle tiltag, der er taget på baggrund heraf. Inden
udarbejdelsen af en metaundersøgelse er det vigtigt at tage hensyn til institutionens grundlag
for at gennemføre effektivitetsanalyser og eventuelle krav til udformningen af sådanne i
fx lov- eller aftalegrundlag.
Vurderingen af en institutions analyser bør tage udgangspunkt i kravene til effektivitetsundersøgelser,
som er beskrevet i de foregående kapitler. Boks 5 viser en oversigt over,
hvilke elementer der kan indgå i vurderingen.
BOKS 5. ELEMENTER I VURDERINGEN AF EN INSTITUTIONS ANALYSER AF EFFEKTIVITET
Er der opstillet effektmål, og er målene målbare?
Er der opstillet en tilfredsstillende programteori?
Er målsætningerne er i overensstemmelse med lov- og aftalegrundlaget?
Er der fulgt op på, om målene er nået?
Er der anvendt en tilfredsstillende analysemetode?
Dækker analysen indsatsens væsentligste målsætninger?
39. Derudover kan følgende kriterier vurderes:
undersøgelsens relevans, dvs. om undersøgelsen opfylder formålet, og om væsentlig
information afdækkes
undersøgelsens faglige kvalitet, dvs. om undersøgelsen anvender videnskabeligt etablerede
teoretiske, metodiske og tekniske analysemetoder, og om data er valide og relevante
undersøgelsens anvendelighed, dvs. om resultaterne af en undersøgelse kan anvendes
i den administrative proces eller til gennemførelse af en politik.