Måluppfyllelseanalys - Ekonomistyrningsverket
Måluppfyllelseanalys - Ekonomistyrningsverket
Måluppfyllelseanalys - Ekonomistyrningsverket
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
När man redovisar information om effekten bör<br />
man ange såväl det faktiska tillståndet som det kontrafaktiska<br />
tillståndet. Dessutom bör man redogöra<br />
för hur man har kommit fram till det kontrafaktiska<br />
tillståndet.<br />
Av Försäkringskassans måluppfyllelsebedömning<br />
beträffande målet om delad föräldrapenning kunde<br />
vi utläsa att det faktiska tillståndet har förändrats i<br />
riktning mot målet. I deras årsredovisning för 2004<br />
anges en ökning från 7,2 procent till 8,7 procent<br />
av dagarna som har tagits ut av män. Det blir en<br />
skillnad på ,5 procentenhet. Den årliga effekten<br />
(som vi antar här) skulle i ett gynnsamt scenario<br />
kunna vara två tredjedelar av den faktiska förändringen<br />
av tillståndet, dvs. en procentenhet. Att<br />
komma fram till just denna skillnad förutsätter att<br />
det finns en redogörelse om den kontrafaktiska förändringen<br />
av tillståndet. Det bör helt enkelt finnas<br />
angivet i årsredovisningen hur utvecklingen skulle<br />
ha blivit om åtgärderna inte hade vidtagits.<br />
Det transparenta effektpåståendet fordrar<br />
dessutom något argument för det kontrafaktiska<br />
tillståndet. Det är först när den resterande halva<br />
procentenheten med skäl har tillskrivits andra förklaringsfaktorer<br />
än åtgärderna som vi på ett transparent<br />
sätt kan påstå att effekten av Försäkringskassans<br />
åtgärder blev en procentenhet.<br />
Några exempel på hur man kan argumentera för<br />
det kontrafaktiska tillståndet har beskrivits ovan:<br />
Uppläggningar med både försöks- och kontrollgrupp<br />
• Slumpmässig kontroll – data från kontrollgruppen<br />
blir det kontrafaktiska tillståndet (försöks- och<br />
kontrollgrupp görs likvärdiga i alla avseenden).<br />
• Matchad kontroll – data från kontrollgruppen<br />
blir det kontrafaktiska tillståndet (försöks- och<br />
kontrollgrupp görs likvärdiga i vissa avseenden).<br />
Uppläggningar med endast en undersökningsgrupp<br />
• Reflexiv kontroll – extrapolerade data från<br />
föremätning i undersökningsgruppen blir det<br />
kontrafaktiska tillståndet (kontrollgrupp saknas).<br />
• Skuggkontroll – det kontrafaktiska tillståndet<br />
uppskattas av sakkunniga (såväl kontrollgrupp som<br />
föremätning saknas).<br />
I samband med att man anger det kontrafaktiska<br />
tillståndet bör man nämna vilken metod man har<br />
tillämpat. Eftersom olika metoder har olika bevisvärde<br />
ger man därmed läsaren en möjlighet att<br />
själv bilda sig en uppfattning om effektpåståendets<br />
användbarhet.<br />
Metoden kan vara acceptabel därför att det effektpåstående<br />
som har utmynnat från den är acceptabelt<br />
att använda i någon situation. Men varken<br />
revisionen eller någon annan kan med en generell<br />
bedömning garantera att just detta konkreta effektpåstående<br />
– som har utmynnat från en i raden<br />
av acceptabla metoder – är acceptabelt att använda<br />
i just denna konkreta situation. Den bedömningen<br />
kan bara göras av den som ska använda informationen<br />
i den konkreta situationen. Därför är det viktigt<br />
att redovisningen av effekten blir så transparent<br />
som möjligt.<br />
Även om denna skrift inte är en handbok i statistik<br />
kan det ändå vara på sin plats att lyfta fram<br />
en sak som hör statistiken till. När man använder<br />
statistiska metoder är det kutym att beräkna konfidensintervall<br />
eller motsvarande. Om skillnaden<br />
mellan två mätvärden ligger inom den felmarginal<br />
som följer av någon föregiven säkerhetsnivå (t.ex.<br />
95-procentig säkerhet) är det meningen att man<br />
ska ta skillnaden med en nypa salt. Med angivna<br />
konfidensintervall blir redovisningen synnerligen<br />
transparent. l<br />
3