Peter Dahler Larsen 150911.pdf
Peter Dahler Larsen 150911.pdf
Peter Dahler Larsen 150911.pdf
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Evaluering af forløbsprogrammer<br />
15. Sept 2011<br />
Professor <strong>Peter</strong> <strong>Dahler</strong>-<strong>Larsen</strong>, PhD<br />
Institut for Statskundskab<br />
Syddansk Universitet, Odense
Evalueringens Bermuda-trekant:
Evaluering<br />
• Systematisk, metodisk<br />
• Vurdering af<br />
• Ide, gennemførelse, præstationer<br />
(output) og udfald (outcome) vedr<br />
offentlig indsats som<br />
• Tænkes at spille i rolle i praktiske<br />
anvendelsessituationer
Situationsanalyse
Evaluering kan være mere<br />
eller mindre…<br />
• Designdrevet<br />
• Teoridrevet<br />
• Værdidrevet<br />
• Forståelsesdrevet<br />
• Problemdrevet<br />
• Anvendelsesdrevet
Eksempler på anvendelser<br />
• Vælge mest effektive behandlingsmetode<br />
• Fremme intern udvikling af projekt/initiativ<br />
• Fremme basisorganisationers læring<br />
• Vinde støtte i fht eksterne parter for at fremme<br />
projektets/initiativets overlevelsesmuligheder<br />
• Fremme vidensudvikling og læring i felt<br />
• Sikre rapport til ministeriet
Brugere af evaluering<br />
Ministeriet<br />
Politikere<br />
Afdelinger<br />
Praktiserende<br />
læger<br />
Kommuner<br />
Hospitalsledelse<br />
Personalegrupper<br />
Forløbskoordinatorer<br />
Andre regioner<br />
Design Finans Støt Implem Lær (i, b, e) Modstand
Argumentation og anvendelse:<br />
Kontekster<br />
konflikt<br />
forandringspres
Situationsanalyse
Evaluability Assessment:<br />
• Veldefineret indsats?<br />
• Klare mål?<br />
• Klar programteori?<br />
• Ved man indsatsen er svagt implementeret?<br />
• Data inden for rækkevidde?<br />
• Veldefinerede beslutningstagere klar til at<br />
tage beslutning pga evaluering?
effektevaluering<br />
• Variansbaserede tilgange<br />
• Hierarki af designs, hvor RCT er øverst<br />
• Procesbaserede tilgange
Hvorfor procesbaseret tilgang?<br />
• Variansbaseret analyse evt umulig pga<br />
• Etik, politik eller praktiske forhold<br />
• Ikke standardiseret indsats<br />
• Ikke kontrolgruppe<br />
• For sent<br />
• Betydningen af kontekst<br />
• Indsatsens karakter (kompleksitet, dynamik)<br />
• Kultur og institutioner<br />
• Mening og engagement<br />
• Der er manglende effekt. Hvorfor?<br />
• Implementeringsfejl eller teorifejl?
Troværdighed i procesbaseret<br />
effektanalyse?<br />
• En stor del af vores viden om kausale<br />
forhold er ikke baseret på<br />
eksperimentelle designs<br />
• Vi drager faktisk seriøse konklusioner<br />
pba procesanalyser
Virkningsevaluering<br />
Holder programteorien?<br />
Programteorien = nogle begrundede<br />
forestillinger om, hvorfor denne indsats<br />
skulle have disse resultater for denne<br />
gruppe mennesker i denne situation
Med programteori kan vi…:<br />
• Formulere indsatsen præcist<br />
• Indledende eval ved logisk/kritisk tænkning<br />
• Præcisere virkningsmekanismer<br />
• Styrke tiltro til indsatsen<br />
• Bestemme hvilke dele af indsatsen virker<br />
• Kvalificere outcome-mål<br />
• Præcisere betydning af kontekst<br />
• Skelne teorifejl/implementeringsfejl
Kilder til programteori<br />
• Teori & forskning<br />
• Faglig teori<br />
• Organisationsteori<br />
• …<br />
• Rapporter, evalueringer<br />
• Observationer fra praksis<br />
• Udsagn fra folk ”i marken”<br />
• Interaktive metoder…
Principper i<br />
virkningsevaluering<br />
• Problemet opstår fordi…<br />
• Velbeskrevet indsats<br />
(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />
• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />
• aktør-verbum-ting, ting-verbum-aktør<br />
• Hvad skal til for at indsatsen kan lykkes<br />
• Outcome så logisk koblet som muligt til filosofien i<br />
indsatsen (eks tegn på god koordination)<br />
• Nødvendighed og specificitet i empiriske tegn
Problemerne opstår fordi…<br />
• Der findes uhensigtsmæssige<br />
sygehuskontakter fordi…<br />
• …<br />
• …<br />
• Patientforløb kan være dårlige fordi<br />
• …<br />
• …<br />
• …
Principper i<br />
virkningsevaluering<br />
• Problemet opstår fordi…<br />
• Velbeskrevet indsats<br />
(eks ”blød funktion”?)(eks roller for forløbskoordinator)<br />
• Teori om hver fase (eks: hvad gør ernæringsepikrisen)<br />
• aktør-verbum-ting, ting-verbum-aktør<br />
• Hvad skal til for at indsatsen kan lykkes<br />
• Outcome så logisk koblet som muligt til filosofien i<br />
indsatsen (eks tegn på godt samarbejde)<br />
• Nødvendighed og specificitet i empiriske tegn
Konsekvenser af tegn på<br />
proces<br />
- Nødvendighed<br />
- Specifitet + Specificitet<br />
+ Nødvendighed
Konsekvenser af tegn på<br />
proces<br />
- Specifitet + Specificitet<br />
- Nødvendighed Hvis tegnet<br />
findes: Svække<br />
andre teorier<br />
+ Nødvendighed Hvis tegnet<br />
mangler:<br />
Falsifikation af<br />
teori
Teori om forløbsprogram<br />
• Organisationens brug af forløbsprogram (udvikle, godkende,<br />
implementere, evaluere)<br />
• Teori om forløbsprogram som virkemiddel<br />
• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />
• kontekst<br />
• Den lb mensk og org indsats<br />
• Forløbskoordinator<br />
• Uformel koordinering<br />
• Teori om et givet forløbsprogram<br />
• Type af aftale/plan<br />
• Kontekst<br />
• Lb mensk og org indsats
terminologi<br />
• Samarbejde<br />
• Koordinering<br />
• Plan<br />
• Struktur/rolle<br />
• Værdier/forståelser<br />
• Dynamik<br />
• Arbejdsdeling<br />
• Hierarki<br />
• Planlagt/uplanlagt<br />
• Formelt/uformelt
Teori om forløbsprogram<br />
• Organisationens brug af forløbsprogram (udvikle, godkende,<br />
implementere, evaluere)<br />
• Teori om forløbsprogram som virkemiddel<br />
• Hvad kan aftaler og planer (arbejdsdel og koordin)<br />
• kontekst<br />
• Den lb mensk og org indsats<br />
• Forløbskoordinator<br />
• Uformel koordinering<br />
• Teori om et givet forløbsprogram<br />
• Type af aftale/plan<br />
• Kontekst<br />
• Lb mensk og org indsats
Situationsanalyse
Brugerorienteret evaluering<br />
• Top-down eller bottom-up: Hvem<br />
sætter kriterierne?<br />
• Afgrænsning af brugere<br />
• Forvekslingsargumentet: god faglighed<br />
versus ”overfladisk” behagelighed?<br />
• Inkonsistens<br />
• Uenighed
Brugerorienteret evaluering<br />
iflg BIKVA-modellen
Participatorisk evaluering<br />
• Forskellighed<br />
• Magtdistance<br />
• Dybde<br />
• Tid<br />
• Styrbarhed
Change language