EVALUERING AF PROJEKTER DER HAR ... - Oxford Research
EVALUERING AF PROJEKTER DER HAR ... - Oxford Research
EVALUERING AF PROJEKTER DER HAR ... - Oxford Research
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>EVALUERING</strong> <strong>AF</strong> <strong>PROJEKTER</strong> <strong>DER</strong> <strong>HAR</strong> MODTAGET<br />
STØTTE FRA FOREBYGGELSESFONDEN<br />
- Første delevaluering af Forebyggelsesfondens projekter<br />
Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00<br />
<strong>Oxford</strong> <strong>Research</strong> A/S<br />
Amagertorv 19, 3.<br />
1160 København K<br />
Tlf.: +45 33 69 13 69<br />
Fax: +45 33 69 13 33<br />
office@oxfordresearch.dk<br />
www.oxfordresearch.dk<br />
CVR nr. 20 12 40 91<br />
Reg.nr.: A/S 237.171<br />
Valued Acer Customer<br />
Direkte:
Evaluering af projekter der har modtaget<br />
støtte fra forebyggelsesfonden<br />
Første delevaluering af Forebyggelsesfondens projekter<br />
Udarbejdet for Forebyggelsesfonden - december 2011<br />
Rapporten er udarbejdet af:<br />
<strong>Oxford</strong> <strong>Research</strong> A/S<br />
Direktør Helle Ourø Nielsen<br />
Chefanalytiker Sandy Brink<br />
Analytiker Jakob Bom<br />
Analytiker Dorte Stenbæk Hansen<br />
<strong>Research</strong>er Mikkel Schwab<br />
<strong>Research</strong>er Maj Baltzarsen<br />
Kubix ApS<br />
Direktør Bruno Clematide<br />
Konsulent Ph.d. Pernille Bottrup<br />
RUC (Center for Arbejdsmiljø og Arbejdsliv)<br />
Professor Helge Hvid<br />
Ph.d. Lektor Henrik Lambrecht Lund<br />
SFI (forskningsafdeling for Beskæftigelse & Integration)<br />
Seniorforsker Ph.d. Helle Holt<br />
Seniorforsker Ph.d. Jan Høgelund<br />
Arbejdsmedicinsk klinik ved Regionshospitalet Herning<br />
Seniorforsker Ph.d. Merete Labriola<br />
Henvendelse om rapporten kan ske til:<br />
Direktør Helle Ourø Nielsen, <strong>Oxford</strong> <strong>Research</strong> A/S<br />
Rapporten kan hentes på Forebyggelsesfondens hjemmeside:<br />
www.forebyggelsesfonden.dk<br />
2
Forord<br />
Dette er første evalueringsrapport om Forebyggelsesfondens resultater. Evalueringsopgaven<br />
varetages af et konsortium bestående af Kubix, Center for Arbejdsmiljø og Arbejdsliv<br />
på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge, Arbejdsmedicinsk klinik i Herning og<br />
<strong>Oxford</strong> <strong>Research</strong>. Konsortiet blev valgt til opgaven gennem et EU-udbud i begyndelsen af<br />
2011. Den første evalueringsrapport omfatter 114 projekter, fortrinsvis fra 2007 og 2008.<br />
Forebyggelsesfonden blev oprettet i 2007 med det formål at yde støtte til indsatser på<br />
danske virksomheder, der skal reducere omfanget af nedslidning. Det vil sige til:<br />
• Projekter, der kan forebygge nedslidning gennem arbejdsmiljøforbedringer<br />
• Projekter, der kan bidrage til, at personer der er nedslidte og sygemeldte kan hjælpes<br />
hurtigere tilbage til arbejde<br />
• Projekter, der kan forebygge nedslidning gennem sundhedsfremme.<br />
Fondens fokus er de virksomhedsnære indsatser – altså en slags bottom-up model, hvor<br />
virksomhederne selv definerer konkrete forslag til projekter under de ovennævnte formål.<br />
Det har betydet en stor mængde nytænkende idéer, der har til formål at forebygge nedslidning<br />
og hjælpe nedslidte borgere med at bevare tilknytningen til arbejdsmarkedet.<br />
Bestyrelsen ønsker at prioritere og målrette fondens midler der, hvor de gør mest gavn.<br />
Ønsket om at kunne dokumentere resultaterne af de projekter, fonden giver støtte til, har<br />
betydet, at fondens bestyrelse fra fondens start har stillet krav om, at projekterne evalueres<br />
og afrapporteres i evalueringsrapporter.<br />
Et centralt budskab i nærværende rapport er, at mange projekter ikke formår at måle,<br />
om deres projekt rent faktisk har haft en effekt. Det er således vanskeligt pt. at sige noget<br />
meget håndfast om, hvilke effekter projekterne opnår. Allerede inden rapporten forelå<br />
fra ekstern evaluator, har bestyrelsen foretaget egne resultatopsamlinger, som også<br />
har vist, at det er vanskeligt for projektejerne at måle på deres indsatser. Bestyrelsen har<br />
fulgt op på dette ved bl.a. at:<br />
• Arbejde med at sikre mere konkrete og målbare succeskriterier for de projekter, der<br />
opnår støtte.<br />
• Udarbejde en mere systematisk slutrapport, som projektejerne skal udarbejde ved<br />
afslutningen af deres projekt.<br />
• Udarbejde en uddybet evalueringsvejledning til brug for overvejelser om evalueringsmetoder<br />
i forbindelse med udformningen af projektansøgningen.<br />
Generelt er det bestyrelsens opfattelse, at mange projektejere opfatter, at alene det at<br />
gennemføre en projektproces i sig selv er et resultat, selvom der ikke nødvendigvis kan<br />
måles en effekt. Et stykke ad vejen kan bestyrelsen tilslutte sig dette, idet fondens midler<br />
hermed bidrager til en konkret udviklingsproces på en arbejdsplads, som måske først<br />
viser resultater længe efter, at projektet er afsluttet.<br />
Det er imidlertid helt afgørende for bestyrelsen, at fonden gennem de støttede projekter<br />
kan vise, hvad der virker, og hvorfor noget ikke virker. Derfor er bestyrelsen meget optaget<br />
af at anvende anbefalingerne fra evalueringsrapporten aktivt. F.eks. om man kan<br />
opstille standardiserede indikatorer, som kan anvendes ensartet på tværs af projekter og<br />
således bidrage til, at det i højere grad bliver muligt at opgøre og sammenligne målbare<br />
effekter i de projekter, der støttes fremadrettet.<br />
3
Samtidig ligger der meget brugbar information i de projekter, der er støttet hidtil. Som<br />
nævnt har samtlige projekter resulteret i evalueringsrapporter med beskrivelser af de<br />
forløb, de har gennemgået, samt de resultater de har opnået. På Forebyggelsesfondens<br />
hjemmeside er det muligt at søge i såvel igangværende som afsluttede projekter. Det<br />
videnskabelige niveau for indholdet i rapporterne er meget varierende, men de mange<br />
konkrete historier om projekterne, deres indhold, forløb og resultater er en værdifuld<br />
pulje af viden, som løbende vil blive analyseret yderligere, og som kan tjene som inspiration<br />
til især virksomheder, der går med overvejelser om at udtænke et projekt om forebyggelse<br />
og reduktion af nedslidning.<br />
God læselyst<br />
Johannes Due<br />
Formand<br />
4
Indholdsfortegnelse<br />
Forord ............................................................................................................. 3<br />
Kapitel 1. Resume ........................................................................................... 9<br />
Mangelfulde projektevalueringer – en udfordring for nærværende<br />
evaluering ................................................................................... 9<br />
Sammenhænge mellem organisering, indsatstyper, implementering og<br />
videnspredning .......................................................................... 10<br />
1.2 Anbefalinger på flere niveauer ................................................................... 12<br />
Projektnære vejledninger ....................................................................... 12<br />
Overordnede opmærksomhedspunkter.................................................... 13<br />
Forebyggelsesfondens rådgivende funktion ............................................. 14<br />
Øget strategisk fokus i Forebyggelsesfonden ........................................... 14<br />
Kapitel 2. Baggrund ...................................................................................... 15<br />
2.1.1 Forebyggelsesfondens formål ...................................................... 15<br />
2.1.2 Evalueringens afsæt og metode .................................................. 17<br />
2.1.3 Virkningsevaluering .................................................................... 18<br />
2.2 Centrale evalueringsbegreber ................................................................. 19<br />
2.3 Metode ................................................................................................. 20<br />
2.3.1 Analyseværktøj .......................................................................... 21<br />
2.3.2 Effektvariable og målemetoder .................................................... 21<br />
2.3.3 Kvantitativ analyse ..................................................................... 23<br />
2.3.4 Kvalitative analyser .................................................................... 24<br />
2.3.5 Evalueringsspørgsmål og -hypoteser ............................................ 24<br />
2.4 Rapportens opbygning ........................................................................... 24<br />
Kapitel 3. Projektprofiler inden for hovedformål ......................................... 27<br />
3.1 Projekter fordelt på hovedformål ............................................................ 27<br />
3.2 Projekternes omfang .............................................................................. 28<br />
3.3 Kendetegn ved ejerforhold på tværs af hovedformål ................................ 31<br />
3.4 Projekternes indsatser, metoder og succeskriterier .................................. 33<br />
Kapitel 4. Evaluering af HF 1a....................................................................... 37<br />
4.1 Formålet med HF 1a .............................................................................. 37<br />
4.2 Projekternes kontekst ............................................................................ 37<br />
5
6<br />
4.3 Projekternes indsats .............................................................................. 44<br />
4.4 Opsummering HF 1a ............................................................................. 51<br />
Kapitel 5. Evaluering af HF 1b ...................................................................... 53<br />
5.1 Formålet med HF 1b ............................................................................. 53<br />
5.2 Projekternes kontekst ............................................................................ 53<br />
5.3 Projekternes indsats .............................................................................. 56<br />
5.4 Opsummering HF 1b ............................................................................. 59<br />
Kapitel 6. Evaluering af HF 2 ........................................................................ 61<br />
6.1 Formålet med HF 2 ............................................................................... 61<br />
6.2 Projekternes kontekst ............................................................................ 61<br />
6.3 Projekternes indsats .............................................................................. 64<br />
6.4 Opsummering HF 2 ............................................................................... 66<br />
Kapitel 7. Evaluering af HF 3 ........................................................................ 67<br />
7.1 Formålet med HF 3 ............................................................................... 67<br />
7.2 Projekternes kontekst ............................................................................ 67<br />
7.3 Projekternes indsats .............................................................................. 70<br />
7.4 Opsummering HF 3 ............................................................................... 74<br />
Kapitel 8. Analyse på tværs af hovedformål ................................................ 75<br />
8.1 Kontekstfaktorer ................................................................................... 75<br />
8.1.1 Organisering af beslutningskompetence ...................................... 75<br />
8.1.2 Inddragelse af eksterne konsulenter ........................................... 79<br />
8.1.3 Offentlig og privat projektejerskab .............................................. 86<br />
8.1.4 Projekternes omfang .................................................................. 87<br />
8.2 Indsatstyper ......................................................................................... 88<br />
8.3 Implementering og spredning ................................................................ 91<br />
8.3.1 Typer af output ......................................................................... 92<br />
8.3.2 Typer af spredning .................................................................... 92<br />
8.4 Opsummering på analysen på tværs af hovedformål ............................... 95<br />
Kapitel 9. Konklusioner ................................................................................ 97<br />
Kapitel 10. Anbefalinger ............................................................................ 101<br />
10.1 Projektnære vejledninger ..................................................................... 101<br />
10.2 Overordnede opmærksomhedspunkter .................................................. 101<br />
10.2.1 Forebyggelsesfondens rådgivende funktion ................................ 102<br />
10.3 Øget strategisk fokus i Forebyggelsesfonden ......................................... 104<br />
10.3.1 Programteorier som metode ...................................................... 104
10.3.2 Effektmål og succeskriterier ...................................................... 107<br />
10.4 Opsummering ...................................................................................... 108<br />
Bilag 1: Evalueringens anvendte begreber .................................................111<br />
Bilag 2: Undersøgelsesspørgsmål og hypoteser .........................................115<br />
Undersøgelsesspørgsmål .............................................................................. 115<br />
Hypoteser .................................................................................................... 116<br />
Evalueringsvariable (herunder succeskriterier) ....................................... 116<br />
Institutionelle variable .......................................................................... 116<br />
Indsatsvariable .................................................................................... 117<br />
Procesvariable ..................................................................................... 117<br />
Hovedformålsspecifikke variable .................................................................... 118<br />
HF 1a og HF 1b ................................................................................... 118<br />
HF 2…… .............................................................................................. 118<br />
HF 3…… .............................................................................................. 118<br />
7
Kapitel 1. Resume<br />
Nærværende evaluering er første del af en treleddet evaluering af Forebyggelsesfondens<br />
støttede projekter. Formålet med den samlede evaluering er at evaluere de støttede projekters<br />
effekt og proces. Evalueringen skal ligeledes aktivt bidrage til at udvikle Forebyggelsesfondens<br />
arbejde i forhold til opstilling af krav ved tildeling af midler samt angivelse<br />
af retningslinjer for projekternes egne evalueringer. Særligt sidstnævnte er i fokus i denne<br />
første delevaluering, der ligeledes afdækker, hvordan Forebyggelsesfonden kan støtte<br />
projekterne i at gennemføre valide og meningsfulde evalueringer.<br />
Evalueringens første del omfatter 114 afsluttede projekter 1 . Heraf er 62 projekter afsluttet<br />
inden for hovedformål 1a, 13 inden for hovedformål 1b, 11 inden for hovedformål 2<br />
og 28 inden for hovedformål 3.<br />
Den samlede evaluering løber til 2015 og udføres i et konsortium bestående af Kubix,<br />
Center for Arbejdsmiljø og Arbejdsliv på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge,<br />
Arbejdsmedicinsk klinik i Herning og <strong>Oxford</strong> <strong>Research</strong>.<br />
Mangelfulde projektevalueringer – en udfordring for nærværende<br />
evaluering<br />
Evaluator har tidligt i evalueringsprocessen desværre måttet konstatere, at en tværgående<br />
evaluering af de 114 forskellige projekter blev udfordret af manglende anvendelse af<br />
ensrettede retningslinjer for effektmåling og evaluering i de respektive projektevalueringer.<br />
Projektevalueringerne er en essentiel kilde i denne evaluering, og de er så differentierede<br />
i indhold og kvalitet, at det ikke er muligt for evaluator at vurdere og evaluere<br />
projekternes effekt – hverken opdelt på hovedformål eller samlet. End ikke på ofte anvendte<br />
effektmål, som fx nedbringelse af sygefravær, har der i projektevalueringerne<br />
tilnærmelsesvis været anvendt ens opgørelsesmetoder, som har muliggjort en tværgående<br />
effektanalyse. Flere projekter har eksempelvis mod forventning slet ikke anvendt effektvariable.<br />
Det er evaluators vurdering, at knap 1/5 af de gennemførte projekter har projektevalueringer<br />
af høj kvalitet. Det er evaluators vurdering, at denne lave andel af evalueringer af<br />
høj kvalitet beror på henholdsvis forkert anvendelse af evalueringsmetoder og uhensigtsmæssige<br />
metodevalg.<br />
Ydermere vurderer evaluator, at der er en sammenhæng mellem evalueringernes kvalitet<br />
og hovedformål. Eksempelvis vurderer evaluator, at ingen projektevalueringer under HF 2<br />
vurderes at have en ”dårlig kvalitet”, hvilket kan have følgende forklaringsfaktorer: En høj<br />
grad af anvendelse af eksterne evaluatorer i evalueringerne, at Forebyggelsesfonden<br />
under dette hovedformål stiller større krav til evalueringer, og at projekterne er større<br />
end under de øvrige hovedformål og derfor afsætter ressourcer til at gennemføre grundigere<br />
og mere veldokumenterede evalueringer.<br />
Omvendt konkluderes det, at projektevalueringer under HF 3 har en høj andel af evaluerede<br />
projekter, der af evaluator vurderes at have en ”dårlig kvalitet”, hvilket kan skyldes<br />
1 Projekter som er afsluttet inden 1. maj 2011<br />
9
det individorienterede fokus, som opstår, når der sættes fokus på sundhed og KRAMfaktorer<br />
2 . Det kan være svært at få involveret målgruppen, fordi det er prekært og grænseoverskridende<br />
for både deltagere og evaluator at involvere sig i evalueringen, når projekterne<br />
i høj grad drejer sig om personlige sejre og livsstilsændringer i forhold til fx motion<br />
og rygning.<br />
HF 1b-projekter har den højeste andel af evaluerede projekter, som af evaluator er vurderet<br />
som værende af ”dårlig kvalitet”. Teknologiudviklende projekter vil oftere have et<br />
mere konkret og håndgribeligt resultat i form af, om teknologien virker eller ikke virker,<br />
hvilket kan mindske motivationen til sideløbende at foretage en anden form for evaluering.<br />
Evaluator vurderer tillige, at der generelt i projektevalueringerne er for lidt fokus på dokumentation<br />
og på de enkelte projektevalueringers bidrag til spredning af viden og resultater.<br />
Ovenstående problemstillinger affødte, at evaluator tidligt i evalueringsforløbet foreslog<br />
Forebyggelsesfonden at udarbejde en særskilt dybdegående tværgående analyse med<br />
fokus på succeskriterier. Dette blev godkendt af Forebyggelsesfonden, og den tværgående<br />
analyse vil foreligge ultimo december 2011.<br />
Da indeværende evaluering ikke kan indeholde en valid analyse af klassiske arbejdsmiljø<br />
effektvariable på output, outcome og impact, har evaluator valgt at benytte indikatorerne<br />
implementering og spredning som effektmål.<br />
Fælles forståelsesramme og begrebsafklaring<br />
På baggrund af ovenstående konkluderes det i evalueringen, at der er behov for, at Forebyggelsesfonden<br />
udarbejder en mere præcis overordnet og fælles forståelsesramme for<br />
projekterne og via en begrebsafklaring nærmere definerer, hvad og hvordan projekterne<br />
kan dokumentere effekt af deres forskellige indsatser. Dette er centralt i forhold til evaluators<br />
fremtidige muligheder for at kunne evaluere effekter på tværs af projekterne.<br />
Sammenhænge mellem organisering, indsatstyper, implementering<br />
og videnspredning<br />
Trods udfordringerne med at evaluere på tværgående effektmål viser evalueringen interessante<br />
sammenhænge mellem fx projekternes organisering og bestemte indsatstyper,<br />
som vurderes at have betydning for projekternes efterfølgende implementering samt<br />
videnspredning af opnåede resultater og erfaringer.<br />
I evalueringens tværgående analyse har evaluator fundet flere interessante sammenhænge<br />
eller tendenser og har på den baggrund opstillet en række typologier, som i de<br />
kommende evalueringer kan anvendes til at evaluere projekterne på anden vis end ved<br />
hovedformål:<br />
• Organisering af beslutningskompetence<br />
• Typer af ekstern konsulentstøtte<br />
• Eksterne evaluatorer<br />
• Ejerskab<br />
• Projekternes omfang<br />
• Indsatstyper<br />
• Output<br />
2 Kost, Rygning, Alkohol og Motion.<br />
10
• Spredning.<br />
Under organisering af beslutningskompetence opstilles der på baggrund af analyser<br />
to hovedtypologier: Snæver projektledelse og styregruppe. Analysen viser tydeligt, at der<br />
er forskel på et styregruppestyret projekt og et ledelsesstyret projekt. Langt hovedparten<br />
af alle projekter anvender styregrupper som det organ, hvori beslutningskompetencen<br />
lægges, og det kan konkluderes, at involvering af medarbejderrepræsentanter i styregrupper<br />
har en positiv betydning på flere områder. Dels peger analyserne på, at medarbejderrepræsentation<br />
i styregrupper øger graden af implementering, dels resulterer i<br />
flere positive sideeffekter, som ikke var forventet ved projektstart.<br />
Anvendelse af eksterne konsulenter er udbredt blandt projekterne. Kun 16 projekter<br />
(14 %) gør ikke brug af eksterne konsulenter. Anvendelse af eksterne konsulenter dækker<br />
over mange forskellige funktioner, som evaluator har kategoriseret under følgende<br />
hovedkategorier: Processtøtte, undervisning, arbejdsmiljøfaglig bistand, teknisk bistand,<br />
sundhedsfaglig bistand og formidling. Hovedparten af projekterne anvender en kombination<br />
af forskellige typer af konsulentstøtte. De mere generelle typer af konsulentstøtte er<br />
mest udbredt. Processtøtte er den mest anvendte konsulentstøtte, og denne har en klar<br />
sammenhæng med empowerment som løsningsforståelse, derefter følger undervisning.<br />
Dette peger på, at rigtig mange af projekterne vurderer, at de har behov for hjælp til at<br />
gennemføre projektets aktiviteter og holde fokus i projektet.<br />
Det konkluderes tillige, at anvendelsen af de forskellige typer af konsulentstøtte har en<br />
sammenhæng til de specifikke hovedformålsområder. Arbejdsmiljøfaglig bistand er mest<br />
udbredt i HF 1a-projekter, teknisk bistand er mest udbredt i HF 1b-projekter, mens sundhedsfaglig<br />
bistand er mest udbredt inden for HF 3-projekter.<br />
Derudover viser evalueringen, at processtøtte bidrager til øget spredning for HF 1aprojekter,<br />
mens dette ikke viser sig for projekter under de andre hovedformål. Når der<br />
ses på alle projekter, viser det sig, at brugen af eksterne konsulenter til processtøtte<br />
generelt skaber både en højere grad af implementering og spredning.<br />
I forhold til projektevalueringer skelnes der i evalueringen mellem tre typer af evalueringer:<br />
Intern evaluering, intern/ekstern evaluering og ekstern evaluering. Inddragelse af<br />
eksterne evaluatorer i projekterne vurderes at have en positiv indvirkning på evalueringens<br />
kvalitet, men særskilt evalueringer, der er udarbejdet i et internt/eksternt samspil,<br />
vurderes at højne evalueringens kvalitet. Dette skal forstås som, at kvaliteten af<br />
projektevalueringerne øges, når de foretages i et samarbejde mellem projektinterne<br />
medarbejdere og eksterne konsulenter. Evaluator vurderer, at dette skyldes synergien<br />
mellem et indgående internt kendskab til virksomheden, fagområdet m.v. og evalueringsfaglig<br />
ekspertise, der med et uafhængigt øje kan vurdere projektets resultater.<br />
Det kan ikke i evalueringen vurderes, om anvendelsen af eksterne evaluatorer har en<br />
positiv indvirkning på, om projektet og den viden, der er udviklet og opbygget, spredes.<br />
Den foreløbige konklusion er, at brugen af eksterne evaluatorer ikke spiller en rolle i denne<br />
sammenhæng. Ud fra datamaterialet kan det dog ikke fastsættes, om de eksterne<br />
evaluatorer uformelt og personligt spreder og anvender den opnåede viden fra projekterne.<br />
Det vil kræve en dybere undersøgelse med kontakt til de eksterne evaluatorer på<br />
projekterne. Imidlertid viser evalueringen, at inddragelsen af eksterne evaluatorer bidrager<br />
til at styrke implementeringen.<br />
I forhold til ejerskab konkluderes det, at evalueringer fra projekter i private virksomheder<br />
har en højere andel af evalueringer, som ifølge evaluators vurdering er af ”dårlig”<br />
kvalitet, end evalueringer gennemført i projekter i offentlige virksomheder. Dette kan<br />
skyldes flere forhold. For det første er der formentlig en større erfaring med evaluering af<br />
projekter og dokumentation i de fleste offentlige virksomheder. Det gælder dog ikke de<br />
11
mindre offentlige arbejdspladser. Men fra de gennemførte projekter er der eksempler på,<br />
at mindre offentlige institutioner, fx et plejehjem, hvor der gennemføres et projekt, søger<br />
støtte i kommunens centrale forvaltning, hvor kompetencerne findes. Evalueringen har<br />
tillige vist, at ejerskab ikke har betydning for spredning og implementering.<br />
Evalueringen viser, at projekternes omfang (forstået som både varighed og økonomi)<br />
spiller en rolle i forhold til graden af implementering. Eksempelvis gælder det for evalueringer<br />
med en varighed over to år, at implementeringsgraden er mindre end for projekter,<br />
der har en varighed under to år. Derudover viser evalueringen, at medfinansiering<br />
har en betydning for graden af implementering. Andelen af projekter, der ikke implementeres,<br />
falder væsentligt, når medfinansieringen overstiger 249.999 kr. I forhold til spredningen<br />
spiller projekternes omfang imidlertid ikke nogen rolle.<br />
I forhold til indsatser anvender projekterne mange forskellige typer af indsatser, og de<br />
kombineres typisk. De typer af indsatser, som anvendes i projekterne, har evaluator kategoriseret<br />
under følgende hovedkategorier: Individuelle tilbud, arbejdets organisering,<br />
netværk/samarbejde, ambassadører, kompetenceudvikling, rammebetingelser/-vilkår og<br />
informationsaktiviteter. Hovedparten af projekterne har to eller tre indsatstyper, og hele<br />
23 projekter har fem eller flere indsatser. Det betyder, at der i hvert enkelt projekt opstår<br />
systemer af indsatser, hvor effekt opstår i samspil mellem fx et kompetenceudviklingsforløb,<br />
nye arbejdsredskaber og et dialogforløb blandt målgruppen. Dette gør det yderst<br />
komplekst at undersøge overordnede sammenhænge mellem indsats og effekt. Der er<br />
dog klare tendenser til, at kompetenceudvikling og fokus på arbejdets organisering er<br />
indsatstyper, der øger implementeringen, mens brugen af samarbejde/netværk giver<br />
mere spredning.<br />
Evalueringen har identificeret ni typologier af output, som viser de umiddelbare resultater<br />
og ændringer, som er blevet affødt af projekternes indsatser. Flest projekter har resulteret<br />
i ændringer i arbejdsrutiner (47 projekter), og ligeledes har mange projekter ført<br />
til ændringer i samarbejdsformer (38 projekter).<br />
I forhold til impact er der opstillet to typer af spredning: internt i virksomheden (lokal<br />
impact) og i sektoren/branchen/m.v. (bred impact). Analysen viser, at den største spredning<br />
sker internt i virksomhederne (61 %), mens den bredere impact foregår i 49 % af<br />
projekterne.<br />
1.2 Anbefalinger på flere niveauer<br />
Evalueringens anbefalinger foretages på flere niveauer, idet nogle fund leder til håndfaste<br />
konklusioner, mens andre fund tyder på sammenhænge, der kan danne grundlag for<br />
egentlig vejledning i forhold til projekterne fx om organisering af beslutningskompetence<br />
og projektledelsen. Andre fund giver alene grund til en skærpet opmærksomhed eller<br />
nyvunden interesse for særlige aspekter fx i forhold til mange projekters behov for ekstern<br />
processtøtte.<br />
Evaluator finder, at der med denne hierarkisering af anbefalinger gives et nuanceret og<br />
holdbart input til Forebyggelsesfondens og projekternes fremtidige arbejde.<br />
Projektnære vejledninger<br />
På baggrund af evalueringens fund kan der gives en række vejledninger til projekternes<br />
organisering.<br />
12
Det anbefales, at Forebyggelsesfonden lægger vægt på, at projekter placerer beslutningskompetencen<br />
i styregruppelignende konstellationer med medarbejderinddragelse,<br />
medmindre de har gode argumenter for at organisere beslutningskompetencen anderledes.<br />
Evaluator finder det hensigtsmæssigt, at projekterne i forhold til valg og sammensætning<br />
af indsatstyper er opmærksomme på, at indsatstyper, som retter sig mod arbejdets<br />
organisering og kompetenceudvikling, tyder på at være gavnlige for den efterfølgende<br />
implementering. Dette forbinder evaluator med disse indsatstypers iboende implementering<br />
i henholdsvis personer og processer.<br />
Evaluator vurderer tillige, at sundhedsfremmeprojekter bør vejledes til at arbejde med<br />
ambassadører, da disse er fundet særligt væsentlige for denne type projekter.<br />
På samme vis finder evaluator, at projekterne med fordel kan vejledes til at anvende<br />
netværk og samarbejde som indsats, da denne indsats af evaluator vurderes til at have<br />
en iboende positiv betydning for den eksterne spredning. Det samme er gældende for<br />
informationsaktiviteter som indsats, som er fundet til at have en positiv betydning for<br />
opnåelse af intern spredning.<br />
Overordnede opmærksomhedspunkter<br />
Det er evaluators vurdering, at der udover ovenstående vejledninger er forhold, som bør<br />
være særskilte opmærksomhedspunkter for Forebyggelsesfonden.<br />
For det første finder evaluator det interessant og relevant, at der tegner sig en sammenhæng<br />
mellem implementering og størrelsen på projekternes medfinansiering. Dette<br />
kan give anledning til overvejelser omkring medfinansieringskrav. Med evaluators øjne er<br />
det ikke overraskende, at jo mere den konkrete virksomhed selv har på spil i forhold til<br />
økonomi, desto større er fokus på implementering af projektet. Evaluator finder, at økonomiske<br />
incitamenter bør være et opmærksomhedspunkt. Overvejelserne kan tage flere<br />
retninger, men et generelt fokus på Forebyggelsesfondens støtteprocent (bevillingens<br />
andel af projektsummen) i de konkrete projekter kan være en farbar vej til at optimere<br />
udbyttet af de tildelte midler.<br />
Et andet opmærksomhedspunkt er projekternes udtalte behov for ekstern konsulentbistand<br />
i projekterne. Dette udledes dels af den konkrete anvendelse af konsulentbistand,<br />
dels af mange projektlederes italesættelse af manglende erfaring med projekter<br />
og projektledelse.<br />
Ovennævnte kan give anledning til overvejelser i Forebyggelsesfonden om, hvorvidt Forebyggelsesfonden<br />
mere aktivt skal indgå i leveringen af dele af denne bistand. En mere<br />
aktiv deltagelse fra Forebyggelsesfonden vil i sig selv give Forebyggelsesfonden<br />
mulighed for at opnå større konkret viden om projekterne og på den baggrund opbygge<br />
intern læring i Forebyggelsesfonden. En konkret underbygget og projektnær viden i Forebyggelsesfonden<br />
vil uvilkårligt facilitere en tværgående læring og videnspredning mellem<br />
projekterne, som, evaluator finder, har så oplagte positive perspektiver, at evaluator<br />
nedenfor udfolder de muligheder, evaluator ser for en mere rådgivende funktion fra Forebyggelsesfonden<br />
over for projekterne.<br />
13
Forebyggelsesfondens rådgivende funktion<br />
Mange projekter har udtrykt tilfredshed med Forebyggelsesfondens rådgivning, men der<br />
efterspørges eksplicit mere rådgivning fra Forebyggelsesfonden, ligesom anvendelsen<br />
af ekstern konsulentbistand i de evaluerede støttede projekter er markant. Evaluator<br />
ser flere muligheder for, at Forebyggelsesfonden indgår mere aktivt i projekterne via<br />
en rådgivende funktion. De umiddelbare muligheder for at udbygge Forebyggelsesfondens<br />
rådgivende funktion foreslår evaluator at være følgende, som er yderligere udfoldet<br />
i evalueringens kapitel 10:<br />
• Generel faglig sparring til projekterne<br />
• Specifik faglig sparring i udvalgte projekter<br />
• Støtte udvalgte projekter i ansøgningsfasen<br />
• Indgå i styregrupper i udvalgte projekter.<br />
Øget strategisk fokus i Forebyggelsesfonden<br />
Den mest gennemgribende anbefaling går på et øget strategisk fokus i Forebyggelsesfonden<br />
som grundlag for en mere veldokumenteret indsats, der giver evaluator et fundament<br />
for at evaluere de støttede projekters effekt.<br />
Anbefalingen om et øget strategisk fokus med brug af programteorier ligger i tråd med<br />
en international trend om strategisk fondsarbejde og evaluering heraf.<br />
Evaluator anbefaler, at der udarbejdes en overordnet programteori for Forebyggelsesfonden,<br />
og med denne som udgangspunkt udarbejdes der generelle programteorier<br />
for de respektive fire hovedformål. Til hovedformålenes generelle programteorier knyttes<br />
en række definerede effektmål, som afhængig af den konkrete indsats anses som relevante<br />
og rimelige at måle på i de støttede projekter.<br />
Ovennævnte må imidlertid ikke føre til en standardisering, som ikke kan tage højde for<br />
projekternes forskellighed og unikke karakter. Samtidig må det ikke føre til et statisk<br />
instrument, som ikke kan indeholde de eksperimenterende dele af projekterne.<br />
Konkrete anbefalinger fra evaluator til Forebyggelsesfonden om, hvordan ovenstående<br />
balance mellem en øget standardisering og en nødvendig fleksibilitet bedst kan opnås, er<br />
ikke indeholdt i evalueringen, da det afventer færdiggørelsen af den tværgående analyse<br />
af succeskriterier, som først foreligger efter udarbejdelsen af nærværende evaluering.<br />
Den tværgående analyse af succeskriterier er mere dybdegående i sin analyse på dette<br />
specifikke punkt end nærværende evaluering og vil derfor have et mere konkret afsæt i<br />
projekternes hidtidige arbejde med succeskriterier.<br />
Evaluator anser ikke ovennævnte anbefalinger for at indeholde et radikalt skifte i Forebyggelsesfondens<br />
arbejde, men anbefalingerne er ikke desto mindre helt afgørende for<br />
de fremtidige muligheder for at dokumentere effekter endsige lære af processer og indsatser,<br />
som virker.<br />
14
Kapitel 2. Baggrund<br />
Forebyggelsesfonden blev etableret d. 1. marts 2007. Forebyggelsesfonden har en kapital<br />
på 3 mia. kroner og kan uddele op til 350 mio. kroner om året. Forebyggelsesfonden er<br />
en del af velfærdsaftalen fra 2006, som VK-regeringen, Socialdemokraterne, Dansk Folkeparti<br />
og Det Radikale Venstre står bag.<br />
Nærværende evaluering er første del af en treleddet evaluering, som på tværs af Forebyggelsesfondens<br />
hovedformål og projekter skal afdække effekten af de gennemførte<br />
projekter støttet af Forebyggelsesfonden. Evalueringen skal samtidig skabe læring om de<br />
processuelle forhold i de gennemførte projekter.<br />
Evalueringens første del omfatter 114 afsluttede projekter 3 . Særligt denne første delevaluering<br />
skal ligeledes afdække, hvordan Forebyggelsesfonden kan støtte projekterne i at<br />
gennemføre valide og meningsfulde evalueringer.<br />
Den samlede evaluering løber til 2015 og udføres af et konsortium bestående af Kubix,<br />
Center for Arbejdsmiljø og Arbejdsliv på RUC, SFI, Statens arbeidsmiljøinstitutt i Norge,<br />
Arbejdsmedicinsk klinik i Herning og <strong>Oxford</strong> <strong>Research</strong>.<br />
Nærværende rapport er dermed den første leverance i evalueringen af Forebyggelsesfondens<br />
projekter. Anden leverance er en tværgående dybdegående analyse af projekternes<br />
arbejde med succeskriterier, som afsluttes ultimo december 2011<br />
2.1.1 Forebyggelsesfondens formål<br />
Formålet med Forebyggelsesfonden er ”at give støtte til projekter, der forebygger og<br />
forhindrer fysisk og psykisk nedslidning på de danske arbejdspladser 4 , og formålet operationaliseres<br />
gennem fire hovedformål:<br />
• Hovedformål 1: Projekter, der forebygger nedslidende rutiner og arbejdsgange på<br />
arbejdspladser i særligt nedslidningstruede brancher og jobgrupper. Dertil kommer<br />
projekter på arbejdspladser, som fastholder medarbejdere med dårligt helbred (hovedformål<br />
1a). Projekter, der udvikler ny teknologi, som kan anvendes til at forebygge<br />
nedslidning i særligt nedslidningstruede brancher og jobgrupper (hovedformål<br />
1b).<br />
• Hovedformål 2: Projekter til bedre genoptræning og rehabilitering af syge og handicappede.<br />
• Hovedformål 3: Projekter, der styrker bevidstheden om risikoen forbundet med<br />
rygning, alkohol, fedme og fysisk inaktivitet.<br />
• Hovedformål 4: Projekter, der forebygger stress og psykisk nedslidning.<br />
I nærværende evaluering indgår ikke projekter under hovedformål 4. Dette grundet, at<br />
hovedformål 4 blev indført med en lovændring (Lov nr. 430 af 28/4 2010), der trådte i<br />
3 Projekter som er afsluttet inden 1. maj 2011<br />
4 www.forebyggelsesfonden.dk<br />
15
kraft 1. juni 2010. I 2010 indgik fokusområdet som en forsøgspulje under hovedformål 1,<br />
først i 2011 blev det oprettet som selvstændigt hovedformål.<br />
Hovedformålene forkortes i evalueringen som henholdsvis HF 1a, HF 1b, HF 2 og HF 3.<br />
Under hovedformål 1 og 4 udpeges hvert år nedslidningstruede brancher og jobgrupper,<br />
som har mulighed for at søge midler. Under hovedformål 2 er det som udgangspunkt den<br />
kommunale myndighed med ansvar for rehabilitering og genoptræning, der kan søge<br />
støtte. Hvis opgaven med rehabilitering og genoptræning er udlagt til anden aktør (offentlige<br />
som private virksomheder) kan denne på samme vis søge støtte under hovedformål<br />
2.<br />
5 6<br />
Nedslidningstruede brancher i 2007, 2008 og 2009<br />
16<br />
• Bygge og anlæg<br />
• Fiskeri<br />
• Fjerkræsslagterier, fiske- og foderproduktion<br />
• Hjemmepleje og døgninstitutioner for voksne<br />
• Hotel- og restauration<br />
• Rengøring, vaskeri og renserier<br />
• Skibsværfter<br />
• Svineslagterier<br />
• Tekstil, tøj og beklædning<br />
• Transport af gods<br />
• Transport af passagerer<br />
Nedslidningstruede brancher, der tilføjes i 2008<br />
+ Kriminalforsorgen<br />
Nedslidningstruede brancher, der tilføjes 2009<br />
+ Brød, tobak, chokolade og sukkervarer<br />
+ El- og elektronikindustri<br />
+ Papir- og papvarer samt bogbinding<br />
+ Telekommunikation<br />
+ Konserves og drikkevarer mv.<br />
5 Oplistningen er for 2007, 2008 og 2009, da der i evalueringen kun indgår et projekt fra 2010 inden for HF 1a.<br />
Dette projekt har pædagogmedhjælpere som målgruppe.<br />
6 http://www.forebyggelsesfonden.dk/files/74919c2a97c8faa4e7ff59f70f88976a.pdf<br />
http://www.forebyggelsesfonden.dk/files/d62a5ef89312bd1fca1a327667deb27b.pdf<br />
http://www.forebyggelsesfonden.dk/files/ca58124f9ccc5b10c33746830c93b73d.pdf
Nedslidningstruede jobgrupper i 2007 7<br />
• Pædagogmedhjælpere<br />
• Kortuddannede<br />
• Social- og sundhedshjælpere/assistenter<br />
• Fængselsfunktionærer<br />
Nedslidningstruede jobgrupper, tages ud 2008 og 2009<br />
÷ Fængselsfunktionærer (dækkes af branchen Kriminalforsorgen)<br />
2.1.2 Evalueringens afsæt og metode<br />
Indeværende rapport er den første af tre delevalueringer. Den samlede evaluering skal<br />
undersøge og analysere de støttede projekters effekt, virkning og proces, men skal samtidig<br />
bidrage til at udvikle Forebyggelsesfondens arbejde i forhold til tildeling af midler<br />
samt krav og retningslinjer til projekternes evalueringer. Særligt denne første delevaluering<br />
skal afsøge, hvordan Forebyggelsesfonden kan støtte projekterne i at gennemføre<br />
valide og meningsfulde evalueringer.<br />
Denne evaluering omhandler alene afsluttede projekter. Evaluator modtog materiale og<br />
stamdata fra i alt 122 projekter. Evaluator har valgt at frasortere otte projekter, dels fordi<br />
det viste sig, at nogle af disse hørte sammen som videreførelser af tidligere projekter,<br />
dels da nogle projekter blev afbrudt inden projektafslutning. Samlet omfatter evalueringen<br />
således 114 projekter.<br />
Evalueringen er en meta-evaluering. Dette skal forstås således, at evaluator evaluerer de<br />
støttede projekter på baggrund af projekternes egne evalueringer, men de 114 evalueringer<br />
underlægges en tværgående analyse, hvor der tillige indhentes yderligere data.<br />
Hermed er det muligt at foretage en tværgående evaluering dels på de enkelte hovedformål,<br />
og dels på alle projekter.<br />
Evalueringens kilder er primært projekternes egne evalueringer og øvrigt projektmateriale<br />
8 , hvilket giver evalueringen den udfordring, at projektevalueringerne ikke er foretaget<br />
ud fra hverken samme evalueringsteoretiske ramme eller ved brug af enslydende evalueringsindikatorer.<br />
Således er der heller ikke i de 114 projektevalueringer en fælles forståelse<br />
af centrale begreber såsom effekt og virkning.<br />
I en tværgående evaluering er det essentielt, at der defineres et begrebsapparat. Med<br />
udgangspunkt i den teoribaserede evaluering og herunder virkningsevalueringen redegøres<br />
der i det følgende for, hvilket evalueringsteoretisk afsæt indeværende evaluering har,<br />
og hvilke begreber der er centrale i den forbindelse. Denne overordnede metodiske og<br />
begrebsmæssige ramme for evalueringen fører til en mere konkret beskrivelse af den<br />
metode, som evalueringen beror på, samt de overvejelser der ligger bag den praktiske<br />
udførelse.<br />
7 http://www.forebyggelsesfonden.dk/files/74919c2a97c8faa4e7ff59f70f88976a.pdf<br />
http://www.forebyggelsesfonden.dk/files/d62a5ef89312bd1fca1a327667deb27b.pdf<br />
http://www.forebyggelsesfonden.dk/files/ca58124f9ccc5b10c33746830c93b73d.pdf<br />
8 Ansøgning, budget, statusrapporter, slutregnskab og slutrapport samt supplerende materiale fremsendt til<br />
evaluator i forbindelse med interview med projektledere m.fl.<br />
17
2.1.3 Virkningsevaluering<br />
I nærværende evaluering tages der udgangspunkt i en virkningsevalueringsmodel. Virkningsevalueringen<br />
er en del af en bredere tilgang, der betegnes teoribaseret evaluering.<br />
Teoribaseret evaluering sætter fokus på at vurdere den programteori, som projektet bygger<br />
på. En programteori er en teori eller antagelse, der kan være mere eller mindre underbygget,<br />
om hvilken forandring projektet forventes at skabe. Teoribaseret evaluering<br />
drejer sig således om at teste, om de antagelser om forandring, projektet kan skabe med<br />
de planlagte aktiviteter, holder i virkeligheden.<br />
Denne tilgang, hvor der er fokus på programteorien og den forandring, der sker, ligger<br />
også til grund for virkningsevaluering 9 . Men virkningsevaluering har yderligere fokus på,<br />
hvordan den fastlagte programteori virker i den sociale og kulturelle kontekst, den skal<br />
virke i. Devisen er, at alle forandringer påvirkes af den kontekst, de foregår i, og indsatsen<br />
skal derfor ses i den kontekst, den udspiller sig i (Pawson & Tilley 1997; Tilley 2005).<br />
Dermed kan en evaluering, der trækker på virkningsevaluering, også være med til at<br />
forklare, hvorfor to projekter med lignende aktiviteter virker forskelligt på to forskellige<br />
arbejdspladser.<br />
Virkningsevalueringen tager højde for, at det man ønsker at evaluere sker i en kontekst,<br />
der er unik og lokal, og den giver mulighed for at sætte fokus på indsatserne og processen<br />
og den kontekst, der er med til at drive et projekt og en forandring i en organisation<br />
frem.<br />
Når denne tilgang er aktuel i evalueringen af Forebyggelsesfondens projekter, skyldes<br />
det, at hvert enkelt projekt er unikt, også selvom der er en tværgående vision om forebyggelse<br />
i projekterne.<br />
Dertil kommer, at et enkelt arbejdsmiljø- eller forebyggelsesprojekt i en organisation kun<br />
er en lille del af de mange forhold, der kan skabe et bedre arbejdsmiljø målt ved fx trivsel<br />
eller mindre sygefravær. Samfundskonjunkturerne, nye maskiner, ny teknologi, organisationsændringer<br />
og meget andet kan påvirke arbejdsmiljøindikatorerne ligeså meget eller<br />
mere end et afgrænset projekt om fx motion. Netop derfor er det i en evaluering af arbejdsmiljø<br />
og forebyggelse relevant at tænke i en evalueringstradition, der erkender, at<br />
konteksten for projektet er ligeså vigtig som projektet selv.<br />
I virkningsevaluering anses forandringer ikke blot at skyldes en udefrakommende indsats,<br />
der virker ind på arbejdspladsens hverdag. Evaluator skal derfor være opmærksom på<br />
andre faktorer end den isolerede indsats. Forandringen er det, der opstår i mødet mellem<br />
indsatsen og den sociale og kulturelle kontekst.<br />
I alle former for samfundsfaglige evalueringer er det umuligt at isolere en indsats. Derfor<br />
tages der med virkningsevalueringen højde for det miljø, indsatsen foregår i ved at foretage<br />
målinger og registreringer på kontekstfaktorer, således at fx ledelsesforhold ikke<br />
alene er en fortolkningsramme, men indgår som en aktiv faktor i vurderingen af projekternes<br />
processer og resultater.<br />
Tilgangen understøtter også Forebyggelsesfondens eget ønske om at procesevaluere<br />
projekterne. Virkningsevalueringen giver mulighed for ikke alene at vurdere effekten,<br />
men at evaluere effekten i den processuelle sammenhæng mellem indsats og projektets<br />
kontekst fx organisering, indre og ydre forhold.<br />
9 Almindelig brugt oversættelse af Pawson og Tilleys ”Realistic Evaluation”.<br />
18
2.2 Centrale evalueringsbegreber<br />
Med udgangspunkt i en virkningsevalueringsteoretisk tilgang er det formålet med figuren<br />
nedenfor at illustrere de begreber, der bruges i evalueringen. I figuren er konteksten, det<br />
processuelle perspektiv i evalueringen og forskellige forståelser af effekt helt centrale.<br />
Figur 2.1: Virkningsevalueringens begreber<br />
Midler Indsats Output Outcome<br />
Proces<br />
Implementering<br />
Kontekst<br />
Effekt<br />
Lokal<br />
impact<br />
Spredning<br />
Bred<br />
impact<br />
I figuren er det væsentligste input set fra Forebyggelsesfondens perspektiv de midler,<br />
det enkelte projekt får fra Forebyggelsesfonden, men den samlede projektsum i de enkelte<br />
projekter indeholder ofte også andre midler – herunder egenfinansiering.<br />
Midlerne anvendes til en given indsats, der ofte består af flere delindsatser, der på<br />
kompliceret vis indvirker på hinanden. Indsatser påvirkes tillige af den omgivende kontekst,<br />
hvorved nye indsatser kan opstå. Hvis indsatsen i samspil med konteksten får en<br />
virkning, opnås et output. Det kan fx være en opkvalificeret medarbejdergruppe, en<br />
ergonomisk korrekt tilpasset arbejdsplads eller en ny bevidsthed om, hvilken betydning<br />
motion har.<br />
Output er det umiddelbare og konkrete resultat af en indsats. Når output implementeres<br />
og herved kommer i anvendelse, opnås et outcome. Outcome kan fx være, at medarbejdergruppen<br />
agerer anderledes, fordi de har fået en ny viden. Outcome opfattes som<br />
et resultat af projektet kort efter eller ved afslutning af projektet.<br />
I evalueringen adskilles den mere langsigtede effekt fra den kortere effekt ved at betegne<br />
den impact. Impact optræder i to former i figuren. En som omhandler den lokale<br />
effekt, og en der kræver spredning til andre afdelinger, virksomheder eller lignende, der<br />
således lærer af det konkrete projekt. Implementering er processen mod en effekt på<br />
kort såvel som på længere sigt – altså fra output til outcome og fra outcome til impact.<br />
19
Implementeringen sandsynliggør således, at de respektive effektmål output og outcome<br />
opnås.<br />
Spredning kan både have form af skabelse af bevidsthed og tilegnelse af ny viden, eller<br />
det kan resultere i egentlige effekter via nye projekter inspireret af de oprindelige projekter.<br />
I yderste konsekvens kan de opnåede effekter omsættes til egentlige ændringer i<br />
overenskomster, lovgivning etc. Den brede impact er således i denne figur og sammenhæng<br />
netop defineret bredt og må operationaliseres på flere forskellige måder.<br />
Konteksten, der omgiver hele projektet, er væsentlig og samtidig udfordringen i en<br />
meta-evaluering, hvor de respektive projekters kontekst er forskellig. Som figuren illustrerer,<br />
sker forandringen i et møde mellem indsatsen og konteksten. Mødet mellem indsats<br />
og kontekst går begge veje: Konteksten påvirker indsatsen, og indsatsen påvirker<br />
konteksten. Nogle af de mere håndgribelige kontekstfaktorer er fx organiseringsform og<br />
branche. Som en del af konteksten er fx det organisatoriske set-up omkring projektet,<br />
ledelsens og medarbejdernes holdning til projekterne og de samfundsøkonomiske konjunkturer<br />
vigtige faktorer.<br />
Evalueringen indeholder dermed også et processuelt perspektiv. I kraft af afsættet i<br />
virkningsevalueringen understreges det, at der er tale om en proces med forskellige faser<br />
og mødet mellem forskellige faktorer. Der lægges således et processuelt perspektiv ned<br />
over projekterne fra indsats til impact ved at se på forskellige faktorers betydning i forskellige<br />
faser af processen. Fx kan en organiseringsform have større indflydelse som kontekst<br />
i en implementeringsfase end i en spredningsfase.<br />
Hertil kommer et processuelt perspektiv på projekterne ved at afsøge og analysere på<br />
ændringer undervejs i projekterne fx i indsatsen eller i de forventninger, der er til den<br />
forandring, indsatsen fører til.<br />
Det processuelle perspektiv har således to vinkler: Dels en vinkel, som kan anskues som<br />
monitorerende med angivelse af, om projekterne gør det, de forventes at gøre; Dels en<br />
vinkel som kan anskues som lærende, hvor de forskellige fasers påvirkning af hinanden<br />
ikke er lineær, men derimod processer der afhænger af den læring, der opnås i de forudgående<br />
faser.<br />
2.3 Metode<br />
Evaluator rummer mange forskellige fagligheder, som medvirker til at sikre en helhedsorienteret<br />
og dybdegående evaluering gennem en eksplorativ tilgang til evalueringen.<br />
Den eksplorative metodiske tilgang sikrer, at evalueringen tager udgangspunkt i projekternes<br />
virkelighed og lader derfor genstandsfeltet styre teorien og ikke omvendt. Herved<br />
giver det evalueringen en flerløsningsforståelse, som efter evaluators vurdering er nødvendig<br />
ud fra projekternes forskellige indhold og metoder. Hertil kommer, at fravalget af<br />
én faglig teori også giver evalueringen en åbenhed mod ændringer undervejs i evalueringsperioden,<br />
således at evalueringsdesignet og evalueringsparametre kan justeres efter<br />
projekternes konkrete indhold. Denne metodiske tilgang medvirker endvidere til, at evalueringen<br />
bliver anvendelsesorienteret, idet projekterne kan genkende sig selv og de<br />
tematikker, de har oplevet som væsentlige i deres processer.<br />
Tværfagligheden i evalueringsteamet har som nævnt den grundlæggende fordel, at projekterne<br />
kan evalueres med indsigt i de relevante fagområder som fx arbejdsmiljø og<br />
sundhedsfremme, og at disse kan supplere hinanden. Tværfagligheden har dog også den<br />
udfordring, at der i evalueringsteamet arbejdes ud fra forskellige teorier, traditioner og<br />
begreber, hvilket kan give divergerende vurderinger på baggrund af de forskellige per-<br />
20
spektiver, der kan lægges på konkret data. Disse udfordringer har evalueringsteamet<br />
søgt at imødegå og vende positivt, ved at der er afholdt fælles møder løbende i processen,<br />
og der er udarbejdet ”hjælpetekster” og notater som videndeling af spidskompetencer.<br />
Den kontinuerlige kontakt mellem evalueringsteamets medlemmer og dermed fagligheder<br />
har således været brugt aktivt med øje for de udfordringer, dette kunne afføde,<br />
men også det potentiale som ligger heri.<br />
Den eksplorative tilgang er en måde netop at udnytte potentialet i mange fagligheders<br />
bidrag. Med denne tilgang tog evalueringen sit afsæt i, at evalueringstemaet gennemlæste<br />
25 tilfældigt udvalgte projekter. Ud fra en analyse af disse projekter har evaluator<br />
opstillet relevante parametre, som har udgjort det metodiske skelet for de gennemførte<br />
analyser af de 114 projekter. Denne proces blev gennemført i fællesskab over flere møder.<br />
2.3.1 Analyseværktøj<br />
Evaluator har udviklet et analyseværktøj på baggrund af de opstillede parametre. Analyseværktøjet<br />
udgør ”hjertet” i evalueringen, hvor evalueringens forskellige analyser søger<br />
sine primære oplysninger i. Analyseværktøjet er konstrueret ud fra bevidstheden om, at<br />
der undervejs i den samlede evalueringsperiode vil være indholdsmæssige justeringer.<br />
Evalueringens eksplorative tilgang bevirker, som beskrevet ovenfor, at ændringer og<br />
justeringer kan inddrages, hvilket opbygningen af analyseværktøjet tager højde for, og<br />
ændringer kan derfor let indarbejdes i analyseværktøjet.<br />
Analyseværktøjet er anvendt til at foretage deskriptive kortlægninger af projekterne samt<br />
til at analysere opstillede hypotesers holdbarhed.<br />
Analyseværktøjets parametre er opdelt i seks kategorier:<br />
• Faktavariable, fx projektsum og målgruppe<br />
• Institutionelle variable, fx projektledelsen og brug af styregrupper<br />
• Indsatsvariable, fx kompetenceløft og teknologiudvikling<br />
• Procesvariable, fx ændringer i projektet og kategorisering af årsag<br />
• Evalueringsvariable fx succeskriterier og evalueringsmetoder<br />
• Forankringsvariable, fx implementering og spredning.<br />
Samtlige afsluttede projekter er gennemgået og analyseret, og vurderingerne er registreret<br />
i værktøjet. Kilderne er projekternes egne dokumenter samt kvalitative interview med<br />
projektledere m.fl. Hele evalueringsteamet har været involveret i denne fase af analysen,<br />
for at sikre, at de forskellige spidskompetencer, der er repræsenteret i teamet, kommer i<br />
spil.<br />
Registreringen af projekterne er sket ved brug af survey-programmet Inquisite for at<br />
styrke datasikkerheden ved indtastning. Programmet er hensigtsmæssigt, da oplysninger<br />
ikke kan fejlplaceres under indtastningen. Man føres igennem indtastningen, således at<br />
man alene føres til relevante indtastningsmuligheder for det pågældende projekt.<br />
2.3.2 Effektvariable og målemetoder<br />
Evalueringen af de 114 forskellige projekter har været udfordret af manglende ensrettede<br />
retningslinjer for effektmåling og evaluering i de enkelte projektevalueringer.<br />
Projekternes anvendte effektmålinger af fx sygefravær og medarbejderomsætning har<br />
oftest fremstået mangelfulde og i mange tilfælde så mangelfulde, at evaluator har været<br />
21
nødsaget til at frasortere målingerne pga. en ringe kvalitet. Flere projekter har desuden<br />
mod forventning slet ikke anvendt effektvariable.<br />
Udover de beskrevne problemer med effektmålingerne fremstår projektevalueringerne<br />
desuden med en yderst varierende kvalitet 10 . Projekternes evalueringer fremstår ofte<br />
uklare i forhold til metodiske fremgangsmåder, og evaluator kan i mange tilfælde ikke<br />
vurdere, hvordan projektevalueringerne når frem til deres konklusioner. Det har heller<br />
ikke været muligt at klare dette via de kvalitative interview.<br />
Evaluator vurderer tillige, at der er en generel tendens til, at projektevalueringerne tager<br />
mere let på brugen af kvalitative metoder. Begreber såsom observation og interview bliver<br />
ofte brugt om mere eller mindre formelle samtaler og samvær i projekterne og ikke<br />
som stringente metoder. Dette kommer særligt til udtryk i de projekter, hvor man ved<br />
afslutningen må erkende, at den planlagte kvantitative metode ikke kan gennemføres, og<br />
projektet i stedet må foretage en kvalitativ evaluering. Her bliver metodevalget uigennemtænkt<br />
og fremstår som en nødløsning, som ikke opfylder sit mål.<br />
Grundet de omfattende problemer med effektmålinger og kritikken af evalueringerne har<br />
det ikke været muligt at opstille tværgående måleenheder og indikatorer på effekt. Heller<br />
ikke på mere anvendte effektvariable som fx sygefravær og medarbejderomsætning.<br />
Denne erkendelse har ført til, at evaluator foreslog og fik godkendt at udarbejde en særskilt<br />
tværgående analyse af succeskriterier. Da indeværende evaluering ikke kan indeholde<br />
en valid analyse af klassiske arbejdsmiljøeffektvariable på output, outcome og impact,<br />
har evaluator valgt at benytte indikatorerne implementering og spredning som effektmål.<br />
Projekternes implementering er en indikator på, hvorvidt indsatsen fører til et output<br />
og kan give et outcome. Implementeringen er processen, som fører til effekter. Implementering<br />
kan anvendes som effektindikator, da det må antages, at det kun er de projekter,<br />
som opnår anvendelige resultater, der implementeres. Evaluator har ligeledes lagt<br />
vægt på typer af outcome, som ikke har været forudset på ansøgningstidspunktet. Det<br />
kan fx være en generelt skærpet opmærksomhed på specifikke arbejdsmiljøfaktorer eller<br />
lignende.<br />
Udover implementering er spredning ligeledes en indikator på, hvorvidt projekterne kan<br />
bidrage til en effekt på længere sigt. Spredning af den opnåede projektviden er en nødvendighed,<br />
hvis projektet skal gøre sig forhåbninger om at opnå en bred impact. Spredningen<br />
af projektets erfaringer kan medvirke til, at andre virksomheder eller brancher<br />
bliver inspireret og derfor igangsætter lignende projekter, som tilsammen kan bevirke en<br />
bred impact. Spredning er en vigtig variabel, da projektresultater altid vil være interessante<br />
at sprede selv ved ”mislykkede” projekter. Spredning af erfaringerne fra ”mislykkede”<br />
projekter er mindst ligeså vigtig som for vellykkede projekter, da disse erfaringer kan<br />
give indsigt i, hvorfor nogle projekter lykkes, og andre ikke gør.<br />
2.3.2.1 Formularer<br />
Evalueringen er endvidere blevet udfordret af, at flere af Forebyggelsesfondens formularer<br />
(ansøgning, slutrapport m.v.) er blevet ændret over tid. Ændringer i disse formularer<br />
medfører fejlkilder, da det kan påvirke projekternes opgørelse af data. Evaluator har i<br />
denne henseende vurderet, at data omhandlende målgruppens antal, samt om projektet<br />
består af et konsortium, skal fortolkes med forsigtighed.<br />
10 Det understreges, at den varierende kvalitet i projektevalueringerne netop ikke giver mulighed for at udlede<br />
noget om kvaliteten i projekternes indhold.<br />
22
I forhold til opgørelsen af målgruppens antal har evaluator vurderet, at projekterne har<br />
opgivet forskellige data. Nogle projekter har opgivet antallet af personer, som deltager i<br />
projektet (primær målgruppe), mens andre har opgivet antallet af personer, som projektet<br />
efter implementering vil ramme (sekundær målgruppe). Det har ikke været muligt via<br />
de kvalitative interview at få afdækket ovennævnte.<br />
Herudover er der i forhold til konsortier den udfordring, at Forebyggelsesfonden har ændret<br />
procedurer fra at uddele et projektnummer til hver partner i konsortiet til kun at<br />
uddele et projektnummer til hele konsortiet. Dette betyder, at der ikke er lavet særskilte<br />
analyser på konsortier og samtidig medvirker dette til, at vurderinger på projekternes<br />
størrelse i nogle tilfælde kan være behæftet med fejl. Derfor er der bl.a. ikke analyseret<br />
på projektomkostninger pr. medarbejder i målgruppen.<br />
2.3.3 Kvantitativ analyse<br />
De kvantitative analyser baseres på data fra de forskellige kilder og efterfølgende registrering<br />
i analyseværktøjet. De kvantitative analyser er i høj grad påvirket af et varierende<br />
projektantal under de respektive hovedformål. Projektantallet under HF 1b og HF 2 er<br />
således for lille til at foretage valide kvantitative analyser under disse hovedformål. De<br />
kvantitative analyser af projekterne under henholdsvis HF 1b og HF 2 er derfor udelukkende<br />
illustrerende.<br />
Igennem rapporten vil evaluator præsentere forskellige udtræk af kvantitative data på de<br />
114 projekter. I tilfælde hvor variable krydses for at bekræfte eller forkaste hypoteser, er<br />
der udregnet signifikans for at konstatere, om en given fordeling er tilfældig, eller om der<br />
er tale om en statistisk signifikant sammenhæng mellem den uafhængige og den afhængige<br />
variabel.<br />
Signifikanstest er blevet brugt, hvis muligt. Signifikansniveau udtrykker sandsynligheden<br />
for, at et resultat er fremkommet ved en tilfældighed. Signifikansniveauet er i nærværende<br />
rapport sat til 0,05. Ved statistisk signifikans er der således med 95 % sandsynlighed<br />
tale om, at den uafhængige variabel har reel indflydelse på den afhængige variabel.<br />
I de fleste tilfælde bliver der udregnet signifikans med udgangspunkt i ”chi square”. ”Chi<br />
square” udregner signifikansen på kryds, hvor kategorier i to nominale 11 eller én nominal<br />
og én ordinal 12 variabel krydses. ”Chi square” har den svaghed, at hvis fordelingen i krydsene<br />
mellem kategorierne efterlader celler med få tilfælde, bliver udregningen usikker.<br />
Der vil derfor ikke blive regnet med ”chi square” i tilfælde, hvor der er fem eller færre<br />
tilfælde i kryds.<br />
I nogle få tilfælde anvendes udregningen ”gamma”. Denne udregning bruges i tilfælde,<br />
hvor begge variable er ordinale. Denne udregning har den fordel, at den dels kan udregne<br />
signifikans i tilfælde med få (fem eller færre) tilfælde i krydsene, og dels kan give et<br />
tal på, hvor stærk sammenhængen mellem to variable er.<br />
11 En nominal variabel er en variabel uden nogen bestemt orden mellem kategorierne i variablen. Det kan fx<br />
være politiske partier.<br />
12 I en ordinal variabel har rækkefølgen en betydning. Det kan fx være politiske partier på en højre-venstre<br />
skala. Her har rækkefølgen betydning, og man kan tale om at være mere eller mindre højre- eller venstreorienteret.<br />
23
2.3.4 Kvalitative analyser<br />
Datagrundlaget for indeværende evaluering omfatter også et kvalitativt datamateriale.<br />
Der er gennemført kvalitative interview med projektlederne m.fl. i de 114 projekter. Det<br />
har ikke i alle projekter været muligt at interviewe den egentlige projektleder, idet projekterne<br />
længe har været afsluttet. I tidsrummet fra projektets afslutning til denne evaluering<br />
har flere projektledere skiftet arbejde, nogle er gået på pension eller er på anden<br />
vis ikke længere tilgængelige. I disse tilfælde er interviewet foretaget med en anden<br />
nøgleperson fra projektperioden.<br />
De kvalitative interview er foretaget på baggrund af en semistruktureret interviewguide<br />
og er forestået af den person i evalueringsteamet, som har gennemlæst, analyseret og<br />
evalueret det respektive projekts dokumenter. Interviewene har dermed kunnet afklare<br />
uklarheder i projektdokumenterne. Derudover har de kvalitative interview haft fokus på<br />
processer og projektets kontekst.<br />
2.3.5 Evalueringsspørgsmål og -hypoteser<br />
Evalueringen arbejder i to niveauer; et deskriptivt niveau og et analytisk niveau.<br />
På det deskriptive niveau angives fx antallet af projekter, som har visse særlige kendetegn<br />
i forhold til indsatstype, målgruppe mv.<br />
På det analytiske niveau undersøges tendenser og sammenhænge mellem projekttyper.<br />
I evalueringens analytiske niveau arbejdes med hypoteser i undersøgelsen af sammenhænge<br />
og tendenser for de 114 projekter. Hypoteserne er opstillet på baggrund af evalueringsteamets<br />
specialiserede viden om arbejdsmiljø, forebyggelse, projektplanlægning,<br />
projektledelse, implementering og forankring. En oversigt over hypoteser findes i bilag 2.<br />
Evaluator har valgt at arbejde med hypoteser, da dette understøtter den eksplorative<br />
tilgang, ved at undersøgelsen af én hypotese meget vel kan føre til opstilling af en ny<br />
hypotese for at følge ”sporet” til ende. Nogle hypoteser er målrettet Forebyggelsesfondens<br />
hovedformål, mens andre er tværgående for hovedformålene.<br />
Hypoteserne testes kvantitativt såvel som kvalitativt. For det første undersøges sammenhænge<br />
i det kvantitative datamateriale registreret i analyseværktøjet. Derudover er de<br />
kvalitative interview med projektlederne m.fl. anvendt til at uddybe de sammenhænge,<br />
som den kvantitative afsøgning af hypoteserne udleder som relevante. Gennemgangen af<br />
det kvalitative datamateriale bidrager desuden til nye hypoteser, som hvis muligt er afprøvet<br />
kvantitativt. I andre tilfælde foretages en kvalitativ vurdering af evalueringsteamets<br />
fagekspertise på det pågældende fagområde, hvor sammenhængen fremstår.<br />
2.4 Rapportens opbygning<br />
Rapporten indledes med en deskriptiv analyse af de 114 afsluttede projekter på tværs og<br />
inden for de enkelte hovedformål. Formålet med den deskriptive analyse er dels at give<br />
læseren en overordnet forståelse af forskellene mellem de respektive hovedformål og<br />
projekterne inden for disse, dels at bibringe med generel information, der kan kvalificere<br />
forståelsen af de efterfølgende analyser.<br />
Herefter følger en gennemgang af hvert enkelt hovedformål, som er HF 1 (indeholder HF<br />
1a og HF 1b), HF 2 og HF 3. Formålet med gennemgangen af de enkelte hovedformål er<br />
24
at få udfoldet de forskellige elementer i en programteoretisk forståelse af projekternes<br />
proces. De vil hver især blive opbygget således, at der for det første er fokus på kontekstfaktorerne<br />
for indsatserne og deres betydning for effekt og dernæst indholdet af<br />
indsatserne og deres betydning for effekt. HF 1a og HF 3 vil være baseret på en kombination<br />
af statistisk og kvalitativ analyse, mens HF 1b og HF 2 grundet et lavt antal projekter<br />
primært er kvalitative.<br />
Efter analyserne på hovedformål foretages på samme vis en analyse på tværs af hovedformål.<br />
Den tværgående analyse undersøger de kendetegn og sammenhænge, der gør<br />
sig gældende på tværs og i sammenligning mellem projekterne under de tre hovedformål.<br />
Afslutningsvis sammendrages evalueringens væsentligste fund i en række konklusioner,<br />
som skal lede til de efterfølgende anbefalinger i forhold til Forebyggelsesfondens videre<br />
arbejde, herunder hvordan der kan arbejdes med at forbedre validiteten i evalueringen.<br />
25
Kapitel 3. Projektprofiler inden for hovedformål<br />
Formålet med dette kapitel er dels at give læseren en overordnet forståelse af forskellene<br />
mellem de respektive hovedformål og projekterne inden for disse, dels at bibringe med<br />
generel information der kan kvalificere forståelsen af de efterfølgende analyser. Den beskrivende<br />
analyse giver derfor en profil af projekterne under de forskellige hovedformål,<br />
hvilket er hensigtsmæssigt, da det fremhæver forskelle og ligheder på tværs af hovedformål.<br />
Kapitlet indledes med en redegørelse om de 114 afsluttede projekter ud fra parametrene<br />
hovedformål, omfang og ejerforhold. Herefter redegøres der for projekternes indsatser,<br />
metodiske tilgang og succeskriterier.<br />
3.1 Projekter fordelt på hovedformål<br />
Tabel 3.1 viser fordelingen af de 114 projekter på de respektive hovedformål. Over halvdelen<br />
af de afsluttede projekter er bevilliget under HF 1a. Den store andel HF 1aprojekter<br />
afspejler på den ene side en politisk prioritering hos Forebyggelsesfonden, men<br />
ligeledes at HF 1a er det mest ansøgte hovedformål 13 .<br />
ANTAL<br />
<strong>PROJEKTER</strong><br />
Tabel 3.1: Afsluttede projekter fordelt på hovedformål<br />
HF 1a HF 1b HF 2 HF 3 ALLE<br />
62 13 11 28 114<br />
ANDEL 54 % 11 % 10 % 25 % 100 %<br />
Der er forholdsvis få projekter under HF 1b og HF 2, hvilket i høj grad påvirker muligheden<br />
for at udarbejde separate kvantitative analyser for de forskellige hovedformål. Det er<br />
dog muligt at illustrere tendenser for projekterne under de respektive hovedformål, hvilket<br />
gøres i de følgende afsnit.<br />
13 Forebyggelsesfondens Årsberetning 2010<br />
27
3.2 Projekternes omfang<br />
Projekternes omfang kan måles ud fra forskellige parametre og kan netop være med til<br />
at skabe forståelse for forskellene på projekterne på tværs af hovedformålene. Der redegøres<br />
derfor i det følgende for projekternes omfang ud fra tre parametre:<br />
• Projektøkonomi – herunder projektsum 14 og det bevilgede beløb<br />
• Målgruppens størrelse<br />
• Projektperiode.<br />
Den samlede fordeling af bevilliget beløb på hovedformål fremgår af figur 3.2. Forebyggelsesfonden<br />
har uddelt knap 134 millioner kroner til de 114 projekter. Som det ses, har<br />
projekter under HF 1a fået tildelt knap 81 millioner, hvilket er langt størstedelen af de<br />
uddelte midler. Dette er dog ikke overraskende, da hovedparten af projekterne ligger<br />
inden for dette hovedformål.<br />
Projektbevillingerne varierer i høj grad på baggrund af hovedformål og dermed sigte.<br />
Mens HF 1a og HF 1b har et gennemsnitligt bevilliget beløb meget tæt på hinanden, er<br />
det gennemsnitlige bevilligede beløb for HF 2 lidt højere og omvendt betragteligt lavere<br />
for HF 3. Sidstnævnte er statistisk signifikant lavere, hvilket dog ikke forekommer evaluator<br />
ulogisk, da HF 3-projekterne bl.a. indeholder mindre omkostningstunge initiativer<br />
såsom frugtordninger, løbeklubber og informationskampagner. Der er ikke umiddelbart<br />
samme intuitive forklaring på, at projekter under HF 2 har det højeste beløbsmæssige<br />
gennemsnit. Idet HF 2 indeholder et meget begrænset antal projekter, kan sammenhængen<br />
dog heller ikke fastslås som statistisk signifikant.<br />
14 Projektsum defineres ved projekternes faktiske forbrug – forstået som det beløb projektet har regnskabsaf-<br />
lagt for.<br />
28<br />
H F 3<br />
H F 2<br />
H F 1 b<br />
H F 1 a<br />
16<br />
16<br />
21<br />
0 20 40 60 80 100<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.2: Bevilliget beløb fordelt på hovedformål<br />
81<br />
millioner DKK<br />
n = 114
GENNEMSNITLIG<br />
BEVILLIGET BE-<br />
LØB PR PROJEKT<br />
Tabel 3.3: Gennemsnitlig bevilliget beløb fordelt på hovedformål<br />
HF 1a HF 1b HF 2 HF 3 ALLE<br />
1.28 mio.kr. 1.30 mio.kr. 1.50 mio.kr. 742.000 kr. 1.17 mio.kr.<br />
Det gennemsnitlige bevilligede beløb giver ikke et eksakt billede af projekternes samlede<br />
økonomiske størrelse, i og med andre finansieringskilder indgår – herunder egenfinansiering.<br />
Derfor er det interessant at se på den samlede projektsum.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
45%<br />
33%<br />
17%<br />
23%<br />
13%<br />
17%<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.4: Projektforbrug fordelt på hovedformål<br />
50%<br />
Som det ses af figur 3.4, er der væsentlig forskel på projekternes omfang i forhold til<br />
projektsum, alt efter hvilket hovedformål der tages udgangspunkt i. Hele 50 % af HF 1bprojekterne<br />
er store projekter med en samlet projektsum på over tre millioner. Dermed<br />
adskiller HF 1b-projekterne sig fra de øvrige projekter i forhold til projektsum. Dette er<br />
dog ikke overraskende, da HF 1b-projekterne omhandler udvikling af teknologier, hvilket<br />
må forventes at være forholdsvis omkostningstungt. Modsat er projekterne under HF 3<br />
karakteriseret ved at være forholdsvis små projekter. 71 % af HF 3-projekterne har en<br />
projektsum på under en million kroner, hvilket er en væsentlig større andel end projekterne<br />
under de øvrige hovedformål. Billedet for projektsum følger dermed billedet for det<br />
bevilligede beløb.<br />
En mulig forklaring på variationerne i projektsum kan være målgruppens størrelse.<br />
Figur 3.5 illustrerer, at det på trods af, at hovedparten af alle projekter er HF 1aprojekter,<br />
så er det HF 3-projekter, som har det største antal personer i målgruppen. De<br />
62 HF 1a-projekter når samlet 21.589 personer, hvorimod de 28 HF 3-projekter når<br />
61.825 personer. HF 3-projekterne adskiller sig hermed væsentligt både i forhold til målgruppe<br />
og projektsum, og evaluator vurderer, at årsagen hertil er, at projekterne under<br />
HF 3 i høj grad omhandler brede indsatser, der kan være målrettet alle medarbejdere på<br />
en virksomhed i form af fx tilbud om motion, hjælp til rygestop etc.<br />
71%<br />
20%<br />
30%<br />
20% 20% 18%<br />
4% 7%<br />
HF 1a HF 1b HF 2 HF 3<br />
Under 1 million<br />
1 - 2 million<br />
2 - 3 millioner<br />
Over 3 millioner<br />
n = 112<br />
29
Det er interessant at afdække, hvorfor HF 3-projekter er så meget større end andre projekter.<br />
Forklaringen er dels beskrevet ovenfor i forhold til de indsatser, der benyttes i HF<br />
3, men det er også relevant at se på, om der er enkelte projekter, der ”trækker” tallet op<br />
for at give et billede af det typiske projekt under hovedformålene. Det kan der tages<br />
højde for ved at tage udgangspunkt i medianen 15 for antallet i målgruppen. Hvis der ses<br />
på medianen for projekternes målgruppe (tabel 3.6), viser det sig, at der er enkelte projekter<br />
under HF 3, som trækker antallet i målgruppen uforholdsmæssigt meget op. HF 3projekterne<br />
har samlet set stadig den største målgruppe, men når der tages udgangspunkt<br />
i medianen, tegnes et billede, hvor HF 3-projekterne ligger betydeligt tættere på<br />
de andre projekter, end det illustreres i figur 3.5.<br />
30<br />
80000<br />
60000<br />
40000<br />
20000<br />
0<br />
21.589<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Tabel 3.6: Median for antallet i målgruppen fordelt på hovedformål<br />
MEDIAN FOR ANTAL I<br />
MÅLGRUPPEN<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.5: Målgruppens størrelse fordelt på hovedformål<br />
12.497<br />
2.140<br />
61.825<br />
HF 1a HF 1b HF 2 HF 3<br />
HF 1a HF 1b HF 2 HF 3 ALLE<br />
90 45 123 172 95<br />
Antal i målgruppe<br />
En sidste parameter for projekternes omfang er projekternes varighed. Projektperioden<br />
for samtlige afsluttede projekter er i gennemsnit ca. 19 måneder. Figur 3.7 viser, at<br />
HF 1a- og HF 2-projekterne har flest projekter med en varighed på under et år.<br />
Sammenholdes projektperioden med projektsum ses en tendens til, at de dyreste projekter<br />
løber over længst tid, hvilket umiddelbart er en logisk sammenhæng. Imidlertid er<br />
billedet ikke helt entydigt, og således har 36 % af HF 2-projekterne en projektperiode på<br />
15 Medianen angiver den midterste kategori inden for en given variabel. Der vil således være lige mange projekter<br />
med flere i målgruppen som med færre i målgruppen i det enkelte hovedformål, når der tages udgangspunkt<br />
i den angivne medianværdi.
mere end to år, mens der kun er 11 % af HF 1b-projekterne med en generelt højere<br />
projektsum, som løber over mere end to år. Det skyldes formodentlig, at der i HF 1bprojekter<br />
er nogle høje opstartsomkostninger i forhold til at få igangsat udviklingen af<br />
teknologien.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
30%<br />
49%<br />
55%<br />
46%<br />
31%<br />
21% 23% 23% 23%<br />
36% 36%<br />
27%<br />
46%<br />
43%<br />
Alle projekter HF 1a HF 1b HF 2 HF 3<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.7: Projekterne fordelt efter længden af projektperioden<br />
3.3 Kendetegn ved ejerforhold på tværs af hovedformål<br />
I dette afsnit undersøges, hvordan ejerskab fordeler sig på tværs af hovedformål, og<br />
hvordan ejerforhold udmønter sig i forskellige tendenser i forhold til geografi. I forbindelse<br />
med ejerskab sondres der mellem fem typer af ejerforhold: statslig, regional, kommunal,<br />
privat og anden. Anden dækker over dels organisationer, og dels blandede ejerforhold.<br />
Foretages en sondring af projekternes ejerskab på henholdsvis offentlig og privat, adskiller<br />
HF 1b- og HF 2-projekterne sig i særlig grad. Hvor HF 1b-projekterne primært ligger i<br />
private virksomheder, foregår alle HF 2-projekterne i offentligt regi, som det er illustreret<br />
i figur 3.8 nedenfor. HF 2-projekternes klare offentlige ejerskab er dog i overensstemmelse<br />
med hovedformålets fokus på rehabilitering og genoptræning af sygemeldte. Afvigelsen<br />
under HF 1b-projekterne, hvor hovedparten er foregået i private virksomheder, kan<br />
forklares ud fra hovedformålets specifikke fokus på teknologiudvikling, som drives af<br />
private virksomheder.<br />
11%<br />
Under 1 år<br />
1 år - 2 år<br />
Over 2 år<br />
n = 114<br />
31
I figur 3.9 specificeres projekternes ejerforhold nærmere. De 114 projekter er fordelt på<br />
43 kommunale, 12 statslige, syv regionale, 48 private og fire i anden virksomhed. ”Anden<br />
virksomhed” er foreninger, og udspecificeringen viser, at ”anden virksomhed” alene spiller<br />
en egentlig rolle under HF 3, hvilket ikke er overraskende ud fra dette hovedformåls<br />
brede sundhedsfremmende sigte. Det skyldes også, at det er det eneste hovedformål,<br />
hvor organisationer kan deltage.<br />
Evaluator finder det interessant, at der ved en geografisk opdeling af projekterne på<br />
regioner tegner sig et billede af en geografisk skæv fordeling. Som det fremgår af nedenstående<br />
figur 3.10, foregår knap halvdelen af projekterne i Hovedstadsregionen, hvilket<br />
er en markant overrepræsentation. Modsat fremstår Nordjylland som underrepræsenteret,<br />
idet kun 4 % af projekterne foregår i Nordjylland. Denne skævvridning fremgår også<br />
af Forebyggelsesfondens beretninger. Analyseres den geografiske fordeling af projekterne<br />
på tværs af hovedformålene, finder evaluator det bemærkelsesværdigt, at færre end<br />
2 % af HF 1a-projekterne foregår i Nordjylland.<br />
I forhold til fordelingen mellem offentlige og private virksomheder er det samtidig værd<br />
at bemærke, at der mod tendensen er dobbelt så mange projekter i private virksomheder<br />
32<br />
120%<br />
100%<br />
Figur 3.8: Ejerskab fordelt på hovedformål<br />
92%<br />
100%<br />
80%<br />
60%<br />
40%<br />
61%<br />
39%<br />
39%<br />
43%<br />
54%<br />
43%<br />
20%<br />
0%<br />
8%<br />
18%<br />
3%<br />
HF 1a HF 1b HF 2 HF 3 Alle<br />
projekter<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
120%<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
92%<br />
100%<br />
Offentlig virksomhed<br />
Privat virksomhed<br />
Anden virksomhed<br />
n = 114<br />
42%<br />
38%<br />
39%<br />
39%<br />
43%<br />
29%<br />
Regional<br />
11%<br />
6% 4% 8% 14%<br />
7%<br />
Statslig<br />
11%<br />
4% 14%<br />
Anden virksomhed<br />
Alle<br />
projekter<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.9: Projekterne fordelt på ejerskab<br />
HF 1a HF 1b HF 2 HF 3<br />
Privat<br />
Kommunal<br />
n = 114
end offentlige i Region Syddanmark, mens der i Region Midtjylland er en forholdsvis ligelig<br />
fordeling.<br />
Figur 3.10: Geografisk opdeling af projekterne på regioner (i %) og fordelingen<br />
mellem offentlige, private og ”andre” virksomheder (absolutte tal)<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
25 %<br />
16 offentlige<br />
12 private<br />
En ”anden”<br />
15 %<br />
Fem offentlige<br />
11 private<br />
En ”anden”<br />
4 %<br />
En offentlig<br />
Tre private<br />
14 %<br />
11 offentlige<br />
Fire private<br />
En ”anden”<br />
42 %<br />
29 offentlige<br />
18 private<br />
En ”anden”<br />
3.4 Projekternes indsatser, metoder og succeskriterier<br />
I fastlæggelsen af de forskellige projektprofiler er det centralt at undersøge projektindsatserne<br />
på tværs af hovedformål. Indsatserne er de redskaber, der tages i brug for at<br />
indfri de opstillede succeskriterier. Indsatserne analyseres i dette afsnit både ud fra deres<br />
metodiske tilgange, valg af indsats, samt hvilke succeskriterier projekterne har benyttet.<br />
Da det nytænkende og ekstraordinære element spiller en vigtig rolle i forhold til støtten<br />
af projekter under Forebyggelsesfonden, er det interessant at analysere projekterne ud<br />
fra et metodisk udviklingsperspektiv.<br />
I figur 3.11 nedenfor sondres mellem projekter, som omhandler velkendte og afprøvede<br />
indsatstyper og metoder og de projekter, som omhandler nye eller direkte eksperimenterende<br />
elementer. Som vist i figuren er der forholdsvis stor forskel på, hvorvidt projekterne<br />
er karakteriseret ved at indeholde nye og eksperimenterende elementer. Især HF 2projekterne<br />
fremstår i høj grad som nyskabende i forhold til valg af projektindsats og<br />
metode. Evaluator finder det bemærkelsesværdigt, at HF 2-projekterne har en højere<br />
andel af nyskabende og eksperimenterende projekter end HF 1b-projekterne, som ellers<br />
har et særligt fokus på teknologiudvikling. Det skal dog i denne sammenhæng påpeges,<br />
at grundet det begrænsede antal HF 2-projekter kan denne afvigelse være udtryk for en<br />
tilfældighed.<br />
33
100%<br />
91%<br />
90%<br />
80%<br />
70%<br />
60%<br />
60%<br />
77%<br />
68%<br />
50%<br />
40%<br />
40%<br />
32%<br />
30%<br />
23%<br />
20%<br />
10%<br />
0%<br />
9%<br />
HF 1a<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
HF 1b HF 2 HF 3<br />
I forhold til projektindsatserne er det ydermere interessant at afdække, hvorvidt de er<br />
orienteret mod individer, grupper, organisationer eller institutionelt samarbejde, fordi det<br />
siger noget om de logikker, der ligger bag hvert enkelt hovedformål. I tabel 3.12 er andelen<br />
af projekter i forhold til indsatsens orientering opgjort, og som tabellen viser, er<br />
langt størstedelen af alle projekter individorienterede. Ikke overraskende fremstår HF 1bprojekterne<br />
med deres fokus på teknologiudvikling som de projekter med den laveste<br />
andel af individorienterede projekter, hvilket ligger i tråd med, at projekterne under HF<br />
1b i høj grad går organisatorisk til værks. Det institutionelle samarbejde er generelt ikke<br />
udbredt, hvilket i sig selv ikke er bemærkelsesværdigt, selvom det kunne forventes, at<br />
projekterne under HF 2, som blandt andet har fokus på det kommunale samarbejde,<br />
også ville have et større fokus på det institutionelle samarbejde end de øvrige hovedformål.<br />
Tabel 3.12: Indsatsens orientering<br />
34<br />
HF 1a HF 1b HF 2 HF 3 ALLE<br />
INDIVIDUEL 76 % 39 % 91 % 86 % 75 %<br />
GRUPPE 63 % 15 % 9 % 68 % 54 %<br />
ORGANISATION 48 % 54 % 18 % 21 % 40 %<br />
INSTITUTIONELT<br />
SAMARBEJDE<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong><br />
2011<br />
Figur 3.11: Projektindsats i forhold til nyskabelse<br />
Metoden er velkendt og<br />
afprøvet<br />
Metoden er ny og<br />
eksperimenterende<br />
5 % 8 % 19 % 4 % 5 %<br />
n = 113
For at sammenligne de forskellige projektindsatser har evaluator opstillet syv indsatstyper<br />
som vist i tabel 3.13. 16 På baggrund af ovenstående er det ingenlunde overraskende, at<br />
individuelle tilbud er den mest anvendte indsatstype. Individuelle tilbud dækker over en<br />
bred vifte af tilbud bl.a. supervision, kompetenceudvikling og fitnessordning. De er i særdeleshed<br />
udbredt blandt HF 2- og HF 3-projekterne. HF 1a- og HF 1b-projektindsatserne<br />
omhandler i høj grad indsatser rettet mod organisering af arbejdet, hvilket bl.a. omhandler<br />
arbejdsprocesser både i forhold til teknologiske forbedringer, men også i forhold til<br />
mere kultur- og værdibaserede forandringer.<br />
Tabel 3.13: Indsatser fordelt på hovedformål<br />
INDIVIDUELLE TILBUD 37<br />
ARBEJDETS ORGANISE-<br />
RING<br />
INFORMATIONS-<br />
AKTIVITETER<br />
NETVÆRK/ SAMARBEJ-<br />
DE<br />
HF 1a HF 1b HF 2 HF 3 ALLE<br />
60 %<br />
46<br />
74 %<br />
33<br />
53 %<br />
34<br />
54 %<br />
KOMPETENCEUDVIKLING 41<br />
66 %<br />
AMBASSADØRER 22<br />
RAMMEBETIN-<br />
GELSER/VILKÅR<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
36 %<br />
8<br />
13 %<br />
1<br />
8 %<br />
11<br />
85 %<br />
2<br />
15 %<br />
6<br />
46 %<br />
3<br />
23 %<br />
2<br />
15 %<br />
9<br />
82 %<br />
2<br />
18 %<br />
5<br />
46 %<br />
10<br />
91 %<br />
5<br />
46 %<br />
3<br />
27 %<br />
22<br />
79 %<br />
6<br />
21 %<br />
24<br />
86 %<br />
6<br />
21 %<br />
7<br />
25 %<br />
11<br />
39 %<br />
16 Da projekterne typisk indeholder flere indsatstyper, er den samlede procentdel oftest over 100 %.<br />
0<br />
0 %<br />
1<br />
9 %<br />
0<br />
0 %<br />
69<br />
61 %<br />
65<br />
57 %<br />
64<br />
56 %<br />
56<br />
49 %<br />
56<br />
49 %<br />
38<br />
33 %<br />
9<br />
8 %<br />
35
I forhold til projektindsatserne er det værd at notere sig, at projektindsatser omhandlende<br />
rammebetingelser såsom økonomiske incitamenter eller overenskomstmæssige forhold<br />
sjældent anvendes. Det er kun 13 % af HF 1a-projekterne og et enkelt projekt under<br />
HF 1b, som har rammebetingelser som indsats. HF 1a adskiller sig fra de andre hovedformål.<br />
Måden, hvorpå projekterne har valgt at måle deres projektindsatser, er interessant, da<br />
den kan forklare, hvorvidt projekterne er i stand til at vurdere output, outcome og impact.<br />
Af figur 3.14 fremgår det, at hovedparten af samtlige projekter arbejder med såvel<br />
aktivitetsmål som effektmål, og at der er forholdsvis få, som alene arbejder med aktivitetsmål.<br />
Sidstnævnte anser evaluator for positivt, idet brugen af effektmål er afgørende<br />
for at kunne vurdere output, outcome og impact.<br />
Det er evaluators vurdering, at brugen af succeskriterier indholdsmæssigt varierer betydeligt<br />
både i forhold til de opstillede målsætninger og ikke mindst i forhold til, hvordan<br />
projekterne efterfølgende måler på opfyldelsen heraf. Denne vurdering ligger til grund<br />
for, at der parallelt med evalueringens første del foretages en tværgående analyse med<br />
succeskriterier som tema. Derfor vil nærværende evaluering ikke gå dybere ind i dette<br />
parameter til vurdering af projekternes karakteristika endsige vurderingen af deres effekt.<br />
Som beskrevet i dette kapitel, er der nogle væsentlige forskelle på projekterne under de<br />
respektive hovedformål. Ovenstående kortlægning vil i de efterfølgende kapitler blive<br />
brugt som udgangspunkt for dybdegående analyser af projekterne.<br />
36<br />
80%<br />
70%<br />
60%<br />
50%<br />
40%<br />
30%<br />
20%<br />
10%<br />
0%<br />
13%<br />
48%<br />
37%<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 3.14: Projektmålinger<br />
15%<br />
46%<br />
39%<br />
18%<br />
9%<br />
73%<br />
25%<br />
18%<br />
HF 1a HF 1b HF 2 HF 3<br />
57%<br />
Projektet foretager<br />
aktivitetsmålinger<br />
Projektet foretager<br />
effektmålinger<br />
Projektet måler<br />
både aktivitet og<br />
effekt<br />
n = 113
Kapitel 4. Evaluering af HF 1a<br />
I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens<br />
hovedformål 1a. Hovedformål 1 er som bekendt opdelt i to delformål. Denne sondring<br />
opretholdes i evalueringen, sådan at HF 1a og HF 1b evalueres særskilt, fordi opdelingen<br />
sker med baggrund i forskellig fokus for projekterne. Der er 62 afsluttede projekter<br />
under dette hovedformål, som analyseres i forhold til projekternes indhold, proces og<br />
resultater.<br />
Formålet med kapitlet er at udfolde de forskellige elementer i en programteoretisk forståelse<br />
af projekters proces og derved få en bedre forståelse af disse processer. Fokus er<br />
således på kontekst og indsats set i forhold til effekt. Analysen er struktureret således, at<br />
der for det første er fokus på kontekstfaktorer for indsatserne og deres betydning for<br />
effekt. Dernæst belyser analysen indholdet af indsatserne under HF 1a og deres betydning<br />
for effekt.<br />
4.1 Formålet med HF 1a<br />
Under HF 1a støttes ekstraordinære og nytænkende projekter, der har til formål at forebygge<br />
fysisk og psykisk nedslidende rutiner og arbejdsgange. Hertil kommer projekter,<br />
som søger at fastholde medarbejdere med dårligt helbred. HF 1a er det mest søgte og<br />
det hovedformål med flest afsluttede projekter.<br />
Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere eller vurdere<br />
på tværs af projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne<br />
i projekterne varierer betydeligt, og da kvaliteten af evalueringen af projekterne<br />
ligeledes varierer. Implementering og spredning er i analysen udtryk for et projekts<br />
effekt. Effekter, som efterfølgende implementeres, må antages at være succesfulde<br />
og holdbare, ligesom spredning er et udtryk for en mere langsigtet effekt (impact).<br />
Da Forebyggelsesfondens midler samtidig er rettet mod nytænkende projekter, kan et<br />
succesfuldt projekt imidlertid også være et projekt, som ikke lykkes, og hvor den opnåede<br />
viden handler om, hvad der ikke virker. Derfor er spredning af viden en parameter for,<br />
at projekterne har skabt et brugbart resultat i en bredere sammenhæng. Men ikke mindst<br />
eksperimenterende projekter har en høj risiko for ”fiasko”, og erfaringer fra mislykkede<br />
projekter er formentlig vanskelige at sprede. På denne baggrund anses implementering<br />
og spredning for at være de aktuelt mest valide udtryk for projekternes effekt.<br />
4.2 Projekternes kontekst<br />
Et centralt spørgsmål i forbindelse med projekternes kontekst er organisering. Organiseringen<br />
omhandler aspekter i forhold til beslutningskompetence og involvering af forskellige<br />
aktører. I de kvalitative interview fremhæver hovedparten af projektlederne uopfordret<br />
vigtigheden af ledelsesmæssig opbakning til projektet.<br />
Ledelsens opbakning kan både anskues formelt i form af de beslutninger, der træffes på<br />
ledelsesniveau og mere uformelt som opbakning og interesse for projektets deltagere og<br />
37
indhold. Eksempelvis peger en projektleder på, at nøglepersonernes oplevelse af ledelsens<br />
engagement har haft væsentlig betydning:<br />
38<br />
Topledelsens støtte til nøglepersonernes nye rolle og generel opmærksomhed på<br />
projektet er meget vigtig. (Projektleder, privat virksomhed)<br />
Andre informanter fremhæver, at ledelsens involvering i selve projektudviklingen har haft<br />
en betydning, men også undervejs i projekterne (fx ved forskellige målinger) fremhæves<br />
ledelsens interesse som medvirkende til at skabe fremdrift i projekterne og motivere målgruppen<br />
til deltagelse. Når der nedenfor fokuseres på den formelle ledelsesmæssige forankring<br />
af projekterne, er dette således én vinkel på ledelsesmæssig opbakning, mens<br />
den uformelle ledelsesopbakning ikke har været mulig at analysere yderligere end ovenstående.<br />
Den ledelsesmæssige forankring antager forskellige former, herunder projektledelse med<br />
interne og eksterne aktører samt styregrupper med deltagelse af medarbejdere. Det underbygges<br />
såvel kvalitativt som kvantitativt, at der er flere forskellige typer af aktører,<br />
som indgår i de forskellige former for projektorganisering, og at dette tillægges betydning<br />
for projekterne.<br />
4.2.1.1 Placering af beslutningskompetence<br />
Faktaboks 4.1: Beslutningskompetence<br />
59 % har intern projektledelse<br />
41 % har eksterne i deres projektledelse<br />
67 % har styregrupper<br />
59 % har styregrupper, hvori medarbejdere deltager<br />
I 59 % af projekterne ligger<br />
projektledelsen internt i den<br />
virksomhed, hvor projektet<br />
foregår. Dette er måske ikke<br />
overraskende, men det betyder<br />
omvendt, at der i 41 % af projekterne<br />
indgår eksterne aktører<br />
i selve projektledelsen. Det<br />
er interessant at afdække, om<br />
dette forhold eksempelvis har<br />
betydning for implementeringen af projekternes resultater. Evaluator har en hypotese<br />
om, at intern projektledelse i højere grad resulterer i implementering af projektet end,<br />
hvis projektledelsen forestås helt eller delvist af eksterne. Det er en hypotese, som delvis<br />
understøttes af data.<br />
Som det fremgår af figur 4.1 nedenfor, er der en større grad af implementering, når projektledelsen<br />
er intern. Det mest sigende tal i den forbindelse er, at samtlige projekter,<br />
som udelukkende har eksterne aktører i projektledelsen, ikke implementeres, mens det er<br />
henholdsvis 3 % og 5 % for intern og intern/ekstern projektledelse. Figur 4.1 peger ligeledes<br />
på, at forskellen mellem implementeringen for intern og delt intern/ekstern projektledelse<br />
er minimal.
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
56%<br />
42%<br />
3%<br />
Intern<br />
projektledelse<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
100%<br />
Inddragelse af eksterne aktører i projektledelsen kan være organiseret i styregrupper.<br />
Beslutningskompetencen i projekterne er for 67 % vedkommende placeret i styregrupper.<br />
I alle på nær fire projekter deltager ledelsen i styregrupperne. I mere end halvdelen (59<br />
%) af projekterne under HF 1a deltager medarbejdere i styregrupper.<br />
Inddragelse af medarbejdere kan formodes at skabe engagement og ejerskab, som fører<br />
til en højere grad af implementering. Hertil kommer en antagelse om, at medarbejdernes<br />
deltagelse kvalificerer projekterne og herved gør dem levedygtige i dagligdagen. Antagelsen<br />
om en positiv sammenhæng mellem inddragelse af medarbejderne i beslutningsprocesserne<br />
og implementeringen fremgår af figur 4.2. Her fremgår det, at 47 % af projekter<br />
med medarbejdere i styregruppe opnår fuld implementering af projektet, mens dette<br />
sker for 33 % af projekter, som ikke har medarbejdere i styregrupper. 3 % af projekterne<br />
med medarbejdere i styregruppen implementeres ikke, hvilket er tilfældet for 11 % af de<br />
projekter, som ikke har medarbejdere i styregruppen.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
47%<br />
Figur 4.1: Projektledelse og implementering<br />
Ekstern<br />
projektledelse<br />
Involvering og engagement kan formodes at øge bredden i indsatsen, fordi flere interesser<br />
indgår og skal tilgodeses i beslutningsprocesserne omkring projektet. Der ses en tendens<br />
til, at involvering af medarbejdere via deltagelse i styregrupper har en betydning for<br />
indsatsens bredde.<br />
45%<br />
50%<br />
5%<br />
Delt intern/ekstern<br />
projektledelse<br />
50% 56%<br />
3%<br />
Projekter med medarbejdere i<br />
styregrupperne<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 4.2: Styregruppesammensætning og implementering<br />
33%<br />
11%<br />
Projekter uden medarbejdere i<br />
styregrupperne<br />
Helt implementeret<br />
Delvis implementeret<br />
Ikke implementeret<br />
n = 60<br />
Helt<br />
implementeret<br />
Delvis<br />
implementeret<br />
Ikke<br />
implementeret<br />
n = 40<br />
39
I figur 4.3. opstilles en sammenhæng mellem styregruppens sammensætning og projektindsatsen,<br />
hvor en bred indsats defineres som en indsats med mange indsatstyper og<br />
problemstillinger, mens en smal indsats indeholder få indsatser og en enkelt eller få problemstillinger.<br />
Det fremgår, at 56 % af de projekter, som har medarbejdere i en styregruppe,<br />
har en bred indsats, mens det gælder for 22 % af de projekter, som ikke har<br />
medarbejdere med i en styregruppe. På den baggrund kan det konkluderes, at involvering<br />
af medarbejdere i styregrupper vurderes at have en sammenhæng med en bredere<br />
indsats. Dette kan skyldes, at projektet via inddragelsen af medarbejderne i styregruppen<br />
får flere synspunkter og perspektiver ind i projektet, som relaterer indsatsen til kerneopgaverne<br />
og skaber et bredere fokus.<br />
Inddragelsen af medarbejdere i styregrupper viser samtidig en sammenhæng, hvor der i<br />
højere grad opnås positive sidegevinster – altså resultater, som ikke var forudset og måske<br />
ikke har direkte sammenhæng med indsatsen. Figur 4.4 viser, at hele 83 % af de<br />
projekter, hvor medarbejderne indgår i styregrupper, angiver at have opnået positive<br />
sideeffekter mod 63 % af projekter uden medarbejdere i styregrupper. Generelt opnår<br />
ganske mange projekter efter eget udsagn positive sideeffekter af deres indsats.<br />
I de kvalitative interview vurderer flere projektledere og nøglepersoner, at de via projektet<br />
har fået positive sidegevinster i form af et mere grundlæggende bidrag til en kulturændring<br />
i virksomheden. Eksempelvis udmøntet i øget involvering af medarbejdere eller i<br />
forhold til at tage arbejdsmiljø alvorligt og gå op imod ”Tarzan-kulturen” på arbejdspladsen.<br />
En projektleder fra byggebranchen påpeger dette og anfører samtidig tidspres som<br />
en barriere i forhold til at fastholde den kulturelle forandring. Tidspresset medfører ifølge<br />
projektlederen en fare for, at man falder tilbage i de gamle vaner, hvor kulturen tilsiger,<br />
at man klarer sig selv:<br />
40<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 4.3: Styregruppesammensætning og bredden i indsatserne<br />
44%<br />
56%<br />
Projekter med medarbejdere i<br />
styregrupper<br />
Når tidsplanen er presset, så passer hver mand sit, og der opstår samarbejdsproblemer<br />
og unødig nedslidning. Det er lettere bare at bære selv. (Projektleder, privat<br />
virksomhed).<br />
78%<br />
22%<br />
Projekter uden medarbejdere i<br />
styregrupper<br />
Projektet består af<br />
en smal indsats<br />
Projektet består af<br />
en bred indsats<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 42
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
83%<br />
17%<br />
Projekter med medarbejdere i<br />
styregrupper<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Hvis beslutningskompetencen ligger i en styregruppe, involverer det flere og giver ejerskab<br />
til flere end ved en klassisk ledelsesstruktur, hvor det udelukkende er organisationens<br />
øverste ledelse, som styrer projektet. På den baggrund er det rimeligt at formode,<br />
at projekter, som anvender styregrupper, opnår større spredning af projektets resultat.<br />
Som det ses i figur 4.5, er det imidlertid ikke tilfældet. Graden af spredning er stort set<br />
ens, uanset om projekterne har en styregruppe med inddragelse af medarbejdere eller<br />
har beslutningskompetencen organiseret udelukkende på ledelsesniveau eller i en styregruppe<br />
uden medarbejdere. Evaluator finder ingen umiddelbare forklaringer herpå, men<br />
finder, at det er interessant i fremtidige analyser at holde sig for øje, at organiseringen i<br />
en styregruppe ikke fører til øget spredning.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 4.4: Styregruppesammensætning og sideeffekter<br />
Det er vanskeligt helt præcist at afdække, hvordan styregrupperne konkret er blevet<br />
anvendt i projekterne, og i den forbindelse peger projektledere og andre nøglepersoner<br />
på forskellige relevante eksempler og opmærksomhedspunkter. Eksempelvis fremhæves<br />
det, at styregruppen reelt skal involveres og ikke blot fungere som et formelt organ. En<br />
projektleder beskriver styregruppens funktion som sparringspartner som essentiel.<br />
63%<br />
87% 88%<br />
Projekter med medarbejdere i<br />
styregrupper<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Det er vigtigt at se styregruppen som sparringspartner og ikke bare nogen, der skal<br />
godkende. Man skal bruge og udfordre dem som en del af processen. (Projektleder,<br />
privat virksomhed).<br />
37%<br />
Projekter uden medarbejdere i<br />
styregrupper<br />
Figur 4.5: Styregruppesammensætning og spredning<br />
13% 12%<br />
Projekter uden medarbejdere i<br />
styregrupper<br />
Projektet har positive<br />
sideeffekter<br />
Projektet har ikke<br />
positive sideeffekter<br />
n = 38<br />
Opnår spredning<br />
Opnår ikke<br />
spredning<br />
n = 40<br />
41
Herudover påpeges det, at reel involvering kræver tid. For at få involveret styregruppens<br />
medlemmer i projektets indhold, indsatser og gennemførelse er det centralt at afsætte<br />
tid til arbejdet i styregruppen under hele processen, men de kvalitative interview peger<br />
særligt på behovet i opstartsfasen. I de tilfælde, hvor medarbejderne involveres, viser<br />
det sig, at indholdet af styregruppens arbejde bliver mangeartet. Foruden at indkredse og<br />
fokusere indsatsen handler det om at skabe et fremadrettet fundament for samarbejde,<br />
tillid og legitimitet.<br />
Opsummerende kan det i forhold til placeringen af beslutningskompetence vurderes, at<br />
hovedparten af projekterne organiserer sig med en styregruppe. Styregrupperne har stort<br />
set alle ledelsen repræsenteret, og omtrent halvdelen har medarbejderne repræsenteret.<br />
Begge parters deltagelse fremmer implementeringen, og derudover har analysen vist, at<br />
intern projektledelse styrker implementeringen, uanset om den interne ledelse forestås<br />
alene eller sammen med eksterne aktører. Involveringen af medarbejdere i styregrupper<br />
viser sig ligeledes at bidrage positivt, ved at disse projekter i højere grad opnår positive<br />
sidegevinster.<br />
4.2.1.2 Involvering af eksterne aktører<br />
Forholdsvis mange projekter inddrager som skrevet eksterne aktører i selve projektledelsen.<br />
Denne åbenhed mod omverdenen og omverdenens ekspertise ses også ved, at hovedparten<br />
af projekterne (95 %) under dette hovedformål inddrager eksterne konsulenter til<br />
fx processtøtte eller teknisk bistand.<br />
Faktaboks 4.2: Inddragelse af eksterne<br />
aktører<br />
41 % har eksterne aktører i deres projektledelse<br />
95 % anvender eksterne konsulenter i forbindelse<br />
med indsatsen<br />
66 % anvender eksterne konsulenter i evalueringen<br />
42<br />
Flere projektledere fremhæver vigtigheden<br />
af at involvere eksterne aktører i<br />
forhold til at give projektet autoritet i<br />
såvel organisationen som over for medarbejderne.<br />
Ergoterapeutisk bistand som ekstern<br />
autoritet er vigtig. Det betyder noget,<br />
når fagfolk kommer ind udefra. Så lyttes<br />
der på en anden måde. (Projektleder,<br />
kommunal virksomhed).<br />
Dette udsagn peger sammen med flere<br />
andre på, at den direkte dialog mellem eksterne konsulenter og medarbejderne kan være<br />
en vigtig forandringsfaktor. Således fremhæver en anden projektleder specifikt dette som<br />
et læringspunkt i projektet. Her var de eksterne konsulenter indtænkt som sparring for<br />
styregruppen, men funktionen blev ændret til, at konsulenterne kom ud i felten og var på<br />
afdelingsniveau sammen med medarbejderne.<br />
De skulle ud i terrænet. Der kunne de bedre bidrage til forandring. (Projektleder, regional<br />
virksomhed).<br />
Konsulenternes direkte funktion over for målgruppen fremhæves særligt i de projekter,<br />
hvor der har været iværksat en individ-orienteret indsats. Pointen blandt disse projektledere<br />
er, at når indsatsen fordrer en erkendelse af individuelle problemstillinger fx i forhold<br />
til det psykiske arbejdsmiljø, kan dette lettere italesættes over for en udefrakommende.
En tredje person (ekstern, red.) kommer i dialog med medarbejderen, og derved bliver<br />
din privatsfære ikke åben over for arbejdspladsen. Det har bidraget væsentligt til<br />
at styrke indsatsen. (Projektleder, kommunal virksomhed).<br />
Inddragelsen af de eksterne aktører kan ses i lyset af indsatsens karakter som individorienteret,<br />
men også i andre projekter vurderes det som en fordel, at medarbejderne<br />
sammen med en ekstern konsulent har analyseret og kommenteret på arbejdsmiljøforhold<br />
uden at skulle forholde sig til ledelsen. Projektlederne påpeger i denne sammenhæng,<br />
at de eksterne aktører gør det muligt at frakoble medarbejdernes oplevede risici i<br />
forhold til, at deres udsagn alene skulle anvendes til effektivisering og rationalisering.<br />
I andre projekter fremhæves de eksterne konsulenters funktion i forhold til projektets<br />
proces, hvor flere projektledere netop understreger de eksternes funktion som dem, der<br />
sikrer fremdriften i projekterne. En projektleder peger i den sammenhæng på, at de eksterne<br />
konsulenter og evaluatorer har været vigtige for processen.<br />
Det var vigtigt for processen, at der var en ekstern indpisker. Også den eksterne<br />
evaluator var med til at sikre fremdriften. Det handler både om at fremme processen<br />
og om at sikre, at vi bliver på stien. (Projektleder, privat virksomhed).<br />
Endvidere tyder det på, at inddragelse<br />
af eksterne konsulenter til processtøtte<br />
øger spredningen. Således har 89 % af<br />
de projekter, som har benyttet eksterne<br />
konsulenter til processtøtte, opnået<br />
spredning, mens det gælder for 79 % af<br />
de HF 1a-projekter, som ikke har benyttet<br />
eksterne til processtøtte.<br />
Faktaboks 4.3: Eksterne konsulenter<br />
75 % benytter eksterne til processtøtte<br />
66 % benytter eksterne til evaluering<br />
45 % benytter eksterne til arbejdsmiljøfaglig<br />
bistand<br />
39 % benytter eksterne til undervisning<br />
I forbindelse med inddragelsen af eksterne<br />
konsulenter til formidling viser<br />
30 % benytter eksterne til teknisk støtte<br />
data, at det er med til at styrke imple- 25 % benytter eksterne til formidling<br />
menteringen. Der er 47 % af HF 1aprojekterne<br />
med støtte til formidlingsdelen, som implementeres fuldt ud, mens det gælder<br />
for 39 % af de HF 1a-projekter, som ikke får støtte til formidling. I forhold til de andre<br />
konsulentydelser, som projekterne gør brug af, er der imidlertid ikke nogen forskelle<br />
at spore med henblik på at skabe en højere grad af spredning eller implementering.<br />
Det er selvfølgelig heller ikke alle, som har oplevet inddragelsen af eksterne konsulenter<br />
som entydigt positivt, men der er meget få, der fremhæver en negativ betydning af inddragelsen.<br />
Der, hvor der peges på udfordringer, er de eksterne konsulenters indsigt i<br />
arbejdspladsens lokale og specifikke forhold. De fleste angiver dog dette som en udfordring<br />
ved projektets start, som siden overkommes.<br />
De tilknyttede konsulenter vidste ikke alle så meget om fagområdet, men de ”kom<br />
efter det”. (Projektleder, privat virksomhed).<br />
Inddragelse af ekstern konsulentbistand sker også i forbindelse med projektevalueringen.<br />
Generelt er det evaluators vurdering, at der er forholdsvis mange projektevalueringer,<br />
som har en dårlig kvalitet. Derfor er det afsøgt, om brugen af eksterne evaluatorer<br />
øger kvaliteten. Under HF 1a har 66 % af projekterne haft eksterne konsulenter inddraget<br />
i evalueringerne.<br />
På baggrund af evaluators gennemgang og vurdering af projektevalueringerne og evaluators<br />
faglige evalueringsekspertise er det vurderingen, at brugen af eksterne evaluatorer<br />
resulterer i en højere kvalitet i evalueringen. 30 % af de rent interne evalueringer vurderes<br />
at have lav kvalitet mod 17 % af de evalueringer, hvor eksterne konsulenter indgår i<br />
43
evalueringer. Hermed også være sagt, at brugen af eksterne evaluatorer ikke er en garanti<br />
for evalueringer af høj kvalitet, men det styrker kvaliteten, at evalueringen foretages<br />
af folk ude fra og formentlig også af personer med større erfaring i evalueringsmetoder.<br />
Imidlertid er der ikke en sammenhæng i forhold til, at eksterne evalueringer fører til større<br />
spredning af den opnåede viden. Tværtimod er der en lidt større andel af internt evaluerede<br />
projekter end eksterne, som opnår spredning. Forskellen er dog kun på fire procentpoint.<br />
Dette er et interessant fund, som evaluator vil forfølge i kommende delevalueringer.<br />
Dog viser det sig, at inddragelsen af eksterne evaluatorer giver en højere grad af<br />
implementering, hvorfor 47 % af projekter med inddragelse af eksterne evaluatorer er<br />
blevet fuldt implementeret, mens andelen er 28 % for projekter uden inddragelse af eksterne<br />
evaluatorer.<br />
Opsummerende er vurderingen, at eksterne aktører i høj grad inddrages. De eksterne<br />
aktørers funktion varierer, men der tegner sig et billede af, at de kan have en særlig<br />
funktion i de individ-orienterede indsatser. Det omhandler enten personlige forhold, eller<br />
hvis der i indsatsen ligger en oplevet konflikt mellem medarbejdere og ledelse. Samtidig<br />
vurderes det, at de eksterne aktører har haft en positiv betydning for projekternes proces,<br />
når deres funktion relaterer sig til indsatsen. I forlængelse heraf viser det sig, at<br />
brugen af processtøtte bidrager til at skabe øget spredning af projekterne. Ydermere<br />
viser det sig, at brugen af eksterne konsulenter til formidling styrker implementeringen.<br />
Det er desuden udbredt blandt HF 1a-projekterne at bruge eksterne evaluatorer, hvilket<br />
er med til at øge kvaliteten af evalueringerne samt skabe øget implementering, men ikke<br />
nødvendigvis øget spredning af den opnåede viden.<br />
4.3 Projekternes indsats<br />
Efter at have afsøgt de forskellige organisatoriske faktorers betydning for projekternes<br />
indhold og resultat, analyseres faktorer relateret til selve indsatsen og dennes betydning.<br />
Det kunne fx formodes, at projekter med smalle indsatser opnår en højere grad af implementering<br />
end projekter med brede indsatser, men denne sammenhæng kan ikke<br />
identificeres.<br />
Derimod viser det sig, at der er en høj grad af forskellige former for involvering, og at<br />
dette på forskellig vis har en betydning. Ligeledes viser løsningsforståelse og kompeten-<br />
44<br />
100%<br />
Figur 4.6: Evalueringskvalitet og evaluator<br />
80%<br />
60%<br />
63%<br />
55%<br />
Høj<br />
evalueringskvalitet<br />
Rimelig<br />
40%<br />
30%<br />
evalueringskvalitet<br />
20%<br />
20% 17%<br />
15%<br />
Ringe<br />
0%<br />
evalueringskvalitet<br />
Eksterne indgår i Eksterne indgår ikke i<br />
evalueringen<br />
evalueringen<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 60
ceudvikling som særlig indsatstype at have en betydning. Afslutningsvis ses på processen<br />
i indsatserne.<br />
4.3.1.1 Involvering som en del af indsatsen<br />
Mange projekter anvender involvering<br />
af interne såvel som eksterne aktører<br />
som en del af selve indsatsen og dermed<br />
ikke blot som en del af projektets<br />
organisering. Evaluator har set på flere<br />
forskellige former for involvering, som<br />
analyseres nedenfor.<br />
Faktaboks 4.4: Involvering som en del<br />
af indsatsen<br />
91 % involverer målgruppen<br />
53 % anvender netværk<br />
34 % anvender ambassadører<br />
Involvering af målgruppen som en<br />
del af indsatsen anvendes af stort set alle projekter under dette hovedformål (91 %).<br />
Involvering af målgruppen dækker over en bred vifte af metoder til at skabe engagement<br />
i projektet.<br />
Flere projektledere fremhæver projektets involvering af målgruppen som et element i<br />
indsatsen, der har en bredere betydning for virksomhedens kultur. Det fremhæves især i<br />
projekter i byggebranchen og servicebranchen, hvor målgruppen beskrives som medarbejdere,<br />
der ikke sædvanligvis bliver bedt om at bidrage og involvere sig. Det bredere<br />
bidrag udtrykkes bl.a. i nedenstående citat, hvor pointen er, at projektets indsats anlægger<br />
en anden tilgang til medarbejderne, end de er vant til.<br />
Der bliver skabt et særligt forum, hvor de faglærte kan deltage. De har normalt ikke<br />
en deltagende og bidragende kultur, hvor man åbner munden. Faktisk er de mest<br />
vant til at gøre, som der bliver sagt. (Projektleder, privat virksomhed).<br />
Et andet eksempel på, at det har en betydning for virksomhedens kultur at involvere<br />
målgruppen, er et projekt, hvor projektlederen fremhæver, at indsatsen har medvirket til,<br />
at afdelingerne finder deres egen identitet. Dette har ifølge projektlederen ført til, at afdelingerne<br />
har fået et bedre fundament for at håndtere løbende forandringer og nye krav<br />
i virksomheden. At involveringen bidrager til at nuancere virksomhedens karakteristika<br />
ses endvidere i et projekt, hvor målgruppeinvolvering i supervisionsindholdet - overraskende<br />
for projektledelsen - viste væsensforskellige ønsker til indhold og metoder. Der er<br />
således mange eksempler på, at involvering af medarbejderne ikke alene har betydning<br />
for indsatsen, men også bidrager positivt på en bredere front på arbejdspladsen.<br />
Brugen af netværk er en anden form for involvering, som formodes at have betydning<br />
for spredning af projektets resultat. Netværk som indsats dækker over samarbejdsrelationer<br />
på tværs af fx faggrupper, afdelinger eller virksomheder. Brugen af netværk forventes<br />
både at kunne give input til projektet, ved at man inddrager viden, erfaringer og perspektiver<br />
fra andre, men også at kunne viderebringe viden fra projektet til andre. Netværk<br />
overskrider så at sige naturligt virksomhedens horisont, hvilket fører til en hypotese<br />
om, at der heri ligger en positiv sammenhæng med spredning af viden opnået i projektet.<br />
Halvdelen af projekterne involverer netværk som en del af projektets indhold, hvilket ser<br />
ud til at have betydning for den efterfølgende spredning af projektets resultater. Som det<br />
ses i figur 4.7, opnår hele 97 % af projekterne med brug af netværk spredning, hvilket er<br />
tilfældet for 75 % af projekter uden anvendelse af netværk.<br />
45
Anvendelse af ambassadører kan ligeledes forventes at medvirke til at motivere deltagelsen<br />
i projektet, skabe ejerskab og forankring samt viderebringe viden opnået i projektet.<br />
Godt en tredjedel af projekterne gør brug af ambassadører som en del af deres<br />
indsats. Det tyder ikke på, at dette har betydning for projekternes implementering, og<br />
ligeledes opnås der ikke en nævneværdig større spredning end for de projekter, som ikke<br />
bruger ambassadører.<br />
Opsummerende viser analysen, at inddragelse af målgruppen anvendes af stort set alle<br />
projekter, og at dette tillægges betydning i og uden for selve projektet. Hertil kommer, at<br />
halvdelen af projekterne anvender netværk som en del af indsatsen, og at dette har en<br />
betydning for videnspredningen af projektets resultater. Derimod er der ikke noget, der<br />
tyder på, at brugen af ambassadører har en nævneværdig betydning for implementering<br />
og spredning. Hvilket vil være et opmærksomhedspunkt i de kommende evalueringer.<br />
4.3.1.2 Arbejdsorganisering, individuelle tilbud og empowerment<br />
Ses der herefter på særligt indhold i indsatserne, er ændringer i arbejdsorganisering<br />
den mest anvendte indsats under HF 1a. Ændringer i arbejdets organisering viser sig at<br />
have en forholdsvis klar sammenhæng med graden af implementering af projekternes<br />
indsats. Af figur 4.8 fremgår det, at hele 51 % af de projekter, som har ændringer i arbejdets<br />
organisering som en del af sin indsats, bliver helt implementeret mod 13 %<br />
blandt de projekter, der ikke indeholder ændringer af arbejdsorganisering. Ser man på<br />
projekter, som ikke implementeres, er billedet også klart med 7 % ikke implementerede<br />
projekter blandt projekter med ændringer i arbejdsorganiseringen og 12 % blandt projekter<br />
uden ændringer i arbejdsorganisering.<br />
46<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
97%<br />
3%<br />
75%<br />
25%<br />
Anvender netværksindsats Anvender ikke netværksindsats<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 4.7: Netværksindsats og spredning<br />
Opnår spredning<br />
Opnår ikke<br />
spredning<br />
n = 61
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
51%<br />
42%<br />
7%<br />
Projektet omhandler ændring af<br />
arbejdets organisering<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 4.8: Ændring af arbejdets organisation og implementering<br />
Empowerment som løsningsforståelse indgår i godt halvdelen af projekternes indsatser.<br />
Empowerment som løsningsforståelse dækker over, at evaluator vurderer, at løsningsforståelsen<br />
i projektet i minimum tre ud af fem sammenhænge er empowermentorienteret<br />
(for yderligere uddybning henvises til bilag 1). Disse er holdt op mod projekter med en<br />
ekspertorienteret tilgang, som omvendt er operationaliseret, ved at løsningsforståelsen i<br />
projektet i minimum tre ud af fem sammenhænge er ekspertorienteret (jf. bilag 1).<br />
Som det kan ses i figur 4.9, er der bemærkelsesværdige forskelle i forhold til disse to<br />
tilganges betydning for implementeringen. Af de projekter, der har en ekspertorienteret<br />
tilgang, er 67 % blevet implementeret, mens dette gør sig gældende for 43 % af projekter<br />
med empowerment som tilgang.<br />
Det bemærkes samtidig, at forskellen i forhold til projekter, hvor det ikke har været muligt<br />
at afdække deres løsningsforståelse eller kategorisere denne som henholdsvis empowerment<br />
eller ekspertorienteret, ikke er væsentlig. Det kan derfor være vanskeligt at<br />
udlede andet af opgørelsen, end at projekter med empowerment som tilgang er udfordret<br />
i forhold til implementeringen, og at denne udfordring kan være interessant at afsøge<br />
nærmere i fremtidige dele af evalueringen. Evaluator har blandt andet en formodning<br />
om, at de empowermentorienterede projekter i højere grad retter sig mod kultur og vaner,<br />
der alt andet lige er vanskeligere at implementere.<br />
13%<br />
75%<br />
12%<br />
Projektet omhandler ikke<br />
ændring af arbejdets organisering<br />
Helt<br />
implementeret<br />
Delvis<br />
implementeret<br />
Ikke<br />
implementeret<br />
n = 61<br />
47
Opsummerende viser analysen et generelt billede af, at ændringer i arbejdsorganiseringen<br />
har en positiv betydning for et projekts implementering. Ligeledes tyder det på, at<br />
den ekspertorienterede tilgang har en positiv sammenhæng med implementeringen i et<br />
projekt sat op over for den empowermentorienterede tilgang.<br />
4.3.1.3 Proces<br />
I forhold til processen i projekterne kan det være relevant at afdække projekternes afsæt<br />
i henholdsvis kendte metoder eller med ambition om at tilføje/afprøve nye elementer.<br />
Godt halvdelen af projekterne indeholder en indsats, som er velkendt og afprøvet,<br />
mens den anden halvdel afprøver nye elementer eller er egentlig eksperimenterende.<br />
Ikke så overraskende opnår projekter med nye og eksperimenterende elementer en større<br />
spredning af indsatsens resultater. Der må formodes dels en større nysgerrighed over<br />
for nye tiltag, som giver en større efterspørgsel efter viden opnået i projektet. Dels må<br />
det formodes, at der i projektet er en større motivation til at videreformidle projektets<br />
resultater, hvis man har nyt at berette.<br />
Det fremgår af figur 4.10, at de eksperimenterende indsatser har den laveste implementering,<br />
hvilket umiddelbart forekommer logisk. Imidlertid er det overraskende, at det er<br />
projekter med nye elementer, som med 56 % har den højeste andel af fuldt implementerede<br />
projekter mod 32 % blandt projekter, som arbejder med velkendte og afprøvede<br />
indsatser.<br />
At de indsatser, som enten er velkendte og afprøvede eller indeholder nye elementer, har<br />
en højere implementering, kan muligvis forklares ved, at de netop ved at være mere<br />
afprøvede og velkendte end de eksperimentelle lettere kan få den nødvendige opbakning,<br />
der skal til for, at det implementeres. Derimod kræver en ny satsning mere gennemslagskraft<br />
og ledelsesopbakning, hvilket alt andet lige vanskeliggør implementeringen.<br />
48<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
67%<br />
25%<br />
8%<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 4.9: Løsningsforståelse og implementering<br />
54%<br />
43%<br />
3%<br />
8%<br />
67%<br />
25%<br />
Helt<br />
implementeret<br />
Delvis<br />
implementeret<br />
Ikke<br />
implementeret<br />
n = 61
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
32%<br />
59%<br />
9%<br />
Indsatsen er velkendt<br />
og afprøvet<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
I forhold til projekternes udgangspunkt viser det sig interessant, at det i flere projekter<br />
påpeges, at de som virksomhed ikke har været vant til at arbejde med projekter og oplever<br />
opgaven med at afklare og forklare formålet med projektet som en væsentlig læring.<br />
Igen bliver kulturelle udfordringer fremhævet bl.a. af en projektleder inden for byggebranchen.<br />
Ingen vidste helt, hvordan projektet skulle sættes i søen. De timelønnede er ikke<br />
meget for at sige deres mening. De er vant til at rette ind. Og det er faktisk også<br />
uvant for byggeledelsen. (Projektleder, privat virksomhed).<br />
Ikke overraskende er der i disse projekter fokus på at få skabt en hensigtsmæssig mødestruktur<br />
og mødekultur. Ligeledes understreger mange projektledere vigtigheden af en<br />
forventningsafstemning, hvor flere peger på workshops, seminarer og lignende som vigtige<br />
til indledningsvis at opnå fælles forståelse og ejerskab.<br />
Projekterne påvirkes naturligvis undervejs af andre faktorer i virksomhederne. Den hyppigst<br />
nævnte påvirkning handler om den økonomiske situation, hvor mange påpeger, at<br />
krise og offentlige besparelser har taget fokus væk fra projektet. Andre fremhæver dog<br />
også vækst som en faktor, der har forstyrret processen og medført, at der ikke er fulgt<br />
op på indsatsen i den ønskede grad. Det er evaluators vurdering, at den generelle økonomiske<br />
situation har påvirket projekterne negativt, ved at projekterne ofte er blevet<br />
nedprioriteret i kampen for overlevelse.<br />
4.3.1.4 Projektperiode<br />
Figur 4.10: Projektindsats og implementering<br />
56%<br />
39%<br />
6%<br />
Indsatsen indeholder<br />
ny elementer<br />
43% 43%<br />
I forhold til projekternes proces er det relevant at afdække selve varigheden af projektet.<br />
Der fremføres både argumenter for og imod lange projektperioder i de kvalitative interview.<br />
En projektleder fra en offentlig virksomhed udtrykker ønske om en kortere projektperiode<br />
for at kunne holde fokus og ud fra en praktisk udfordring med at lægge beslag<br />
på medarbejderressourcer.<br />
Projekterne må ikke være så lange. Hellere 6-8 måneder, så vi kan huske, hvad vi<br />
har gang i. Ellers kommer nye projekter til. Vi kan heller ikke booke ressourcer i så<br />
lang tid. (Projektleder, kommunal virksomhed).<br />
14%<br />
Indsatsen er<br />
eksperimentel<br />
Helt<br />
implementeret<br />
Delvis<br />
implementeret<br />
Ikke<br />
implementeret<br />
n = 61<br />
49
Det er værd at bemærke, at projektlederen i ovenstående citat repræsenterer en organisation,<br />
som er vant til projekter, hvilket kan have indflydelse på den tid, der er behov for.<br />
Ligeledes må det forventes, at en hensigtsmæssig projektperiode afhænger af indsatsen.<br />
En statslig arbejdsplads fremhæver således en lang projektperiode som en fordel med<br />
henvisning til projektets fokus på anerkendelse.<br />
50<br />
Det lange forløb på 1½ år har været et plus, fordi det kræver en længere proces at<br />
skabe fokus på anerkendelse og få det gjort til en daglig praksis at give ros og anerkendelse.<br />
(Projektleder, statslig virksomhed).<br />
Evaluator vurderer på denne baggrund, at en hensigtsmæssig projektperiode dels afhænger<br />
af indsatsens omfang, dels afhænger af virksomhedens erfaringer med projekter.<br />
4.3.1.5 Ændringer i projektet<br />
Processen i forbindelse med indsatsen har i nogle tilfælde medført ændringer i projekterne<br />
(jf. figur 4.11). Overordnet set er der dog ikke fundet mange ændringer i projekterne.<br />
34 % af projekterne rapporterer, at der ikke er foretaget ændringer undervejs. De<br />
fleste ændringer er foretaget i forhold til projekternes indhold. Her er der i mere end 40<br />
% af projekterne fundet, at der er foretaget ændringer, og 60 % af disse ændringer<br />
tilskrives indre forhold i projektet. Det område, hvor næstflest projekter har foretaget<br />
ændringer i processen, er ændringer i målgruppen, hvor 27 % af projekterne har foretaget<br />
ændringer, og 65 % af disse tilskriver ligeledes interne forhold som baggrund for<br />
disse ændringer. I en meget lille andel på 7 % af projekterne er der fundet ændringer i<br />
succeskriterierne. Sidstnævnte kan umiddelbart give anledning til undren, når 41 % har<br />
indholdsmæssige ændringer. Dette kan dog skyldes, at mange projekter arbejder med<br />
meget overordnede mål og succeskriterier.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
27%<br />
Figur 4.11: Ændringer i projektet<br />
42%<br />
18%<br />
13%<br />
29%<br />
7%<br />
34%<br />
n = 61
Når de indholdsmæssige ændringer mere kvalitativt afdækkes, viser det sig, at flere af<br />
disse aspekter, herunder fordelingen eller tidsmæssig placering af aktiviteterne i projektet<br />
eller andre mindre metodiske justeringer, er interessante at forfølge. Ikke mindst fordi<br />
ændringer kan være bevidste svar på en læring, der er opnået undervejs, således at den<br />
i ansøgningen beskrevne vej ikke er optimal. Ændringer behøver dermed ikke at være<br />
indikationer på, at projektet er løbet ind i problemer eller som sådan anskues som problematiske.<br />
Flere projekter har mere gennemgribende ændringer og går dermed en anden vej end<br />
forventet. Der er flere projekter, der har ændret tilgang fra gruppeorienteret til individorienteret,<br />
fx et projekt hvor workshops omprioriteres til individuelle coachingsamtaler,<br />
hvilket af projektlederen fremhæves som den væsentligste succes, fordi der herved opnås<br />
fortrolige samtaler om problemer på både arbejdsplads og privat. I et andet projekt,<br />
hvor en lignende ændring er foregået, understreger projektlederen vigtigheden af medarbejdernes<br />
oplevelse af at blive set som individer som en væsentlig læring i projektet:<br />
Vi havde tænkt, at vi kunne lave gruppeinterview med medarbejderne, men de var<br />
så glade for at blive hørt og mødt som individer, at vi ændrede det til individuelle interview.<br />
(Projektleder, kommunal virksomhed).<br />
Flere andre projektledere fremhæver arbejdet på individniveau, hvor også brugen af eksterne<br />
konsulenter, som en udefrakommende person, fremhæves som en væsentlig faktor<br />
i forhold til at opnå fortrolighed og tillid.<br />
Andre projekter ændrer indholdsmæssig fokus fra eksempelvis at have fokus på motivering<br />
af medarbejdere til at ændre deres arbejdsfunktion til fokus på helt praktisk at kunne<br />
skabe andre jobfunktioner. Her havde projektet ved projektstart en antagelse om, at<br />
opgaven var at skabe efterspørgsel af sammensatte jobfunktioner hos medarbejderne,<br />
men det viste sig, at opgaven reelt var at skabe udbud af mindre ensidige jobfunktioner.<br />
Nedenstående citat viser, at projektlederen udtrykker overraskelse over medarbejderne<br />
store velvilje.<br />
Grundlæggende var det en meget stor øjenåbner for os, at vi skulle ændre fokus.<br />
Der var en enorm velvilje fra assistenterne, hvilket var spændende og overraskende.<br />
(Projektleder, kommunal virksomhed).<br />
Der er andre eksempler på, at overraskelser i forhold til medarbejdernes holdning fører til<br />
metodiske ændringer. Fx måtte et projekt indføre dialogisk tænkning som metode for at<br />
få renset luften mellem ledelse og medarbejdere:<br />
Mistilliden mellem ledelse og medarbejdere blev løst op, hvilket gav den nødvendige<br />
basis for at komme videre. (Projektleder, regional virksomhed).<br />
Opsummerende er det værd at notere, at knap en tredjedel af projekterne ikke har<br />
gennemført ændringer. Blandt de projekter, hvor der foretages ændringer, er hovedparten<br />
indholdsmæssige. Dette er interessant sammenholdt med, at kun 7 % foretager ændringer<br />
i succeskriterierne, og at godt halvdelen af projekterne indeholder velkendte og<br />
tidligere afprøvede indsatser.<br />
4.4 Opsummering HF 1a<br />
I forhold til projekternes kontekst viser projektledelsen sig ofte at inddrage eksterne aktører.<br />
Dette kan blandt andet være i form af styregrupper, som anvendes af 67 % af<br />
projekterne. Mere end halvdelen af disse styregrupper har deltagelse af medarbejdere.<br />
Inddragelse af medarbejdere i styregrupper vurderes til at have betydning for flere pa-<br />
51
ametre i projekterne. Dels ses en positiv betydning for implementering. Dels ses en tendens<br />
til bredere indsatser, ligesom inddragelsen medfører flere positive sidegevinster.<br />
Inddragelse af medarbejdere i styregrupper vurderes derfor at være en faktor, som har<br />
en vigtig betydning.<br />
Ligeledes vurderes det, at involveringen af eksterne aktører er en betydende faktor. Dels<br />
i selve indsatsen som autoritet og ”driver” i processen, hvor evalueringen har vist, at<br />
brugen af eksterne konsulenter til processtøtte skaber øget spredning, og dels i projektevalueringerne,<br />
hvor kvaliteten i evalueringerne samt implementeringen øges med inddragelse<br />
af eksterne evaluatorer.<br />
I forhold til projekternes indsats noteres det først og fremmest, at stort set alle involverer<br />
målgruppen som en del af indsatsen, om end involveringen er mangeartet. Hertil kommer,<br />
at halvdelen af projekterne involverer netværk, og at dette har en positiv betydning<br />
for spredning af viden opnået i projektet.<br />
Når der ses på konkrete indsatstyper, er ændringen af arbejdsorganiseringen den mest<br />
anvendte og individuelle tilbud det næstmest anvendte. Begge vurderes til at have en<br />
positiv indvirkning på implementeringen.<br />
I forhold til projekternes proces gennemfører halvdelen af projekterne velkendte og tidligere<br />
afprøvede indsatser, mens den anden halvdel af projekterne indeholder nye elementer<br />
eller er egentlig eksperimenterende. De projekter, som er egentlig eksperimenterende,<br />
har ikke overraskende en lavere grad af implementering, mens det er mere bemærkelsesværdigt,<br />
at projekter med nye elementer har en højere grad af implementering end<br />
projekter, hvor indsatsen er velkendt og afprøvet.<br />
I et processuelt perspektiv er det ligeledes relevant at fremhæve, at ca. en tredjedel af<br />
projekterne ikke foretager ændringer undervejs i projekterne, men at blandt de projekter,<br />
hvor der foretages ændringer, omhandler disse oftest ændringer i aktiviteternes indhold.<br />
Analysen har således udpeget en række kontekstuelle, indholdsmæssige og processuelle<br />
forhold som betydende for projekternes implementering og spredning af viden opnået i<br />
projekterne.<br />
52
Kapitel 5. Evaluering af HF 1b<br />
I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens<br />
hovedformål 1b. Det er de 13 afsluttede projekter under dette hovedformål, som<br />
analyseres i forhold til projekternes indhold, proces og resultater.<br />
Formålet med analysen af projekterne under HF 1b er at identificere projekternes styrker<br />
og svagheder. Analysen består af to hoveddele, som er projektets kontekst og projektets<br />
indsats, herunder ses der nærmere på projekternes organisatoriske set-up, projektindsatsernes<br />
karakteristika samt projekternes procesforløb.<br />
5.1 Formålet med HF 1b<br />
Under HF 1b støttes projekter, som har til formål at udvikle ny teknologi, der kan anvendes<br />
til at forebygge nedslidning i særligt nedslidningstruede brancher og jobgrupper.<br />
Det lave antal projekter under HF 1b betyder, at det er evaluators vurdering, at det ikke<br />
er metodisk forsvarligt at se på statistiske sammenhænge, da så få observationer ikke<br />
udelukker, at forskellene kan henføres til tilfældigheder. Således vil kvantitativt data bruges<br />
deskriptivt for at få et overblik over de afsluttede HF 1b-projekter.<br />
Det vil i stedet være de kvalitative data, der er indsamlet i de kvalitative interview med<br />
projektlederen eller en anden nøgleperson fra projektet, som er strukturerende for kapitlet.<br />
Den kvalitative analyse er et godt metodisk redskab at anvende til dette hovedformål,<br />
fordi den kan bruges til at gå dybere ned i projekterne ved at se nærmere på de særlige<br />
karakteristika og eventuelle udfordringer, der har været i de enkelte projekter.<br />
Ligeledes kan der være interessante betragtninger at finde ved at sammenholde de tendenser,<br />
som viser sig for hovedformålets 13 gennemførte projekter med sammenhænge<br />
under de andre hovedformål. I den forbindelse er HF 1a umiddelbart det mest interessante<br />
sammenligningsgrundlag, da de to hovedformål arbejder under samme formål,<br />
men med forskellige midler.<br />
5.2 Projekternes kontekst<br />
Konteksten for projekterne under HF 1b er i høj grad præget af hovedformålets specifikke<br />
fokus på teknologiudvikling. Teknologiudviklingsperspektivet medfører, at mange projekter<br />
omhandler udvikling af prototyper med henblik på et efterfølgende salg på almin-<br />
delige markedsvilkår. Dette afsnit vil<br />
identificere væsentlige kontekstuelle<br />
karakteristika ved HF 1b-projekterne og<br />
analysere, hvorledes teknologiaspektet<br />
påvirker projekterne.<br />
Ledelsesansvaret ligger i 11 ud af 13<br />
HF 1b-projekter i en styregruppe, hvoraf<br />
der er medarbejderdeltagelse i ni HF 1bprojekter<br />
med en styregruppe. Til sammenligning<br />
med HF 1a-projekterne er<br />
Faktaboks 5.1: Styregruppesammensætning<br />
8 består af både ledere, medarbejdere og<br />
eksterne aktører<br />
1 består af ledere og medarbejdere<br />
1 består udelukkende af ledere<br />
1 består af ledere og eksterne aktører<br />
53
det bemærkelsesværdigt, at der er så mange projekter, som har lagt den øverste projektledelse<br />
hos styregruppen (for HF 1a er det 67 %).<br />
Undersøges sammensætningen af styregrupperne under HF 1b, er der en primær tendens<br />
til at sammensætte styregrupperne bredt med repræsentanter fra ledelse, medarbejdere<br />
samt eksterne aktører (8 projekter). Projektledelsens forholdsvis brede organisering<br />
bliver i de kvalitative interview fremhævet som en nødvendighed i teknologiudviklingsprojekter,<br />
da disse projekter er yderst komplekse af natur og derfor er afhængige af<br />
bred inddragelse. En projektleder påpeger eksempelvis, at den brede organisering i et<br />
projekt er særlig hensigtsmæssig ved produktudvikling:<br />
54<br />
Ved produktudvikling skal man sikre sig, at der indgår personer/virksomheder, der<br />
har erfaring med produktudvikling, for det er en meget kompleks proces, hvor der<br />
skal bruges både fantasi og konservatisme på en gang. (Projektleder, privat virksomhed).<br />
Det er interessant, at projekterne under HF 1b organisatorisk adskiller sig væsentligt fra<br />
projekterne under HF 1a. Hvor HF 1a-projekterne lægger vægt på ledelsens opbakning i<br />
projektet, fremhæver projektlederne i HF 1b-projekterne i de kvalitative interview vigtigheden<br />
i at have en bred projektledelse.<br />
Årsagen til den organisatoriske forskel mellem de to hovedformål kan ligge i, at HF 1aprojekternes<br />
større fokus på værdimæssige og kulturelle forandringer kræver, at ledelsen<br />
i højere grad er kulturbærere, som går ind og viser vejen for medarbejderne. HF 1bprojekterne<br />
har derimod et mere konkret sigte i forhold til udviklingen af et teknologisk<br />
produkt, hvilket naturligvis kræver ledelsens forståelse, men processuelt i højere grad er<br />
baseret på en bottom-up strategi med input fra de medarbejdere, som i sidste ende skal<br />
bruge produktet. Således kan en teknologiudviklingsproces også være med til at ændre<br />
kulturen på arbejdspladsen, hvilket en projektleder formulerer på følgende vis:<br />
Medarbejderne har erkendt, at de ikke får hakket hovedet af, når de kommer med<br />
gode idéer – der er skabt en stemning, hvor det er godt at komme med idéer. (Projektleder,<br />
privat virksomhed).<br />
Under afsnittet om projektets indsats bliver det på baggrund af de kvalitative interview<br />
yderligere uddybet, hvordan inddragelsen af medarbejdere har en gavnlig indvirkning på<br />
projekter under HF 1b.<br />
5.2.1.1 Markedsvilkår<br />
Projekterne under HF 1b opnår generelt en lavere spredning end projekter under de andre<br />
hovedformål. Hvor det er omkring 80 % af de samlede projekter, som bliver spredt,<br />
er det under halvdelen af HF 1b-projekterne, som opnår spredning (6 projekter). I forhold<br />
til spredning af projekterne under HF 1b fremhæver flere projektledere nogle specifikke<br />
problemstillinger, som er forbundet med teknologiudviklingsprojekter.<br />
Først og fremmest har mange projekter oplevet store udfordringer med at sprede deres<br />
viden på grund af patenthensyn mv. Mange af projekterne omhandler udvikling af prototyper,<br />
som er beregnet til at blive solgt på markedet. Det betyder, at spredningen af projekterne<br />
ofte vil være i modstrid med pågældende virksomheders produktstrategier. En<br />
af projektlederne under HF 1b beskriver eksempelvis, hvorledes idealet om videnspredning<br />
ikke er opnået, da det ville modarbejde et salg af det udviklede produkt:<br />
Det er vanskeligt at sælge visionen til en producent. En given producent, der udvikler<br />
en prototype, vil have en konkurrencefordel og indgå en hemmeligholdelsesklausul,<br />
der gør, at de er ene om udviklingen. Derfor er der ikke sket en større spredning
af visionen og designprototypen til mulige producenter. (Projektleder, privat virksomhed).<br />
Virksomheder ønsker selvsagt ikke at forringe deres konkurrencevilkår ved at sprede<br />
viden om deres projekt, så det er forventeligt, at HF 1b-projekterne vil opnå en lavere<br />
spredning end projekterne under de andre hovedformål. Udover de strategiske barrierer i<br />
forhold til videnspredning påpeger projekterne ligeledes den økonomiske krise som en<br />
stor hindring for en spredning af deres udviklede teknologi. En projektleder beretter følgende:<br />
En prototype er udviklet, og der er taget patent på denne. Produktet er dog endnu<br />
ikke markedsført, da krisen i byggeriet har gjort markedsføringen mere vanskelig.<br />
(Projektleder, privat virksomhed).<br />
Udover den økonomiske krise peger flere interviewpersoner desuden på forfejlede produktstrategier<br />
som årsag til en manglende efterspørgsel for deres produkter på markedet.<br />
Vi stræbte måske for højt med vores ønske om at kunne udvikle et produkt, hvor<br />
man kun skulle bruge forholdsvis få bevægelser, og så overvurderede vi producenternes<br />
interesse for et så begrænset produkt. (Projektleder, privat virksomhed).<br />
Som ovenstående citat antyder, er det centralt, at udviklingsprojekter undersøger markedsinteressen<br />
for et givent produkt.<br />
5.2.1.2 Projektsum<br />
Projekterne under HF 1b er sammenholdt med projekter under andre formål de største<br />
projekter i forhold til projektsum. Seks HF 1b-projekter og således knap halvdelen er<br />
store projekter med en projektsum på mere end tre millioner, hvilket er væsentligt højere<br />
end gennemsnittet for alle projekter, som er på 16 %. Der er kun to af HF 1bprojekterne,<br />
som er karakteriseret ved at være små projekter med en projektsum på<br />
mindre end en million, hvilket er lavt set i forhold til, at gennemsnittet er på 47 % for<br />
samtlige projekter, der har en projektsum på mindre end en million.<br />
Det gennemsnitlige bevilligede beløb til HF 1b-projekterne er ligeledes højere end gennemsnittet<br />
for alle projekter. Henholdsvis 1.298.050 kr. for HF 1b-projekter mod<br />
1.117.117 kr. for alle projekter. Der er to relativt store projekter under HF 1b, så det<br />
giver et klarere billede af et typisk projekt i HF 1b, hvis der ses på medianen, der udgør<br />
1.316.000 kr. mod en median for alle projekter på 805.271 kr. Fordelingen gør således<br />
HF 1b til det hovedformål, hvor der bliver bevilliget flest penge til det enkelte projekt.<br />
HF 1b-projekterne skiller sig ligeledes ud fra de andre hovedformål, ved at alle på nær et<br />
enkelt projekt foregår i private virksomheder.<br />
Der er flere projektledere fra de støttede private virksomheder, som i de kvalitative interview<br />
efterlyser en større interesse fra Forebyggelsesfondens side, og at der burde være<br />
større krav i forhold til at få støtte til sine projekter:<br />
Det er næsten for nemt at få penge. Forstået på den måde, at vi godt kunne bruge<br />
en større løbende interesse fra Forebyggelsesfonden om, hvordan udviklingsarbejdet<br />
skrider frem og få et eksternt blik på potentialet i teknologiudviklingen i forhold til<br />
det konkrete arbejdsmiljø. (Projektleder, privat virksomhed).<br />
Opsummerende viser evalueringen, at brugen af styregrupper er udbredt for HF 1bprojekter.<br />
Endvidere er det udbredt, at medarbejderne inddrages i projekterne i forhold<br />
til at komme med input, hvilket kan bidrage til at ændre arbejdspladsens kultur. En speci-<br />
55
fik udfordring, der gælder for projekter med fokus på teknologiudvikling er, at virksomhederne,<br />
som står bag teknologiudviklingen, må tage forbehold i forhold til at få spredt<br />
resultaterne. Et hensyn er eksempelvis patenter, som betyder, at spredningen af et projekts<br />
resultater kan være i modstrid med den pågældende virksomheds produktstrategi.<br />
5.3 Projekternes indsats<br />
HF 1b har et specifikt fokus på teknologiudvikling, og det må herved antages, at projektindsatserne<br />
under dette hovedformål har en høj grad af eksperimentel karakter. Antagelsen<br />
bygger på, at udviklingsfasen i et værdikædeperspektiv er et af de første skridt, før<br />
det endelige teknologiske produkt vil<br />
Faktaboks 5.2: Projektindsatserne kunne introduceres på markedet.<br />
8 projektindsatser indeholder nye elementer Som det illustreres i faktaboks 5.2,<br />
2 projektindsatser er eksperimenterende<br />
indeholder otte projektindsatser under<br />
HF 1b nye elementer, og to pro-<br />
3 projektindsatser er velkendte og afprøvede jektindsatser kan karakteriseres som<br />
eksperimenterende. Sammenholdt<br />
med de andre hovedformål har HF<br />
1b-projekterne med blot tre relativt få velkendte og afprøvede projektindsatser, hvor alle<br />
projekter gennemsnitlig har en andel på 53 %, som er velkendte og afprøvede projektindsatser.<br />
I denne sammenhæng er det ikke overraskende, at størstedelen af teknologiudviklingsprojekterne<br />
(9 projekter) ikke tager afsæt i en dokumenteret problemstilling. Kun<br />
fire HF 1b-projekter tager udgangspunkt i en dokumenteret problemstilling. Det faktum,<br />
at projekterne ikke bruger kortlagte problemstillinger som afsæt for teknologiudviklingen,<br />
kan frygtes at modarbejde opnåelsen af brugbar teknologi i forhold til formålet.<br />
De kvalitative interview peger ligeledes på, at de teknologiudviklingsprojekter, som tager<br />
udgangspunkt i egentlige kortlægninger af problemområder, opnår bedre resultater. En<br />
projektleder peger i den forbindelse på, at de i projektet ikke har formået at implementere<br />
den udviklede teknologi, fordi de prøvede at løse for mange problemer på en gang, og<br />
at teknologien dermed ikke var tilstrækkelig fokuseret til at være hensigtsmæssig at bruge.<br />
I et andet HF 1b-projekt understreger projektlederen, at det har været gavnligt for projektet,<br />
at der er udarbejdet forprojekter og undersøgelser, før projektet blev igangsat:<br />
56<br />
Der er lavet et forprojekt, hvor der er lavet undersøgelser af det gamle anlæg. Herefter<br />
er der lavet nogle analyser på hvilke projekter, der kan samle alle processer i<br />
en proces. Dermed fandt vi frem til en metode, hvor vi kan samle det hele i en proces.<br />
(Projektleder, privat virksomhed).<br />
I tråd hermed giver en projektleder følgende råd videre til kommende HF 1b-projekter:<br />
Fra start af – det vil sige under udarbejdelsen af projektansøgningen, skal man gøre<br />
sig klart, hvad man vil. Man skal kende udgangspunktet godt samt, hvad man vil opnå.<br />
Det skal man brug tid på forinden, ellers bliver man alt for overrasket. (Projektleder,<br />
privat virksomhed).
5.3.1.1 Involvering af målgruppen<br />
Udvikling af nye teknologier vil i manges ører høres som ekspertstyrede og forskningsbaserede<br />
projekter. Derfor kan det komme som en overraskelse, at otte ud af 13 projekter<br />
involverer målgruppen i udviklingen af indsatsen. Sammenholdt med HF 1aprojekterne<br />
er dette dog forholdsvis lavt, da 91 % af HF 1a-projekterne involverer målgruppen.<br />
At over halvdelen af HF 1b-projekterne involverer målgruppen kan hænge<br />
sammen med, at de fleste projekter tager udgangspunkt i ønsket om at forbedre konkrete<br />
arbejdsmiljøforhold, og at de dermed ønsker at involvere målgruppen i udformningen<br />
af projektet.<br />
Denne sammenhæng bliver bekræftet i de kvalitative interview, hvor medarbejderinddragelse<br />
i særdeleshed fremhæves som en styrke for projektet. De fleste interviewpersoner<br />
finder, at udviklingen af ny teknologi til forbedring af arbejdsmiljøet er afhængig af, at<br />
medarbejderne inddrages i udviklingsfasen. Mange projekter har således været processuelt<br />
bygget op om, at medarbejderne kortlægger problemerne i deres arbejdsmiljø og<br />
kommer med konkrete forslag til, hvordan dette kan ændres. Fx har et projekt afholdt<br />
udviklingsseminarer, hvor medarbejderne har udarbejdet ideer og krav til produktet. Sikkerhedsudvalg<br />
(i dag arbejdsmiljøudvalg) på arbejdspladser bliver i denne forbindelse<br />
ligeledes fremhævet som vigtige videnkilder for teknologiudviklingen.<br />
En projektleder beskriver processen for medarbejderinddragelse således:<br />
Hele personalet blev kaldt ind af ergoterapeuter, og så gennemgik de forskellige løfteteknikker.<br />
Det var rigtig godt. Det var planlagt i sikkerhedsudvalget, og sikkerhedsudvalget<br />
var involveret hele vejen igennem. (Projektleder, privat virksomhed).<br />
De fleste projekter under HF 1b har således eksplicit fokus på, hvordan medarbejdere<br />
inddrages hensigtsmæssigt, og flere projekter nævner i den forbindelse især observation<br />
som en fordelagtig metode, når der arbejdes med brugerdreven innovation.<br />
I de projekter, som bliver udført direkte på den virksomhed, hvor teknologien skal implementeres,<br />
begrundes medarbejderdeltagelsen med, at det er en målgruppe, som ikke<br />
er vant til at bekymre sig om arbejdsmiljø. Medarbejderinddragelsen har derfor været<br />
brugt strategisk til at få skabt ejerskab for teknologien i hele organisationen. Dette bliver<br />
beskrevet således af en projektleder:<br />
Vi har inddraget medarbejderne helt fra starten. De har fået ideer til implementeringen<br />
af det nye anlæg, og de har været med til at teste og installere det. De får mulighed<br />
for at gøre nogle ting, de ikke er vant til. Dette har resulteret i, at maskinen er<br />
blevet deres lille baby. (Projektleder, privat virksomhed).<br />
Samtidig er medarbejderinddragelsen vigtig for at sikre, at den rette løsning findes frem,<br />
så den udviklede teknologi får den bedst mulige effekt og ikke resulterer i en halvdårlig<br />
og ugennemtænkt løsning:<br />
Det gælder om at holde øjne og øre åbne og lytte til alle de input, der kommer. Man<br />
skal ikke stirre sig blind på en løsning – alt skal undersøges fra starten. (Projektleder,<br />
privat virksomhed).<br />
Processen med medarbejderinddragelse kræver samtidig, at der er opmærksomhed på<br />
balancen mellem de nye input samt at kunne fastholde et snævert fokus og en klart defineret<br />
problemstilling. Udviklingen af en ny teknologisk løsning kan i høj grad karakteriseres<br />
som en smal indsats, og 12 HF 1b-projekter kategoriseres som projekter med smalle<br />
indsatser. ”Keep it simple” lyder en af anbefalingerne fra en projektleder, som uddyber,<br />
at det er afgørende for projektets succes, at det forankres i allerede eksisterende strukturer<br />
på arbejdspladsen. I et andet projekt understreger projektlederen vigtigheden af, at<br />
de tekniske løsninger er så enkle som mulige, så de ikke er ubrugelige:<br />
57
58<br />
Det viste sig, at de tekniske løsninger, vi fik forelagt, var så omstændelige, at vi ikke<br />
kunne bruge dem. Så umiddelbart efter projektet sluttede – ca. 6 mdr. – holdt det<br />
helt op. (Projektleder, privat virksomhed).<br />
5.3.1.2 Involvering af eksterne aktører<br />
I forhold til involvering af eksterne aktører kan det forventes, at projekter, som omhandler<br />
teknologiudvikling, vil have en høj grad af teknisk bistand fra eksterne konsulenter<br />
for at indhente særlige tekniske kompetencer til processen. I overensstemmelse hermed<br />
viser figur 5.1., at ti ud af 13 HF 1b-projekter bruger konsulenter til teknisk støtte.<br />
Således er teknisk støtte klart den ydelse, som HF 1b-projekterne i størst omfang gør<br />
brug af.<br />
Figur 5.1: HF 1b-projekter fordelt på forskellige former for konsulentbistand<br />
Teknisk støtte<br />
Arbejdsmiljøfaglige område<br />
Processtøtte<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Evaluering<br />
Formidling<br />
Andet<br />
1<br />
2<br />
Foruden teknisk støtte gør HF 1b-projekterne brug af ekstern konsulentstøtte i forbindelse<br />
med evaluering (5 projekter) og det arbejdsmiljøfaglige område (4 projekter), hvilket<br />
ikke er overraskende, da HF 1b netop har fokus på arbejdsmiljø.<br />
Involvering i HF 1b-projekterne sker desuden ved brug af netværk/samarbejde. Seks<br />
HF 1b-projekter har således netværk/samarbejde som en del af indsatsen. Fagekspertise<br />
er en vigtig komponent i HF 1b-projekterne, hvorfor der i flere HF 1b-projekter indgår<br />
personer eller virksomheder, som har erfaring med produktudvikling. De kvalitative interview<br />
afslører, at mange projekter som udgangspunkt havde en forventning om en positiv<br />
effekt ved brugen af samarbejde og netværk, da teknologiudvikling som beskrevet er en<br />
kompleks proces. Dog bliver det fremhævet, at langt de fleste projekter ikke har oplevet<br />
den forventede positive effekt, da netværkssamarbejdet bliver påvirket negativt af markedskonkurrencen<br />
samt den økonomiske krise. Virksomheder ønsker ikke eller har ikke<br />
de fornødne ressourcer til at opbygge et effektivt netværksforløb. En interviewperson<br />
beskriver netværksforløbet således:<br />
3<br />
Der var noget udveksling i netværket, men det var kun nogle få gange og ikke med<br />
meget udbytte. (Projektleder, privat virksomhed).<br />
4<br />
5<br />
0 2 4 6 8 10 12<br />
Antal projekter<br />
10<br />
n = 13
Flere projektledere vurderer endvidere, at projektgennemførelsen i høj grad blev udfordret<br />
af netværks- og samarbejdsindsatsen, da der var for mange interessenter indblandet:<br />
Den største udfordring ved hele processen var at koordinere mellem de mange, der<br />
var involveret i projektet. (Projektleder, privat virksomhed).<br />
Opsummerende viser evalueringen, at det er vigtigt for et projekts succes, at der før<br />
projektstart udarbejdes forprojekter, som kan belyse potentialet for teknologien. Derudover<br />
er involveringen af målgruppen vigtig for et teknologiudviklingsprojekt, fordi de kan<br />
give konstruktive input til, hvordan en teknologi vil kunne fungere bedst for dem. Samtidig<br />
må man være bevidst om at være fokuseret, så det teknologiske produkt rent faktisk<br />
kan løse den arbejdsmiljøfaglige problemstilling.<br />
5.4 Opsummering HF 1b<br />
På trods af et lille datagrundlag for projekterne under HF 1b har analysen vist nogle generelle<br />
tendenser for teknologiudviklingsprojekterne. Teknologiudviklingsprojekterne under<br />
HF 1b er særligt karakteriseret ved at have en høj grad af medarbejderinddragelse<br />
samt inddragelse af eksterne aktører i forhold til teknisk støtte.<br />
En særlig udfordring, som gør sig gældende for HF 1b-projekterne, er, at virksomhederne,<br />
som står bag teknologiudviklingen, må tage forbehold i forhold til at få spredt resultaterne.<br />
Et hensyn er eksempelvis patenter, hvilket betyder, at spredningen af et projekts<br />
resultater kan være i modstrid med den pågældende virksomheds produktstrategi.<br />
Analysen af projekterne viser desuden, at teknologiudviklingsprojekterne bliver udfordret<br />
af, at de på den ene side skal involvere så mange interessenter som muligt og på den<br />
anden side skal være fokuserede for at sikre udviklingen af effektive og simple teknologiske<br />
løsninger, så de lettere kan implementeres. I forlængelse heraf er det vigtigt at have<br />
gjort sig tanker om og udarbejdet forundersøgelser i forhold til potentialet for teknologien,<br />
før man sætter alt ind på projektet.<br />
HF 1b-projekternes behov for at involvere mange interessenter viser sig i praksis at være<br />
udfordrende. Det fremhæves i flere projekter, som har benyttet netværk/samarbejde<br />
som indsatstype, at der generelt ikke har været et særligt stort udbytte af denne projektindsats.<br />
Da mange af projektevalueringerne under dette hovedformål i høj grad er mangelfulde,<br />
er det imidlertid svært at konkludere, hvorfor denne indsatstype ikke er forløbet<br />
som forventet.<br />
59
Kapitel 6. Evaluering af HF 2<br />
I dette kapitel analyseres projekter, som har modtaget støtte under Forebyggelsesfondens<br />
hovedformål 2 (HF 2). Kapitlet analyserer de 11 afsluttede projekter under dette<br />
hovedformål i forhold til indhold, proces og resultater.<br />
Formålet med analysen af projekterne under HF 2 er at identificere projekternes styrker<br />
og svagheder. Analysen består af to hoveddele, som er projektets kontekst og projektets<br />
indsats, herunder ses der nærmere på projekternes organisatoriske set-up, projektindsatsernes<br />
karakteristika samt projekternes procesforløb.<br />
6.1 Formålet med HF 2<br />
Under HF 2 støttes ekstraordinære og nytænkende projekter, der har til formål at forbedre<br />
rehabilitering og genoptræning af sygemeldte. I alle HF 2-projekterne deltager mindst<br />
en kommune. Det skyldes, at Forebyggelsesfonden under dette hovedformål prioriterer at<br />
tildele midler til kommunerne. Kommuner som myndighed kan imidlertid søge om støtte i<br />
samarbejde med andre aktører, herunder foreninger og organisationer, sygehuse samt<br />
private virksomheder. Desuden er det muligt for ikke-kommunale ansøgere at søge om<br />
støtte, hvis kommunen har valgt at placere den kommunale opgave med rehabilitering og<br />
genoptræning af sygemeldte hos anden aktør eller har tænkt sig at gøre det i forbindelse<br />
med projektet.<br />
HF 2-projekterne er rettet mod målgruppen sygedagpengemodtagere og/eller sygemeldte<br />
kontanthjælpsmodtagere. Indsatserne er målrettet borgerne og består typisk af forskellige<br />
individuelle tilbud, som er målrettet målgruppens behov.<br />
Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere på tværs af<br />
projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne i<br />
projekterne varierer betydeligt, og da projektevalueringernes kvalitet ligeledes varierer.<br />
Ligeledes er det vurderingen, at det ikke er metodisk forsvarligt at se på statistiske sammenhænge<br />
inden for HF 2, der kun inkluderer 11 projekter. Det skyldes, at det er vanskeligt<br />
at sige noget om statistisk signifikans, da så få observationer ikke udelukker, at<br />
forskellene kan henføres til tilfældigheder. Det kvantitative data, som bruges i afsnittet,<br />
vil ikke blive brugt til at teste hypoteser, men skal tjene til at skabe et overblik over de<br />
afsluttede HF 2-projekter.<br />
Det vil i stedet være de kvalitative data, der er indsamlet på baggrund af de opfølgende<br />
kvalitative interview med projektlederne eller en anden nøgleperson fra projektet, som er<br />
strukturerende for kapitlet. Den kvalitative analyse er et godt metodisk redskab at anvende<br />
til dette hovedformål, fordi den kan bruges til at gå dybere ned i projekterne ved<br />
at se nærmere på de særlige karakteristika og eventuelle udfordringer, der har været i<br />
de enkelte projekter.<br />
6.2 Projekternes kontekst<br />
Når der fokuseres på konteksten for projekterne, er det centralt at se på de organisatoriske<br />
faktorers betydning for projekternes indhold og resultat.<br />
61
I forhold til organiseringen er der for HF 2-projekter - som for de øvrige projekter -<br />
nogle generelle organisatoriske faktorer, som spiller en rolle for projektet. Når der fokuseres<br />
ind på de organisatoriske forhold, er der fem af de 11 projekter, der har nedsat<br />
styregrupper, hvor projektets beslutningskompetence er placeret. I de øvrige seks projekter<br />
er ansvaret placeret hos ledelsen. Seks af de 11 projekter har nedsat følgegrupper.<br />
Den ledelsesmæssige opbakning fremhæves som vigtig for projektets succes, hvilket<br />
eksempelvis fremhæves i et af de kvalitative interview:<br />
62<br />
Beslutningskompetencen lå i styregruppen, hvorfor vi i projektgruppen skulle lægge<br />
beslutningerne op til styregruppen. Vi var derfor ret afhængige af styregruppen, og<br />
derfor var det centralt, at vi vidste, at vi i udgangspunktet havde opbakning fra ledelsen,<br />
så vi kunne agere mere frit og træffe de beslutninger, som var bedst for projektet.<br />
(Projektleder, kommunal virksomhed).<br />
Foruden ledelsesopbakning fremhæves det i nogle af de kvalitative interview, hvor vigtigt<br />
det er at have én projektleder, som udelukkende er fokuseret på projektet:<br />
En kompetent projektleder, som kun havde til opgave at lede projektet og derfor var<br />
med i alle projektets faser, betød, at det forløb planmæssigt. (Projektleder, kommunal<br />
virksomhed).<br />
Et andet forhold, som også belyses i de kvalitative interview, er fokus på opstartsfasen og<br />
inddragelsen af samarbejdspartnere:<br />
Vi fik inddraget samarbejdspartnerne i opstartsfasen og fik derved tilpasset projektet<br />
til arbejdspladserne, hvilket gjorde projektet stærkere. (Projektleder, kommunal virksomhed).<br />
6.2.1.1 Samarbejdsrelationer<br />
HF 2-projekter har typisk etablering af netværk og samarbejde som indsatsområder. Det<br />
er derfor centralt for deres succes, at projekterne får udviklet, styret og koordineret på<br />
tværs af faglige kompetencer, synspunkter og fagskel. En projektleder fremhæver den<br />
faglige styring som afgørende for, at projektet er forløbet planmæssigt:<br />
Processen har været rigtig god, og tidsplan mv. er blevet overholdt til punkt og prikke.<br />
Grunden er, at projektet har haft en høj grad af faglig styring mellem to sociallæger<br />
og to psykologer, der alle har vidst, hvad de ville, og hvad de faglige problemstillinger<br />
for borgerne er. (Projektleder, kommunal virksomhed).<br />
Det kan også gå mindre hensigtsmæssigt. I et andet HF 2-projekt udgjorde ”kulturmødet”<br />
mellem to forskellige samarbejdskulturer et problem med jobcenteret på den ene<br />
side og sundhedscenteret på den anden side. Problemet bestod i, at de to institutioner<br />
havde forskellige tilgange til borgerne, hvorfor det til tider var vanskeligt at få samarbejdet<br />
og dermed projektet til at køre optimalt. Retrospektivt er projektlederen ikke i tvivl<br />
om, at der skulle have været brugt flere ressourcer og kræfter i løbet af projektet på at<br />
få italesat denne konflikt:<br />
Først i forbindelse med evalueringen af projektet kom det på dagsordenen, hvilket så<br />
efterfølgende har haft en positiv indvirkning på samarbejdet og den gensidige forståelse<br />
mellem os. (Projektleder, kommunal virksomhed).<br />
En anden udfordring, som går igen i flere HF 2-projekter, er, at det kan være svært at<br />
holde alle til ilden, selvom der er blevet brugt ressourcer og tid på at skabe en gensidig<br />
faglig forståelse i og for projektet.
En konkret og gennemgående udfordring for en stor del af HF 2-projekterne har været at<br />
få engageret og involveret de praktiserende læger i projektet. En projektleder peger på<br />
det problem, at de økonomiske incitamenter, der kræves for at få engageret lægerne,<br />
ikke er til stede i kommunen:<br />
Problemet er, at de praktiserende læger intet gør uden at blive økonomisk kompenseret,<br />
og i kommunen har vi ikke haft midlerne til det. I projektopstarten var der<br />
egentlig bred opbakning til idéen om samarbejde mellem de praktiserende læger og<br />
jobkonsulenterne. Problemet har bare været at få de praktiserende læger til at deltage<br />
aktivt. En vigtig del af vores projekt var, at vi afslutningsvis skulle formidle resultaterne<br />
af projektet til samtlige af de deltagende læger, men det måtte vi aflyse,<br />
fordi de ganske enkelt ikke mødte op til mødet. (Projektleder, kommunal virksomhed).<br />
6.2.1.2 Anvendelse af eksterne konsulenter<br />
At gøre brug af eksterne konsulenter er en udbredt praksis blandt HF 2-projekterne, hvilket<br />
kommer til udtryk ved, at ni ud af 11 HF 2-projekter benytter eksterne konsulenter.<br />
Som nedenstående figur 6.1 viser, anvendes de eksterne konsulenter hovedsageligt med<br />
henblik på evaluering (6 projekter), undervisning (5 projekter), sundhedsfaglig bistand (6<br />
projekter) og processtøtte (4 projekter).<br />
Figur 6.1: HF 2-projekter fordelt på forskellige former for konsulentbistand<br />
Evaluering<br />
Sundhedsfaglig<br />
Undervisning<br />
Processtøtte<br />
Formidling<br />
Arbejdsmiljøfaglig<br />
Andet<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
1<br />
1<br />
1<br />
0 1 2 3 4 5 6 7<br />
I de kvalitative interview udtrykker projektlederne generelt en tilfredshed med samarbejdet<br />
med de eksterne konsulenter, men i et af de kvalitative interview peger en projektleder<br />
på, at det er essentielt med en god kommunikation med den eksterne konsulent.<br />
Projektlederen oplevede, at der skete en misforståelse mellem hende og den eksterne<br />
konsulent. Det er uklart, hvor kommunikationsbristen skete, men i hvert fald havde det<br />
eksterne konsulentteam op til projektopstart arbejdet ud fra, at projektet allerede var sat<br />
i gang. Konsulentteamet lagde således op til en justering af forløbet, hvilket fik den konsekvens,<br />
at det kun har været delelementer af konsulentteamets oplæg, som har været<br />
brugbart, og dermed har projektet ikke fået det fulde udbytte af konsulentstøtten.<br />
4<br />
5<br />
6<br />
6<br />
Antal projekter<br />
n = 11<br />
63
Ovenstående er et eksempel på, at dialog og forventningsafstemning er essentielt i projekter,<br />
som inddrager flere aktører, og at forventningsafstemningen skal foregå både før<br />
projektstart og gennem hele projektforløbet.<br />
I et andet HF 2 projekt er det vurderingen, at det kunne have været hensigtsmæssigt at<br />
få mere støtte fra Forebyggelsesfonden, hvad angår rådgivning og netværksskabelse<br />
med universiteter, konsulenter etc. Projektlederen mener, at det kunne have afhjulpet<br />
nogle af de faglige barrierer, som de mødte i projektet, idet de arbejdede med et relativt<br />
uudforsket problemfelt:<br />
64<br />
Det materiale, som vi arbejdede med i projektet, var ret svært og uforudsigeligt,<br />
hvilket praksis også viste. Man kan godt forholde det til andre undersøgelser, men<br />
der findes ikke undersøgelser af rehabilitering for denne gruppe, og man kan sige, at<br />
det som et pionerområde i forhold til sammenhængen mellem behandling og rehabilitering<br />
har betydet, at det har været svært at opstille nogle realistiske succeskriterier<br />
for projektet. (Projektleder, kommunal virksomhed).<br />
Citatet illustrerer, at det er væsentligt at få undersøgt sit problemfelt nøje, inden et projekt<br />
igangsættes, og at det i denne fase kan være hensigtsmæssigt at få ekstern støtte til<br />
at få problemfeltet belyst og defineret. Dette kan være særligt relevant at holde sig for<br />
øje i HF 2-projekter, hvor 50 % defineres som et pilot-/forprojekt, mens det gør sig gældende<br />
for 29 % af samtlige støttede projekter under Forebyggelsesfonden.<br />
Opsummerende viser evalueringen, at netværk og samarbejde er udbredt som indsatsområde<br />
og metode i HF 2-projekterne. I den sammenhæng er det vigtigt at være opmærksom<br />
på koordinationen mellem aktører på tværs af fagliglighed og kultur. Ligeledes<br />
gør det sig gældende for samarbejdet med de eksterne aktører, at dialog og forventningsafstemning<br />
er essentiel, hvis projektet skal lykkes.<br />
6.3 Projekternes indsats<br />
HF 2-projekterne er kendetegnet ved, at deres indsats er rettet mod borgere: Sygedagpengemodtagere<br />
og/eller sygemeldte kontanthjælpsmodtagere. Herudover er et vigtigt<br />
kendetegn for HF 2-projekterne, at indsatsen skal målrettes borgerne. I forlængelse heraf<br />
er det blandt HF 2-projekterne udbredt at gøre brug af diverse individuelle tilbud, som<br />
er målrettet målgruppens behov.<br />
6.3.1.1 Indsatsen målrettet målgruppen<br />
Indsatsen i HF 2-projekterne er målrettet sygemeldte borgere:<br />
• Otte af de 11 projekter har sygedagpengemodtagere som målgruppe.<br />
• To af de 11 projekter har målgruppen sygedagpengemodtagere og sygemeldte kontanthjælpsmodtagere.<br />
• Syv af de otte projekter, der er målrettet sygedagpengemodtagere, fokuserer på<br />
sygemeldte med psykiske lidelser, og to af de otte projekter fokuserer på sygemeldte<br />
med lidelser i muskel- og skeletapparatet.<br />
• Et projekt har alene kontanthjælpsmodtagere som målgruppe. Kontanthjælpsmodtagerne<br />
er fra henholdsvis matchgruppe 3, 4 og 5.<br />
Ni HF 2-projekter indeholder individuelle tilbud. Som nedenstående figur 6.2 viser, omhandler<br />
de individuelle tilbud såvel en fysisk/sundhedsmæssig som en psykisk dimension.
Størstedelen af projekterne (8 projekter) tilbyder psykologsamtaler, mens der i halvdelen<br />
af projekterne (6 projekter) tilbydes coaching. I forhold til den fysiske dimension tilbyder<br />
seks projekter støtte til sport, mens der i fire projekter tilbydes diætist/kostvejledning, og<br />
i fem projekter tilbydes sundhedstjek.<br />
Figur 6.2: HF 2-projekter fordelt på forskellige former for individuelle tilbud<br />
Coaching (fx til stresshåndtering)<br />
Diætist/kostvejledning<br />
Ergonomisk vejledning<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Psykologsamtaler<br />
Støtte til sport<br />
Sundhedstjek<br />
Rygestopkursus<br />
Arbejdstilpasning<br />
Supervision<br />
Nedsat arbejdstid<br />
Andet<br />
Endvidere er HF 2-projekterne i stort omfang individ-orienteret, ti ud af 11 projekter har<br />
et individ-orienteret fokus. Det individuelle fokus understøttes af de kvalitative interview,<br />
hvor en generel læring blandt projekterne er, at det er vigtigt at målrette indsatsen til<br />
den enkelte borger, fordi det ofte er en afgørende faktor i et rehabiliterings- og genoptræningsforløb,<br />
at borgeren motiveres til at involvere sig aktivt i forløbet. I forlængelse<br />
heraf kan det af de kvalitative interview udledes, at det er vigtigt, at der i forhold til borgere<br />
med stress og/eller depression iværksættes en tidlig og intensiv indsats, idet al erfaring<br />
viser, at det er den tidlige indsats, som har den største effekt for borgeren.<br />
6.3.1.2 Implementering af projekter<br />
0<br />
1<br />
Halvdelen af HF 2-projekterne er pilot-/forprojekter, og i et af de kvalitative interview<br />
bliver det netop påpeget, at man skal være opmærksom på de udfordringer, der er forbundet<br />
med at implementere et projekt i en større skala, hvis man har gennemført et<br />
pilot-/forprojekt. Det kan få konsekvenser i forhold til implementering af projektet, hvis<br />
det ikke på forhånd er tænkt igennem, hvordan projektet skal finansieres. En projektleder<br />
uddyber denne problemstilling på følgende vis:<br />
2<br />
2<br />
3<br />
4<br />
0 2 4 6 8 10<br />
5<br />
6<br />
6<br />
6<br />
8<br />
Antal projekter<br />
n = 11<br />
65
66<br />
På trods af, at vores projekt blev en succes, endte det med at falde ned mellem to<br />
stole, fordi det ikke var beskæftigelsesrettet nok, men havde mere karakter af behandling.<br />
Det kan man ikke bruge penge til i et jobcenter, selvom jobcenteret ville<br />
kunne spare midler på længere sigt. Det vil blive betragtet som et sundhedsfagligt<br />
projekt, hvilket kommunerne ikke har penge i kassen til at finansiere. (Projektleder,<br />
kommunal virksomhed).<br />
I forlængelse heraf vurderes det i et af de andre kvalitative interview, at det er vigtigt at<br />
være bevidst om, at de organisatoriske rammer har en betydning i forhold til at sikre en<br />
succesfuld implementering af et projekt:<br />
Vi knoklede i mere end et halvt år for at få projektet forankret og brugte meget tid<br />
på information og videndeling i vores eget system. Det skulle implementeres i den<br />
indtægtsdækkede struktur, som vi har, hvor de enkelte afdelinger køber ydelser af<br />
hinanden. Vi fik gode tilbagemeldinger og grønt lys fra ledelsen. Vi havde et solidt<br />
materiale klar, men vi manglede at få indgået samarbejdsaftaler med de andre afdelinger,<br />
og derudover blev vi ramt af besparelser. Når der er for meget kassetænkning,<br />
besparelser og organisationsændringer vanskeliggør det at få implementeret<br />
projektet. (Projektleder, kommunal virksomhed).<br />
Opsummerende viser evalueringen, at HF 2-projekter i vidt omfang er individorienterede,<br />
hvorfor det er vigtigt at målrette indsatsen til den enkelte borgers behov.<br />
Derudover viser erfaringen, at det i forhold til borgerne er vigtigt at igangsætte en tidlig<br />
og intensiv indsats. Da en stor del af HF 2-projekterne er forprojekter, viser evalueringen<br />
også, at det giver nogle særlige udfordringer i forhold til implementering.<br />
6.4 Opsummering HF 2<br />
Evalueringen har vist, at HF 2-projekter adskiller sig fra projekter under de øvrige hovedformål<br />
ved at være kommunalt drevne. HF 2-projekter er desuden målrettet sygemeldte<br />
borgere, der står uden for arbejdsmarkedet eller er i risiko for at miste fodfæstet på arbejdsmarkedet<br />
og derfor kan karakteriseres som en udsat målgruppe. I den sammenhæng<br />
udvikler projekterne individuelle tilbud målrettet borgeren.<br />
Netværk og samarbejde et nøgleord for HF 2. Det foregår både på det institutionelle<br />
niveau via det interne kommunale samarbejde og mellem kommunerne og andre aktører.<br />
Koordination, dialog og gensidig forståelse for forskellige faglige og kulturelle forskelle<br />
spiller her en afgørende rolle.<br />
For HF 2-projekter er det udbredt at bruge ekstern konsulentstøtte, og det bruges bredt<br />
til blandt andet evaluering og sundhedsfremme. Da halvdelen af HF 2-projekterne er<br />
defineret som pilot-/forprojekter kan det være hensigtsmæssigt at gøre brug af ekstern<br />
konsulentstøtte til at få problemfeltet belyst og defineret, inden projektet igangsættes, da<br />
det givetvis kan bidrage til at styrke implementering og spredning.
Kapitel 7. Evaluering af HF 3<br />
I dette kapitel analyseres de 28 projekter, som har modtaget støtte under Forebyggelsesfondens<br />
hovedformål 3 (HF 3). Analysen omhandler projekternes indhold, proces og resultater.<br />
Formålet med kapitlet er at udfolde de forskellige elementer og derved få en bedre forståelse<br />
af projekternes processer. Fokus er således på kontekst og indsats set i forhold til<br />
effekt. Analysen er struktureret således, at der først sættes fokus på kontekstfaktorer for<br />
indsatserne og deres betydning for effekt. Dernæst belyser analysen indholdet af indsatserne<br />
under HF 3 og deres betydning for effekt.<br />
7.1 Formålet med HF 3<br />
Under HF 3 støttes utraditionelle initiativer, som har til formål at øge bevidstheden om<br />
risikoen ved rygning, alkohol, fedme og fysisk inaktivitet. Her prioriterer Forebyggelsesfonden<br />
projekter, som integrerer sundhedsfremme- og arbejdsmiljøindsatsen i virksomheden.<br />
Som beskrevet i metodeafsnittet er det ikke muligt for evaluator at analysere på tværs af<br />
projekternes succeskriterier såsom fx nedgang i sygefravær, da opgørelsesmetoderne i<br />
projekterne varierer betydeligt, og da projektevalueringernes kvalitet ligeledes varierer.<br />
7.2 Projekternes kontekst<br />
Organiseringen af projektet er et centralt element i forhold til projekternes kontekst.<br />
Organisering omhandler i dette afsnit særligt placeringen af beslutningskompetence samt<br />
inddragelse af interne og eksterne aktører.<br />
I forhold til organisering er der for HF 3-projekter, som for projekterne under de andre<br />
hovedformål, nogle generelle organisatoriske faktorer, som har spillet en rolle for forløbet<br />
af projekterne. Eksempelvis fremhæves det i et af de kvalitative interview, at forarbejdet<br />
før selve projektstarten er vigtig:<br />
Årsagen til, at vi har kunnet følge projektplanen, har været, at vi har gjort et kæmpe<br />
forarbejde sammen med vores medarbejdere, inden vi søgte om tilskud for at sikre<br />
os, at vores medarbejdere var helt afklaret med den omstilling, det ville kræve for at<br />
nå de tilsigtede mål. (Projektleder, privat virksomhed).<br />
Et andet opmærksomhedspunkt for HF 3-projekterne, som også går igen ved de andre<br />
hovedformål, er den ledelsesmæssige opbakning:<br />
Vores erfaring fra projektet er, at det er yderst vigtigt at få forankret projektet i topledelsen.<br />
Jeg vil gå så langt som til at sige, at det er afgørende for forankringen.<br />
(Projektleder, ”anden” virksomhed).<br />
67
7.2.1.1 Placering af beslutningskompetence<br />
I forhold til projekters organisering er det centralt at afdække, hvor projektledelsen ligger,<br />
og hvordan beslutningskompetencen i projektet er organiseret. Som faktaboks 7.1<br />
viser, ligger projektledelsen internt i 64 % af projekterne, mens der indgår eksterne<br />
aktører i 36 % af projekterne.<br />
68<br />
Faktaboks 7.1: Beslutningskompetence<br />
64 % har intern projektledelse<br />
36 % har eksterne i deres projektledelse<br />
57 % har styregrupper<br />
50 % har styregrupper, hvori medarbejdere<br />
deltager<br />
En hypotese er, at projekter med intern<br />
projektledelse i højere grad bliver<br />
implementeret end projekter med<br />
projektledelse, som er ekstern 17 eller<br />
delt mellem interne og eksterne aktører.<br />
Hypotesen understøttes imidlertid<br />
ikke. Som det fremgår af nedenstående<br />
figur 7.1, er der en højere grad af<br />
implementering ved kombineret intern/ekstern<br />
projektledelse end ved<br />
den interne projektledelse. For 56 %<br />
af projekter med delt intern/ekstern projektledelse er projektet blevet fuldt implementeret,<br />
mens det blot gælder for 33 % af projekter med intern projektledelse. 44 % af projekterne<br />
med delt intern/ekstern projektledelse vurderer, at de er delvist implementeret,<br />
hvor det gælder for 47 % af projekterne med intern projektledelse. Ydermere er det interessant,<br />
at der ikke er nogen projekter med delt intern/ekstern projektledelse, som ikke<br />
er blevet implementeret, mens det gælder for 20 % af projekterne med intern projektledelse,<br />
hvilket er en høj andel sammenholdt med, at der er 3 % af HF 1a-projekterne med<br />
intern projektledelse, som ikke implementeres.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
33%<br />
Figur 7.1: Implementeringsgrad fordelt på ledelsesform<br />
56%<br />
47% 44%<br />
20%<br />
0%<br />
Intern ledelse Projektledelse delt mellem<br />
intern og ekstern<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
Sammenlignes projektledelsen endvidere med spredningen af projekter, fremgår det, at<br />
projekter med eksterne aktører i projektledelsen opnår en større spredning. Hvor 90 % af<br />
projekterne med delt intern/ekstern projektledelse og ekstern projektledelse opnår<br />
spredning, er andelen kun 75 % for projekter med intern projektledelse.<br />
En række kvalitative interview bekræfter, at inddragelsen af såvel interne som eksterne<br />
aktører i projektledelsen gør, at projektet efterfølgende både kommunikeres eksternt og<br />
internt:<br />
17 Den eksterne projektledelse er taget ud af analysen, da der kun er et projekt med ekstern projektledelse.<br />
n = 24
Den eksterne partner sørgede for at holde eksterne oplæg omkring projektet, og internt<br />
udarbejdede vi pjecer og foldere for at sprede informationen. (Projektleder,<br />
privat virksomhed).<br />
Projekterne under HF 3 følger således den generelle tendens i alle støttede projekter i<br />
forhold til en positiv sammenhæng mellem delt projektledelse og spredning af projektet.<br />
I over halvdelen af HF 3-projekterne er beslutningskompetencen placeret i en styregruppe<br />
(57 %), og medarbejderne er involveret i halvdelen af de projekter, som har en styregruppe.<br />
Det er rimeligt at antage, at inddragelse af medarbejdere kan skabe engagement<br />
og ejerskab, som vil medføre en højere grad af implementering. Denne sammenhæng<br />
bliver dog ikke bekræftet i projekterne under HF 3. Alle projekter, der ikke har medarbejdere<br />
i styregruppen, bliver helt implementeret, hvorimod et enkelt projekt (svarende til 8<br />
%), som inddrager medarbejdere i styregruppen, ikke opnår implementering. De resterende<br />
projekter med medarbejderinddragelse opnår såvel at blive implementeret enten<br />
delvist (46 %) eller helt (46 %). Det skal dog tilføjes, at det drejer sig om to projekter,<br />
der ikke har medarbejdere i styregruppen, og sammenhængen er derfor ikke statistisk<br />
signifikant og kan være et udtryk for en tilfældighed.<br />
I de kvalitative interview fremgår det, at projektlederne er opmærksomme på at få inddraget<br />
medarbejderne i beslutningsprocessen. En projektleder fremhæver, at det har<br />
været en meget vigtig læring i projektet:<br />
Vi er kommet frem til, at det er centralt at lægge stor vægt på bemandingen af styregruppen,<br />
hvor det er vigtigt at få inddraget medarbejderne. (Projektleder, privat<br />
virksomhed).<br />
Medarbejderinddragelsen kan dog vise sig som en udfordring for projektet. En projektleder<br />
påpeger, hvorledes der kan opleves barrierer ved at engagere medarbejderne i projektet:<br />
Vi endte med at få en meget lille tilslutning fra medarbejderne, og jeg tror, at det<br />
har noget at gøre med, at de var ”bange” for projektet. Vores erfaring er, at der skal<br />
meget til at få medarbejderne med, fordi de skal motiveres af nogle, som de har tillid<br />
til. Det kan sagtens være, at man skulle have haft en medarbejder til at prøve det<br />
først og formidle det videre til andre. (Projektleder, kommunal virksomhed).<br />
Som ovenstående citat beskriver, kan strategien for medarbejderdeltagelse spille en afgørende<br />
rolle for projektets udførelse.<br />
7.2.1.2 Involvering af eksterne aktører<br />
Samtlige HF 3-projekter gør brug af eksterne konsulenter, og det er i særdeleshed<br />
inden for områderne sundhedsfaglig bistand (50 %) og processtøtte (46 %). Når der ses<br />
nærmere på effekterne ved inddragelsen af eksterne konsulenter, herunder i relation til<br />
implementering og spredning, viser data, at det kun er inden for inddragelsen af eksterne<br />
evaluatorer, implementeringen øges. Således er 71 % af de HF 3-projekter, der bruger<br />
eksterne evaluatorer, blevet fuldt implementeret, mens det gælder for 28 % af de projekter,<br />
der ikke bruger eksterne evaluatorer.<br />
Opsummerende kan det i forhold til placeringen af beslutningskompetence konkluderes,<br />
at hovedparten af HF 3-projekterne vælger at organisere sig med en styregruppe,<br />
hvor godt halvdelen har medarbejdere repræsenteret. Det kan endvidere konkluderes, at<br />
medarbejderinddragelse i styregruppen medfører, at størstedelen af projekterne implementeres<br />
(helt eller delvist). I forhold til projektledelsen har det mod forventning vist sig,<br />
69
at det giver en højere grad af implementering ved delt projektledelse mellem intern og<br />
ekstern, end når det udelukkende er intern projektledelse. For HF 3-projekter er det særligt<br />
udbredt at bruge eksterne konsulenter til processtøtte og sundhedsfaglig bistand,<br />
men det viser sig imidlertid, at det hverken styrker implementeringen eller spredningen.<br />
Dog har projekter, der inddrager eksterne evaluatorer, en markant højere implementeringsgrad<br />
end projekter uden eksterne evaluatorer.<br />
7.3 Projekternes indsats<br />
Projekternes indsatser vil ligeledes have betydning for projektets udførelse og effekt. I<br />
dette afsnit analyseres faktorer, som er relateret til selve indsatsen og dens betydning.<br />
Afsnittet konkluderer, at HF 3-projekter med en bred indsats opnår højere grad af implementering<br />
end en smal indsats, og at involvering på forskellig vis har en betydning for,<br />
om projektet bliver implementeret og opnår spredning, hvilket særligt gør sig gældende i<br />
forhold til at inddrage målgruppen og gøre brug af ambassadører.<br />
7.3.1.1 Bred eller smal indsats<br />
Hvorvidt projekterne iværksætter en smal eller bred indsats har øjensynligt en betydning<br />
for graden af implementering. Selvom det kunne forventes, at smalle indsatser opnår en<br />
højere grad af implementering, fordi de er mere fokuserede og omfatter få problemstillinger,<br />
så viser nedenstående figur 7.2, at det faktisk forholder sig omvendt – brede indsatser<br />
opnår højere grad af implementering end smalle indsatser.<br />
Dette er umiddelbart et overraskende resultat, men kan skyldes, at HF 3-projekterne<br />
adskiller sig fra andre projekter ved at have en stor og bred målgruppe med en median<br />
på 172 personer, hvilket betyder, at medianen for målgruppen i et HF 3 projekt er væsentlig<br />
større end i de andre projekter.<br />
I de kvalitative interview understreges det, hvorledes det er en udfordring for projekter at<br />
have en stor og bred målgruppe, fordi det kan være vanskeligt at ramme alles behov og<br />
få implementeret projektet på et større plan:<br />
70<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
23%<br />
46%<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 7.2: Implementeringsgrad fordelt på indsatsens bredde<br />
31%<br />
58%<br />
For at få et succesfuldt projekt kræver det et stort kendskab til målgruppen. Hvis<br />
man ikke allerede har det i forvejen, er det i hvert fald en god idé at få det, inden<br />
man går i gang. (Projektleder, kommunal virksomhed).<br />
42%<br />
Smal indsats Bred indsats<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
n = 25
Sammenhængen mellem indsatsbredde og implementering skal dog ikke forstås som en<br />
direkte sammenhæng, da projekternes kontekst som tidligere beskrevet ligeledes påvirker<br />
implementeringen.<br />
7.3.1.2 Involvering som en del af indsatsen<br />
Det er udbredt, at projekterne under HF 3 anvender involvering af medarbejdere som en<br />
del af indsatsen. Dette afsnit analyserer, hvilke former for involvering projekterne under<br />
HF 3 gør brug af.<br />
En stor andel af HF 3-projekterne (82<br />
%) involverer deres målgruppe i<br />
projektindsatsen. En hypotese i forhold<br />
til målgruppeinddragelse er, at<br />
projekternes målsætninger vil fremstå<br />
uklare, fordi de er formuleret så<br />
bredt som muligt for at imødekomme<br />
Faktaboks 7.2: Involvering som en del af<br />
indsatsen<br />
82 % involverer målgruppen<br />
39 % anvender ambassadører<br />
flere interesser. Det viser sig dog, at 87 % af de projekter, som har involveret deres målgruppe,<br />
faktisk har klare målsætninger, og hypotesen må derfor forkastes.<br />
Af figur 7.3 fremgår det, at de projekter, som involverer målgruppen i indsatsen, har en<br />
højere grad af implementering end de projekter, hvor målgruppen ikke involveres. Sammenligningen<br />
af de to skal tages med forbehold, da der kun er fire observationer i kategorien,<br />
der dækker manglende involvering af målgruppen. Imidlertid er det alt andet lige<br />
positivt, at 50 % af de projekter, som involverer målgruppen, opnår fuld implementering,<br />
og 40 % opnår delvis implementering.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 7.3: Implementeringsgrad fordelt på involvering af målgruppen<br />
50%<br />
40%<br />
10%<br />
En projektleder påpeger vigtigheden af at sikre implementeringen af projektet gennem<br />
inddragelse af medarbejderne i projektindsatsen. Projektlederen understreger, at dette er<br />
særligt relevant for HF 3-projekter, fordi de omhandler sundhedsfremme, som ofte bliver<br />
anset som værende en del af privatlivet og ikke arbejdslivet:<br />
50%<br />
Når projektet handler om sundhed, er det vigtigt at have medarbejderne med i processen<br />
og have øje for de sensitive aspekter. Man bryder ind i privatlivet, og man<br />
skal derfor have sans for, hvor grænserne går og for, hvad man kan bede medarbejderne<br />
om. Med andre ord skal der på forhånd ”forhandles” en strategi for at få så<br />
mange med som muligt. Det handler om at knytte noget individuelt op omkring det<br />
kollegiale. (Projektleder, statslig virksomhed).<br />
50%<br />
målgruppe involveres målgruppe involveres ikke<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
n = 24<br />
71
I forlængelse heraf betones et andet centralt element i de kvalitative interview. I forhold<br />
til arbejdet med målgrupper i sundhedsprojekter understreges det, at sundhed kan være<br />
et prekært område, og at man af samme årsag skal være påpasselig med en løftet pegefinger:<br />
72<br />
Man bliver helt klart nødt til at tage udgangspunkt i, hvad sundhed betyder for den<br />
enkelte. Det hjælper ikke at komme og slå folk i hovedet med, at de er usunde. Erkendelsen<br />
af usundhed skal gerne komme nedefra. (Projektleder, privat virksomhed).<br />
Årsagen til, at hovedparten af projekterne under HF 3 inddrager målgruppen i projektindsatserne,<br />
er dermed bl.a., at HF 3-projekterne blander sig i personers privatsfære, og<br />
inddragelsen af målgruppen bruges derfor som redskab til at sikre medarbejderengagement<br />
i projektet.<br />
7.3.1.3 Brug af ambassadører<br />
39 % af HF 3-projekterne bruger ambassadører i deres projekter. De kvalitative interview<br />
peger på, at der gøres brug af ambassadører i to henseender. Det ene aspekt er at få<br />
engageret ambassadørerne i selve projektforløbet, hvor de spiller en vigtig rolle med<br />
hensyn til at holde ”alle til ilden”. Det andet aspekt er, at de er vigtige i forhold til spredning<br />
og implementering, når projektet er afsluttet.<br />
Som figur 7.4 viser, opnår alle de projekter, som bruger ambassadører, spredning, mens<br />
det gælder for 2/3 af projekter, som ikke benytter ambassadører. Det giver umiddelbart<br />
god mening, at der sker en større spredning for de projekter, der bruger ambassadører,<br />
fordi det af mange af de kvalitative interview fremgår, at ambassadørerne stadig er tilknyttet<br />
projektet efter dets afslutning og stadig føler, at de har en aktie i det, som gør, at<br />
de er villige til at bruge meget tid på at gøre opmærksom på projektet og få det kommunikeret<br />
ud.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 7.4: Spredning fordelt på indsats med ambassadører<br />
100%<br />
Projektet benytter<br />
ambassadører<br />
67%<br />
Samtidig er det værd at bemærke, at projekter med ambassadører opnår højere grad af<br />
implementering end projekter uden ambassadører. Således bliver 46 % af projekter med<br />
ambassadører fuldt implementeret, og 55 % bliver delvist implementeret. Der er ingen<br />
projekter med ambassadører, som ikke bliver implementeret, mens der er 29 % af projekterne<br />
uden ambassadører, som ikke bliver implementeret.<br />
33%<br />
Projektet benytter ikke<br />
ambassadører<br />
Projektet opnår<br />
spredning<br />
Projektet opnår ikke<br />
spredning<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 26
Det er interessant, at ambassadører under HF 3 har en særlig fremmende effekt på<br />
spredning og implementering, da ambassadører under de andre hovedformål ikke har<br />
den samme indvirkning på spredning og implementering. At projekterne under HF 3 adskiller<br />
sig, hænger højest sandsynligt sammen med det specifikke fokus på sundhedsfremme<br />
under dette hovedformål. Som tidligere beskrevet medfører et fokus på sundhedsfremme<br />
ofte modstand fra målgruppen. Brugen af ambassadører kan være et redskab<br />
til at skabe engagement i målgruppen, hvilket må antages at påvirke implementeringen<br />
positivt. Denne antagelse bekræftes i de kvalitative interview, hvor ambassadørerne<br />
gennemgående udpeges som særligt vigtige, fordi de skaber et miljø på arbejdspladsen,<br />
hvor de andre medarbejdere kan føle sig trygge ved at have nogle foregangsmænd,<br />
som de kan spejle sig i.<br />
I et interview understreges det ligeledes, at brugen af ambassadører har haft en positiv<br />
indvirkning i projektforløbet i forhold til at fastholde fokus i samarbejdet:<br />
Sundhedsambassadørerne har haft en vigtig rolle i forbindelse med at fastholde fokus<br />
i samarbejdet med styregruppen. Sundhedsambassadørerne er uundværlige,<br />
fordi det er nødvendigt, at der er nogle, der sætter gang i tingene og holder fast.<br />
(Projektleder, privat virksomhed).<br />
Endvidere spiller ambassadørerne en central rolle efter projektets afslutning, hvor de<br />
bidrager til at få projektet implementeret:<br />
Ambassadører har haft en rigtig god effekt. De blev undervist i motiverende samtaler<br />
mv. Deres rolle efter projektet har været at indsamle ønsker og idéer fra medarbejderne<br />
og tage det med videre til blandt andet sikkerheds- og samarbejdsudvalget.<br />
(Projektleder, privat virksomhed).<br />
Brugen af ambassadører i HF 3-projekterne bliver således i særdeleshed fremhævet som<br />
værende vigtig i forhold til at skabe og fastholde medarbejderengagement, hvilket sandsynligvis<br />
er årsagen til en positiv sammenhæng med implementering og spredning.<br />
7.3.1.4 Projektændringer<br />
En del af HF 3-projekterne har foretaget ændringer undervejs i projektforløbet. 25 % af<br />
projekterne har således gennemgået ændringer både i forhold til aktiviteternes indhold<br />
og i forhold til deltagergruppen. Omkring 70 % af disse ændringer kan henføres til indre<br />
forhold i projektet, hvilket er en understregelse af, at ændringerne er noget, som skyldes<br />
forandringer i selve projektet. Årsagen til, at projektjusteringerne skyldes indre forhold,<br />
er ifølge projektlederne en følge af, at det er svært at holde målgruppen engageret igennem<br />
hele projektforløbet. HF 3-projekternes fokus på sundhedsfremme medfører, at<br />
mange projekter omhandler ændringer af målgruppens vaner i forhold til fx rygning, kost<br />
og motion. Ændringer af vaner er altid udfordrende, og projektlederne fremhæver især<br />
projektjusteringer som vigtige for projektgennemførelsen. Blandt andet kan for mange<br />
aktiviteter i projektet betyde, at medarbejderne i målgruppen går hen og bliver trætte af<br />
det:<br />
Vi blev nødt til at udskyde vores aktiviteter, fordi vi ramte et afmatningspunkt for<br />
medarbejderne, da vi havde igangsat for mange aktiviteter. (Projektleder, privat<br />
virksomhed).<br />
73
7.4 Opsummering HF 3<br />
Projekter under HF 3 er i særdeleshed påvirket af hovedformålets fokus på sundhedsfremme.<br />
Evalueringen viser bl.a., at projekternes fokus på sundhed ofte bliver anset som<br />
private anliggender hos målgruppen. Interview med projektledere har således påpeget,<br />
hvorledes disse projekter skal være særligt opmærksomme på skabelsen af medarbejderopbakning<br />
til projektet. Medarbejderinddragelse i styregrupper og i projektindsatserne<br />
bliver i denne henseende fremhævet som særlig fordelagtigt. For HF 3-projekter er det<br />
desuden udbredt at bruge eksterne konsulenter til processtøtte og sundhedsfaglig bistand,<br />
men det viser sig imidlertid, at det hverken styrker implementeringen eller spredningen.<br />
Dog har projekter, der inddrager eksterne evaluatorer, en markant højere implementeringsgrad<br />
end projekter uden eksterne evaluatorer.<br />
Evalueringen viser, at det er udbredt for HF 3-projekter at involvere målgruppen, og det<br />
er med god grund, fordi projekter med inddragelse af målgruppen opnår en højere grad<br />
af implementering. I den sammenhæng er det også relevant at nævne, at HF 3 sammenlignet<br />
med de andre hovedformål har en væsentlig større målgruppe, hvilket muligvis kan<br />
forklare, hvorfor de brede indsatser opnår en højere grad af implementering end smalle<br />
indsatser.<br />
Endvidere har evalueringen vist, at inddragelsen af ambassadører virker positivt på<br />
spredning og implementering, hvilket er et interessant resultat, eftersom det til sammenligning<br />
med de andre hovedformål i særlig grad er tilfældet for HF 3, at inddragelsen af<br />
ambassadører har en særlig fremmende effekt på spredning og implementering. Det kan<br />
blandt andet forklares ved, at sundhedsfremmende projekter er særlige i den forstand, at<br />
det er betydningsfuldt for medarbejderne, at de har nogle foregangsmænd, som de kan<br />
spejle sig i.<br />
74
Kapitel 8. Analyse på tværs af hovedformål<br />
Som supplement til de hovedformålsspecifikke analyser søger analysen på tværs af hovedformål<br />
at undersøge, hvilke kendetegn og sammenhænge der gør sig gældende på<br />
tværs og i sammenligning mellem projekterne under de tre hovedformål.<br />
I analysen stilles skarpt på de sammenhænge, der er gældende inden for følgende perspektiver<br />
på projekterne:<br />
• Kontekstfaktorer fx organisationsfaktorer<br />
• Indsatsfaktorer fx smal/bred indsats eller indsatstype<br />
• Effektfaktorer opdelt på<br />
outputvariable fx ændringer i arbejdsprocesser<br />
outcomevariable fx nedgang i sygefravær eller medarbejderomsætning<br />
impactvariable fx nedgang i udgifter til fx sygefravær, øget økonomisk effektivitet<br />
(bedre bundlinje).<br />
Ud fra det programteoretiske afsæt forventes det, at konteksten i forhold til en indsats<br />
har stor betydning. I forhold til kontekstfaktorer er organiseringen af projekterne den<br />
centrale faktor, men også ejerforholdet offentlig/privat vil eksempelvis indgå. Hertil<br />
kommer, at det forventes, at tværgående indsatsparametre - fx hvorvidt indsatsen er<br />
smalt eller bredt sammensat og indsatstyper - kan bidrage til at udfolde indsatsens indhold<br />
og metoder. Sidst men ikke mindst ser den tværgående analyse på effekter opdelt<br />
på de tre niveauer: Output, outcome og impact. Det er for de kommende delevalueringer<br />
væsentligt at afdække mulighederne for at kategorisere effektmålene, da<br />
der heri kan ligge vigtig viden både i forhold til opstilling af effektmål og i forhold til mulige<br />
sammenligninger af projekternes resultater for fremtiden.<br />
Hovedsigtet er at undersøge, om der tegner sig nogle sammenhænge og nogle særlige<br />
kendetegn ved projekterne, som fremover kan anvendes som analytisk redskab.<br />
8.1 Kontekstfaktorer<br />
I dette afsnit undersøges en række kontekstfaktorer. Først ses på organiseringen af beslutningskompetencen<br />
i projekterne. Dernæst på involveringen af eksterne aktører både i<br />
forhold til indsats og evaluering. Dette efterfølges af en afsøgning af, om ejerforhold har<br />
betydning. Afslutningsvis undersøges projektsummen som kontekstfaktor.<br />
8.1.1 Organisering af beslutningskompetence<br />
Langt hovedparten af projekterne anvender styregrupper som det organ, hvori beslutningskompetencen<br />
lægges. Hermed har 72 % af projekterne en styregruppe, mens 28 %<br />
af projekterne ikke har en styregruppe, men derimod en mere snæver projektledelse.<br />
Figur 8.1 viser om ikke en klar sammenhæng mellem anvendelsen af styregrupper og<br />
implementering så dog en højere andel af ikke implementerede projekter blandt de projekter,<br />
der har en snæver projektledelse. Samtidig overstiger andelen af projekter med<br />
styregrupper, der er helt og delvis implementeret, andelen af helt og delvis implementerede<br />
projekter blandt projekter med en snæver projektledelse.<br />
75
En forklaring på, at projekter med styregrupper har en højere grad af implementering,<br />
kan være, at fokus i projektet herved styrkes. Når beslutningskompetencen er forankret i<br />
en styregruppe, har projektet en større chance for ikke blot at blive en del af organisationens<br />
daglige drift og selvforståelse, hvilket modsat kan blive konsekvensen, hvis projektet<br />
blot bliver én blandt mange andre opgaver hos ledelsen:<br />
76<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.1: Implementeringsgrad fordelt på placering af<br />
beslutningskompetence<br />
33% 44%<br />
41%<br />
22%<br />
Beslutningskompetencen<br />
ligger i organisationens<br />
ledelse<br />
Erfaringen fra vores projekt er, at man skal passe på med at hænge for meget på ledelsen<br />
(…). I stedet er det vigtigt at få afsat rigelig med tid og ressourcer til arbejdet<br />
i styregruppen. (Projektleder, privat virksomhed).<br />
I forhold til organisatoriske kontekstfaktorer er det interessant at forfølge sondringen<br />
mellem projekter, som placerer beslutningskompetencen i en styregruppe versus projekter,<br />
som har forankret projektet hos ledelsen. Dette for at afsøge betydningen af ledelsesorganisering<br />
i forhold til såvel indsats som effekt, herunder inddragelse af forskellige<br />
aktører i henholdsvis den smalle projektledelse og en bredere styregruppe.<br />
8.1.1.1 Typer af inddragelse i det besluttende organ<br />
Der kan hermed opstilles to hovedtypologier i henholdsvis ”snæver projektledelse” og<br />
”styregruppe”, som operationaliserer organiseringen af beslutningskompetencen. Disse<br />
kan tilføjes tre undertypologier, som handler om graden af inddragelsen af interne og<br />
eksterne aktører.<br />
Af figur 8.2 fremgår det, at for projekter med snæver projektledelse er der 83 %, som<br />
udelukkende har intern ledelse, 3 % har ekstern ledelse, og 13 % har valgt at dele ledelseskompetencen<br />
op mellem intern og ekstern projektledelse. For projekter med styregruppe<br />
er der 25 %, som inddrager medarbejderne, 17 % inddrager eksterne aktører, og<br />
58 % inddrager både medarbejdere og eksterne aktører.<br />
51%<br />
7%<br />
Beslutningskompetencen<br />
ligger i en styregruppe<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 97
Figur 8.2: Typologier på organisering af beslutningskompetence<br />
Snæver ledelse (28%)<br />
Intern (83%) Eksterne (3%)<br />
Intern og<br />
ekstern (13%)<br />
Inddragelse af<br />
medarbejdere<br />
(25%)<br />
Styregruppe (72%)<br />
Inddragelse af<br />
eksterne<br />
aktører (17%)<br />
Inddragelse af<br />
medarbejdere<br />
og eksterne<br />
(58%)<br />
Disse resultater peger på et interessant aspekt ved forskellen på at have et ledelsesstyret<br />
og et styregruppestyret projekt. I styregrupperne opleves et større fokus på at få involveret<br />
medarbejderne samt at få medarbejdere til at samarbejde med eksterne aktører.<br />
Dette har givetvis en betydning for implementeringen, hvilket bekræftes i flere kvalitative<br />
interview. En projektleder i et HF 1a-projekt påpeger:<br />
Implementering er naturligvis vigtig for et projekt. Hvis projektet skal gøre en forskel,<br />
skal viden og erfaringer spredes til alle hjørner af arbejdspladsen. Det gøres<br />
bedst via ledelsen og med inddragelse af medarbejderne. (Projektleder, kommunal<br />
virksomhed).<br />
Med opdelingen i undertypologier er datagrundlaget i hver undertypologi selvsagt mindre,<br />
og afsøgningen af sammenhænge er dermed vanskelig at påvise som statistisk signifikant.<br />
Men det fremstår tydeligt ud fra en analyse af de kvalitative interview, at involvering<br />
af medarbejdere samt samarbejdet mellem interne og eksterne aktører bidrager til at<br />
fremme implementering og spredning.<br />
Figur 8.3 eksemplificerer, at der er forskelle at spore i forhold til implementeringsgraden,<br />
når der ses på typer af projektledelse. Dette manifesterer sig ved andelen af de projekter,<br />
som ikke implementeres. Det er her interessant, at den laveste implementeringsgrad<br />
viser sig i de projekter, der har intern virksomhedsledelse (18 % implementeres ikke)<br />
samt styregruppe med eksterne aktører (17 % implementeres ikke).<br />
77
Dette fund understreger, at projekter, hvor medarbejdere ikke inddrages i beslutningerne,<br />
generelt set har større risiko for ikke at blive implementeret. Dette fund kan være<br />
interessant at forfølge i kommende del-evalueringer som en uddybning af en mulig sammenhæng<br />
mellem hovedtypernes (snæver projektledelse og styregrupper) betydning for<br />
implementeringen.<br />
Flyttes fokus til, om projektledelsen inddrager eksterne aktører i projektledelsen, uanset<br />
om der er tale om en snæver projektledelse eller en styregruppe, kan det formodes, at<br />
en anvendelse af eksterne aktører styrker spredningen af den viden og de resultater, der<br />
skabes i projektet. Dette kan dokumenteres i det kvalitative materiale. Og fra analysen af<br />
HF 3 vides det, at der i en større andel af de projekter, der har delt projektledelse mellem<br />
interne og eksterne aktører eller kun eksterne, oftere kan dokumenteres videnspredning.<br />
Det viser sig i det kvalitative materiale også at være tilfældet i andre typer end HF 3projekter,<br />
og en projektleder forklarer fx, hvordan det blev både en intern og en ekstern<br />
opgave at formidle projektet:<br />
78<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
39%<br />
56%<br />
6%<br />
Projektledelsen er<br />
forankret i en<br />
styregruppe med<br />
inddragelse af<br />
medarbejdere (n=18)<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 8.3: Implementering fordelt på projektledelse<br />
50%<br />
46% 49% 45%<br />
33%<br />
36%<br />
17%<br />
Projektledelsen er<br />
forankret i en<br />
styregruppe med<br />
inddragelse af<br />
eksterne (n=12)<br />
Den eksterne partner sørgede for at holde eksterne oplæg omkring projektet, og internt<br />
udarbejdede vi pjecer og foldere for at sprede informationen. (Projektleder,<br />
kommunal virksomhed).<br />
Evaluator finder, at sondring på projekternes organisering af beslutningskompetence er<br />
interessant, idet der antydes en sammenhæng til implementering og bredde af indsats,<br />
samt at analysen af HF 1a viser en sammenhæng med positive sideeffekter.<br />
Dertil er der tendenser, der peger i retning af, at eksterne aktører i projektledelsen kan<br />
være med til at styrke spredningen af projekterne og den opbyggede viden.<br />
På baggrund af ovenstående kan det anbefales, at Forebyggelsesfonden lægger vægt på,<br />
at projekterne placerer beslutningskompetencen i styregruppelignende konstellationer<br />
med medarbejderinddragelse, medmindre de har gode argumenter for at organisere beslutningskompetencen<br />
anderledes.<br />
5%<br />
Projektledelsen er<br />
forankret i en<br />
styregruppe med<br />
inddragelse af<br />
medarbejdere og<br />
eksterne (n=37)<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
18%<br />
Projektledelsen er<br />
forankret i<br />
virksomhedens<br />
ledelse (Intern )<br />
(n=22)
8.1.2 Inddragelse af eksterne konsulenter<br />
I projekternes organisering er anvendelsen af eksterne konsulenter udbredt. Kun 16<br />
projekter (14 %) bruger ingen form for konsulentstøtte. Derfor er det interessant at udfolde,<br />
hvad eksterne konsulenter anvendes til, og hvilken betydning det har i og for projekterne.<br />
Konsulentstøtte dækker over flere forskellige funktioner, hvoraf ekstern evaluering som<br />
den eneste afgrænser sig i forhold til selve indsatsen. Eksterne evaluatorer vil således<br />
blive behandlet særskilt i det efterfølgende afsnit. Af de øvrige konsulentydelser bidrages<br />
der typisk med faglig ekspertise i forhold til teknik, arbejdsmiljø eller sundhedsfremme.<br />
Andre konsulentydelser er mere generalistprægede og yder processtøtte, undervisning og<br />
formidling.<br />
De seks typer for ekstern konsulentstøtte:<br />
• Processtøtte<br />
• Undervisning<br />
• Arbejdsmiljøfaglig bistand<br />
• Teknisk bistand<br />
• Sundhedsfaglig bistand<br />
• Formidling.<br />
De fleste projekter anvender flere forskellige former for konsulentydelser, hvilket ikke<br />
nødvendigvis er ensbetydende med, at flere forskellige personer inddrages, da samme<br />
person kan bidrage med flere kompetencer. Men opgørelsen viser, at projektet indhenter<br />
ekspertise på mange forskellige områder.<br />
Figur 8.4 viser projekternes fordeling på baggrund af antallet af forskellige konsulentfunktioner<br />
anvendt i projektet. Opgørelsen viser, at kun 17 projekter inddrager ekstern<br />
konsulentstøtte til én funktion. Det mest udbredte er anvendelse af konsulentstøtte til to<br />
funktioner. Figuren giver et billede af, at eksterne konsulenters inddragelse ikke alene er<br />
udbredt, men at konsulenternes rolle i de konkrete projekter også omhandler mange<br />
forskellige funktioner.<br />
Antal<br />
konsulent-<br />
funktioner<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
Figur 8.4: Fordeling af projekter på antallet af konsulentfunktioner<br />
2<br />
3<br />
10<br />
0 5 10 15 20 25 30<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 114<br />
17<br />
19<br />
21<br />
26<br />
Antal<br />
projekter<br />
79
Figur 8.5 viser de specifikke konsulentydelser, og i hvor høj grad de anvendes. Af figuren<br />
ses det, at processtøtte er den mest udbredte konsulentydelse i projekterne. 60 % af<br />
projekterne inddrager således ekstern konsulentbistand til processtøtte. Dette peger på,<br />
at rigtig mange af projektansøgerne vurderer, at de har behov for hjælp til at gennemføre<br />
projektets aktiviteter og holde fokus.<br />
Dette fund giver anledning til at overveje, om Forebyggelsesfonden med fordel selv kunne<br />
have en tættere kontakt til projekterne med henblik på at støtte dem i projektforløbet.<br />
Fra data ved vi dog, at processtøtten har meget forskellig karakter, og der er mange<br />
forskellige kompetencer på banen blandt de eksterne konsulenter, der i projekterne bruges<br />
til at støtte processer og projektstyring, og det kræver en stor opnormering i Forebyggelsesfonden,<br />
hvis processtøtten skulle udspringe fra Forebyggelsesfonden.<br />
En tættere kontakt kan imidlertid udføres på mange måder, og evaluator ser flere afvejninger,<br />
der spiller ind. Det bør fx nævnes, at enkelte projektledere fra beløbsmæssigt<br />
store projekter har undret sig over, at der med en stor bevilling ikke fulgte tilsvarende<br />
interesse. Et andet hensyn i afvejningen kunne være pointeringen under HF 1b-projekter<br />
af vanskelighederne omkring deres særlige markedsmæssige situation, som kunne tale<br />
for en særlig interesse for disse projekter.<br />
Endvidere kan det være hensigtsmæssigt at fokusere mere på processtøtte, eftersom det<br />
bidrager til at øge implementering og spredning. Således opnår 88 % af projekterne, der<br />
anvender eksterne konsulenter til processtøtte, spredning, mens det er tilfældet for 70 %<br />
af de projekter, som ikke bruger eksterne konsulenter. I forhold til implementering bliver<br />
44 % af projekterne, der inddrager eksterne konsulenter til processtøtte, fuldt implementeret,<br />
mens det gælder for 28 % af de projekter, som ikke bruger eksterne konsulenter til<br />
processtøtte.<br />
Af figur 8.5 ses det, at konsulentbistand til undervisning i projekterne også er meget<br />
udbredt. 35 % af projekterne gør brug af eksterne aktører i forhold til at gennemføre<br />
undervisning inden for specifikke emner som fx kommunikation og ergonomi. Det hænger<br />
ofte sammen med, at der i projektets interne organisering ikke er de faglige kompetencer,<br />
eller at det giver en særlig legitimitet, at der inddrages eksperter ude fra.<br />
I figur 8.5 tegner der sig tillige et billede af, at det er de mere generelle konsulentfunktioner<br />
i forhold til proces og undervisning, som benyttes i projekterne, mens der er færre,<br />
80<br />
Arbejdsmiljøfaglig<br />
Sundhedsfremme<br />
Figur 8.5: Relativ fordeling af projekter på forskellige former for<br />
konsulentbistand<br />
Proces<br />
Undervisning<br />
Teknisk<br />
Formidling<br />
23%<br />
21%<br />
26%<br />
31%<br />
35%<br />
60%<br />
0% 20% 40% 60% 80%<br />
Andel projekter (procent)<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 114
der bruger de fagspecifikke funktioner såsom de arbejdsmiljøfaglige, tekniske og sundhedsfremmende<br />
indsatser. En potentiel forklaring på ovenstående er, at konsulenterne<br />
spiller en mere fagspecifik rolle afhængig af sigtet med det enkelte hovedformål.<br />
Denne årsagsforklaring undersøges nærmere ved at se på sammenhængen mellem de<br />
forskellige konsulentydelser og hovedformål. Således undersøges sammenhænge mellem:<br />
• arbejdsmiljøfaglig bistand og HF 1a,<br />
• teknisk bistand og HF 1b og<br />
• sundhedsfaglig bistand og HF 3.<br />
For HF 2 er der ikke fundet nogen statistisk signifikant sammenhæng til en specifik konsulentydelse,<br />
men konsulentbistand til undervisning indgår i fem ud af 11 projekter.<br />
Det er rimeligt at antage, at HF 1a-projekter i større omfang anvender arbejdsmiljøfaglig<br />
bistand end de øvrige projekter, da HF 1a netop har fokus på at støtte projekter, der har<br />
til formål at forebygge fysisk og psykisk nedslidende rutiner og arbejdsgange. Nedenstående<br />
figur 8.6 bekræfter, at HF 1a-projekter i højere grad anvender arbejdsmiljøfaglig<br />
bistand (45 %) sammenlignet med de øvrige projekter (14 %).<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.6: Brug af arbejdsmiljøfaglig konsulentbistand fordelt på<br />
hovedformål<br />
45%<br />
55%<br />
14%<br />
Når der ses på sammenhængen mellem teknisk bistand og HF 1b, er der ligeledes en<br />
tendens til, at HF 1b-projekter i større omfang bruger teknisk bistand end de øvrige projekter.<br />
Således viser figur 8.7, at 77 % af HF 1b-projekterne anvender teknisk bistand,<br />
mens kun 20 % af de øvrige projekter har anvendt denne form for konsulentstøtte. Det<br />
ligger i tråd med, at formålet med HF 1b er at udvikle ny teknologi med henblik på at<br />
forebygge nedslidning.<br />
86%<br />
HF 1a HF 1b, HF 2, HF 3<br />
Har modtaget<br />
arbejdsmiljøfaglig<br />
konsulentbistand<br />
Har ikke modtaget<br />
arbejdsmiljøfaglig<br />
konsulentbistand<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 114<br />
81
Formålet med HF 3 er at støtte initiativer, som har til formål at øge bevidstheden om<br />
risikoen ved rygning, alkohol, fedme og fysisk inaktivitet – med andre ord er der tale om<br />
en sundhedsfremmende indsats. På den baggrund er det heller ikke overraskende, at<br />
halvdelen af alle HF 3-projekter bruger konsulenter til sundhedsfaglig bistand, mens det<br />
samme kun er tilfældet for 14 % af de øvrige projekter.<br />
På baggrund af de identificerede sammenhænge mellem hovedformål og brug af specifikke<br />
konsulentydelser, hvor arbejdsmiljøfaglig bistand er mest udbredt i HF 1a-projekter,<br />
teknisk bistand er mest udbredt i Hf 1b-projekter, mens sundhedsfaglig bistand er mest<br />
udbredt inden for HF 3-projekter, kan der opstilles tre projekttypologier for anvendelse af<br />
ekstern konsulentbistand, som differentierer ydelsens indhold og kobler dette på projekternes<br />
hovedformål.<br />
De forskellige konsulentydelser kan derudover formodes at have en sammenhæng med<br />
projekternes løsningsforståelse. Eksempelvis kunne man have en hypotese om, at konsulentydelser<br />
i forhold til teknisk støtte har en sammenhæng med en ekspertorienteret<br />
82<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.7: Brug af teknisk konsulentbistand fordelt på hovedformål<br />
77%<br />
23%<br />
20%<br />
80%<br />
HF 1b HF 1a, HF 2, HF 3<br />
Har modtaget teknisk<br />
konsulentbistand<br />
Har ikke modtaget teknisk<br />
konsulentbistand<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 114<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.8: Brug af sundhedsfaglig konsulentbistand fordelt på<br />
hovedformål<br />
50%<br />
50%<br />
14%<br />
86%<br />
HF 3 HF 1a, HF 1b, HF2<br />
Har modtaget<br />
sundhedsfaglig<br />
konsulentbistand<br />
Har ikke modtaget<br />
sundhedsfaglig<br />
konsulentbistand<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 114
tilgang. Denne sammenhæng ses imidlertid ikke, og hypotesen kan dermed ikke bekræftes.<br />
Dette fund kan forklares med de mange informanter, der under HF 1b har pointeret<br />
involvering af medarbejdere i processen frem for præsentation af en løsning.<br />
En anden hypotese i forhold til løsningsforståelse i projekterne er, at projekter, der er<br />
empowerment-orienterede, i højere grad end andre projekter gør brug af ekstern processtøtte.<br />
Hypotesen bygger på, at de empowerment-orienterede projekter kræver mange<br />
ressourcer i processen, da målgruppen involveres løbende i projektet, beslutningerne og<br />
gennemførelsen. Den bistand, der bruges i disse projekter, er faglige ressourcer inden for<br />
fx inddragelsesprocesser og afholdelse af dialog- og workshopaktiviteter. Men det drejer<br />
sig også om at få eksterne aktører ind, der kommer med nye input og tilgange til organisationen<br />
og virksomhedens kultur. Sammenhængen viser sig at være statistisk signifikant<br />
og er illustreret i figur 8.9.<br />
Empowermentorienteret<br />
Ekspertorienteret<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 8.9: Løsningsforståelse i projekterne og processtøtte<br />
Andre<br />
9<br />
Opsummerende kan det fastslås, at projekterne i høj grad anvender ekstern konsulentbistand<br />
og til mange forskelligartede funktioner i de konkrete projekter. Processtøtte er<br />
den mest anvendte konsulentydelse, og denne har en klar sammenhæng med empowerment<br />
som løsningsforståelse. Hertil kommer, at konsulentydelsens indhold har en klar<br />
kobling til hovedformålene HF 1a, HF 1b og HF 3.<br />
8.1.2.1 HF og eksterne evaluatorer afgørende for projektevalueringerne<br />
21<br />
Evalueringen på de respektive hovedformål har mødt den generelle begrænsning, at<br />
evaluator ved evalueringen af samtlige projekter har fundet store udsving i kvaliteten i<br />
projektevalueringerne.<br />
I dette afsnit afdækkes, hvilke fund der kan peges på, når evaluator sammenligner evalueringernes<br />
kvalitet opgjort på hovedformål. Fordelingen fremgår i figur 8.10. Undersøgelsen<br />
foretages ud fra en formodning om, at indsatser og processer under nogle hovedformål<br />
er lettere at evaluere end andre, og at dette har betydning for kvaliteten af evalueringerne.<br />
38<br />
0 20 40 60<br />
Antal projekter,som<br />
anvender konsulentstøtte<br />
til processen<br />
n = 68<br />
83
Figur 8.10 viser blandt andet, at HF 2 ingen dårlige evalueringer har. Dette kan ikke forklares<br />
med anvendelsen af eksterne evaluatorer. Omvendt kan det potentielt skyldes, at<br />
Forebyggelsesfonden under hovedformål 2 stiller større krav til evaluering, men det kan<br />
også hænge sammen med, at projekterne er større og derfor afsætter ressourcer til at<br />
gennemføre grundigere og mere veldokumenterede evalueringer.<br />
Omvendt ses det, at HF 3 har en høj andel af dårligt evaluerede projekter, hvilket kan<br />
skyldes det individorienterede fokus, som opstår, når der sættes fokus på sundhed og<br />
KRAM 18 -faktorer. Det kan være svært at få involveret målgruppen, fordi det er prekært<br />
og grænseoverskridende for både deltagere og evaluator at involvere sig i evalueringen,<br />
når projekterne i høj grad drejer sig om personlige sejre og livsstilsændringer i forhold til<br />
fx motion og rygning.<br />
Det er HF 1b-projekter, som har den højeste andel af dårligt evaluerede projekter. Teknologiudviklende<br />
projekter vil oftere have et mere konkret og håndgribeligt resultat i form<br />
af, om teknologien virker eller ikke virker, hvilket kan mindske motivationen til sideløbende<br />
at foretage en anden form for evaluering.<br />
En anden faktor, der viser sig at have betydning i forhold til evalueringens kvalitet, er,<br />
hvem der gennemfører evalueringen. I figur 8.11 fremgår det, at de interne evalueringer<br />
med en andel på mere end 30 % har den største andel af dårlige evalueringer og følgelig<br />
den laveste andel af evalueringer med høj/rimelig kvalitet.<br />
18 Kost, Rygning, Alkohol og Motion.<br />
84<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
18%<br />
61%<br />
21%<br />
8%<br />
46% 46%<br />
46%<br />
55% 54%<br />
18%<br />
HF 1a HF 1b HF 2 HF 3<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 8.10: Evalueringens kvalitet fordelt på hovedformål<br />
29%<br />
Evalueringen er af høj<br />
kvalitet<br />
Evalueringen er af rimelig<br />
kvalitet<br />
Evalueringen er af dårlig<br />
kvalitet<br />
n = 113
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.11: Evalueringens kvalitet fordelt på evaluatorer<br />
54%<br />
32%<br />
14% 19%<br />
Der er foretaget<br />
intern evaluering<br />
62%<br />
Der er foretaget<br />
ekstern evaluering<br />
Derudover er det værd at fremhæve, at det blandt projektevalueringer af høj kvalitet<br />
viser sig, at et samarbejde mellem eksterne og interne aktører er særligt givtigt. Det kan<br />
skyldes, at en evaluering kræver ejerskab og velvilje blandt projektets deltagere (den<br />
interne styrke), og at det netop er i samspillet mellem ekstern evalueringsekspertise og<br />
intern forståelse for projektet, organisationen og målgruppen, at det bedste resultat opnås.<br />
Der er dermed en indikation på, at inddragelse af eksterne evaluatorer øger kvaliteten,<br />
men at den højeste kvalitet opnås med en evaluering gennemført i samarbejde mellem<br />
interne og eksterne aktører.<br />
I et kvalitativt interview med en projektleder fra et HF 1a-projekt peges der netop på<br />
fordelen ved at inddrage en ekstern evaluator:<br />
Den eksterne evaluator var med til at sikre fremdriften i projektet. Hun var nysgerrig<br />
og bad om at komme med til inspirationsgruppemøder, hvilket fremmede processen i<br />
projektet og gjorde, at vi blev på stien. (Projektleder, privat virksomhed).<br />
Citatet peger på, at samarbejdet med en ekstern evaluator giver mulighed for, at den<br />
eksterne evaluator kan følge projektet og få indsigt i det. Det kan både styrke kvaliteten<br />
af evalueringen, men også projektets fremdrift og fokus.<br />
Anvendelsen af en ekstern evaluator kan også formodes at have en positiv indvirkning<br />
på, om projektet og den opbyggede viden spredes. Det ser imidlertid ikke ud til, at brugen<br />
af eksterne evaluatorer spiller en rolle i denne sammenhæng. Ud fra datamaterialet<br />
kan det dog ikke fastsættes, om de eksterne evaluatorer uformelt og personligt spreder<br />
og anvender den opnåede viden fra projekterne. Det vil kræve en dybere undersøgelse<br />
med kontakt til de eksterne evaluatorer på projekterne.<br />
Evalueringen viser dog, at inddragelsen af eksterne evaluatorer har en positiv indvirkning<br />
på implementeringen, da 47 % af alle projekter, der bruger eksterne evaluatorer, bliver<br />
fuldt implementeret, mens det kun er gældende for 28 % af alle projekter, som ikke bruger<br />
eksterne evaluatorer i deres evaluering.<br />
Opsummerende er det tydeligt at se, at det har en positiv indvirkning på evalueringens<br />
kvalitet, at der inddrages en ekstern evaluator. Særligt er det samspillet mellem interne<br />
og eksterne aktører, som giver den bedste kvalitet af evalueringen, hvilket blandt andet<br />
kan forklares ved, at det højner evalueringens kvalitet, at der er en løbende dialog.<br />
Ydermere viser det sig, at der en forskel med hensyn til evalueringens kvalitet og hoved-<br />
36%<br />
50%<br />
19% 14%<br />
Der er foretaget<br />
inter/ekstern<br />
evaluering<br />
Evalueringen er af høj<br />
kvalitet<br />
Evalueringen er af rimelig<br />
kvalitet<br />
Evalueringen er af dårlig<br />
kvalitet<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 111<br />
85
formålet. Der er ikke nogen dårlige evalueringer under HF 2, mens HF 1b er det hovedformål<br />
med flest dårlige evalueringer. Selvom anvendelsen af ekstern evaluator kunne<br />
forventes at have en positiv indvirkning på spredningen, viser evalueringen, at det ikke er<br />
tilfældet. Imidlertid er inddragelsen af eksterne evaluatorer med til at styrke implementeringen.<br />
8.1.3 Offentlig og privat projektejerskab<br />
En kontekstfaktor, som sædvanligvis opfattes som væsentlig, er, hvorvidt indsatsen foregår<br />
hos en offentlig institution eller en privat virksomhed. Betydningen tilskrives de forskelle,<br />
der ligger i rammevilkårene, som er henholdsvis politiske og markedsmæssige. På<br />
den baggrund er det en hypotese, at de forskellige rammevilkår har en betydning for<br />
spredning og implementering, men ud fra data er der ikke grundlag for at bekræfte denne.<br />
Der er til gengæld en sammenhæng mellem offentlig og privat projektejerskab og evalueringernes<br />
kvalitet. Som det fremgår af figur 8.12, er der flere private projekter, som har<br />
dårlige evalueringer og flere offentlige, som har evalueringer af høj kvalitet. Denne sammenhæng<br />
er meget tæt på at være statistisk signifikant, hvorfor sammenhængen bør<br />
forfølges.<br />
Tages der et spadestik dybere, viser det sig, at interne evalueringer, som er foretaget i<br />
private virksomheder, har en væsentlig større andel af dårlige evalueringer med fx mangelfulde<br />
målinger eller uhensigtsmæssigt metodevalg, end det er tilfældet for interne<br />
evalueringer foretaget i det offentlige. Således er 48 % af private virksomheders interne<br />
evalueringer dårlige mod 19 % af det offentliges interne evalueringer.<br />
Dette kan skyldes flere forhold. For det første er der formentlig en større erfaring med<br />
evaluering af projekter og dokumentation i de fleste offentlige virksomheder. Det gælder<br />
dog ikke de mindre arbejdspladser, men fra de gennemførte projekter er der eksempler<br />
på, at mindre institutioner i det offentlige, fx et plejehjem, hvor der gennemføres et projekt,<br />
søger støtte i kommunens centrale forvaltning, hvor kompetencerne findes. I dette<br />
eksempel søgte projektlederen støtte i social- og sundhedsforvaltningen i kommunen. I<br />
forlængelse heraf får de kompetencer i spil, som er opbygget i mange offentlige institutioner.<br />
Kompetencer, der bygger på en forståelse af evaluering og dokumentation, som<br />
86<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
25%<br />
Figur 8.12: Evalueringkvalitet fordelt på ejerforhold<br />
61%<br />
15%<br />
15%<br />
51%<br />
34%<br />
Projektet er offentligt Projektet er privat<br />
Evalueringen er af høj<br />
kvalitet<br />
Evalueringen er af rimelig<br />
kvalitet<br />
Evalueringen er af dårlig<br />
kvalitet<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 108
udspringer af de samme samfundsvidenskabelige paradigmer og praksisser, som Forebyggelsesfondens<br />
evalueringsforståelse bygger på. Det kan også have betydning for, at<br />
evalueringerne i de projekter, der gennemføres på offentlige arbejdspladser, vurderes til<br />
at have en højere kvalitet.<br />
8.1.4 Projekternes omfang<br />
Projekternes størrelse defineres i denne analyse på baggrund af projektperiode og projektsum,<br />
som dækker over både det bevilligede beløb og den øvrige finansiering. Det er<br />
rimeligt at antage, at længden på projektperioden har en betydning for indsatsens resultat.<br />
Derfor er projektperioden undersøgt som en kontekstfaktor.<br />
I figur 8.13 ses projektperioderne fordelt på graden af implementering. Der ses ikke store<br />
forskelle, men det er dog værd at bemærke, at projekter over to år har en lidt højere<br />
andel blandt de projekter, der ikke implementeres. I udgangspunktet kunne man have en<br />
formodning om, at længden på projektperioden øger sandsynligheden for implementering,<br />
men det underbygges ikke af de kvantitative data. En forklaring, som man også er<br />
opmærksom på i flere af de kvalitative interview, er, at man hele tiden skal sørge for at<br />
holde liv i projektet, og at det ikke nødvendigvis bliver gjort lettere af, at projektet løber<br />
over en lang periode. Imidlertid fremhæver enkelte informanter også, at det faktisk kan<br />
være en fordel med en lang projektperiode. Eksempelvis, hvis målgruppen er stor:<br />
Der har været en stor gruppe medarbejdere i projektet og på trods af det, er projektet<br />
ikke løbet ud i sandet. Jeg tror, at succesen skyldes, at projektet har kørt over en<br />
længere periode. (Projektleder, kommunal virksomhed)<br />
Det giver anledning til at forfølge det i de kommende delevalueringer for at få en dybere<br />
forståelse af, om projektperioden har en sammenhæng med implementeringen, og hvordan<br />
det forholder sig til projekternes indsatstyper. Det er muligt, at dette kan føre til<br />
anbefalinger om projekternes varighed.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.13: Implementeringsgrad fordelt på projekternes varighed<br />
43% 43%<br />
38%<br />
51%<br />
13% 11%<br />
Når den samme analyse foretages på projektsum og implementering, er der ingen bemærkelsesværdige<br />
forskelle at se. Kigger man dybere ned i projekternes økonomi, kan<br />
der være en forventning om, at der i projekter, hvor virksomheden har en høj egenfinansiering,<br />
ligeledes vil være en højere grad af implementering. Det viser sig til en vis ud-<br />
29%<br />
50%<br />
Under ét år 1-2 år Over 2 år<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
21%<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
n = 107<br />
87
strækning at være tilfældet. Til trods for, at fordelingen i figur 8.14 ikke er statistisk signifikant,<br />
så er det tydeligt, at andelen af ikke-implementerede projekter falder betragtelig,<br />
når egenfinansieringen er over 250.000 kr.<br />
Graden af implementering fordelt på projektsum viser, at der er grund til at følge op på<br />
projekternes egenfinansiering og projekternes implementering i kommende delevalueringer.<br />
Når der ses på spredningen, viser det sig, at projekternes omfang – både med hensyn til<br />
varighed og medfinansiering - ikke gør en forskel.<br />
Opsummerende kan det konkluderes, at omfanget af projektet, som her inkluderer<br />
projektperiode og medfinansiering, spiller en rolle i forhold til implementeringsgraden.<br />
Således er det de projekter, der varer mere end to år, hvor færrest bliver fuldt implementeret<br />
og flest ikke implementeres. Derudover viser det sig også, at medfinansieringen har<br />
en betydning, hvor andelen af projekter, der ikke implementeres, falder væsentligt, når<br />
medfinansieringen overstiger 249.999 kr. Projekternes omfang ser imidlertid ikke ud til at<br />
spille en rolle i forhold til spredning.<br />
8.2 Indsatstyper<br />
I dette afsnit stilles der skarpt på de metoder eller redskaber, som projekterne gør brug<br />
af for at opnå den ønskede effekt. Her kaldet indsatstyper. Formålet er at undersøge, om<br />
der kan udfindes mønstre for, om nogle indsatstyper i forhold til andre giver mere eller<br />
mindre sandsynlighed for implementering og spredning.<br />
Indsatstyperne er ikke gensidigt udelukkende, og hovedparten af projekter består af flere<br />
forskellige indsatser. I figur 8.15 fremgår antallet af indsatser i projekterne. Hovedparten<br />
af projekterne bruger to eller tre indsatstyper, og hele 23 projekter består af fem eller<br />
flere indsatser.<br />
88<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.14: Implementeringsgrad fordelt på projekternes størrelse af<br />
medfinansiering<br />
Helt implementeret<br />
31%<br />
50%<br />
19%<br />
53% 53%<br />
40% 40%<br />
40% 40%<br />
20%<br />
0 kr. 0-249.999 kr. 250.000-1.000.000<br />
kr.<br />
Delvist implementeret<br />
Ikke implementeret<br />
7% 7%<br />
Over 1.000.000 kr.<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 106
Antal indsatser pr projekt<br />
Figur 8.15 Fordeling af projekter på antallet af benyttede indsatser<br />
Opgørelsen af antallet af indsatstyper for de respektive projekter illustrerer, at projekterne<br />
sjældent kan anskues ud fra én indsatstype, men består af komplekse systemer af<br />
indsatser, der sammen forventes at give den effekt, som ønskes opnået med projektet.<br />
Derfor kan en første sondring på indsatser ligge i, hvorvidt indsatserne er smalle og<br />
tager afsæt i få problemstillinger og indeholder få elementer, eller om projekternes indsats<br />
indeholder mange elementer på baggrund af flere problemstillinger og således udgør<br />
brede indsatser. Af alle projekter er 57 % defineret som smalle projekter. Hvorvidt projekternes<br />
indsatser er smalle eller brede viser sig imidlertid ikke at have nævneværdig<br />
betydning for hverken implementering eller spredning.<br />
Velvidende at projekterne sammensættes af flere indsatstyper, kan der opstilles syv indsatstyper,<br />
som fremadrettet kan danne grundlag for typologier på indsatser. De syv indsatstyper:<br />
• Individuelle tilbud<br />
• Arbejdets organisering<br />
• Netværk/samarbejde<br />
• Ambassadører<br />
• Information<br />
• Kompetenceudvikling<br />
• Rammebetingelser/vilkår.<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
2<br />
6<br />
14<br />
Der er enkelte indsatstyper, som der kan knyttes nogle analytiske betragtninger til. Ses<br />
der fx nærmere på kompetenceudvikling, viser der sig en mulig sammenhæng mellem<br />
denne indsats og implementering. Blandt de projekter, der anvender kompetenceudvikling<br />
som indsatstype, er der en større andel, der vurderes til at være helt og også delvist<br />
implementeret, når der sammenlignes med de øvrige projekter. Selvom sammenhængen<br />
ikke er statistisk signifikant, tyder opgørelsen i figur 8.16 på, at kompetenceudvikling som<br />
indsatstype er relevant at forfølge i kommende delevalueringer med forventning om en<br />
positiv påvirkning på implementeringen.<br />
15<br />
19<br />
0 10 20 30 40<br />
Antal projekter<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 113<br />
28<br />
29<br />
89
Det kan forventes, at projekter, som omhandler en ændring af arbejdets organisering, vil<br />
have et gennemgående fokus på implementering i projektperioden og derfor opnå en<br />
forholdsvis høj grad af implementering. Denne antagelse understøttes af data.<br />
I figur 8.17 nedenfor illustreres det, hvorledes projekter, der har indsatser rettet mod en<br />
ændring af arbejdets organisering, i højere grad implementeres. Det fremgår ligeledes, at<br />
en større andel projekter, som ikke indeholder indsatser rettet mod arbejdets organisering,<br />
ikke bliver implementeret. Denne sammenhæng er statistisk signifikant, dvs. det kan<br />
afvises, at billedet i figur 8.17 blot er udtryk for tilfældigheder.<br />
Det kan ligeledes antages, at netværks- og samarbejdsindsatser har en positiv betydning<br />
for spredningen af projektet. Antagelsen bygger på, at netværk både kan anvendes i et<br />
projekt i forhold til at tilføre viden udefra, men ligeledes til at sprede den opnåede viden.<br />
Netværks positive betydning på spredning antydes generelt for de afsluttede projekter<br />
under ét, men ses i endnu højere grad under HF 1a og HF 1b. I figur 8.18 er HF 1a vist<br />
90<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.16: Implementeringsgrad fordelt på projekternes brug af<br />
indsatsen kompetenceudvikling<br />
43%<br />
50%<br />
7%<br />
Bruger<br />
kompetenceudvikling<br />
32%<br />
47%<br />
21%<br />
Bruger ikke<br />
kompetenceudvikling<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 107<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.17: Implementering fordelt på projekter, der bruger<br />
indsatsen arbejdets organisering<br />
48%<br />
42%<br />
10%<br />
Bruger arbejdets<br />
organisering<br />
22%<br />
58%<br />
20%<br />
Bruger ikke arbejdets<br />
organisering<br />
Helt implementeret<br />
Delvist implementeret<br />
Ikke implementeret<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 107
som det hovedformål med flest projekter, men både for HF 1a og HF 1b fremgår sammenhængen<br />
at være statistisk signifikant.<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.18: Spredning fordelt på HF 1a-projekters brug af indsatsen<br />
samarbejde/netværk<br />
97%<br />
3%<br />
Bruger<br />
samarbejde/netværk<br />
73%<br />
HF 2 er det hovedformål, som har den højeste andel af projekter, som anvender netværk,<br />
men da antallet af projekter under dette formål er begrænset, kan der alene udledes<br />
en mulig sammenhæng, som dog ikke kan af- eller bekræftes på nuværende tidspunkt.<br />
Opsummerende viser afsnittet, at der er mange forskellige indsatser på spil i projekterne,<br />
og mange projekter kombinerer brugen af mange typer af indsatser. Det betyder, at<br />
der i hvert enkelt projekt opstår systemer af indsatser, hvor effekt opstår i samspil mellem<br />
fx et kompetenceudviklingsforløb, nye arbejdsredskaber og et dialogforløb blandt<br />
målgruppen. Dette gør det yderst komplekst at undersøge overordnede sammenhænge<br />
mellem indsats og effekt. Der er dog klare tendenser til, at kompetenceudvikling og fokus<br />
på arbejdets organisering er indsatstyper, der øger implementeringen, og netværk som<br />
indsats synes at understøtte spredningen af projektet og den viden, der er opnået.<br />
8.3 Implementering og spredning<br />
Projektevalueringer har som nævnt ikke gjort det muligt at foretage valide effektanalyser<br />
på klassiske arbejdsmiljøindikatorer som fx sygefravær, trivsel og frivillig personaleomsætning<br />
på tværs af projekterne. Med udgangspunkt i evaluators tværgående analyse af<br />
projekterne er det derimod muligt at måle på effekten af projekterne defineret ved implementering<br />
og spredning. Implementering er en faktor, der sandsynliggør projekternes<br />
effekt lokalt, mens spredning er en indikator på, at projekterne får en betydning, der<br />
rækker udover den lokale kontekst, projektet er foregået i.<br />
I dette afsnit udfoldes implementering og spredning ved at søge typologier, der kan differentiere<br />
og dermed bryde disse begreber ned i mindre dele.<br />
27%<br />
Bruger ikke<br />
samarbejde/netværk<br />
Projektet opnår<br />
spredning<br />
Projektet opnår ikke<br />
spredning<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 61<br />
91
8.3.1 Typer af output<br />
Der er opstillet ni typer af output via konkrete ændringer, som operationaliserer implementering<br />
i den kontekst, hvor projektet er gennemført. I figur 8.19 er antallet af projekter,<br />
hvor indsatsen har ført til disse konkrete ændringer, opgjort.<br />
Figuren viser, at flest projekter har resulteret i ændringer i arbejdsrutiner/-processer (47<br />
projekter), men der er ligeledes en stor andel, der har ført til ændringer i samarbejdsformer<br />
(38 projekter). Opgørelsen viser samtidig, at indsatsen i 21 projekter ikke har<br />
resulteret i ændringer.<br />
Evaluator finder det positivt, at der trods fejl og mangler i projektevalueringer kan gives<br />
et billede af mange meget konkrete ændringer. Ændringer i arbejdsrutiner og –processer<br />
er en meget håndgribelig og hverdagsnær ændring, hvor ændringer i vejledninger fx er<br />
mindre håndgribelig og med flere risici for at blive overset i hverdagen, hvorved ændringen<br />
udvandes.<br />
Fordelingen i figur 8.19 afhænger af projekternes fordeling på hovedformål, hvor HF 1a<br />
fylder ganske meget og herved også kan skabe en forventning om, at det netop er i arbejdsrutiner<br />
og – processer, at de konkrete ændringer foretages.<br />
8.3.2 Typer af spredning<br />
Vendes blikket herefter mod spredning af viden opnået i projekterne, skal der erindres<br />
om, at spredning udtrykker en proces, som sandsynliggør en mere langsigtet effekt lokalt<br />
og mere bredt (beskrevet med begrebet impact). Evaluator har set på, om projekternes<br />
viden bliver spredt inden for to områder:<br />
1. Internt i virksomheden (lokal impact).<br />
2. I sektoren/branchen (bred impact).<br />
92<br />
Rutiner og praksis vedrørende videndeling<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Arbejdsrutiner/-processer<br />
Figur 8.19: Ændringer som følge af projekterne<br />
Samarbejdsformer<br />
Ingen ændringer<br />
Organisering<br />
Politikker<br />
Helbredsrutiner<br />
Vejledninger<br />
Retningslinjer<br />
Mødeformer<br />
Andet<br />
12<br />
12<br />
14<br />
18<br />
17<br />
17<br />
19<br />
21<br />
21<br />
0 20 40 60<br />
Antal projekter<br />
38<br />
47<br />
n = 114
I forhold til den brede impact kunne det ligeledes undersøges, hvorvidt projekterne har<br />
udviklet og afprøvet prototyper, som efterfølgende er sat i masseproduktion. Da det imidlertid<br />
viser sig, at denne form for spredning kun er fundet sted i to projekter, indgår dette<br />
ikke i den yderligere analyse af videnspredning.<br />
Figur 8.20 opgør andelen af projekter, som har arbejdet med forskellige målgrupper for<br />
den spredning, der er sket af projektet. Det skal bemærkes, at figuren illustrerer en opgørelse,<br />
hvor de enkelte projekter kan have anvendt flere former for spredning, hvorfor<br />
den samlede procent summer til mere end 100.<br />
Spredning internt i<br />
virksomheden<br />
Spredning i<br />
sektoren/branchen<br />
Prototype af teknologi er sat i<br />
masseproduktion<br />
Ingen spredning<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011<br />
Figur 8.20: Forskellige former for spredning fordelt på projekter<br />
2%<br />
18%<br />
Anvendelsen af flere målgrupper i projekternes videnspredning er forventelig alene af<br />
den grund, at programteorier forventer lokal impact før bred impact. Dette viser sig også<br />
at være tilfældet, idet de fleste af de projekter (73 %), der spreder viden i sektoren/branchen,<br />
også spreder viden internt i virksomheden.<br />
Forventningen om, at lokal impact er trinnet før den brede impact understøttes yderligere.<br />
Således kan det konkluderes, at den største spredning af viden foretages internt i<br />
virksomhederne (61 %), og projekterne kan derfor siges at have affødt mest lokal impact.<br />
En mere bred impact inden for sektoren/branchen foregår i 49 % af projekterne.<br />
Af hovedformålsanalyserne fremgik det, at nogle indsatstyper både kan have funktioner i<br />
selve projektprocessen, men også i forhold til spredningen af den opnåede viden. Disse<br />
indsatser er fx netværk, ambassadører og informationsaktiviteter.<br />
Det kan virke logisk, at der er en sammenhæng mellem en indsatstype som samarbejde/netværk<br />
og spredning i sektoren/branchen. Som det fremgår af figur 8.21 nedenfor,<br />
er denne sammenhæng da også umiddelbart gældende.<br />
49%<br />
61%<br />
0% 20% 40% 60% 80%<br />
Andel projekter (procent)<br />
n = 114<br />
93
Sammenhængen mellem indsatstype og spredningen af viden er særdeles tæt på at være<br />
statistisk signifikant, og evaluator vil derfor følge denne sammenhæng nærmere i<br />
kommende delevalueringer.<br />
Man kan ligeledes have en hypotese om, at sammenhængen til spredning også må gøre<br />
sig gældende for projekter med informationsaktiviteter som indsats, da det må formodes,<br />
at informationsaktiviteterne også bidrager til at sprede viden. Dette ses da også, men det<br />
viser sig samtidig, at informationsaktiviteter i højere grad har indflydelse på spredning af<br />
viden internt i virksomheden, som det er afbilledet i figur 8.22.<br />
Sammenhængen er også her tæt på at være statistisk signifikant, og derfor vil evaluator<br />
også følge denne sammenhæng i evalueringen af kommende projekter. Spredning opdelt<br />
på ”internt” i virksomheden og ”eksternt” i sektor/branche forventes dermed fremadrettet<br />
at kunne anvendes som typologier, der operationaliserer impact.<br />
94<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.21: Spredning i sektoren/branchen fordelt på projekternes<br />
brug af indsatsen samarbejde/netværk<br />
59%<br />
41%<br />
Bruger<br />
samarbejde/netværk<br />
40%<br />
60%<br />
Bruger ikke<br />
samarbejde/netværk<br />
Der sker spredning i<br />
sektoren/branchen<br />
Der sker ikke spredning i<br />
sektoren/branchen<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 113<br />
100%<br />
80%<br />
60%<br />
40%<br />
20%<br />
0%<br />
Figur 8.22: Spredning internt i virksomheden fordelt på<br />
projekternes brug af indsatsen informationsaktiviteter<br />
69%<br />
31%<br />
Bruger<br />
informationaktiviteter<br />
52%<br />
48%<br />
Bruger ikke<br />
informationaktiviteter<br />
Der sker spredning<br />
internt i virksomheden<br />
Der sker ikke spredning<br />
internt i virksomheden<br />
Kilde: <strong>Oxford</strong> <strong>Research</strong> 2011 n = 112
8.4 Opsummering på analysen på tværs af hovedformål<br />
Den tværgående analyse har fundet flere interessante sammenhænge eller tendenser og<br />
har på den baggrund opstillet en række typologier, som er et første forsøg på at åbne op<br />
for den mulighed, at evaluator og Forebyggelsesfonden for fremtiden kan kategorisere<br />
projekterne på anden vis end ved hovedformål. Med den tværgående analyse er der opstillet<br />
følgende relevante typologier:<br />
• Organisering af beslutningskompetence<br />
• Typer af ekstern konsulentstøtte<br />
• Eksterne evaluatorer<br />
• Ejerskab<br />
• Projekternes omfang<br />
• Indsatstyper<br />
• Output<br />
• Spredning.<br />
Under organiseringen af beslutningskompetence klargøres det, at der er to hovedtypologier<br />
– snæver ledelse og styregruppe. Analysen viser tydeligt, at der er en forskel<br />
mellem et styregruppestyret projekt og et ledelsesstyret projekt, hvor styregruppestyrede<br />
projekter har et større fokus på at involvere medarbejdere end ledelsesstyrede projekter.<br />
Dette har blandt andet betydning for implementeringen, hvor medarbejderinddragelsen<br />
er en faktor, som styrker implementering.<br />
Brugen af eksterne konsulenter består af seks typologier, hvis anvendelse i høj grad<br />
har sammenhæng med hovedformål, således viser analysen, at der er en sammenhæng<br />
mellem brugen af arbejdsmiljøfaglig bistand og HF 1a, mellem teknisk bistand og HF 1b<br />
og mellem sundhedsfremmende indsats og HF 3. Derudover viser det sig, at processtøtte,<br />
som er den mest anvendte konsulentydelse, skaber både øget implementering og spredning.<br />
Derudover anvendes processtøtte i høj grad i projekter med en empowermentorienteret<br />
løsningsforståelse.<br />
Til brugen af eksterne konsulenter hører særskilt brugen af eksterne evaluatorer. Her<br />
har analysen vist, at der overordnet kan skelnes mellem tre typer af evalueringer – intern<br />
evaluering, intern/ekstern evaluering og ekstern evaluering. Det viser sig, at inddragelse<br />
af eksterne evaluatorer øger kvaliteten, men at samarbejdet mellem interne og eksterne<br />
aktører om evalueringen er den konstellation, som giver den højeste evalueringskvalitet.<br />
Inddragelsen af eksterne evaluatorer giver ikke øget spredning, men det viser sig at have<br />
en positiv indvirkning på implementeringen, da 47 % af alle projekter, der bruger eksterne<br />
evaluatorer, bliver fuldt implementeret, mens det kun er tilfældet for 28 % af alle<br />
projekter, som ikke bruger eksterne i deres evaluering.<br />
Som en af de sidste kontekstfaktorer er der set nærmere på ejerforholdet i henholdsvis<br />
offentlig og privat regi, hvor analysen viser, at offentlige projekter giver en bedre evalueringskvalitet<br />
end de private. Derudover viser analysen, at projekternes omfang spiller<br />
en rolle i forhold til implementering, hvor data viser, at der blandt projekter med en varighed<br />
på mere end to år er en større risiko for ikke at blive implementeret, mens medfinansieringen<br />
viser, at andelen af projekter, der ikke implementeres, falder væsentligt,<br />
når medfinansieringen overstiger 249.999 kr. I forhold til spredning er der ikke tegn på,<br />
at projekternes omfang har nogen effekt.<br />
I forhold til indsatstyper opstiller analysen syv typologier, hvor det viser sig, at de enkelte<br />
indsatstyper har en betydning i forhold til implementering og spredning, således<br />
genererer kompetenceudvikling og arbejdsorganisering stærkere implementering, mens<br />
brugen af samarbejde/netværk giver mere spredning.<br />
95
Afslutningsvis har analysen identificeret ni typologier på output, som viser de umiddelbare<br />
resultater og ændringer, som er blevet affødt af projekternes indsatser. Flest projekter<br />
har resulteret i ændringer i arbejdsrutiner (47 projekter), og ligeledes har mange<br />
projekter ført til ændringer i samarbejdsformer (38 projekter). I forhold til at se på impact<br />
er der opstillet to typer af spredning, som er internt i virksomheden (lokal impact)<br />
og i sektoren/branchen (bred impact). Analysen viser, at den største spredning sker internt<br />
i virksomhederne (61 %), mens den bredere impact inden for sektoren/branchen<br />
foregår i 49 % af projekterne.<br />
96
Kapitel 9. Konklusioner<br />
Dette kapitel har til formål at konkludere på de forudgående analyser for herved at sammendrage<br />
evalueringens væsentligste fund. Konklusionerne skal lede til de efterfølgende<br />
anbefalinger til Forebyggelsesfondens videre arbejde, herunder hvordan der kan arbejdes<br />
med at forbedre validiteten i evalueringen og den læring, der kan udledes heraf. Kapitlet<br />
vil først fremdrage de overordnede konklusioner for herefter tematisk at fremhæve forhold<br />
omkring organiseringen og indsatserne i projekterne.<br />
Projektevalueringerne er mangelfulde<br />
Efter gennemgang, analyse og evaluering af de 114 afsluttede projekter omfattet af indeværende<br />
evaluering står det klart, at det ikke er muligt at vurdere og evaluere projekternes<br />
effekt på konkrete tværgående effektmål.<br />
Dette skyldes, at projekternes egne evalueringer generelt er af ringe kvalitet. Således er<br />
knap hver fjerde af projektevalueringerne vurderet til at have en direkte dårlig evaluering,<br />
mens kun 18 % af projekterne vurderes til at have evalueringer af høj kvalitet. Efter<br />
evaluators vurdering, beror dette både på forkert brug af evalueringsmetoder og på<br />
uhensigtsmæssige valg af metoder. Evaluator finder, at der generelt er for lidt fokus på<br />
dokumentation og projektevalueringernes bidrag til spredning af viden og resultater, som<br />
gerne skal kunne deles med andre virksomheder og relevante interessenter.<br />
Projektevalueringernes lave kvalitet har som nævnt den konsekvens, at der i nærværende<br />
evaluering ikke kan vurderes på tværs af projekternes effektmål, da projekterne sjældent<br />
dokumenterer effekt, som kan henvises til indsatsen. I projekter hvor dokumentation<br />
af effekt rent faktisk er muligt, er opgørelserne så forskellige, at det ikke er muligt at<br />
sammenligne resultaterne på tværs af projekterne.<br />
Derfor er der parallelt med denne evaluering foretaget en tværgående analyse, der dybdegående<br />
afdækker projekternes brug af succeskriterier og evalueringer. Denne analyse<br />
afsluttes ultimo december 2011.<br />
Evaluator må helt overordnet konkludere, at kvaliteten i projektevalueringerne er lav,<br />
hvilket bl.a. skyldes en upræcis brug af effektmål og succeskriterier.<br />
Projektevalueringernes kvalitet øges med inddragelse af eksterne konsulenter<br />
I forhold til projektevalueringerne viser evalueringen, at kvaliteten af projektevalueringer<br />
øges ved inddragelse af eksterne konsulenter i evalueringen. Der, hvor evalueringen sker<br />
i et samarbejde mellem projektinterne medarbejdere og eksterne konsulenter, har evalueringerne<br />
den højeste kvalitet. På baggrund af datagrundlaget samt egne solide evalueringserfaringer<br />
vurderer evaluator, at dette skyldes synergien mellem et indgående internt<br />
kendskab til virksomheden, fagområdet m.v. og evalueringsfaglig ekspertise, der<br />
med et uafhængigt øje kan vurdere projektets resultater. Hertil kommer, at evalueringer<br />
kræver ejerskab og vilje til deltagelse i evalueringerne fra projektets deltagere, hvorfor<br />
en tæt kobling til projektet og de organisationer, som projekterne skal udvikles i, kan<br />
være afgørende for evalueringerne.<br />
Evalueringen viser desuden, at inddragelsen af eksterne evaluatorer ikke giver øget<br />
spredning, men har en positiv indvirkning på implementeringen.<br />
97
Projekternes resultater kan vurderes på implementering og spredning<br />
Som konsekvens af, at der ikke kan vurderes på konkrete effektmål eller succeskriterier,<br />
er der analyseret og vurderet på projekternes implementering og spredning. Implementering<br />
og spredning er de processer, der (jf. det programteoretiske afsæt for evalueringen<br />
illustreret i figur 2.1) leder til outcome og impact på henholdsvis lokalt niveau og i en<br />
bredere sammenhæng.<br />
Disse analyser har vist, at der kan peges på sammenhænge mellem forskellige projektafhængige<br />
parametre og henholdsvis implementering og spredning. Sagt med andre ord<br />
har det været muligt at vurdere projekternes resultater ud fra et mere processuelt perspektiv<br />
og endvidere udlede interessante fund på baggrund heraf. Disse præsenteres<br />
nedenfor.<br />
Beslutningskompetence placeres ofte i styregrupper<br />
En væsentlig del af forståelsen for projekternes organisering handler om projektledelsen<br />
og placering af beslutningskompetencen i projekterne. Knap tre fjerdedele af alle projekter<br />
har placeret beslutningskompetencen i styregrupper. Denne organisering af beslutningskompetencen<br />
tyder på at have positiv betydning for graden af implementeringen,<br />
uden at sammenhængen dog kan fastslås som statistisk signifikant. Styregrupperne er<br />
forskelligt sammensat. Stort set alle involverer virksomhedens ledelse. Mens hovedparten<br />
omfatter medarbejderrepræsentanter og eksterne aktører. Særligt i projekter under HF<br />
1b fremhæves den brede sammensætning som væsentlig på baggrund af projekternes<br />
særlige karakteristika i form af teknologiudvikling.<br />
Medarbejderrepræsentation i styregrupper har betydning<br />
Involvering af medarbejderrepræsentanter i styregrupperne vurderes at have positiv<br />
betydning på flere områder. Dels peger analyserne på, at medarbejderrepræsentationen<br />
øger implementeringen, dels medfører det flere positive sideeffekter, som ikke var forventet<br />
ved projektstart, dels kan det have en tendens til at gøre indsatserne bredere.<br />
Disse forhold er særligt fundet i analysen af HF 1a-projekter samt i den tværgående analyse,<br />
da der for de øvrige hovedformål har været få projekter, som ikke har medarbejderrepræsentanter<br />
i styregrupper. Medarbejderrepræsentation i styregrupperne analyseres<br />
under alle hovedformål, og evaluator vurderer denne organisering til at være væsentlig,<br />
og at det er en fordel at involvere medarbejderne. Denne vurdering beror også på eksisterende<br />
viden om, at medarbejdernes indflydelse og udviklingsmuligheder i sig selv har<br />
forebyggende effekter.<br />
Mulige sammenhænge mellem indsatstyper og implementering<br />
Til trods for at projekterne sammensætter deres indsats af flere indsatstyper, kan der<br />
findes antydningerne af sammenhænge mellem konkrete indsatstyper og implementering.<br />
Således er det fundet, at kompetenceudvikling kan have en positiv betydning for<br />
implementeringen. Ligesom indsatser rettet mod arbejdets organisering tegner en mulig<br />
sammenhæng med implementering.<br />
Ambassadører som indsatstyper er væsentligst for sundhedsfremmeprojekter<br />
Ambassadører bruges i de fleste hovedmål, men i projekter under HF 3 synes denne indsatstype<br />
at være særligt væsentlig. Dette fremgår af de kvalitative interview, men også i<br />
98
de kvantitative analyser er der bemærkelsesværdige fund omkring ambassadører og<br />
sundhedsfremmeprojekter specifikt. Ambassadører ser således ud til både at have en<br />
betydning i forhold til projekternes implementering og i forhold til projekternes efterfølgende<br />
videnspredning. Dette er ikke tilfældet for de øvrige hovedformål eller generelt.<br />
Mulige sammenhænge mellem indsatstyper og spredning<br />
I forhold til spredning af viden opnået i projekterne tyder det på, at konkrete indsatstyper<br />
som netværk og samarbejde samt informationsaktiviteter har en positiv betydning. Sammenhængene<br />
er meget tæt på at være egentlig statistisk signifikante, men i forhold til<br />
hver sin målgruppe, hvilket udfoldes nedenfor.<br />
Informationsaktiviteter har således en sammenhæng med den interne spredning i virksomheden<br />
og dermed en lokal impact, mens brugen af netværk og samarbejde har en<br />
sammenhæng med den eksterne spredning til sektor eller branche og dermed den brede<br />
impact.<br />
Størrelsen af medfinansiering har betydning for implementering<br />
På baggrund af den tværgående analyse kan evaluator konkludere, at størrelsen af medfinansiering<br />
har en betydning for implementeringen. Således har projekter med en medfinansiering<br />
over 250.000 en langt lavere andel ikke-implementerede projekter end projekter<br />
med en lavere medfinansiering. Medfinansieringens betydning understøttes af, at<br />
der ikke blev fundet samme sammenhæng mellem den samlede projektsum og implementering.<br />
Evaluator vurderer, at det er relevant at undersøge nærmere, hvilken betydning<br />
virksomhedens eget bidrag har i forhold til projektets efterfølgende implementering.<br />
Herudover har evalueringen afdækket en række interessante forhold omkring projekterne,<br />
som beskrives nedenfor.<br />
Ekstern konsulentbistand er udbredt<br />
Hovedparten af projekterne gør brug af eksterne konsulenter. I projekter under HF 1a er<br />
andelen helt oppe på 95 % af alle projekterne. HF 3 har den laveste anvendelsesgrad på<br />
68 %. Anvendelse dækker over mange forskellige konsulentfunktioner, hvor nogle er<br />
generalistprægede, mens andre er fagspecifikke. De meget fagspecifikke funktioner har<br />
en statistisk signifikant sammenhæng med det hovedformål, som projekterne tilhører.<br />
Således er der fundet en statistisk signifikant sammenhæng mellem arbejdsmiljøfaglig<br />
bistand og HF 1a-projekter; Mellem teknisk bistand og HF 1b-projekter; Mellem sundhedsfaglig<br />
bistand og projekter under HF 3. HF 2-projekter har ingen statistisk signifikant<br />
sammenhæng med én specifik konsulentydelse, men undervisning er i høj grad anvendt<br />
som konsulentfunktion i disse projekter.<br />
Processtøtte er den mest anvendte konsulentfunktion<br />
Processtøtte er den mest anvendte konsulentbistand, og behovet for ekstern bistand til<br />
processen underbygges af de kvalitative interview. Hele 60 % af alle projekter har anvendt<br />
ekstern konsulentbistand til processtøtte.<br />
Særligt vurderes det, at processtøtte er nødvendigt i virksomheder, der ikke normalt arbejder<br />
med projekter af denne karakter, samt hvis medarbejdere ikke er vant til at indgå<br />
i de inddragende processer, projekterne lægger op til. Dette afspejles ligeledes i, at det<br />
99
er HF 1a, der har den største anvendelse af processtøtte. Det viser sig ligeledes, at processtøtte<br />
under HF 1a bidrager til øget spredning, mens dette ikke viser sig for de andre<br />
hovedformål. I den tværgående analyse er det imidlertid klart, at brugen af eksterne<br />
konsulenter til processtøtte skaber både en højere grad af implementering og spredning<br />
for alle projekter.<br />
Derudover konkluderes det, at projekter med empowerment som løsningsforståelse i<br />
særlig grad gør brug af processtøtte. Dette formodes at skyldes empowerment-tilgangens<br />
fokus på at finde løsninger i processen, frem for at løsningerne er givet på forhånd.<br />
Projekterne indeholder flere indsatser<br />
Selvom 57 % af samtlige afsluttede projekter kan defineres som havende en smal indsats<br />
med afsæt i én problemstilling eller med anvendelse af få indsatser, er det retvisende at<br />
konkludere, at projekterne sammensætter deres samlede indsats af flere konkrete indsatser.<br />
Hovedparten af projekterne har to til tre indsatstyper, og 20 % af alle indsatser<br />
(23 projekter) indeholder fem eller flere indsatser.<br />
I HF 3-projekter fremhæves bredde i indsatserne eksplicit at være en fordel for at nå de<br />
brede målgrupper for sundhedsfremme.<br />
100
Kapitel 10. Anbefalinger<br />
Dette kapitel vil primært give anbefalinger til, hvordan det kan blive muligt at dokumentere<br />
og evaluere effekt i projekter og på tværs af projekter. Herudover gives nogle vejledninger<br />
i forhold til projekternes organisering og brug af indsatstyper. Hertil kommer en<br />
række observationer, som bør give anledning til overvejelser og måske yderligere analyse<br />
eller særlige initiativer i fremtiden. Anbefalingerne er struktureret således, at udgangspunktet<br />
er de projektnære vejledninger. Dette fører over i observationer og egentlige<br />
anbefalinger på et højere strategisk niveau.<br />
10.1 Projektnære vejledninger<br />
På baggrund af evalueringens fund kan der gives en række vejledninger til projekternes<br />
organisering. Evaluator vurderer således, at det er hensigtsmæssigt, at projekter organiserer<br />
sig med styregrupper, hvori medarbejdere er repræsenteret.<br />
Evaluator finder det derudover hensigtsmæssigt, at projekterne i forhold til sammensætningen<br />
af indsatsen er opmærksomme på, at indsatstyper, som retter sig mod arbejdets<br />
organisering og kompetenceudvikling, tyder på at være gavnlige for den efterfølgende<br />
implementering, hvilket evaluator forbinder med disse indsatstypers iboende implementering<br />
i henholdsvis personer og processer. Evaluator vurderer derudover, at sundhedsfremmeprojekter<br />
bør vejledes til at arbejde med ambassadører, da disse er fundet særligt<br />
væsentlige for denne type projekter.<br />
På samme vis finder evaluator, at projekterne kan vejledes til at tænke spredning også i<br />
sammensætningen af deres indsats. Således er det fundet, at brugen af netværk og<br />
samarbejde har en iboende positiv betydning for den eksterne spredning, mens informationsaktiviteter<br />
er fundet at have en positiv betydning for opnåelse af intern spredning.<br />
10.2 Overordnede opmærksomhedspunkter<br />
Udover ovenstående vejledninger er det evaluators vurdering, at der er forhold, som er<br />
særskilte opmærksomhedspunkter for Forebyggelsesfonden, og som kan indgå i projektnære<br />
overvejelser.<br />
For det første finder evaluator det interessant og relevant, at der tegner sig en sammenhæng<br />
mellem implementering og størrelsen på projekternes medfinansiering. Dette kan<br />
give anledning til overvejelser omkring medfinansieringskrav.<br />
Det er set med evaluators øjne ikke overraskende, at jo mere den konkrete virksomhed<br />
selv har på spil i forhold til økonomi, desto større fokus på implementering af projektet.<br />
Opmærksomheden på de økonomiske incitamenter kan dog også anskues ud fra indsatsernes<br />
potentiale for effektivisering eller nedbringelse af udgifter for virksomhederne.<br />
Dette fordrer imidlertid cost benefit-analyser på indsatser, hvilket igen fordrer, at konkrete<br />
effektmål kan kvantificeres og prissættes, hvilket ingenlunde er muligt på det foreliggende<br />
grundlag. Evaluator finder, at økonomiske incitamenter bør være et opmærksomhedspunkt.<br />
Overvejelserne kan tage flere retninger, men et generelt fokus på Forebyg-<br />
101
gelsesfondens støtteprocent (bevillingens andel af projektsummen) i de konkrete projekter<br />
kan være en farbar vej til at optimere udbyttet af de tildelte midler.<br />
Et andet opmærksomhedspunkt er projekternes udtalte behov for ekstern konsulentbistand<br />
i projekterne. Dette udledes dels af den konkrete anvendelse af konsulentbistand,<br />
dels af mange projektlederes pointering af deres manglende erfaring med projekter og<br />
projektledelse.<br />
Evaluator finder ikke, at det som udgangspunkt er bekymrende, at projekter har behov<br />
for fagspecifik konsulentbistand eller mere generalistpræget støtte i projektledelsen, men<br />
det kan give anledning til overvejelser i Forebyggelsesfonden om, hvorvidt Forebyggelsesfonden<br />
mere aktivt skal indgå i leveringen af dele af denne bistand. Det skal blandt<br />
andet ligeledes ses i lyset af, at brugen af eksterne konsulenter til processtøtte bidrager<br />
til at styrke såvel implementeringen som spredningen af projekterne.<br />
En mere aktiv deltagelse fra Forebyggelsesfonden vil i sig selv give Forebyggelsesfonden<br />
mulighed for at opnå større konkret viden om projekterne og på den baggrund opbygge<br />
intern læring i Forebyggelsesfonden. En konkret underbygget og projektnær viden i Forebyggelsesfonden<br />
vil uvilkårligt facilitere en tværgående læring og videnspredning mellem<br />
projekterne, som, evaluator finder, har så oplagte positive perspektiver, at evaluator<br />
nedenfor udfolder de muligheder, evaluator ser for en mere rådgivende funktion fra Forebyggelsesfonden<br />
over for projekterne.<br />
10.2.1 Forebyggelsesfondens rådgivende funktion<br />
I mange projekter udtrykkes der tilfredshed med Forebyggelsesfondens rådgivning, men<br />
som tidligere beskrevet efterspørges der eksplicit mere rådgivning fra Forebyggelsesfonden,<br />
ligesom anvendelsen af ekstern konsulentbistand er markant. Evaluator ser flere<br />
muligheder for, at Forebyggelsesfonden indgår mere aktivt i projekterne som rådgivende<br />
over for projekterne. De umiddelbare muligheder for at udbygge Forebyggelsesfondens<br />
rådgivende funktion anser evaluator for at være følgende:<br />
• Generel mulighed for faglig sparring<br />
• Mulighed for faglig sparring for udvalgte projekter<br />
• Støtte udvalgte projekter i ansøgningsfasen<br />
• Indgå i styregrupper for udvalgte projekter.<br />
En mulighed er, at Forebyggelsesfonden stiller sin faglige kompetence til rådighed for<br />
projekterne generelt. Evaluator forestiller sig, at den faglige sparring både kan omhandle<br />
arbejdsmiljøfaglige spørgsmål, forhold omkring projektledelse og proces samt forhold<br />
omkring dokumentationen af indsats og effekt.<br />
En generel sparring kan ydes på forskellig vis. Fx kan der med baggrund i erfaringerne<br />
hos HF 2-projekter ydes rådgivning om metoder til succesfuld netværksskabelse med<br />
eksempelvis universiteter, sundhedsfaglige eksperter, konsulenter etc. En sådan rådgivning<br />
kan enten ydes individuelt og/eller gennem tematiserede workshops. Rådgivningen<br />
kan således forestås som en facilitering af samarbejdsrelationer, der formodes at afhjælpe<br />
nogle af de faglige barrierer, der særligt i HF 2-projekterne opleves at opstå i mødet<br />
mellem forskellige fagkulturer.<br />
Den generelle rådgivning kan dermed ydes i konkrete projekter eller som workshops,<br />
seminarer, temaartikler eller foredrag ud fra et specifikt tema.<br />
En mere fokuseret sparring kan opbygges ved, at Forebyggelsesfonden udpeger særlige<br />
projekttyper, som Forebyggelsesfonden finder specielt interessante eller komplicerede<br />
og på denne baggrund ønsker at give et særligt fagligt fokus og støtte.<br />
102
Dette kunne fx være teknologiudviklingsprojekters (HF 1b) behov for markedsundersøgelser<br />
og håndtering af konkurrencemæssige forhold. Der kunne i forlængelse heraf ydes<br />
kvalificeret støtte - fagligt eller økonomisk - til at projekter kan få afsøgt sit problemfelt<br />
nøje, inden de igangsætter projektet. Dette er også specifikt påpeget i HF 2-projekter,<br />
hvor ca. halvdelen af de afsluttede projekter er defineret som pilot-/forprojekter, mens<br />
det gælder for ca. 1/3 del af samtlige afsluttede projekter.<br />
En tredje form for konkret støtte til projekter kan ydes i selve ansøgningsfasen, hvor<br />
Forebyggelsesfonden og de faglige udvalg kan opfordre til specifikke ansøgninger ud fra<br />
indsatstyper eller gå aktivt ind i kvalificeringen af ansøgninger, som findes interessante,<br />
men som kræver forbedringer i fagligt indhold, proces eller i forhold til evaluering og<br />
dokumentation.<br />
Som eksempel har HF 2-projekterne ikke fået udviklet anvendelige og realistiske løsningsmodeller<br />
til at få de praktiserende læger involveret i projekterne/indsatserne. Denne<br />
problemstilling er ikke ny og har været et centralt og gennemgående indsatsområde i<br />
mange andre udviklingsprojekter på sygefraværsområdet. Evaluator vurderer, at en mulig<br />
metode til at løse denne mangeårige problemstilling er, at Forebyggelsesfonden iværksætter<br />
et decideret udviklingsprojekt, som alene sætter fokus på at finde løsningsmodeller<br />
på (økonomiske, organisatoriske og faglige), hvordan de praktiserende læger kan<br />
involveres i projekter, som forbedrer rehabilitering og genoptræning af sygemeldte.<br />
En fjerde form for konkret støtte kan ydes, ved at Forebyggelsesfonden i væsentlige projekter<br />
vælger at træde ind i en styregruppe og hermed som en del af sin bevilling<br />
tildeler mandskabstimer. Deltagelse i styregrupperne vil give Forebyggelsesfonden en<br />
hands-on-erfaring, som utvivlsomt vil gavne den generelle læring og mulighederne for at<br />
formidle erfaringer mellem projekter. Udvælgelsen af, hvor det kan være relevant for<br />
Forebyggelsesfonden at deltage i styregrupper, kan ske ud fra forskellige perspektiver fx<br />
store projekter, eksperimenterende projekter eller projekter med en særligt interessant<br />
problemstilling eller sammensætning af indsatser. Udvælgelsen kunne også tage udgangspunkt<br />
i, at det i denne evaluering konkluderes, at HF 3-projekter både finder det<br />
væsentligt med brede samarbejdskonstellationer, og samtidig finder det ganske udfordrende<br />
at håndtere disse.<br />
En øget konkret rådgivning fra Forebyggelsesfonden vil kræve en omprioritering af Forebyggelsesfondens<br />
støtte, hvor flere af Forebyggelsesfondens midler skal bindes i mandskabsstøtte<br />
frem for bevilligede kroner. Dette fordrer naturligvis en grundlæggende diskussion.<br />
Ovenstående repræsenterer såvel forskellige veje, men også forskellige grader<br />
af omlægning. En given omlægning kan gradbøjes både i form af, om der vælges én eller<br />
flere af de opstillede muligheder, men også i forhold til antallet af projekter, der eksempelvis<br />
udvælges til en særlig form for rådgivning.<br />
Det skal fremhæves, at en sådan omlægning vil være i tråd med trenden inden for<br />
fondsarbejde internationalt, hvor der tales om strategisk fondsarbejde med en værditilvækst,<br />
som overstiger den egentlige økonomiske støtte 19 . Således arbejdes der med, at<br />
”kloge penge” meget vel kan være kroner givet i mandetimer med et større afkast end<br />
støttekroner. Hvorvidt tiden for Forebyggelsesfonden, som en ”ung” fond, er moden til<br />
dette skifte, kan evaluator ikke vurdere, men evaluator er omvendt ikke i tvivl om, at<br />
Forebyggelsesfonden helt overordnet skal øge sit strategiske fokus.<br />
19 Fx hos Luc Tayart de Borms, men også i FN’s principper for sociale investeringer ligger dette strategiske<br />
fokus.<br />
103
10.3 Øget strategisk fokus i Forebyggelsesfonden<br />
Som det er konkluderet, eksisterer der en række grundlæggende udfordringer i at foretage<br />
såvel tværgående analyser som en meta-evaluering på projekter, der ikke har gennemført<br />
evalueringer ud fra samme evalueringsteoretiske forståelsesramme endsige<br />
samme begrebsforståelse.<br />
Også i de konkrete projektevalueringer vurderer evaluator, at en overordnet forståelsesramme<br />
og begrebsafklaring defineret og udmeldt af Forebyggelsesfonden vil være hensigtsmæssig<br />
for at styrke kvaliteten i projektevalueringerne.<br />
Sagt meget klart, bliver Forebyggelsesfonden nødt til at arbejde med en fælles referenceramme<br />
for projekterne og fælles definitioner af succes, hvis det skal være muligt at udlede<br />
effekt på tværs af de mange projekter.<br />
Dette kan gøres ved, at Forebyggelsesfonden bliver mere klar i sin strategi: Hvorfor har<br />
vi en Forebyggelsesfond, hvad skal Forebyggelsesfondens midler løse, og hvordan skal<br />
det løses?<br />
Forebyggelsesfonden er etableret på baggrund af et politisk formål, som definerer et<br />
samfundsproblem omkring fysisk og psykisk nedslidning på arbejdspladser. Dermed har<br />
Forebyggelsesfonden et strategisk sigte bag fordeling af Forebyggelsesfondens midler,<br />
hvilket bl.a. kommer til udtryk i opdelingen på hovedformål, udpegning af særlige nedslidningstruede<br />
brancher, jobgrupper og med de årlige handlingsplaner samt disses fokus.<br />
Forebyggelsesfonden arbejder dermed allerede strategisk, men det er evaluators klare<br />
anbefaling, at Forebyggelsesfonden bør styrke sit strategiske sigte og gøre dette strategiske<br />
fokus mere eksplicit for både de politiske og faglige interessenter i og omkring Forebyggelsesfonden<br />
og samtidig over for de projekter, som modtager støtte fra Forebyggelsesfonden.<br />
Dette vil gavne forebyggelsesområdet generelt og optimere udbyttet af Forebyggelsesfondens<br />
midler ved at skabe mere systematik og sammenhæng i indsatsen og dokumentere<br />
resultaterne og effekterne af disse. Samtidig vil et øget strategisk fokus give mulighed<br />
for, at støttede projekter kan lære af de indsatser og processer, der skaber resultater<br />
(output) på kort sigt og effekter (outcome og impact) på længere sigt.<br />
Forebyggelsesfonden kan vælge at styrke sit strategiske arbejde på flere fronter, men<br />
evaluator finder, at det vigtigste fokus skal være på dokumentation af afprøvede og gennemførte<br />
indsatser og deres effekt.<br />
Dette må imidlertid ikke føre til en standardisering, som ikke kan tage højde for projekternes<br />
forskellighed, og samtidig må det ikke føre til et statisk instrument, som ikke kan<br />
indeholde de eksperimenterende dele af projekterne.<br />
10.3.1 Programteorier som metode<br />
Traditionelt fondsarbejde er drevet af ansøgningerne. Nok er der en fundats og dermed<br />
et formål, men tildeling afhænger af, hvem der søger, og indsatserne afhænger af<br />
ansøgerens forståelse af såvel problem som løsning.<br />
Strategisk fondsarbejde er problemdrevet, dvs., at der er en klart defineret problemstilling<br />
og en klart beskrevet forventning til, hvilke forandringer man søger, og hvordan<br />
de søges opnået. Der er således en eksplicit forandringsteori, som angiver typer af løsninger<br />
på den definerede problemstilling. Teorier om forandringer er netop den metode,<br />
104
som nærværende evaluering har taget sit evalueringsteoretiske afsæt i, og som er beskrevet<br />
teoretisk i afsnit 2.2.<br />
Evaluator anbefaler, at Forebyggelsesfonden udarbejder en overordnet programteori for<br />
Forebyggelsesfondens arbejde med forandringer, der forebygger fysisk og psykisk nedslidning<br />
på danske arbejdspladser. I dette arbejde skal centrale begreber afklares, fx en<br />
definition af nedslidning, således at målet bliver klart for alle.<br />
Denne overordnede programteori bør udfoldes i underliggende programteorier for hvert<br />
hovedformål. Herved gøres arbejdet med programteorier operationelt. Nedenfor i figur<br />
10.1 illustreres det, hvordan evaluator anbefaler, at der arbejdes med programteorier på<br />
flere niveauer.<br />
Figur 10.1: Illustration af arbejdet med programteorier<br />
Programteori<br />
HF 1a<br />
Programteori for Forebyggelsesfonden<br />
Programteori<br />
HF 1b<br />
Programteori<br />
HF 2<br />
Arbejdet med programteorier foregår i flere trin:<br />
Programteori<br />
1. Først må Forebyggelsesfonden udarbejde en generel programteori.<br />
2. Herefter udarbejdes programteorier for hvert hovedformål.<br />
3. For det tredje må der sammen med evaluator opstilles effektmål med tilhørende succeskriterier,<br />
måleenheder og metoder for hvert hovedformål. Blandt disse effektmål<br />
m.v. bør nogle være generiske for hovedformålet, mens andre kan være inspirerende<br />
og vejledende i forhold til målemetoder.<br />
I figur 10.2 er opstillet en præliminær programteori for HF 1a til illustration af, hvordan<br />
der kan arbejdes med programteorier på tværs af projekter under samme hovedformål.<br />
HF 3<br />
Programteori<br />
HF 4<br />
105
Figur 10.2: Præliminær programteori for HF 1a<br />
Figur xx<br />
Midler<br />
Fra Forebyggelsesfonden<br />
og<br />
medfinansiering<br />
Indsats<br />
Syv indsatstyper<br />
Fx<br />
Arbejdets organisering <br />
Informationsaktiviteter<br />
Output<br />
Kontekstfaktorer - fx:<br />
• Organisering af projektledelse<br />
• Brugen af eksterne konsulenter<br />
• Organisering af evaluering<br />
• Ejerforhold<br />
Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00<br />
Fx<br />
Ændrede arbejdsprocesser<br />
Automatisering<br />
Outcome<br />
Fx<br />
Nedgang i<br />
sygefravær<br />
Nedgang i<br />
medarbejderomsætningen<br />
Øget trivsel<br />
blandt medarbejderne<br />
Impact<br />
lokalt<br />
Fx<br />
Intern spredning<br />
Færre omkostninger<br />
Øget social<br />
kapital<br />
Impact<br />
bredt<br />
Fx<br />
Ekstern spredning<br />
Færre offentlige<br />
udgifter
Brugen af programteorier vil på en pædagogisk og overskuelig måde kunne bidrage til, at<br />
projekterne opnår en fælles forståelse af formålet for såvel det konkrete projekt, som det<br />
at projektet indgår i en bredere sammenhæng, hvor projektet sammen med øvrige projekter<br />
skal udvikle og tilføre generel viden, der kan forbedre forebyggelsesindsatsen.<br />
Arbejdet med programteorier forventes således at føre til en generel afklaring og en bevidst<br />
reflekterende proces i Forebyggelsesfonden og i projekterne via en fælles forståelsesramme<br />
og et fælles begrebsapparat.<br />
10.3.2 Effektmål og succeskriterier<br />
Som skrevet fra begyndelsen i denne evaluering kræver en tværgående analyse af effekt,<br />
at der opstilles generiske effektmål. Der eksisterer eksempelvis forskellige definitioner af<br />
sygefravær, og omfang af hvad begrebet inkluderer, bliver hermed uensartet, hvilket gør<br />
en sammenligning på tværs af projekter uholdbar.<br />
Det er derfor afgørende, at der arbejdes med tværgående og generiske effektvariable<br />
forstået som effektvariable, som opgøres og måles ens. Fx at sygefravær er defineret<br />
ens, opgjort ens, og at udviklingen måles ens. Disse skal kobles på de opstillede programteorier,<br />
som illustreret i figur 10.2.<br />
Det anbefales, at disse effektvariable afhænger af hovedformålet. Fx er et oplagt og meget<br />
anvendt effektmål ”nedbringelse af sygefravær”, men dette vil ikke være et rimeligt<br />
effektmål for HF 3-projekter. Derfor må Forebyggelsesfonden i samarbejde med evaluator<br />
stille sig spørgsmålet: Hvilken effekt skal indsatserne under dette hovedformål nå?<br />
Når man ved, hvilken effekt indsatsen søger at nå, bliver det næste trin en operationalisering<br />
af effektmålet ved at spørge: Hvordan måler vi, om der sker en forandring på fx<br />
sygefravær?<br />
Denne proces fører til en øget standardisering, men må ikke føre til en ensretning, der<br />
ikke kan tage højde for projekternes forskellighed og unikke udviklingskarakter, og samtidig<br />
må det ikke føre til et statisk instrument, som ikke kan indeholde de eksperimenterende<br />
dele af projekterne.<br />
Evaluator forventer, at denne balance kan opnås, ved at der arbejdes med nogle få fælles<br />
effektmål, hvor det bliver obligatorisk for projekterne at tilvælge ét af disse. Og at der<br />
herudover arbejdes med et batteri af effektmål og operationaliseringer heraf, som kan<br />
inspirere projekterne til, hvilken effekt deres projekt vil kunne medføre, og hvordan de<br />
hensigtsmæssigt måler denne. Succeskriterierne må dog altid være projektafhængige; I<br />
hvilken grad det forventes, at projektet kan nedbringe sygefraværet – om det er med<br />
fem eller ti procent – afhænger af projektets omfang, branche og andre projektspecifikke<br />
kontekstfaktorer.<br />
<strong>Oxford</strong> <strong>Research</strong> A/S<br />
Amagertorv 19, 3.<br />
En konkret anbefaling til, hvordan ovenstående balance mellem en øget standardisering<br />
1160 København K<br />
og den nødvendige fleksibilitet bedst opnås, vil først kunne udledes efter endelig Tlf.: +45 færdig- 33 69 13 69<br />
gørelse af den parallelle tværgående analyse af succeskriterier. Den tværgående Fax: +45 analyse 33 69 13 33<br />
af succeskriterier er mere dybdegående i sin analyse på dette specifikke punkt, office@oxfordresearch.dk<br />
og der vil<br />
www.oxfordresearch.dk<br />
derfor kunne tages et mere konkret afsæt i projekternes hidtidige arbejde med succeskriterier.<br />
CVR nr. 20 12 40 91<br />
Reg.nr.: A/S 237.171<br />
Målet med at opstille konkrete og forskellige målemetoder og –enheder er både at give<br />
projekterne en bredere og mere kvalificeret indsigt i, hvordan og på hvilke Valued parametre Acer Customer<br />
deres indsats kan vurderes, og samtidig give konkrete retningslinjer for metoden Direkte: ved det<br />
valgte parameter. Forebyggelsesfonden kan herved øge kvaliteten i evalueringerne, uden<br />
at det medfører urimelige begrænsninger. Derimod udvider det på kvalificeret vis projek-<br />
Forfatter: VAC Sidst gemt: 22-12-2011 09:38:00 Sidst udskrevet: 22-12-2011 09:38:00
ternes valgmuligheder ved at præsentere flere, end man selv umiddelbart ville komme på<br />
i projektet.<br />
Ovenstående anbefaling kan anses som radikal, i og med at der hermed vil blive opstillet<br />
forholdsvis præcise krav til dokumentationen af projekternes indhold og resultater. Evaluator<br />
er dog ikke i tvivl om, at dette er hensigtsmæssigt ud fra et evalueringsperspektiv,<br />
men anerkender, at der med Forebyggelsesfondens formål og projekternes indhold skal<br />
være plads til det unikke. Det er denne balance, som ovenstående lægger rammerne for,<br />
mens den endelige udfoldelse afventer den tværgående analyse på succeskriterier.<br />
Uagtet den kommende tværgående analyse på succeskriteriers konklusioner og anbefalinger<br />
er det dog væsentligt endnu en gang at understrege, at erfaringen i forbindelse<br />
med denne evaluering og data fra projekterne er, at kvaliteten af projekternes indberetninger<br />
er voldsomt svingende. Fremadrettet vil retningslinjer for effektmål og for de oplysninger,<br />
projekterne skal registrere, kunne forbedre kvaliteten af data.<br />
Hvis der opnås en god og ensartet datakvalitet, vil det fx være muligt at sammenligne på<br />
tværs af projekter. Eksempelvis vil man på tværs af grupper af projekter kunne sammenligne<br />
udviklingen i sygefraværet og dermed belyse, om projekter med bestemte karakteristika<br />
har haft en større/mindre ændring i sygefraværet. Selvom Forebyggelsesfonden<br />
opstiller retningslinjer for projekternes indberetning af oplysninger, er der set i lyset af<br />
erfaringerne en risiko for, at datakvaliteten ikke vil være af høj kvalitet. Der eksisterer<br />
dermed også fremadrettet en risiko for, at analysemulighederne er begrænsede<br />
Evaluator foreslår ligeledes Forebyggelsesfonden, at Forebyggelsesfonden, evt. i forbindelse<br />
med sin rådgivende funktion (se afsnit 10.2.1), sikrer, at der i udvalgte projekter af<br />
en vis størrelse gennemføres effektmålinger med kontrolgrupper. Anvendelsen af kontrolgrupper<br />
kan være både statistiske kontrolgrupper med brug af registeranalyser eller<br />
supplerende kvalitative kontrolgrupper fx i egen virksomhed eller tilsvarende anden virksomhed<br />
20 . Sådanne effektmålinger bør planlægges og gennemføres i samarbejde med en<br />
ekstern evaluator med kompetencer i effektmåling. Samtidig bør disse målinger indgå<br />
som en del af en samlet evaluering af projektets programteori, hvorved konteksten inddrages.<br />
10.4 Opsummering<br />
Ovenstående indeholder meget projektnære vejledninger samt mere håndfaste anbefalinger,<br />
der har et mere overordnet sigte.<br />
Evaluator anser ikke anbefalingerne for at indeholde et radikalt skifte i Forebyggelsesfondens<br />
arbejde, men anbefalingerne er ikke desto mindre helt afgørende for muligheden<br />
for at kunne dokumentere effekter endsige lære af processer og indsatser, som virker.<br />
Anbefalingen om et øget strategisk fokus med brug af programteorier ligger i tråd med<br />
en international trend om strategisk fondsarbejde og evaluering heraf. Med afsæt i dette<br />
internationale fondsarbejde kan anbefalingerne summeres op i tre hovedspørgsmål, som<br />
fonde – her Forebyggelsesfonden - bør stille sig selv:<br />
1. Hvordan definerer vi succes? (getting clear)<br />
2. Hvad skal der til for at skabe forandringer? (getting real)<br />
20 Disse supplerende kontrolgrupper er nærmere beskrevet i evaluators tilbud til Forebyggelsesfonden.<br />
108
3. Hvordan kan vi forbedre vore resultater over tid? (getting better) 21<br />
Anbefalingerne giver mulige svar på disse tre spørgsmål, men gør det så at sige bagfra.<br />
Ad 3: Forebyggelsesfonden kan forbedre sine resultater over tid ved at styrke sit strategiske<br />
arbejde og besvare spørgsmål to og et.<br />
Ad 2: Forebyggelsesfonden bør dels opstille en overordnet programteori, dels programteorier<br />
for hovedformålene, dels kræve at projekterne opstiller programteorier for den konkrete<br />
indsats.<br />
Ad 1: Forebyggelsesfonden skal definere fælles effektmål for hvert hovedformål og angive,<br />
hvordan det kan måles. Herudover opstilles et batteri af mulige effektmål og målemetoder<br />
til inspiration for projekterne og imødekommelse af projekternes individualitet.<br />
21 Ditkoff, Susan Wolf & Colby, Susan J. (2009): Galvanizing Philantropy, Harvard Business Review, November<br />
2009.<br />
109
110
Bilag 1: Evalueringens anvendte begreber<br />
Begreb Betydning<br />
Aktivitetsmål Dækker over, at opfyldelsen af succeskriterierne søges indfriet<br />
gennem afholdelse af aktiviteter. Et aktivitetsmål kan fx være, at<br />
30 medarbejdere deltager i en rygestopkampagne.<br />
Bevilliget beløb Dækker over det beløb, der er udbetalt fra Forebyggelsesfonden<br />
til projektet.<br />
Bred impact Indgår i evalueringsdesignet som en del af programteorien. Bred<br />
impact dækker over spredning af viden og resultater på tværs af<br />
virksomheder, men skal også forstås som ændringer af institutionelle<br />
sammenhænge og reguleringer på højere niveau som fx<br />
overenskomster og lovgivning.<br />
Bred indsats Dækker over, at det givne projekt har mange indsatstyper og<br />
mange problemstillinger.<br />
Effekt Indgår i evalueringsdesignet som en del af programteorien. Effekt<br />
er de resultater (på kort og lang sigt) projektets indsats(er) medfører.<br />
Det kan fx være 30 medarbejdere, der deltager i en rygestopkampagne<br />
(aktivitetsmål), hvor 30 % af deltagerne stopper<br />
med at ryge (effektmål).<br />
Effektmål Dækker over, at opfyldelsen af succeskriterierne vurderes indfriet<br />
gennem målinger på relevante effektparametre. Fx kan effekten af<br />
en rygestopkampagne være, at 30 % af deltagerne stopper med<br />
at ryge.<br />
Ekspertorienteret Dækker over, at løsningsforståelsen i projektet i minimum tre ud<br />
af fem sammenhænge er ekspertorienteret. Sammenhængene er:<br />
• Hvilken løsningsforståelse har projektet for individet?<br />
• Hvilken løsningsforståelse har projektet for arbejdets teknologi,<br />
tilrettelæggelse og udførelse?<br />
• Hvilken løsningsforståelse har projektet i forhold til arbejdets<br />
organisation (tilrettelæggelse af sammenhængene produktionsforløb)?<br />
• Hvilken løsningsforståelse har projektet i forhold til det interpersonelle<br />
(kollegarelationer, kommunikation, ledelse mv.)?<br />
• Hvilken løsningsforståelse har projektet i forhold til arbejdets<br />
111
Empowermentorienteret<br />
112<br />
indhold, mening og værdi?<br />
Dækker over, at løsningsforståelsen i projektet i minimum tre ud<br />
af fem sammenhænge er empowerment-orienteret. Sammenhængene<br />
er:<br />
• Hvilken løsningsforståelse har projektet for individet?<br />
• Hvilken løsningsforståelse har projektet for arbejdets teknologi,<br />
tilrettelæggelse og udførelse?<br />
• Hvilken løsningsforståelse har projektet i forhold til arbejdets<br />
organisation (tilrettelæggelse af sammenhængene produktionsforløb)?<br />
• Hvilken løsningsforståelse har projektet i forhold til det interpersonelle<br />
(kollegarelationer, kommunikation, ledelse mv.)?<br />
• Hvilken løsningsforståelse har projektet i forhold til arbejdets<br />
indhold, mening og værdi?<br />
Implementering Dækker over, om projekternes indsatser er blevet implementeret i<br />
den for projektet relevante sammenhæng (drift, kampagne, service<br />
etc.). Der skelnes mellem fuldt implementeret, delvist implementeret<br />
og ikke implementeret.<br />
Indsatsens orientering<br />
Dækker over, om projektet er målrettet individer, grupper, organisation(er)<br />
og/eller institutionelt samarbejde(r).<br />
Indsatser Indgår i evalueringsdesignet som en del af programteorien. Dækker<br />
konkret over syv forskellige indsatser: individuelle tilbud, arbejdets<br />
organisering, informationsaktiviteter, netværk/samarbejde,<br />
kompetenceudvikling, ambassadører og rammebetingelser/vilkår.<br />
Kontekst Dækker over de faktorer, der omgiver de enkelte projekter, og<br />
som har indvirkning på andre elementer (fx indsats og proces).<br />
Som en del af konteksten er fx det organisatoriske set-up omkring<br />
projektet, arbejdspladskulturen og de samfundsøkonomiske konjunkturer<br />
vigtige faktorer.<br />
Lokal impact Indgår i evalueringsdesignet som en del af programteorien. Lokal<br />
impact dækker over spredning af viden og resultater i virksomheden,<br />
hvor projektet har fundet sted.<br />
Midler Indgår i evalueringsdesignet som en del af programteorien. Midler<br />
er de ressourcer, der tilføres projektet, som igennem processen<br />
realiseres i indsatser.<br />
Målgruppens<br />
størrelse<br />
Målgruppen dækker over antal i målgruppen.
Outcome Indgår i evalueringsdesignet som en del af programteorien. Outcome<br />
opfattes som et resultat af projektet kort efter eller ved<br />
afslutningen af projektet. Outcome kan fx være, at medarbejdergruppen<br />
agerer anderledes, fordi de har fået en ny viden.<br />
Output Indgår i evalueringsdesignet som en del af programteorien. Output<br />
er det umiddelbare og konkrete resultat af en indsats. Det kan<br />
fx være en opkvalificeret medarbejdergruppe, en ergonomisk korrekt<br />
tilpasset arbejdsplads eller en ny bevidsthed om, hvilken betydning<br />
motion har.<br />
Proces Indgår i evalueringsdesignet som en del af programteorien. Der<br />
skelnes imellem proces i et monitoreringsperspektiv og proces i et<br />
læringsperspektiv.<br />
• Monitoreringsperspektivet ser på, om projekterne lever op til<br />
forventningerne i forhold til indsatser og resultater, og om<br />
projekterne foretager ændringer undervejs.<br />
• Læringsperspektivet har fokus på interaktionen mellem projekternes<br />
forskellige faser, og på hvilke faktorer der har betydning<br />
i de forskellige faser. Fx kan en organiseringsform have<br />
større indflydelse som kontekst i et implementeringsperspektiv<br />
end i et spredningsperspektiv.<br />
Programteori En teori eller antagelse om, hvilken forandring projektet forventes<br />
at skabe.<br />
Projekternes omfang<br />
Spredning<br />
En samlet betegnelse for projekternes størrelse målt i kroner,<br />
antal i målgruppen og projekternes varighed.<br />
Dækker over, om projekternes erfaringer og resultater er blevet<br />
spredt:<br />
• Internt i virksomheden (lokal impact).<br />
• I sektoren/branchen etc. (bred impact).<br />
113
114
Bilag 2: Undersøgelsesspørgsmål og hypoteser<br />
Undersøgelsesspørgsmål<br />
• Hvor mange projekter har modtaget støtte inden for hovedformålet?<br />
• Hvor mange virksomheder/arbejdspladser har deltaget i de støttede projekter (pnr.)?<br />
• Hvordan fordeler projekterne sig på privat/offentlige virksomheder/arbejdspladser<br />
• Hvordan fordeler projekterne sig på brancher?<br />
• Hvordan fordeler projekterne sig, hvad angår offentlige arbejdspladser: Statslige,<br />
kommunale, regioner?<br />
• Hvordan fordeler de støttede projekter sig på størrelse (p.nr.)?<br />
• Hvor mange projekter er forprojekter/pilotprojekter? Disse fordelt på sektorer/brancher?<br />
• Hvor mange medarbejdere er samlet omfattet via disse projekter?<br />
• Hvordan er fordelingen på medarbejdertyper?<br />
• Hvordan er fordelingen af medarbejdertyper fordelt på sektorer/brancher?<br />
• Hvor mange projekter arbejder med aktivitetsmål?<br />
• Hvad kendetegner de projekter, der arbejder med aktivitetsmål? (Sektor/branche/størrelse<br />
intern/ekstern projektledelse, inddragelse af eksterne konsulenter,<br />
intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Hvor mange projekter arbejder med indsatsområder formuleret på baggrund af<br />
dokumenterede problemstillinger?<br />
• Hvor mange projekter arbejder med effektmål?<br />
• Hvad kendetegner de projekter, der arbejder med effektmål? (Sektor/branche/størrelse,<br />
intern/ekstern projektledelse, inddragelse af eksterne konsulenter,<br />
intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Hvor mange projekter arbejder med henholdsvis smalle/ brede indsatstyper?<br />
• Hvad kendetegner de projekter, der arbejder med smalle/brede indsatstyper?<br />
(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af eksterne<br />
konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger m.m. )<br />
• Hvor mange projekter arbejder med sygefravær som effektmål?<br />
• Hvad kendetegner de projekter, der arbejder med effektmål? (Sektor/branche/størrelse,<br />
intern/ekstern projektledelse, inddragelse af eksterne konsulenter,<br />
intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Hvor mange projekter arbejder med operationelle succeskriterier?<br />
• Hvad kendetegner de projekter, der arbejder med operationelle succeskriterier?<br />
(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af eksterne<br />
konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Hvor mange af projekterne har helt eller delvist indfriet deres succeskriterier?<br />
115
116<br />
• Hvad kendetegner de projekter, der helt eller delvist har indfriet deres succeskriterier?<br />
(Sektor/branche/størrelse, intern/ekstern projektledelse, inddragelse af<br />
eksterne konsulenter, intern/ekstern evaluering, dokumenterede problemstillinger<br />
m.m.)<br />
• Hvor mange projekter arbejder bevidst med kønsdimension?<br />
• Hvad kendetegner de projekter, som arbejder med kønsdimension (Sektor/branche/størrelse,<br />
intern/ekstern projektledelse, inddragelse af eksterne konsulenter,<br />
intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Hvor mange projekter arbejder bevidst med aldersdimension?<br />
• Hvad kendetegner de projekter, som arbejder med aldersdimension (Sektor/branche/størrelse,<br />
intern/ekstern projektledelse, inddragelse af eksterne konsulenter,<br />
intern/ekstern evaluering, dokumenterede problemstillinger m.m.)<br />
• Institutionelt set-up: Hvor ligger beslutningskompetencen i projekterne (I virksomhedens/organisationens<br />
ledelse – hvilket ledelsesniveau, styregruppe - sammensætning).<br />
• Hvor mange projekter har en følgegruppe eller lignende?<br />
• Hvor mange projekter har intern/ekstern projektledelse?<br />
Hypoteser<br />
Evalueringsvariable (herunder succeskriterier)<br />
• Ekstern evaluering øger kvaliteten af evalueringen af indsatsen.<br />
• Projekter, som gør brug af eksterne evaluatorer, opnår i højere grad spredning.<br />
• Projekternes evalueringer er mangelfulde i forhold til de kvalitative metoder.<br />
• Aktivitetsmål er mere udbredte end effektmål.<br />
• Klare mål for indsatsen gør, at succeskriterierne bliver opfyldt.<br />
• Kvantificerbare succeskriterier har som konsekvens, at succeskriterierne bliver<br />
opfyldt.<br />
• Indsatstyper, som er eksperimenterende, har ikke klare aktivitets- og/eller effektmål.<br />
• Indsatstyper, som er eksperimenterende, har ikke kvantificerbare succeskriterier.<br />
• Indsatstyper med medarbejderinddragelse har ikke klare mål.<br />
• Indsatstyper med medarbejderinddragelse har ikke kvantificerbare succeskriterier.<br />
• Mange projekter har ikke opsat/formuleret positive sideeffekter.<br />
• De fleste projekter lukker af for ny udvikling i processen.<br />
• De fleste projekter opnår (ønskelige) effekter, der ikke er opstillet som succeskriterier.<br />
• Mange projekter går fra at benytte kvantitative til at benytte kvalitative metoder.<br />
Institutionelle variable<br />
• Intern projektledelse øger implementeringen.
• Projekter, som gør brug af eksterne konsulenter til proces/teknisk støtte, opnår<br />
større effekt/ i højere grad spredning.<br />
• Projekter, som inddrager netværk og/eller styre- og arbejdsgrupper, har større<br />
effekt/i højere grad spredning.<br />
• Projekterne medfører sjældent ændringer i rammevilkårene.<br />
• Projekter med konsortier opnår i højere grad spredning.<br />
• Hvis implementeringen er indtænkt i projektets design, opnås i højere grad implementering.<br />
• Større projektsummer opnår i højere grad implementering/spredning.<br />
Indsatsvariable<br />
• Indsatser på baggrund af dokumenterede problemstillinger opnår oftere implementering.<br />
• Smalle indsatser opnår større effekt end brede indsatser.<br />
• Indsatser, der gennemføres med henblik på at forbedre såvel arbejdsmiljøet som<br />
virksomhedens økonomiske bundlinje, opnår større effekt/i højere grad implementering/spredning.<br />
• Der er en positiv sammenhæng mellem forbedret økonomisk bundlinje og arbejdsmiljøeffekter.<br />
• Projekter af eksperimentel karakter opnår i højere grad spredning.<br />
• Projekter, som indeholder kompetenceløft, opnår større grad af implementering.<br />
• Uformel kompetenceudvikling opnår større effekt/i højere grad implementering<br />
end formel kompetenceudvikling.<br />
• Projekter med ambassadører opnår større effekt/i højere grad spredning/implementering.<br />
Procesvariable<br />
• Projekter uden ændringer overhovedet opnår større effekt end projekter, hvor<br />
der foretages ændringer.<br />
• Ændringer skyldes oftest ydre forhold.<br />
• Ændringerne består oftest i justeringer af tidsplanen.<br />
• Ændringer i projektledelse medfører lavere effekt.<br />
• Projekter med et projektset-up, hvor der er et veldefineret ledelsesrum og en klar<br />
rollefordeling, påvirker resultaterne positivt.<br />
• Ændringer i projektledelse fører til yderligere ændringer i projekterne.<br />
• Der er forskel på kort og langsigtet forankring.<br />
• Ejerskab og forankring på forskellige niveauer skaber højere grad af implementering.<br />
117
Hovedformålsspecifikke variable<br />
HF 1a og HF 1b<br />
HF 2<br />
HF 3<br />
118<br />
• Projekter, som arbejder med medarbejderinddragelse, opnår i højere grad implementering.<br />
• Projekter, som arbejder med medarbejderinddragelse, opnår generel forandringsparathed<br />
som en positiv sideeffekt.<br />
• Projekter, som arbejder med en primær og en sekundær målgruppe, opnår i højere<br />
grad spredning.<br />
• Teknologiprojekter opnår i højere grad spredning.<br />
• Teknologiprojekter er dyrere, men har større effekt.<br />
• Teknologi projekterne stopper ved prototyper.<br />
• Der er større effekt ved inkrementelle projekter end radikale.<br />
• Teknologiudvikling, der lægger sig i et spor af udvikling, har større impact.<br />
• Teknologiprojekter, der ikke er baseret på markedsundersøgelser, vil sjældent<br />
blive en succes.<br />
• Teknologiprojekter er ofte rationaliseringsprojekter.<br />
• Deltagerinddragelse i udformningen af indsatsen øger effekten.<br />
• Projekter, som arbejder med en primær og en sekundær målgruppe, opnår i højere<br />
grad spredning.<br />
• Projekter med et projektset-up, hvor der er et veldefineret ledelsesrum og en klar<br />
rollefordeling, påvirker resultaterne positivt.<br />
• Projekter, som er rent individorienteret, har større effekt.<br />
• Projekter, som arbejder med empowerment, har større effekt.<br />
• Projekter, der alene beskæftiger sig med KRAM-aktiviteter, har lavere effekt end<br />
projekter, som arbejder med flere paradigmer.
119
120