Evaluering i teori og praksis.pdf - Akademika forlag
Evaluering i teori og praksis.pdf - Akademika forlag
Evaluering i teori og praksis.pdf - Akademika forlag
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Tornes.fm Page 1 Wednesday, October 10, 2012 10:29 AM<br />
<strong>Evaluering</strong> i <strong>teori</strong> <strong>og</strong> <strong>praksis</strong><br />
Kristin Tornes (red.)
Tornes.fm Page 2 Wednesday, October 10, 2012 10:29 AM
Tornes.fm Page 3 Wednesday, October 10, 2012 10:29 AM<br />
<strong>Evaluering</strong> i <strong>teori</strong><br />
<strong>og</strong> <strong>praksis</strong>
Tornes.fm Page 4 Wednesday, October 10, 2012 10:29 AM<br />
© <strong>Akademika</strong> <strong>forlag</strong><br />
ISBN 978-82-321-0004-0<br />
Det må ikkje kopieres frå denne boka ut over det som er tillatt etter bestemmelser<br />
i lov om opphavsrett til åndsverk, <strong>og</strong> avtaler om kopiering inngått med Kopinor.<br />
Dette gjelder <strong>og</strong>så filer, koder eller annen gjengivelse tilknyttet e-bok.<br />
Grafisk formgivning <strong>og</strong> tilrettelegging: 07 Gruppen AS<br />
Omslag: <strong>Akademika</strong> <strong>forlag</strong><br />
Trykk <strong>og</strong> innbinding: AIT AS e-dit, Oslo<br />
Papir: Munken Lynx 90 g<br />
<strong>Akademika</strong> <strong>forlag</strong><br />
Postboks 2461, Sluppen<br />
7005 Trondheim<br />
Tlf.: 73593210<br />
www.akademika<strong>forlag</strong>.no<br />
Forlagsredaktør: vebjorn.andreassen@akademika.no<br />
4
Tornes.fm Page 5 Wednesday, October 10, 2012 10:29 AM<br />
Innhold<br />
Forord ................................................................................................................. 8<br />
Innledning ........................................................................................................... 9<br />
Del 1<br />
Generelle trekk ved evaluering ...................................................................... 13<br />
Kapittel 1. <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus ................................................<br />
Kristin Tornes<br />
15<br />
1 Innledning ................................................................................................. 15<br />
2 Hva menes med «å evaluere»? .................................................................. 17<br />
3 Kan alt evalueres? ...................................................................................... 27<br />
4 Resultater er fokus i evalueringer ............................................................. 30<br />
5 Hvorfor evaluere – kunnskap, interesser, formål ...................................... 35<br />
6 Hvordan evaluere – <strong>teori</strong>er, modeller, design ........................................... 44<br />
7 Vurdering, kriterier <strong>og</strong> sammenligning .................................................... 53<br />
8 Bestillere <strong>og</strong> brukere ................................................................................. 65<br />
Kapittel 2. <strong>Evaluering</strong>stradisjoner ................................................................<br />
Kristin Tornes<br />
71<br />
1 Innledning ................................................................................................. 71<br />
2 Styringsdoktriner <strong>og</strong> evalueringstenkning ................................................ 72<br />
3 Rettferdighetstenkning <strong>og</strong> verdifri forskning ........................................... 78<br />
4 Norsk evalueringstradisjon ....................................................................... 81<br />
5 Hvorfor har evaluering grepet slik om seg? ............................................. 91<br />
6 <strong>Evaluering</strong>er – hva gjør de med oss? ......................................................... 97<br />
Kapittel 3. Modeller i evaluering ..................................................................<br />
Kristin Tornes<br />
101<br />
1 Innledning ................................................................................................. 101<br />
2 Kjennetegn ved evalueringer .................................................................... 103<br />
3 Modeller .................................................................................................... 104<br />
4 Kriterier ..................................................................................................... 109<br />
5 Ulike evalueringsmodeller ........................................................................ 110<br />
6 Valg av modell ........................................................................................... 134<br />
Kapittel 4. Metodiske utfordringer i evalueringstudier .............................<br />
Turid Aarseth<br />
137<br />
1 Innledning ................................................................................................. 137<br />
2 Hva er samfunnsvitenskapelig metode? .................................................... 139<br />
3 Hva sier metodelitteraturen om evalueringsstudier? ............................... 141<br />
4 Hva sier evalueringslitteraturen om metodiske utfordringer? ................. 142<br />
5 Hvordan sikre både metodisk kvalitet <strong>og</strong> nytte i evalueringsstudier? ...... 146<br />
6 Avslutning .................................................................................................. 150<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 5
Tornes.fm Page 6 Wednesday, October 10, 2012 10:29 AM<br />
Kapittel 5. Etiske utfordringer i evaluering ................................................<br />
Kristin Tornes:<br />
153<br />
1 Innledning ................................................................................................. 153<br />
2 Etiske dilemmaer <strong>og</strong> forskning ................................................................. 154<br />
3 Forskningsetikk ......................................................................................... 157<br />
4 Etiske <strong>teori</strong>er ............................................................................................. 163<br />
5 Etiske prinsipper ....................................................................................... 171<br />
6 Rollen som evalueringsforsker – kompetanse <strong>og</strong> konflikter .................... 179<br />
7 Én rolle – ulike oppgaver, forventninger <strong>og</strong> dilemmaer .......................... 183<br />
8 Mangfoldige rammer – ulike krav <strong>og</strong> valg ................................................ 191<br />
9 Hvordan kan vi løse etiske dilemmaer? .................................................... 200<br />
Kapittel 6. Noen juridiske problemstillinger<br />
i tilknytning til evalueringsforskning .......................................................<br />
Linda <strong>og</strong> Odd Anders Bøyum-Folkeseth<br />
207<br />
1 Innledning ................................................................................................. 207<br />
2 Innsyn i forvaltningens saksdokumenter etter offentlighetsloven ........... 208<br />
3 Taushetsbelagte opplysninger etter forvaltningsloven ............................. 214<br />
4 Personopplysningsloven ............................................................................ 223<br />
5 Forskningsetikkloven ................................................................................ 230<br />
Kapittel 7. <strong>Evaluering</strong>soppdraget som juridisk avtale ................................<br />
Georg Panzer<br />
233<br />
1 Innledning ................................................................................................. 233<br />
2 Oppdragsavtalen ........................................................................................ 235<br />
Del 2<br />
Eksempler på evaluering ................................................................................. 247<br />
Kapittel 8. Reformer i lokalforvaltningen – bakgrunn <strong>og</strong> ideol<strong>og</strong>i ..........<br />
Lars Rønhovde<br />
249<br />
1 Innledning ................................................................................................. 249<br />
2 Verdiene som legitimerer det lokale selvstyret ......................................... 249<br />
3 Ny kommunelov, kommunene i endring .................................................. 251<br />
5 Erfaringer med organisasjonsformene ...................................................... 253<br />
6 Organisasjonsformer <strong>og</strong> evaluering .......................................................... 254<br />
Kapittel 9. Styring <strong>og</strong> evaluering<br />
gjennom instrumentell resultatkontroll ..................................................<br />
Lars Rønhovde<br />
257<br />
1 Introduksjon .............................................................................................. 257<br />
2 Læring i organisasjonar ............................................................................. 258<br />
3 Kjenneteikn ved offentleg verksemd basert på New Public Management<br />
4 Bakgrunnen for organisasjons- <strong>og</strong> evalueringsformer basert<br />
262<br />
på resultatstyring ....................................................................................... 263<br />
5 Problem relatert til evaluering av offentleg verksemd ............................. 266<br />
6 Ulike settingar for utforming av offentleg politikk .................................. 267<br />
6
Tornes.fm Page 7 Wednesday, October 10, 2012 10:29 AM<br />
7 Kommunale tenester i kommunar med flat struktur <strong>og</strong> resultatstyring .. 271<br />
8 Oppsummering ......................................................................................... 277<br />
Kapittel 10. Balansert målstyring som evaluerings- <strong>og</strong> læringssystem<br />
i kommunene. ..............................................................................................<br />
Ingunn Gjerde<br />
279<br />
1 Innledning ................................................................................................. 279<br />
2 <strong>Evaluering</strong>s- <strong>og</strong> læringssystemer i kommunene ....................................... 280<br />
3 Balansert målstyring <strong>og</strong> tilpasning til kommunesektoren ........................ 283<br />
4 Utforming, bruk <strong>og</strong> oppfølging av balansert målstyring i kommunene .. 287<br />
5 Erfaring <strong>og</strong> læring ..................................................................................... 293<br />
6 Avslutning .................................................................................................. 301<br />
Kapittel 11. Roller i evaluering: samfunnsforsker, teknokrat, aksjonist eller<br />
revisor? .........................................................................................................<br />
Beinta í Jákupsstovu <strong>og</strong> Eli Kjersem<br />
303<br />
1 Innledning ................................................................................................. 303<br />
2 Roller <strong>og</strong> rollekonflikter ........................................................................... 304<br />
3 Case: evalueringen av e-demokratiprosjektet d:mo .................................. 307<br />
4 Avslutning .................................................................................................. 329<br />
Kapittel 12. <strong>Evaluering</strong> av lovgivning ...........................................................<br />
Åge Brekk<br />
333<br />
1 Innledning ................................................................................................. 333<br />
2 Om lover .................................................................................................... 335<br />
3 <strong>Evaluering</strong> av lover .................................................................................... 347<br />
4 Lovevalueringer <strong>og</strong> rettssosiol<strong>og</strong>ien ......................................................... 370<br />
Litteraturliste ...................................................................................................... 375<br />
Om forfatterne .................................................................................................... 394<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 7
Tornes.fm Page 8 Wednesday, October 10, 2012 10:29 AM<br />
Forord<br />
Denne boken er et resultat av en samordnet innsats fra medlemmer av miljøet<br />
for samfunnsfag <strong>og</strong> juss ved Høgskolen i Molde. Den er blitt til over en treårsperiode<br />
hvor arbeidet har gått i rykk <strong>og</strong> napp innimellom alle de oppgavene<br />
som til enhver tid faller på en høyskoleansatt. Vi har fått oppmuntring <strong>og</strong> støtte<br />
fra Høgskolen i Molde i løpet av hele prosessen <strong>og</strong> har mottatt finansielle<br />
bidrag som har gjort det mulig for oss å reise på «boksamlinger» <strong>og</strong> delta på<br />
ulike seminarer, blant annet i forbindelse med opprettelsen av Norsk evalueringsforening<br />
i 2009. Dette har vi satt stor pris på. Samlingene har vært en viktig<br />
kilde til inspirasjon <strong>og</strong> ikke minst bidratt til at vi etter hvert har utviklet en<br />
felles forståelse av det mangslungne fagfeltet som evaluering representerer. Vi<br />
er sikker på at dette har bidratt til at boken i dag framstår som mer enhetlig enn<br />
den ellers ville ha gjort.<br />
En spesiell takk skylder vi våre hjelpere på Trykkeriet ved Høgskolen i<br />
Molde. Uten aktiv ekspertassistanse fra Jens Erik Østergaard ville det endelige<br />
resultatet på ingen måte levd opp til våre forhåpninger <strong>og</strong> ambisjoner.<br />
Som redaktør vil jeg takke forskergruppen for den entusiasmen de har vist<br />
for bokprosjektet fra første stund. Takket være deres faglig inspirerende diskusjoner,<br />
omtenksomme støtte <strong>og</strong> arbeidsinnsats over lang tid har prosjektet til<br />
sist kommet i havn.<br />
Molde, april 2012<br />
Kristin Tornes<br />
8 Forord
Tornes.fm Page 9 Wednesday, October 10, 2012 10:29 AM<br />
Innledning<br />
«Utvärdering utgjör utan tvivel en fascinerande forskningsfront i samtidens<br />
samhällsvetenskap, inte minst därför att den handlar om förhållandet mellan<br />
vetenskap, politik och administration»<br />
Evert Vedung, 1998<br />
Hvorfor en ny bok om evaluering – hva er vårt fokus, <strong>og</strong> hvem er<br />
målgruppene våre?<br />
Resultater fra evalueringer er blitt en viktig del av «faktagrunnlaget» om vårt<br />
samfunn. Vi «vet» hvilke konsekvenser HVPU-reformen har fått, fordi vi har<br />
lest om funnene i evalueringer av reformen. Vi «vet» hvordan den norske<br />
skolen er, fordi vi har fått presentert norske elevers scorer i PISA-undersøkelsene.<br />
Vi «vet» <strong>og</strong>så at Norge får lite igjen for hver krone som brukes i skolesektoren<br />
sammenlignet med andre land, fordi det har OECD fortalt oss gjennom<br />
sin evaluering. Også konsekvensene av effektiviseringstiltak, av nye måter å<br />
organisere arbeidet på i kommuner <strong>og</strong> fylker «får sitt pass påskrevet» ved at de<br />
evalueres. I det hele tatt blir få nye tiltak satt i gang uten at det understrekes at<br />
«dette skal vi evaluere etter en tid». Det gjelder tiltak i privat så vel som i<br />
offentlig regi.<br />
Resultater fra evalueringer er altså gått inn som en viktig del av vårt felles<br />
kunnskapsgrunnlag. De blir utgangspunkt for TV-debatter, avisinnlegg, valgkamp<br />
så vel som samtaler oss imellom <strong>og</strong> inngår som en naturlig del av vår samfunnskunnskap.<br />
Ikke minst er evaluering blitt et legitimt element i politikkutformingen<br />
i vårt samfunn. Enten det dreier seg om nasjonale eller lokale tiltak, blir<br />
de utformet på bakgrunn av resultater fra tidligere evalueringer eller med den<br />
forutsetning at de skal evalueres. Politireformer, utdanningsreformer, NAVreformen<br />
osv., alle bygger de på evalueringer av tidligere tiltak som på ulike vis<br />
ble funnet å komme til kort i forhold til oppsatte ønsker <strong>og</strong> målsettinger. Den<br />
kunnskapen som evalueringsrapporter gir, blir således et «faktum» som nye<br />
målsettinger <strong>og</strong> prioriteringer utformes på grunnlag av.<br />
Men hva kjennetegner den kunnskapen evalueringer gir oss? Bringer rapportene<br />
den endelige sannheten om konsekvensene av et tiltak? Eller er det<br />
bare en form for systematisert «synsing», dvs. slik verden fortoner seg for dem<br />
som står for evalueringen? Hvilket grunnlag baserer vurderingene seg på?<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 9
Tornes.fm Page 10 Wednesday, October 10, 2012 10:29 AM<br />
Hvor mye kan vi stole på funnene <strong>og</strong> anbefalingene som presenteres i rapportene?<br />
Hvilken kompetanse har de som gjennomfører evalueringen? Hvorfor<br />
skal vi stole mer på en evalueringsrapport enn på en utredning om samme tema?<br />
Det er mange spørsmål knyttet til evalueringer <strong>og</strong> deres status som beslutningsgrunnlag.<br />
Det gjelder for eksempel kjennetegn ved evalueringsforskning<br />
sett i forholdet til annen forskning – som bruk av <strong>teori</strong>er, metoder, spørsmål om<br />
verdier i forskningen osv., likeså utfordringer i forskerens møte med bestillere<br />
<strong>og</strong> brukere av forskningen. Ettersom evalueringsforskning framfor alt skal være<br />
nyttig, kan det oppstå spesielle etiske dilemmaer i tilknytning til bruken av forskningen<br />
i ulike sammenhenger.<br />
Den kjente svenske evalueringsforskeren E. Vedung sa for ett tiår siden at<br />
«(d)en vetenskapsliknande utvärderingens roll i ett demokratiskt politiskt<br />
system är ett brydsamt problem, som är underskattat i litteraturen. Många<br />
böcker nämner det inte ens. Detta besvärliga dilemma behöver vetenskapligt<br />
genomlysas» (Vedung 1998:233). Og selv om bruken av evaluering har fått et<br />
veldig oppsving i Norge etter den tid, finnes det fortsatt i 2012 få bøker på<br />
norsk som gir en introduksjon til temaet <strong>og</strong> den fagdebatten som pågår internasjonalt.<br />
Her skiller Norge seg fra de andre nordiske landene. Med rette har<br />
den danske evalueringsforskeren Hanne Foss Hansen kalt Norge en «late<br />
comer» i evalueringssammenheng.<br />
De tidlige unntakene har vært Reidar Almås’ bok <strong>Evaluering</strong> på norsk fra<br />
1990 <strong>og</strong> noen publikasjoner fra miljøet på NIBR som Jon Naustdalslid <strong>og</strong> Marit<br />
Reitan: Kunnskap <strong>og</strong> styring fra 1994 <strong>og</strong> Olaf Foss <strong>og</strong> Jan Mønnesland (red.)<br />
<strong>Evaluering</strong> av offentlig virksomhet. Metode <strong>og</strong> vurderinger fra 2000. Dessuten<br />
introduserte Bergljot Baklien evalueringsforskning som tema i flere artikler i<br />
Tidsskrift for samfunnsforskning i 1985 <strong>og</strong> 1993. Og Sidsel Sverdrup publiserte<br />
sitt arbeid <strong>Evaluering</strong>: faser, design <strong>og</strong> gjennomføring i 2002. På 2000-tallet har<br />
flere publikasjoner kommet til etter hvert. En artikkel av Ragnhild Øvrelid<br />
publisert i Nordisk administrativt tidsskrift i 2000 gir for eksempel en god oversikt<br />
over evalueringstenkningen i sentralforvaltningen. Vi har <strong>og</strong>så fått flere<br />
publikasjoner fra statlig hold. Men de fleste arbeidene presenterer forfatterens<br />
egen forskning, <strong>og</strong> få har hatt som formål å gi en oversiktlig introduksjon til<br />
feltet.<br />
Denne boken tar mål av seg til å gi en slik oversikt over de viktigste sidene<br />
ved evalueringsforskning <strong>og</strong> noe av debatten om bruken av evalueringer slik<br />
den har utviklet seg etter at E. Vedung publiserte sin bok for 15 år siden. Hans<br />
påpekning av at temaet befinner seg i skjæringspunktet mellom vitenskap, politikk<br />
<strong>og</strong> administrasjon «stemmer overens med» vår fagbakgrunn som statsvitere,<br />
sosiol<strong>og</strong>er <strong>og</strong> jurister. Vi presenterer debatten hovedsakelig sett med for-<br />
10 Innledning
Tornes.fm Page 11 Wednesday, October 10, 2012 10:29 AM<br />
skerens briller. Her har vi som gruppe mange års erfaring vi kan trekke veksler<br />
på etter å ha gjennomført evalueringsoppdrag for kommuner, fylker, nasjonale<br />
aktører, ulike offentlige <strong>og</strong> private organisasjoner <strong>og</strong> bedrifter – små så vel som<br />
store.<br />
Boken har ikke som formål å presentere detaljerte «oppskrifter» på<br />
hvordan en kan gjennomføre en evaluering. Her vil metodebøker <strong>og</strong> spesialartikler<br />
gi en grundigere innføring. Vår hensikt er å gi en første introduksjon til<br />
ulike sider ved evaluering. I Del 1 presenterer vi et overblikk over fagdebatten<br />
knyttet til noen sentrale problemstillinger, dilemmaer <strong>og</strong> faglige så vel som personlige<br />
utfordringer som ligger i evalueringsforskning. Dette er sider ved fagfeltet<br />
som det er viktig å ha kjennskap til når en skal gjennomføre et evalueringsoppdrag.<br />
I Del 2 er fokus på hvordan evalueringer kan bli benyttet, illustrert<br />
ved erfaringer fra enkeltprosjekter som tar opp sider ved evaluering som<br />
er drøftet i Del 1. Empirien i del 2 er stort sett fra prosjekter med data fra kommunesektoren.<br />
Selv om det er kryssreferanser til andre kapitler i boken, er det<br />
tenkt at de kan leses uavhengig av hverandre. Derfor vil noen temaer være gjengangere<br />
i flere av artiklene.<br />
Gitt temaets aktualitet <strong>og</strong> fokus kan mange tenkes å være målgruppe for<br />
en slik bok. Som undervisere i samfunnsfaglig metode <strong>og</strong> ulike sider ved det å<br />
evaluere ser vi at boken vil supplere de metodebøkene som i dag benyttes for<br />
samfunnsvitenskapelige studenter på master- <strong>og</strong> doktorgradsnivå ved universiteter<br />
<strong>og</strong> høgskoler. I de fleste av disse bøkene nevnes temaet evaluering, men<br />
vies liten oppmerksomhet. Dette til tross for at vi vet at temaet vil få stor aktualitet<br />
for mange av våre kandidater i deres videre yrkeskarriere hvor de enten<br />
kan bli bestillere/brukere av evaluering, eller de selv blir de som skal gjennomføre<br />
en evaluering. Også dagens utredere, konsulenter, bestillere <strong>og</strong> brukere av<br />
evaluering vil gjennom boken få et innblikk i evalueringsforskningens begrepsapparat,<br />
tradisjoner <strong>og</strong> faglige <strong>og</strong> praktiske dilemmaer.<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 11
Tornes.fm Page 12 Wednesday, October 10, 2012 10:29 AM
Tornes.fm Page 13 Wednesday, October 10, 2012 10:29 AM<br />
Del 1<br />
Generelle trekk ved evaluering<br />
13
Tornes.fm Page 14 Wednesday, October 10, 2012 10:29 AM
Tornes.fm Page 15 Wednesday, October 10, 2012 10:29 AM<br />
Kapittel 1<br />
<strong>Evaluering</strong> – definisjon <strong>og</strong> fokus<br />
Kristin Tornes<br />
1 Innledning<br />
Å evaluere kan kort defineres som det å vurdere gjennomføringen av et tiltak eller<br />
et pr<strong>og</strong>ram. <strong>Evaluering</strong>er settes i gang når vi ønsker å gjøre oss opp en mening<br />
om reformene/pr<strong>og</strong>rammene/tiltakene har gått bra – eller mindre bra. <strong>Evaluering</strong>er<br />
kan altså karakteriseres som en form for tilbakemelding, eller som E.<br />
Albæk sier det: «At evaluere betyder i all enkelthed at standse op midt i eller efter<br />
et af sine gøremål <strong>og</strong> vurdere, om resultaterne står i et fornuftig forhold til<br />
hensigt <strong>og</strong> anstrengelser» (2001:35). Når for eksempel Høgskolereformen ble<br />
evaluert i årene 1996–99, var det for å bringe på det rene om den virket slik det<br />
var tanken at den skulle, <strong>og</strong> om målsettingene med reformen ble realisert. Ønsket<br />
var å få kunnskap om de nye «grepene» som lå i reformen, hadde ført til en varig<br />
<strong>og</strong> positiv endring for de som var berørt. Omorganiseringen angikk over 70.000<br />
studenter <strong>og</strong> mer enn 7.700 ansatte <strong>og</strong> kan uten tvil karakteriseres som en av de<br />
største utdanningsreformene som er gjennomført i Norge (se boks).<br />
I vår sammenheng vil vi bruke det å evaluere som et faguttrykk hvor vi signaliserer<br />
at det dreier seg om en forskningsbasert, systematisk innhenting <strong>og</strong> vurdering<br />
av kunnskap til forskjell fra det å foreta en generell vurdering, som er<br />
videre <strong>og</strong> mer upresist. Forskningsbasert evaluering <strong>og</strong> evalueringsforskning vil<br />
bli brukt som synonymer.<br />
Mens vi i 1980–90-årene bare i sjeldne tilfeller hørte om evalueringer, skal i<br />
dag tilsynelatende ethvert tiltak, enhver lovendring, reform eller omorganisering<br />
evalueres. Og dette gjelder ikke bare i Norge, men er et trekk som kjennetegner<br />
alle vestlige samfunn (Furubo <strong>og</strong> Sandahl 2002; Dahler-Larsen 1999). Av store<br />
evalueringer i dag kan vi nevne evaluering av Samhandlingsreformen, som settes<br />
ut i livet i disse dager (Prop. 91 L 2010–2011) <strong>og</strong> PISA-undersøkelsene, som evaluerer<br />
den norske grunnskolens resultater sammenlignet med tilsvarende europeiske<br />
utdanninger. Likeså er den nye strukturen i mange av våre kommuner evaluert<br />
(se artiklene av I. Gjerde <strong>og</strong> L. Rønhovde i del II). Ulike organisasjoner/<br />
bedrifter er <strong>og</strong>så blitt evaluert som Norsk Tipping, Redningsselskapet osv. I tillegg<br />
finner det daglig sted evalueringer av organisasjoners rutiner <strong>og</strong> resultater.<br />
15
Tornes.fm Page 16 Wednesday, October 10, 2012 10:29 AM<br />
<strong>Evaluering</strong> av høgskolereformen.<br />
1 <strong>Evaluering</strong>en gikk over tre år fra 1996 til 1999 <strong>og</strong> ble utført av forskere ved<br />
Norsk inst. for studier av forskning <strong>og</strong> utdanning (NIFU), Møreforskning<br />
Molde <strong>og</strong> Inst. for administrasjon <strong>og</strong> organisasjonsvitenskap, Univ. i<br />
Bergen.<br />
Bakgrunnen for evalueringen var at 98 regionale høgskoler ble slått sammen<br />
til 26 statlige høgskoler den 1.august 1994. Formålet var knyttet til faglige,<br />
økonomiske så vel som administrative gevinster, definert som<br />
Større <strong>og</strong> sterkere fagmiljøer<br />
Økt kontakt <strong>og</strong> fagsamarbeid på tvers av tidligere institusjonsgrenser<br />
Utvikling av en sterkere felles utdanningskultur<br />
Bedre studiekombinasjonsmuligheter for studenten<br />
Bedre muligheter for omstilling <strong>og</strong> utvikling av nye studietilbud<br />
Større kostnadseffektivitet<br />
Bedre biblioteks- <strong>og</strong> IT-tjenester<br />
Bedre kvalitet på administrative tjenester<br />
Utdanningsdepartementet ønsket å evaluere reformen <strong>og</strong> var interessert i at<br />
evalueringen spesielt skulle:<br />
Kartlegge endringer <strong>og</strong> utvikling, for derved å gi bedre bakgrunnskunnskaper<br />
for videre planlegging <strong>og</strong> oppfølging av høgskolesektoren<br />
Vurdere om de løsningene som var valgt, var egnet til å realisere målene<br />
med reformen<br />
Identifisere eventuelle svake punkter eller utilsiktede virkninger av reformen<br />
På bakgrunn av dette foreslå konkrete tiltak <strong>og</strong> oppfølging<br />
Departementet ville at evalueringen særlig skulle vurdere effektene av reformen<br />
på:<br />
1 organisasjonsstruktur <strong>og</strong> styringssystem<br />
2 den faglige virksomheten<br />
3 administrative løsninger<br />
(S. Kyvik, 1999)<br />
16 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus
Tornes.fm Page 17 Wednesday, October 10, 2012 10:29 AM<br />
Med denne «evalueringsbølgen» har vi <strong>og</strong>så fått en popularisering av begrepet<br />
evaluering. «Å evaluere» er blitt et nytt dagligord som kom inn i det norske<br />
språket på begynnelsen av 1960-tallet. Noe av bakgrunnen var den utbredte<br />
diskusjonen vi da hadde om hvordan skoleelevers prestasjoner skulle bedømmes,<br />
<strong>og</strong> bruken av karakterer i den forbindelse. Her ble det hyppig referert til<br />
resultater fra pedag<strong>og</strong>enes forskningsbaserte evalueringer (Foss 2000; Almås<br />
1990). B. Baklien går så langt som til å hevde at i noen sammenhenger ser det<br />
ut til at benevnelsen «evaluering» blir brukt som et slags bekvemmelighetsflagg<br />
(1993). Og E. Vedung betegner evaluering som en «semantisk magnet» hvor<br />
«det har fått beteckna snart sagt varje tänkeansträngning i den offentliga sektorn»<br />
(1998:20).<br />
Dette gjør at skillet mellom evaluering <strong>og</strong> andre former for kunnskap om<br />
gjennomføringen av et tiltak/pr<strong>og</strong>ram blir uklart. I tillegg kommer en faglig<br />
diskusjon som gjør at stadig nye sider ved evalueringsbegrepet <strong>og</strong> evalueringsoppdrag<br />
problematiseres <strong>og</strong> drøftes. Paradoksalt nok kan vi si at jo mer evaluering<br />
griper om seg, jo mer tåkete <strong>og</strong> uklar blir forståelsen av hva evaluering<br />
egentlig dreier seg om!<br />
Det er altså behov for å skille mellom evaluering <strong>og</strong> annen innhenting av<br />
informasjon, likeså mellom evalueringsforskning <strong>og</strong> annen samfunnsforskning. Hva<br />
er det som gjør evalueringer forskjellige fra andre måter å samle kunnskap på?<br />
Og hvorfor eller når skal vi gjennomføre evalueringer? Dette er noen av<br />
temaene i dette kapittelet. I tillegg vil vi forsøke å gi svar på spørsmålet om hva<br />
som skal/kan evalueres, hva evalueringer skal fokusere på, hvilke data som skal<br />
samles inn, <strong>og</strong> hvorfor <strong>og</strong> hvordan funnene kan brukes. Men først må vi klargjøre<br />
hva vi mener med å evaluere.<br />
2 Hva menes med «å evaluere»?<br />
Her skal vi diskutere nærmere at evaluering oppfattes som et fleksibelt <strong>og</strong> mangetydig<br />
begrep, <strong>og</strong> at det viser til at vi både beskriver <strong>og</strong> vurderer en aktivitet. Samtidig må<br />
den kunnskapen vi kommer fram til, være handlingsrelevant. <strong>Evaluering</strong>er kan være<br />
kvalitativt ulike, men de foretaes alltid i ettertid. De innebærer en systematisk innsamling<br />
av data, fokuserer ofte på årsak-virkning <strong>og</strong> slik sett kan de sidestilles med forskning<br />
– særlig samfunnsforskning.<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 17
Tornes.fm Page 18 Wednesday, October 10, 2012 10:29 AM<br />
Tabell 1. Kjennetegn ved evaluering<br />
<strong>Evaluering</strong> er et fleksibelt begrep<br />
<strong>Evaluering</strong>er beskriver <strong>og</strong> vurderer<br />
<strong>Evaluering</strong>skunnskap er handlingsrelevant<br />
<strong>Evaluering</strong>er er kvalitativt ulike<br />
<strong>Evaluering</strong>er foretas i ettertid, dvs. de er historiske<br />
<strong>Evaluering</strong>er er systematiske<br />
2.1 <strong>Evaluering</strong> – et fleksibelt begrep<br />
Furubo <strong>og</strong> Standahl hevder at «If asked for a definition of evaluation, the<br />
attempted answer might be seen as a never-ending story» (Furubo <strong>og</strong> Sandahl<br />
2002:2). Det å skulle komme med en faglig basert <strong>og</strong> korrekt definisjon av evaluering<br />
er ikke enkelt – <strong>og</strong> heller ikke ønskelig. Med økningen i evalueringsaktiviteter<br />
de seneste årene har det foregått en tilsvarende vekst i faglitteraturen<br />
om evalueringer <strong>og</strong> vi har fått et mye større mangfold av definisjoner <strong>og</strong> tilnærmingsmåter<br />
enn for 20 år siden. De varierer alt etter forskernes faglige ståsted,<br />
hva som evalueres,<strong>og</strong> hva som er fokus for de enkelte evalueringene, brukernes<br />
interesser, institusjonelle <strong>og</strong> politiske rammer for evalueringen osv. Ulike<br />
fagretninger benytter evalueringsbegrepet ut fra sine egne tradisjoner, dels i<br />
konflikt med begrepsbruken i andre nærliggende fag. Ulike land har <strong>og</strong>så ulik<br />
tradisjon med hensyn til hva som betegnes som evaluering, <strong>og</strong> avgrensingen til<br />
lignende aktiviteter.<br />
<strong>Evaluering</strong> som fagfelt <strong>og</strong> evaluerere som faggruppe har over tid søkt å<br />
utvikle standarder både for å kvalitetssikre sitt arbeid <strong>og</strong> øke sin legitimitet for<br />
eksempel ved å trekke inn relevante interessenter i evalueringsoppdrag, benytte<br />
«brukervennlige» evalueringskriterier <strong>og</strong> særlig understreke at evalueringer<br />
skal ha et nytte- <strong>og</strong> brukerperspektiv. Og bruken av vitenskapelige metoder har<br />
fått en stor plass i legitimeringen av evaluering.<br />
Alt dette har ført til at vi i dag står overfor et ganske forvirrende mangfold<br />
av definisjoner, metoder <strong>og</strong> «oppskrifter» for evalueringer. Det finnes altså<br />
ingen «gullstandard» for hva som er god evaluering. P.Dahler-Larsen <strong>og</strong><br />
H.K.Kr<strong>og</strong>strup går så langt som til å snakke om «evalueringens mærkværdige<br />
verden af paradokser, dilemmaer <strong>og</strong> flertydighet» (2001:13). Ut fra denne situasjonen<br />
har flere hevdet at’ evaluering’ må betegnes som et elastisk begrep<br />
(Furubo <strong>og</strong> Sandahlop. cit.).<br />
18 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus
Tornes.fm Page 19 Wednesday, October 10, 2012 10:29 AM<br />
Til tross for dette mangfoldet har det gradvis utviklet seg tradisjoner som<br />
har fått det vi kunne kalle «normdannende gjennomslagskraft» (Sverdrup<br />
2002). Disse tradisjonene skal vi komme tilbake til senere når vi diskuterer<br />
framveksten av noen modeller som ofte går igjen i evalueringsstudier (se <strong>og</strong>så<br />
kap. 2 <strong>og</strong> 3).<br />
Men som et utgangspunkt for vår videre diskusjon vil vi i tråd med R.<br />
Almås benytte en enkel rammedefinisjon. Den er som følger: <strong>Evaluering</strong> er<br />
«systematisk innsamling av data for å skilja <strong>og</strong> analysera verknaden av eit forsøk<br />
på å skapa endring på eit gitt område» (1990:13). Å analysere betyr å forstå, forklare<br />
<strong>og</strong> vurdere et innsamlet eller observert datamateriale på en kritisk måte.<br />
<strong>Evaluering</strong>en må da utformes videre i hvert enkelt tilfelle alt etter<br />
hvilken kontekst den gjennomføres i<br />
hvilke interesser den skal dekke<br />
hvilket fokus den skal ha<br />
Betydningen av disse forholdene skal vi diskutere nærmere i de neste avsnittene.<br />
Figur 1 illustrerer de viktigste elementene i denne definisjonen.<br />
Figur 1. EVALUERING<br />
2.2 Å evaluere er å beskrive <strong>og</strong> vurdere<br />
De to viktigste formålene med en evaluering er å beskrive <strong>og</strong> vurdere. Å kombinere<br />
disse er det mest utfordrende ved evaluering. Beskrivelsen skjer innenfor<br />
vitenskapelige rammer som angir prosedyrer for datainnsamling, analyse <strong>og</strong> det<br />
å trekke konklusjoner av dataene. Vurderingen innebærer at vi verdsetter<br />
funnene som dataanalysen er kommet fram til ut fra bestemte kriterier. Hvilke<br />
kriterier som velges, er et resultat av ulike prioriteringer <strong>og</strong> således et verdispørsmål<br />
<strong>og</strong> det kan råde stor uenighet om prioriteringene. Selve vurderingen<br />
gjøres ved at funnene blir sammenlignet enten med<br />
et ideal (mål, policy, ønsker, behov),<br />
andre tilsvarende aktiviteter/organisasjoner eller<br />
aktivitetens/organisasjonens egen utvikling over tid.<br />
Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 19
Tornes.fm Page 20 Wednesday, October 10, 2012 10:29 AM<br />
Dessuten kan sammenligningen gjøres ut fra ulike perspektiver, noe som <strong>og</strong>så<br />
kan variere med hvem som gjennomfører evalueringen (Vestman:2011). Som<br />
eksempel på hvordan kriteriene benyttes, kan vi nevne nasjonale prøver, som<br />
ble introdusert i den norske ungdomsskolen fra 2004, hvor ønsket var at så<br />
mange som mulig skulle prestere opp imot topp resultat. Fokus er på lesing,<br />
skriving, matematikk <strong>og</strong> engelsk, <strong>og</strong> den enkelte elev blir vurdert i forhold til<br />
gjennomsnittskarakteren i klassen. I tillegg måles skolen opp mot gjennomsnittet<br />
for hele landet. Om prestasjonen vurderes som god eller dårlig, sees da i<br />
forhold til hva andre i klassen eller andre skoler presterer. Kritikken mot de nasjonale<br />
prøvene har vært at de ikke vurderer eleven ut fra det siste kriteriet nevnt<br />
over, nemlig elevens egen utvikling <strong>og</strong> hvilken framgang hun har vist over tid.<br />
Dette temaet diskuteres grundigere i avsnitt 7.<br />
E. Vedung (1998) skiller <strong>og</strong>så mellom ikke-forklarende <strong>og</strong> forklarende vurderinger.<br />
<strong>Evaluering</strong> hører hjemme i den siste kategorien. Mens ikke-forklarende<br />
vurderinger vil «sette karakter» på tiltaket/virksomheten i seg selv <strong>og</strong><br />
ikke ut fra om det har ført til en planlagt endring, vil dette være et av hovedspørsmålene<br />
i forklarende vurderinger. Helt sentralt i en forklarende vurdering<br />
er det såkalte «effektspørsmålet» - dvs. om et tiltak eller et pr<strong>og</strong>ram har hatt<br />
den ønskede effekten gjerne målt ut fra en mål-middel-tankegang. Dette spørsmålet<br />
reises aldri i ikke-forklarende vurderinger. Effektspørsmålet blir diskutert<br />
nærmere i avsnittene 2.7, 4 <strong>og</strong> 6.<br />
2.3 <strong>Evaluering</strong>skunnskap er handlingsrelevant<br />
At evalueringskunnskap skal anvendes, inngår i selve definisjonen av det å evaluere.<br />
Som O. Foss uttrykker det: «<strong>Evaluering</strong>svirksomhetens generelle anliggende<br />
… er å bidra med handlingsrelevant kunnskap for å styrke forholdet<br />
mellom intenderte sosiale forandringer (politiske mål) <strong>og</strong> konkrete handlinger<br />
(reformer, pr<strong>og</strong>rammer, tiltak) som iverksettes for å virkeliggjøre dem»<br />
(2000:19).<br />
<strong>Evaluering</strong>sforskningens historie viser at den har en ganske annen tilknytning<br />
til maktkonstellasjoner <strong>og</strong> politiske interesser enn annen samfunnsforskning<br />
– selv når vi tar samfunnsfaglig oppdragsforskning <strong>og</strong> aksjonsforskning<br />
med i bildet. Politikere <strong>og</strong> byråkrater som ønsket et sikrere, «objektivt» grunnlag<br />
for sine politiske vedtak, var for eksempel sentrale pådrivere for framveksten<br />
av evalueringsforskning på 1960- <strong>og</strong> 70-tallet. Selv om troen på at det er mulig<br />
å komme fram til objektive forskningsresultater ikke lenger er like utbredt som<br />
den gangen, gir bestillernes interesser fortsatt et helt annet utgangspunkt for<br />
forskningsbasert evaluering enn det «vanlig» forskning møter.<br />
20 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus