26.07.2013 Views

Evaluering i teori og praksis.pdf - Akademika forlag

Evaluering i teori og praksis.pdf - Akademika forlag

Evaluering i teori og praksis.pdf - Akademika forlag

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Tornes.fm Page 1 Wednesday, October 10, 2012 10:29 AM<br />

<strong>Evaluering</strong> i <strong>teori</strong> <strong>og</strong> <strong>praksis</strong><br />

Kristin Tornes (red.)


Tornes.fm Page 2 Wednesday, October 10, 2012 10:29 AM


Tornes.fm Page 3 Wednesday, October 10, 2012 10:29 AM<br />

<strong>Evaluering</strong> i <strong>teori</strong><br />

<strong>og</strong> <strong>praksis</strong>


Tornes.fm Page 4 Wednesday, October 10, 2012 10:29 AM<br />

© <strong>Akademika</strong> <strong>forlag</strong><br />

ISBN 978-82-321-0004-0<br />

Det må ikkje kopieres frå denne boka ut over det som er tillatt etter bestemmelser<br />

i lov om opphavsrett til åndsverk, <strong>og</strong> avtaler om kopiering inngått med Kopinor.<br />

Dette gjelder <strong>og</strong>så filer, koder eller annen gjengivelse tilknyttet e-bok.<br />

Grafisk formgivning <strong>og</strong> tilrettelegging: 07 Gruppen AS<br />

Omslag: <strong>Akademika</strong> <strong>forlag</strong><br />

Trykk <strong>og</strong> innbinding: AIT AS e-dit, Oslo<br />

Papir: Munken Lynx 90 g<br />

<strong>Akademika</strong> <strong>forlag</strong><br />

Postboks 2461, Sluppen<br />

7005 Trondheim<br />

Tlf.: 73593210<br />

www.akademika<strong>forlag</strong>.no<br />

Forlagsredaktør: vebjorn.andreassen@akademika.no<br />

4


Tornes.fm Page 5 Wednesday, October 10, 2012 10:29 AM<br />

Innhold<br />

Forord ................................................................................................................. 8<br />

Innledning ........................................................................................................... 9<br />

Del 1<br />

Generelle trekk ved evaluering ...................................................................... 13<br />

Kapittel 1. <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus ................................................<br />

Kristin Tornes<br />

15<br />

1 Innledning ................................................................................................. 15<br />

2 Hva menes med «å evaluere»? .................................................................. 17<br />

3 Kan alt evalueres? ...................................................................................... 27<br />

4 Resultater er fokus i evalueringer ............................................................. 30<br />

5 Hvorfor evaluere – kunnskap, interesser, formål ...................................... 35<br />

6 Hvordan evaluere – <strong>teori</strong>er, modeller, design ........................................... 44<br />

7 Vurdering, kriterier <strong>og</strong> sammenligning .................................................... 53<br />

8 Bestillere <strong>og</strong> brukere ................................................................................. 65<br />

Kapittel 2. <strong>Evaluering</strong>stradisjoner ................................................................<br />

Kristin Tornes<br />

71<br />

1 Innledning ................................................................................................. 71<br />

2 Styringsdoktriner <strong>og</strong> evalueringstenkning ................................................ 72<br />

3 Rettferdighetstenkning <strong>og</strong> verdifri forskning ........................................... 78<br />

4 Norsk evalueringstradisjon ....................................................................... 81<br />

5 Hvorfor har evaluering grepet slik om seg? ............................................. 91<br />

6 <strong>Evaluering</strong>er – hva gjør de med oss? ......................................................... 97<br />

Kapittel 3. Modeller i evaluering ..................................................................<br />

Kristin Tornes<br />

101<br />

1 Innledning ................................................................................................. 101<br />

2 Kjennetegn ved evalueringer .................................................................... 103<br />

3 Modeller .................................................................................................... 104<br />

4 Kriterier ..................................................................................................... 109<br />

5 Ulike evalueringsmodeller ........................................................................ 110<br />

6 Valg av modell ........................................................................................... 134<br />

Kapittel 4. Metodiske utfordringer i evalueringstudier .............................<br />

Turid Aarseth<br />

137<br />

1 Innledning ................................................................................................. 137<br />

2 Hva er samfunnsvitenskapelig metode? .................................................... 139<br />

3 Hva sier metodelitteraturen om evalueringsstudier? ............................... 141<br />

4 Hva sier evalueringslitteraturen om metodiske utfordringer? ................. 142<br />

5 Hvordan sikre både metodisk kvalitet <strong>og</strong> nytte i evalueringsstudier? ...... 146<br />

6 Avslutning .................................................................................................. 150<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 5


Tornes.fm Page 6 Wednesday, October 10, 2012 10:29 AM<br />

Kapittel 5. Etiske utfordringer i evaluering ................................................<br />

Kristin Tornes:<br />

153<br />

1 Innledning ................................................................................................. 153<br />

2 Etiske dilemmaer <strong>og</strong> forskning ................................................................. 154<br />

3 Forskningsetikk ......................................................................................... 157<br />

4 Etiske <strong>teori</strong>er ............................................................................................. 163<br />

5 Etiske prinsipper ....................................................................................... 171<br />

6 Rollen som evalueringsforsker – kompetanse <strong>og</strong> konflikter .................... 179<br />

7 Én rolle – ulike oppgaver, forventninger <strong>og</strong> dilemmaer .......................... 183<br />

8 Mangfoldige rammer – ulike krav <strong>og</strong> valg ................................................ 191<br />

9 Hvordan kan vi løse etiske dilemmaer? .................................................... 200<br />

Kapittel 6. Noen juridiske problemstillinger<br />

i tilknytning til evalueringsforskning .......................................................<br />

Linda <strong>og</strong> Odd Anders Bøyum-Folkeseth<br />

207<br />

1 Innledning ................................................................................................. 207<br />

2 Innsyn i forvaltningens saksdokumenter etter offentlighetsloven ........... 208<br />

3 Taushetsbelagte opplysninger etter forvaltningsloven ............................. 214<br />

4 Personopplysningsloven ............................................................................ 223<br />

5 Forskningsetikkloven ................................................................................ 230<br />

Kapittel 7. <strong>Evaluering</strong>soppdraget som juridisk avtale ................................<br />

Georg Panzer<br />

233<br />

1 Innledning ................................................................................................. 233<br />

2 Oppdragsavtalen ........................................................................................ 235<br />

Del 2<br />

Eksempler på evaluering ................................................................................. 247<br />

Kapittel 8. Reformer i lokalforvaltningen – bakgrunn <strong>og</strong> ideol<strong>og</strong>i ..........<br />

Lars Rønhovde<br />

249<br />

1 Innledning ................................................................................................. 249<br />

2 Verdiene som legitimerer det lokale selvstyret ......................................... 249<br />

3 Ny kommunelov, kommunene i endring .................................................. 251<br />

5 Erfaringer med organisasjonsformene ...................................................... 253<br />

6 Organisasjonsformer <strong>og</strong> evaluering .......................................................... 254<br />

Kapittel 9. Styring <strong>og</strong> evaluering<br />

gjennom instrumentell resultatkontroll ..................................................<br />

Lars Rønhovde<br />

257<br />

1 Introduksjon .............................................................................................. 257<br />

2 Læring i organisasjonar ............................................................................. 258<br />

3 Kjenneteikn ved offentleg verksemd basert på New Public Management<br />

4 Bakgrunnen for organisasjons- <strong>og</strong> evalueringsformer basert<br />

262<br />

på resultatstyring ....................................................................................... 263<br />

5 Problem relatert til evaluering av offentleg verksemd ............................. 266<br />

6 Ulike settingar for utforming av offentleg politikk .................................. 267<br />

6


Tornes.fm Page 7 Wednesday, October 10, 2012 10:29 AM<br />

7 Kommunale tenester i kommunar med flat struktur <strong>og</strong> resultatstyring .. 271<br />

8 Oppsummering ......................................................................................... 277<br />

Kapittel 10. Balansert målstyring som evaluerings- <strong>og</strong> læringssystem<br />

i kommunene. ..............................................................................................<br />

Ingunn Gjerde<br />

279<br />

1 Innledning ................................................................................................. 279<br />

2 <strong>Evaluering</strong>s- <strong>og</strong> læringssystemer i kommunene ....................................... 280<br />

3 Balansert målstyring <strong>og</strong> tilpasning til kommunesektoren ........................ 283<br />

4 Utforming, bruk <strong>og</strong> oppfølging av balansert målstyring i kommunene .. 287<br />

5 Erfaring <strong>og</strong> læring ..................................................................................... 293<br />

6 Avslutning .................................................................................................. 301<br />

Kapittel 11. Roller i evaluering: samfunnsforsker, teknokrat, aksjonist eller<br />

revisor? .........................................................................................................<br />

Beinta í Jákupsstovu <strong>og</strong> Eli Kjersem<br />

303<br />

1 Innledning ................................................................................................. 303<br />

2 Roller <strong>og</strong> rollekonflikter ........................................................................... 304<br />

3 Case: evalueringen av e-demokratiprosjektet d:mo .................................. 307<br />

4 Avslutning .................................................................................................. 329<br />

Kapittel 12. <strong>Evaluering</strong> av lovgivning ...........................................................<br />

Åge Brekk<br />

333<br />

1 Innledning ................................................................................................. 333<br />

2 Om lover .................................................................................................... 335<br />

3 <strong>Evaluering</strong> av lover .................................................................................... 347<br />

4 Lovevalueringer <strong>og</strong> rettssosiol<strong>og</strong>ien ......................................................... 370<br />

Litteraturliste ...................................................................................................... 375<br />

Om forfatterne .................................................................................................... 394<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 7


Tornes.fm Page 8 Wednesday, October 10, 2012 10:29 AM<br />

Forord<br />

Denne boken er et resultat av en samordnet innsats fra medlemmer av miljøet<br />

for samfunnsfag <strong>og</strong> juss ved Høgskolen i Molde. Den er blitt til over en treårsperiode<br />

hvor arbeidet har gått i rykk <strong>og</strong> napp innimellom alle de oppgavene<br />

som til enhver tid faller på en høyskoleansatt. Vi har fått oppmuntring <strong>og</strong> støtte<br />

fra Høgskolen i Molde i løpet av hele prosessen <strong>og</strong> har mottatt finansielle<br />

bidrag som har gjort det mulig for oss å reise på «boksamlinger» <strong>og</strong> delta på<br />

ulike seminarer, blant annet i forbindelse med opprettelsen av Norsk evalueringsforening<br />

i 2009. Dette har vi satt stor pris på. Samlingene har vært en viktig<br />

kilde til inspirasjon <strong>og</strong> ikke minst bidratt til at vi etter hvert har utviklet en<br />

felles forståelse av det mangslungne fagfeltet som evaluering representerer. Vi<br />

er sikker på at dette har bidratt til at boken i dag framstår som mer enhetlig enn<br />

den ellers ville ha gjort.<br />

En spesiell takk skylder vi våre hjelpere på Trykkeriet ved Høgskolen i<br />

Molde. Uten aktiv ekspertassistanse fra Jens Erik Østergaard ville det endelige<br />

resultatet på ingen måte levd opp til våre forhåpninger <strong>og</strong> ambisjoner.<br />

Som redaktør vil jeg takke forskergruppen for den entusiasmen de har vist<br />

for bokprosjektet fra første stund. Takket være deres faglig inspirerende diskusjoner,<br />

omtenksomme støtte <strong>og</strong> arbeidsinnsats over lang tid har prosjektet til<br />

sist kommet i havn.<br />

Molde, april 2012<br />

Kristin Tornes<br />

8 Forord


Tornes.fm Page 9 Wednesday, October 10, 2012 10:29 AM<br />

Innledning<br />

«Utvärdering utgjör utan tvivel en fascinerande forskningsfront i samtidens<br />

samhällsvetenskap, inte minst därför att den handlar om förhållandet mellan<br />

vetenskap, politik och administration»<br />

Evert Vedung, 1998<br />

Hvorfor en ny bok om evaluering – hva er vårt fokus, <strong>og</strong> hvem er<br />

målgruppene våre?<br />

Resultater fra evalueringer er blitt en viktig del av «faktagrunnlaget» om vårt<br />

samfunn. Vi «vet» hvilke konsekvenser HVPU-reformen har fått, fordi vi har<br />

lest om funnene i evalueringer av reformen. Vi «vet» hvordan den norske<br />

skolen er, fordi vi har fått presentert norske elevers scorer i PISA-undersøkelsene.<br />

Vi «vet» <strong>og</strong>så at Norge får lite igjen for hver krone som brukes i skolesektoren<br />

sammenlignet med andre land, fordi det har OECD fortalt oss gjennom<br />

sin evaluering. Også konsekvensene av effektiviseringstiltak, av nye måter å<br />

organisere arbeidet på i kommuner <strong>og</strong> fylker «får sitt pass påskrevet» ved at de<br />

evalueres. I det hele tatt blir få nye tiltak satt i gang uten at det understrekes at<br />

«dette skal vi evaluere etter en tid». Det gjelder tiltak i privat så vel som i<br />

offentlig regi.<br />

Resultater fra evalueringer er altså gått inn som en viktig del av vårt felles<br />

kunnskapsgrunnlag. De blir utgangspunkt for TV-debatter, avisinnlegg, valgkamp<br />

så vel som samtaler oss imellom <strong>og</strong> inngår som en naturlig del av vår samfunnskunnskap.<br />

Ikke minst er evaluering blitt et legitimt element i politikkutformingen<br />

i vårt samfunn. Enten det dreier seg om nasjonale eller lokale tiltak, blir<br />

de utformet på bakgrunn av resultater fra tidligere evalueringer eller med den<br />

forutsetning at de skal evalueres. Politireformer, utdanningsreformer, NAVreformen<br />

osv., alle bygger de på evalueringer av tidligere tiltak som på ulike vis<br />

ble funnet å komme til kort i forhold til oppsatte ønsker <strong>og</strong> målsettinger. Den<br />

kunnskapen som evalueringsrapporter gir, blir således et «faktum» som nye<br />

målsettinger <strong>og</strong> prioriteringer utformes på grunnlag av.<br />

Men hva kjennetegner den kunnskapen evalueringer gir oss? Bringer rapportene<br />

den endelige sannheten om konsekvensene av et tiltak? Eller er det<br />

bare en form for systematisert «synsing», dvs. slik verden fortoner seg for dem<br />

som står for evalueringen? Hvilket grunnlag baserer vurderingene seg på?<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 9


Tornes.fm Page 10 Wednesday, October 10, 2012 10:29 AM<br />

Hvor mye kan vi stole på funnene <strong>og</strong> anbefalingene som presenteres i rapportene?<br />

Hvilken kompetanse har de som gjennomfører evalueringen? Hvorfor<br />

skal vi stole mer på en evalueringsrapport enn på en utredning om samme tema?<br />

Det er mange spørsmål knyttet til evalueringer <strong>og</strong> deres status som beslutningsgrunnlag.<br />

Det gjelder for eksempel kjennetegn ved evalueringsforskning<br />

sett i forholdet til annen forskning – som bruk av <strong>teori</strong>er, metoder, spørsmål om<br />

verdier i forskningen osv., likeså utfordringer i forskerens møte med bestillere<br />

<strong>og</strong> brukere av forskningen. Ettersom evalueringsforskning framfor alt skal være<br />

nyttig, kan det oppstå spesielle etiske dilemmaer i tilknytning til bruken av forskningen<br />

i ulike sammenhenger.<br />

Den kjente svenske evalueringsforskeren E. Vedung sa for ett tiår siden at<br />

«(d)en vetenskapsliknande utvärderingens roll i ett demokratiskt politiskt<br />

system är ett brydsamt problem, som är underskattat i litteraturen. Många<br />

böcker nämner det inte ens. Detta besvärliga dilemma behöver vetenskapligt<br />

genomlysas» (Vedung 1998:233). Og selv om bruken av evaluering har fått et<br />

veldig oppsving i Norge etter den tid, finnes det fortsatt i 2012 få bøker på<br />

norsk som gir en introduksjon til temaet <strong>og</strong> den fagdebatten som pågår internasjonalt.<br />

Her skiller Norge seg fra de andre nordiske landene. Med rette har<br />

den danske evalueringsforskeren Hanne Foss Hansen kalt Norge en «late<br />

comer» i evalueringssammenheng.<br />

De tidlige unntakene har vært Reidar Almås’ bok <strong>Evaluering</strong> på norsk fra<br />

1990 <strong>og</strong> noen publikasjoner fra miljøet på NIBR som Jon Naustdalslid <strong>og</strong> Marit<br />

Reitan: Kunnskap <strong>og</strong> styring fra 1994 <strong>og</strong> Olaf Foss <strong>og</strong> Jan Mønnesland (red.)<br />

<strong>Evaluering</strong> av offentlig virksomhet. Metode <strong>og</strong> vurderinger fra 2000. Dessuten<br />

introduserte Bergljot Baklien evalueringsforskning som tema i flere artikler i<br />

Tidsskrift for samfunnsforskning i 1985 <strong>og</strong> 1993. Og Sidsel Sverdrup publiserte<br />

sitt arbeid <strong>Evaluering</strong>: faser, design <strong>og</strong> gjennomføring i 2002. På 2000-tallet har<br />

flere publikasjoner kommet til etter hvert. En artikkel av Ragnhild Øvrelid<br />

publisert i Nordisk administrativt tidsskrift i 2000 gir for eksempel en god oversikt<br />

over evalueringstenkningen i sentralforvaltningen. Vi har <strong>og</strong>så fått flere<br />

publikasjoner fra statlig hold. Men de fleste arbeidene presenterer forfatterens<br />

egen forskning, <strong>og</strong> få har hatt som formål å gi en oversiktlig introduksjon til<br />

feltet.<br />

Denne boken tar mål av seg til å gi en slik oversikt over de viktigste sidene<br />

ved evalueringsforskning <strong>og</strong> noe av debatten om bruken av evalueringer slik<br />

den har utviklet seg etter at E. Vedung publiserte sin bok for 15 år siden. Hans<br />

påpekning av at temaet befinner seg i skjæringspunktet mellom vitenskap, politikk<br />

<strong>og</strong> administrasjon «stemmer overens med» vår fagbakgrunn som statsvitere,<br />

sosiol<strong>og</strong>er <strong>og</strong> jurister. Vi presenterer debatten hovedsakelig sett med for-<br />

10 Innledning


Tornes.fm Page 11 Wednesday, October 10, 2012 10:29 AM<br />

skerens briller. Her har vi som gruppe mange års erfaring vi kan trekke veksler<br />

på etter å ha gjennomført evalueringsoppdrag for kommuner, fylker, nasjonale<br />

aktører, ulike offentlige <strong>og</strong> private organisasjoner <strong>og</strong> bedrifter – små så vel som<br />

store.<br />

Boken har ikke som formål å presentere detaljerte «oppskrifter» på<br />

hvordan en kan gjennomføre en evaluering. Her vil metodebøker <strong>og</strong> spesialartikler<br />

gi en grundigere innføring. Vår hensikt er å gi en første introduksjon til<br />

ulike sider ved evaluering. I Del 1 presenterer vi et overblikk over fagdebatten<br />

knyttet til noen sentrale problemstillinger, dilemmaer <strong>og</strong> faglige så vel som personlige<br />

utfordringer som ligger i evalueringsforskning. Dette er sider ved fagfeltet<br />

som det er viktig å ha kjennskap til når en skal gjennomføre et evalueringsoppdrag.<br />

I Del 2 er fokus på hvordan evalueringer kan bli benyttet, illustrert<br />

ved erfaringer fra enkeltprosjekter som tar opp sider ved evaluering som<br />

er drøftet i Del 1. Empirien i del 2 er stort sett fra prosjekter med data fra kommunesektoren.<br />

Selv om det er kryssreferanser til andre kapitler i boken, er det<br />

tenkt at de kan leses uavhengig av hverandre. Derfor vil noen temaer være gjengangere<br />

i flere av artiklene.<br />

Gitt temaets aktualitet <strong>og</strong> fokus kan mange tenkes å være målgruppe for<br />

en slik bok. Som undervisere i samfunnsfaglig metode <strong>og</strong> ulike sider ved det å<br />

evaluere ser vi at boken vil supplere de metodebøkene som i dag benyttes for<br />

samfunnsvitenskapelige studenter på master- <strong>og</strong> doktorgradsnivå ved universiteter<br />

<strong>og</strong> høgskoler. I de fleste av disse bøkene nevnes temaet evaluering, men<br />

vies liten oppmerksomhet. Dette til tross for at vi vet at temaet vil få stor aktualitet<br />

for mange av våre kandidater i deres videre yrkeskarriere hvor de enten<br />

kan bli bestillere/brukere av evaluering, eller de selv blir de som skal gjennomføre<br />

en evaluering. Også dagens utredere, konsulenter, bestillere <strong>og</strong> brukere av<br />

evaluering vil gjennom boken få et innblikk i evalueringsforskningens begrepsapparat,<br />

tradisjoner <strong>og</strong> faglige <strong>og</strong> praktiske dilemmaer.<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 11


Tornes.fm Page 12 Wednesday, October 10, 2012 10:29 AM


Tornes.fm Page 13 Wednesday, October 10, 2012 10:29 AM<br />

Del 1<br />

Generelle trekk ved evaluering<br />

13


Tornes.fm Page 14 Wednesday, October 10, 2012 10:29 AM


Tornes.fm Page 15 Wednesday, October 10, 2012 10:29 AM<br />

Kapittel 1<br />

<strong>Evaluering</strong> – definisjon <strong>og</strong> fokus<br />

Kristin Tornes<br />

1 Innledning<br />

Å evaluere kan kort defineres som det å vurdere gjennomføringen av et tiltak eller<br />

et pr<strong>og</strong>ram. <strong>Evaluering</strong>er settes i gang når vi ønsker å gjøre oss opp en mening<br />

om reformene/pr<strong>og</strong>rammene/tiltakene har gått bra – eller mindre bra. <strong>Evaluering</strong>er<br />

kan altså karakteriseres som en form for tilbakemelding, eller som E.<br />

Albæk sier det: «At evaluere betyder i all enkelthed at standse op midt i eller efter<br />

et af sine gøremål <strong>og</strong> vurdere, om resultaterne står i et fornuftig forhold til<br />

hensigt <strong>og</strong> anstrengelser» (2001:35). Når for eksempel Høgskolereformen ble<br />

evaluert i årene 1996–99, var det for å bringe på det rene om den virket slik det<br />

var tanken at den skulle, <strong>og</strong> om målsettingene med reformen ble realisert. Ønsket<br />

var å få kunnskap om de nye «grepene» som lå i reformen, hadde ført til en varig<br />

<strong>og</strong> positiv endring for de som var berørt. Omorganiseringen angikk over 70.000<br />

studenter <strong>og</strong> mer enn 7.700 ansatte <strong>og</strong> kan uten tvil karakteriseres som en av de<br />

største utdanningsreformene som er gjennomført i Norge (se boks).<br />

I vår sammenheng vil vi bruke det å evaluere som et faguttrykk hvor vi signaliserer<br />

at det dreier seg om en forskningsbasert, systematisk innhenting <strong>og</strong> vurdering<br />

av kunnskap til forskjell fra det å foreta en generell vurdering, som er<br />

videre <strong>og</strong> mer upresist. Forskningsbasert evaluering <strong>og</strong> evalueringsforskning vil<br />

bli brukt som synonymer.<br />

Mens vi i 1980–90-årene bare i sjeldne tilfeller hørte om evalueringer, skal i<br />

dag tilsynelatende ethvert tiltak, enhver lovendring, reform eller omorganisering<br />

evalueres. Og dette gjelder ikke bare i Norge, men er et trekk som kjennetegner<br />

alle vestlige samfunn (Furubo <strong>og</strong> Sandahl 2002; Dahler-Larsen 1999). Av store<br />

evalueringer i dag kan vi nevne evaluering av Samhandlingsreformen, som settes<br />

ut i livet i disse dager (Prop. 91 L 2010–2011) <strong>og</strong> PISA-undersøkelsene, som evaluerer<br />

den norske grunnskolens resultater sammenlignet med tilsvarende europeiske<br />

utdanninger. Likeså er den nye strukturen i mange av våre kommuner evaluert<br />

(se artiklene av I. Gjerde <strong>og</strong> L. Rønhovde i del II). Ulike organisasjoner/<br />

bedrifter er <strong>og</strong>så blitt evaluert som Norsk Tipping, Redningsselskapet osv. I tillegg<br />

finner det daglig sted evalueringer av organisasjoners rutiner <strong>og</strong> resultater.<br />

15


Tornes.fm Page 16 Wednesday, October 10, 2012 10:29 AM<br />

<strong>Evaluering</strong> av høgskolereformen.<br />

1 <strong>Evaluering</strong>en gikk over tre år fra 1996 til 1999 <strong>og</strong> ble utført av forskere ved<br />

Norsk inst. for studier av forskning <strong>og</strong> utdanning (NIFU), Møreforskning<br />

Molde <strong>og</strong> Inst. for administrasjon <strong>og</strong> organisasjonsvitenskap, Univ. i<br />

Bergen.<br />

Bakgrunnen for evalueringen var at 98 regionale høgskoler ble slått sammen<br />

til 26 statlige høgskoler den 1.august 1994. Formålet var knyttet til faglige,<br />

økonomiske så vel som administrative gevinster, definert som<br />

Større <strong>og</strong> sterkere fagmiljøer<br />

Økt kontakt <strong>og</strong> fagsamarbeid på tvers av tidligere institusjonsgrenser<br />

Utvikling av en sterkere felles utdanningskultur<br />

Bedre studiekombinasjonsmuligheter for studenten<br />

Bedre muligheter for omstilling <strong>og</strong> utvikling av nye studietilbud<br />

Større kostnadseffektivitet<br />

Bedre biblioteks- <strong>og</strong> IT-tjenester<br />

Bedre kvalitet på administrative tjenester<br />

Utdanningsdepartementet ønsket å evaluere reformen <strong>og</strong> var interessert i at<br />

evalueringen spesielt skulle:<br />

Kartlegge endringer <strong>og</strong> utvikling, for derved å gi bedre bakgrunnskunnskaper<br />

for videre planlegging <strong>og</strong> oppfølging av høgskolesektoren<br />

Vurdere om de løsningene som var valgt, var egnet til å realisere målene<br />

med reformen<br />

Identifisere eventuelle svake punkter eller utilsiktede virkninger av reformen<br />

På bakgrunn av dette foreslå konkrete tiltak <strong>og</strong> oppfølging<br />

Departementet ville at evalueringen særlig skulle vurdere effektene av reformen<br />

på:<br />

1 organisasjonsstruktur <strong>og</strong> styringssystem<br />

2 den faglige virksomheten<br />

3 administrative løsninger<br />

(S. Kyvik, 1999)<br />

16 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus


Tornes.fm Page 17 Wednesday, October 10, 2012 10:29 AM<br />

Med denne «evalueringsbølgen» har vi <strong>og</strong>så fått en popularisering av begrepet<br />

evaluering. «Å evaluere» er blitt et nytt dagligord som kom inn i det norske<br />

språket på begynnelsen av 1960-tallet. Noe av bakgrunnen var den utbredte<br />

diskusjonen vi da hadde om hvordan skoleelevers prestasjoner skulle bedømmes,<br />

<strong>og</strong> bruken av karakterer i den forbindelse. Her ble det hyppig referert til<br />

resultater fra pedag<strong>og</strong>enes forskningsbaserte evalueringer (Foss 2000; Almås<br />

1990). B. Baklien går så langt som til å hevde at i noen sammenhenger ser det<br />

ut til at benevnelsen «evaluering» blir brukt som et slags bekvemmelighetsflagg<br />

(1993). Og E. Vedung betegner evaluering som en «semantisk magnet» hvor<br />

«det har fått beteckna snart sagt varje tänkeansträngning i den offentliga sektorn»<br />

(1998:20).<br />

Dette gjør at skillet mellom evaluering <strong>og</strong> andre former for kunnskap om<br />

gjennomføringen av et tiltak/pr<strong>og</strong>ram blir uklart. I tillegg kommer en faglig<br />

diskusjon som gjør at stadig nye sider ved evalueringsbegrepet <strong>og</strong> evalueringsoppdrag<br />

problematiseres <strong>og</strong> drøftes. Paradoksalt nok kan vi si at jo mer evaluering<br />

griper om seg, jo mer tåkete <strong>og</strong> uklar blir forståelsen av hva evaluering<br />

egentlig dreier seg om!<br />

Det er altså behov for å skille mellom evaluering <strong>og</strong> annen innhenting av<br />

informasjon, likeså mellom evalueringsforskning <strong>og</strong> annen samfunnsforskning. Hva<br />

er det som gjør evalueringer forskjellige fra andre måter å samle kunnskap på?<br />

Og hvorfor eller når skal vi gjennomføre evalueringer? Dette er noen av<br />

temaene i dette kapittelet. I tillegg vil vi forsøke å gi svar på spørsmålet om hva<br />

som skal/kan evalueres, hva evalueringer skal fokusere på, hvilke data som skal<br />

samles inn, <strong>og</strong> hvorfor <strong>og</strong> hvordan funnene kan brukes. Men først må vi klargjøre<br />

hva vi mener med å evaluere.<br />

2 Hva menes med «å evaluere»?<br />

Her skal vi diskutere nærmere at evaluering oppfattes som et fleksibelt <strong>og</strong> mangetydig<br />

begrep, <strong>og</strong> at det viser til at vi både beskriver <strong>og</strong> vurderer en aktivitet. Samtidig må<br />

den kunnskapen vi kommer fram til, være handlingsrelevant. <strong>Evaluering</strong>er kan være<br />

kvalitativt ulike, men de foretaes alltid i ettertid. De innebærer en systematisk innsamling<br />

av data, fokuserer ofte på årsak-virkning <strong>og</strong> slik sett kan de sidestilles med forskning<br />

– særlig samfunnsforskning.<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 17


Tornes.fm Page 18 Wednesday, October 10, 2012 10:29 AM<br />

Tabell 1. Kjennetegn ved evaluering<br />

<strong>Evaluering</strong> er et fleksibelt begrep<br />

<strong>Evaluering</strong>er beskriver <strong>og</strong> vurderer<br />

<strong>Evaluering</strong>skunnskap er handlingsrelevant<br />

<strong>Evaluering</strong>er er kvalitativt ulike<br />

<strong>Evaluering</strong>er foretas i ettertid, dvs. de er historiske<br />

<strong>Evaluering</strong>er er systematiske<br />

2.1 <strong>Evaluering</strong> – et fleksibelt begrep<br />

Furubo <strong>og</strong> Standahl hevder at «If asked for a definition of evaluation, the<br />

attempted answer might be seen as a never-ending story» (Furubo <strong>og</strong> Sandahl<br />

2002:2). Det å skulle komme med en faglig basert <strong>og</strong> korrekt definisjon av evaluering<br />

er ikke enkelt – <strong>og</strong> heller ikke ønskelig. Med økningen i evalueringsaktiviteter<br />

de seneste årene har det foregått en tilsvarende vekst i faglitteraturen<br />

om evalueringer <strong>og</strong> vi har fått et mye større mangfold av definisjoner <strong>og</strong> tilnærmingsmåter<br />

enn for 20 år siden. De varierer alt etter forskernes faglige ståsted,<br />

hva som evalueres,<strong>og</strong> hva som er fokus for de enkelte evalueringene, brukernes<br />

interesser, institusjonelle <strong>og</strong> politiske rammer for evalueringen osv. Ulike<br />

fagretninger benytter evalueringsbegrepet ut fra sine egne tradisjoner, dels i<br />

konflikt med begrepsbruken i andre nærliggende fag. Ulike land har <strong>og</strong>så ulik<br />

tradisjon med hensyn til hva som betegnes som evaluering, <strong>og</strong> avgrensingen til<br />

lignende aktiviteter.<br />

<strong>Evaluering</strong> som fagfelt <strong>og</strong> evaluerere som faggruppe har over tid søkt å<br />

utvikle standarder både for å kvalitetssikre sitt arbeid <strong>og</strong> øke sin legitimitet for<br />

eksempel ved å trekke inn relevante interessenter i evalueringsoppdrag, benytte<br />

«brukervennlige» evalueringskriterier <strong>og</strong> særlig understreke at evalueringer<br />

skal ha et nytte- <strong>og</strong> brukerperspektiv. Og bruken av vitenskapelige metoder har<br />

fått en stor plass i legitimeringen av evaluering.<br />

Alt dette har ført til at vi i dag står overfor et ganske forvirrende mangfold<br />

av definisjoner, metoder <strong>og</strong> «oppskrifter» for evalueringer. Det finnes altså<br />

ingen «gullstandard» for hva som er god evaluering. P.Dahler-Larsen <strong>og</strong><br />

H.K.Kr<strong>og</strong>strup går så langt som til å snakke om «evalueringens mærkværdige<br />

verden af paradokser, dilemmaer <strong>og</strong> flertydighet» (2001:13). Ut fra denne situasjonen<br />

har flere hevdet at’ evaluering’ må betegnes som et elastisk begrep<br />

(Furubo <strong>og</strong> Sandahlop. cit.).<br />

18 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus


Tornes.fm Page 19 Wednesday, October 10, 2012 10:29 AM<br />

Til tross for dette mangfoldet har det gradvis utviklet seg tradisjoner som<br />

har fått det vi kunne kalle «normdannende gjennomslagskraft» (Sverdrup<br />

2002). Disse tradisjonene skal vi komme tilbake til senere når vi diskuterer<br />

framveksten av noen modeller som ofte går igjen i evalueringsstudier (se <strong>og</strong>så<br />

kap. 2 <strong>og</strong> 3).<br />

Men som et utgangspunkt for vår videre diskusjon vil vi i tråd med R.<br />

Almås benytte en enkel rammedefinisjon. Den er som følger: <strong>Evaluering</strong> er<br />

«systematisk innsamling av data for å skilja <strong>og</strong> analysera verknaden av eit forsøk<br />

på å skapa endring på eit gitt område» (1990:13). Å analysere betyr å forstå, forklare<br />

<strong>og</strong> vurdere et innsamlet eller observert datamateriale på en kritisk måte.<br />

<strong>Evaluering</strong>en må da utformes videre i hvert enkelt tilfelle alt etter<br />

hvilken kontekst den gjennomføres i<br />

hvilke interesser den skal dekke<br />

hvilket fokus den skal ha<br />

Betydningen av disse forholdene skal vi diskutere nærmere i de neste avsnittene.<br />

Figur 1 illustrerer de viktigste elementene i denne definisjonen.<br />

Figur 1. EVALUERING<br />

2.2 Å evaluere er å beskrive <strong>og</strong> vurdere<br />

De to viktigste formålene med en evaluering er å beskrive <strong>og</strong> vurdere. Å kombinere<br />

disse er det mest utfordrende ved evaluering. Beskrivelsen skjer innenfor<br />

vitenskapelige rammer som angir prosedyrer for datainnsamling, analyse <strong>og</strong> det<br />

å trekke konklusjoner av dataene. Vurderingen innebærer at vi verdsetter<br />

funnene som dataanalysen er kommet fram til ut fra bestemte kriterier. Hvilke<br />

kriterier som velges, er et resultat av ulike prioriteringer <strong>og</strong> således et verdispørsmål<br />

<strong>og</strong> det kan råde stor uenighet om prioriteringene. Selve vurderingen<br />

gjøres ved at funnene blir sammenlignet enten med<br />

et ideal (mål, policy, ønsker, behov),<br />

andre tilsvarende aktiviteter/organisasjoner eller<br />

aktivitetens/organisasjonens egen utvikling over tid.<br />

Kunnskaps- <strong>og</strong> prestasjonsutvikling i organisasjoner 19


Tornes.fm Page 20 Wednesday, October 10, 2012 10:29 AM<br />

Dessuten kan sammenligningen gjøres ut fra ulike perspektiver, noe som <strong>og</strong>så<br />

kan variere med hvem som gjennomfører evalueringen (Vestman:2011). Som<br />

eksempel på hvordan kriteriene benyttes, kan vi nevne nasjonale prøver, som<br />

ble introdusert i den norske ungdomsskolen fra 2004, hvor ønsket var at så<br />

mange som mulig skulle prestere opp imot topp resultat. Fokus er på lesing,<br />

skriving, matematikk <strong>og</strong> engelsk, <strong>og</strong> den enkelte elev blir vurdert i forhold til<br />

gjennomsnittskarakteren i klassen. I tillegg måles skolen opp mot gjennomsnittet<br />

for hele landet. Om prestasjonen vurderes som god eller dårlig, sees da i<br />

forhold til hva andre i klassen eller andre skoler presterer. Kritikken mot de nasjonale<br />

prøvene har vært at de ikke vurderer eleven ut fra det siste kriteriet nevnt<br />

over, nemlig elevens egen utvikling <strong>og</strong> hvilken framgang hun har vist over tid.<br />

Dette temaet diskuteres grundigere i avsnitt 7.<br />

E. Vedung (1998) skiller <strong>og</strong>så mellom ikke-forklarende <strong>og</strong> forklarende vurderinger.<br />

<strong>Evaluering</strong> hører hjemme i den siste kategorien. Mens ikke-forklarende<br />

vurderinger vil «sette karakter» på tiltaket/virksomheten i seg selv <strong>og</strong><br />

ikke ut fra om det har ført til en planlagt endring, vil dette være et av hovedspørsmålene<br />

i forklarende vurderinger. Helt sentralt i en forklarende vurdering<br />

er det såkalte «effektspørsmålet» - dvs. om et tiltak eller et pr<strong>og</strong>ram har hatt<br />

den ønskede effekten gjerne målt ut fra en mål-middel-tankegang. Dette spørsmålet<br />

reises aldri i ikke-forklarende vurderinger. Effektspørsmålet blir diskutert<br />

nærmere i avsnittene 2.7, 4 <strong>og</strong> 6.<br />

2.3 <strong>Evaluering</strong>skunnskap er handlingsrelevant<br />

At evalueringskunnskap skal anvendes, inngår i selve definisjonen av det å evaluere.<br />

Som O. Foss uttrykker det: «<strong>Evaluering</strong>svirksomhetens generelle anliggende<br />

… er å bidra med handlingsrelevant kunnskap for å styrke forholdet<br />

mellom intenderte sosiale forandringer (politiske mål) <strong>og</strong> konkrete handlinger<br />

(reformer, pr<strong>og</strong>rammer, tiltak) som iverksettes for å virkeliggjøre dem»<br />

(2000:19).<br />

<strong>Evaluering</strong>sforskningens historie viser at den har en ganske annen tilknytning<br />

til maktkonstellasjoner <strong>og</strong> politiske interesser enn annen samfunnsforskning<br />

– selv når vi tar samfunnsfaglig oppdragsforskning <strong>og</strong> aksjonsforskning<br />

med i bildet. Politikere <strong>og</strong> byråkrater som ønsket et sikrere, «objektivt» grunnlag<br />

for sine politiske vedtak, var for eksempel sentrale pådrivere for framveksten<br />

av evalueringsforskning på 1960- <strong>og</strong> 70-tallet. Selv om troen på at det er mulig<br />

å komme fram til objektive forskningsresultater ikke lenger er like utbredt som<br />

den gangen, gir bestillernes interesser fortsatt et helt annet utgangspunkt for<br />

forskningsbasert evaluering enn det «vanlig» forskning møter.<br />

20 <strong>Evaluering</strong> – definisjon <strong>og</strong> fokus

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!