18.07.2013 Views

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

Tidsskrift for Norsk Psykologforening, 36, 523-536, 1999<br />

Skjønn, formler og klinisk praksis:<br />

<strong>Hvorfor</strong> <strong>vur<strong>de</strong>rer</strong> <strong>erfarne</strong> <strong>klinikere</strong> <strong>så</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet <strong>så</strong> mye?<br />

Geir Kirkebøen,<br />

Institutt for informatikk,<br />

<strong>Universitetet</strong> i Oslo<br />

geirki@ifi.uio.no<br />

Abstract<br />

How are the judgments ma<strong>de</strong> by professionals compared with those ma<strong>de</strong> by<br />

novices and those based on formulas? Dreyfus and Dreyfus (1986) claim that experts,<br />

as opposed to expert systems, “intuitively see” what to do, and that such<br />

holistic un<strong>de</strong>rstanding is a result of “a great <strong>de</strong>al of involved experience." Their<br />

popular “mind over machine”-view is a myth. Although “artificially intelligent”<br />

expert systems have not successfully replaced experts, simple formulas consistently<br />

outperform experts on judgment tasks. Experienced professionals know<br />

more than inexperienced, but they do not judge better. These apparent paradoxes<br />

are well supported by psychological research, especially in areas like clinical psychology.<br />

The article explains central findings in the judgment and <strong>de</strong>cision making<br />

literature and discusses implications for clinical practice.<br />

Ekspertise og eksperters vur<strong>de</strong>ringer er stu<strong>de</strong>rt i to ulike tradisjoner i psykologien, i kognisjonsvitenskapen<br />

(kognitiv psykologi) og i beslutnings- og vur<strong>de</strong>ringsforskningen. I tillegg<br />

til at eksperter er sammenlignet med noviser, er <strong>de</strong> vur<strong>de</strong>rt opp mot <strong>så</strong>vel "intelligente"<br />

dataprogrammer som helt enkle formlers summeringer av data. Sammenligningene har gitt<br />

tilsynelaten<strong>de</strong> paradoksale resultater.<br />

I <strong>de</strong>n kognisjonsvitenskapelige tradisjon har man stu<strong>de</strong>rt hva eksperter vet og hvordan<br />

<strong>de</strong> bruker sin kunnskap. Man har, ikke overrasken<strong>de</strong>, funnet at eksperter vet mer enn noviser,<br />

har kunnskapen bedre organisert og bruker andre resonneringsstrategier. I vur<strong>de</strong>ringsog<br />

beslutningsforskningen <strong>de</strong>rimot, har man ikke påvist noen systematisk forskjell i kvalitet<br />

på vur<strong>de</strong>ringene til u<strong>erfarne</strong> og <strong>erfarne</strong> profesjonsutøvere. Paradokset er alt<strong>så</strong> at eksperter<br />

vet mer enn u<strong>erfarne</strong>, men at <strong>de</strong> likevel ikke <strong>vur<strong>de</strong>rer</strong> og predikerer bedre enn <strong>de</strong>m. (I<br />

psykologisk faglitteratur menes med prediksjon en uttalelse om hva man forventer å<br />

observere i framtida, for eksempel om en persons skoleatferd eller kriminelle atferd.<br />

Vur<strong>de</strong>ring brukes bå<strong>de</strong> om prosessen som ligger til grunn for å trekke en konklusjon på<br />

grunnlag av tilgjengelig materiale og om selve konklusjonen. Or<strong>de</strong>t ekspert bruker jeg her<br />

synonymt med en profesjonsutøver med lang erfaring på et felt.)<br />

I begge tradisjoner har man og<strong>så</strong> vært opptatt av i hvilken grad formler og programmer<br />

kan erstatte eksperter. I <strong>de</strong>n kognisjonsvitenskapelige "kunstig intelligens" (heretter KI)-tra-


2<br />

disjonen har man hatt vyer om å spre sofistikert og dyr ekspertise i form av datapro-<br />

grammer. Man har brukt avanserte formalismer til å representere eksperters kunnskap, og<br />

utviklet komplekse ekspertsystemer basert på disse formalismene. Det er imidlertid få eks-<br />

empler på at man har lykkes med å erstatte eksperter med slike programmer (f.eks. Kirke-<br />

bøen, 1993). I beslutnings- og vur<strong>de</strong>ringsforskningen har man sammenlignet eksperters<br />

skjønn med til <strong>de</strong>ls helt enkle mekaniske rutiners ”vur<strong>de</strong>ringer” av data. Det tilsynelaten<strong>de</strong><br />

paradokset er at sammenligninger av eksperter med komplekse KI-programmer har<br />

åpenbart menneskers styrke i forhold til datamaskiner, mens sammenligningen av<br />

intelligente, motiverte og <strong>erfarne</strong> beslutningstagere med enkle mekaniske rutiner har avslørt<br />

dramatiske svakheter i menneskelig skjønn og vur<strong>de</strong>ringsevne.<br />

I tillegg til å belyse <strong>de</strong> tilsynelaten<strong>de</strong> paradoksale resultatene fra ekspertiseforskningen,<br />

gir jeg en kort historisk oversikt over <strong>de</strong>batten om eksperters vur<strong>de</strong>ringsevne sammenlignet<br />

med formler og maskiner. I framstillingen tar jeg utgangspunkt i kontroversen rundt mulig-<br />

heten av å utvikle KI-programmer. Jeg anty<strong>de</strong>r hvorfor man i liten grad har lykkes, men<br />

legger hovedvekten på å avlive <strong>de</strong>n generelle "mind-over-machine"-myten som KI-fiaskoen<br />

har gitt næring til. Denne myten kommer særlig til uttrykk i <strong>de</strong>t populære ekspertisesynet<br />

som Dreyfus og Dreyfus forfekter i sin bok Mind over machine (1986). Jeg viser at <strong>de</strong>tte<br />

synet er en myte sett i lys av beslutnings- og vur<strong>de</strong>ringsforskningen. Deretter presenterer og<br />

diskuterer jeg noen sentrale funn i <strong>de</strong>nne forskningstradisjonen. På <strong>de</strong>n bakgrunn viser jeg<br />

at <strong>de</strong>t er relaterte årsaker til at ”intelligente” ekspertsystemer ikke har vært noen suksess og<br />

at eksperter <strong>vur<strong>de</strong>rer</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet mye. Jeg avslutter med å drøfte hvilke konsekvenser<br />

resultatene fra beslutnings- og vur<strong>de</strong>ringsforskningen bør få for klinisk praksis, og jeg spe-<br />

kulerer og<strong>så</strong> litt over hvorfor konsekvensene ikke tas.<br />

"Kunstig intelligens"-kontroversen<br />

I 1947 ble <strong>de</strong>n første datamaskinen satt i drift. Samme år startet Alan Turing <strong>de</strong>batten om<br />

muligheten for å utvikle kunstig intelligens. Turing (1947) antok at kognisjon essensielt er<br />

symbolsk problemløsning som alltid kan betraktes som søking: "the form 'Finding a number<br />

n such that ...' (...) We should not go far wrong if we assumed that all problems are<br />

reducible to this form" (s. 22). På slutten av 40-tallet diskuterte matematikeren Turing<br />

psykologi særlig med en venn og nabo, nemlig kjemiprofessoren Michael Polanyi. Polanyi<br />

hev<strong>de</strong>t at kognisjon slett ikke lot seg mo<strong>de</strong>llere eller simulere med formelle systemer.


3<br />

Diskusjonene inspirerte henholdsvis Turings artikkel Computing machinery and intelli-<br />

gence (1950) og Polanyis bok Personal knowledge (1958).<br />

Turing lanserer i sin artikkel <strong>de</strong>n <strong>så</strong>kalte turing-testen på om en programmert maskin er<br />

intelligent. Ifølge testen er maskinen <strong>de</strong>t <strong>de</strong>rsom en person som står fritt til å stille bå<strong>de</strong> <strong>de</strong>n<br />

og et menneske spørsmål (via tastatur og skjerm) ikke er i stand til å avgjøre hvilke svar<br />

som kommer fra maskinen. Polanyi avviste testen. For han var <strong>de</strong>t en a priori kjenns-<br />

gjerning at kognisjon og intelligens er vesensforskjellig fra datamaskiner. Ingen empiri kan<br />

endre <strong>de</strong>tte, hev<strong>de</strong>t Polanyi. Den fundamentale forskjellen som Polanyi ser mellom menne-<br />

sker og maskiner kommer til uttrykk i hans begrep taus kunnskap (”tacit knowledge”). I<br />

begrepet ligger <strong>de</strong>t at kognisjon <strong>de</strong>ls er basert på kunnskap som ikke lar seg beskrive.<br />

Etter Turings død i 1954 tar Herbert Simon og Allen Newell over som <strong>de</strong> fremste tals-<br />

menn for KI-visjonen. De lar seg ikke affisere av Polanyi. Samme år sistnevnte gir ut sin<br />

bok, slår <strong>de</strong> fast: "there are now in the world machines that think, that learn and that create.<br />

Moreover, their ability to do things is going to increase rapidly until - in the visible future -<br />

the range of problems they can handle will be coextensive with the range to which the<br />

human mind has been applied" (Simon & Newell, 1958, s. 8).<br />

Filosofen Hubert Dreyfus overtar på 60-tallet Polanyis rolle som toneangiven<strong>de</strong> KI-kri-<br />

tiker. Han fokuserer, som Polanyi, på What computers can’t do (Dreyfus, 1972). Mens Pol-<br />

anyi blant annet argumenterte ut fra Gö<strong>de</strong>ls ufullstendighetsteorem, er utgangspunktet for<br />

Dreyfus' kritikk <strong>de</strong> tidlige forsøkene på å utvikle KI-programmer. Han retter en skarp<br />

kritikk mot vyene om å representere intelligens og ekspertise i dataprogrammer. Dreyfus<br />

har ikke store forhåpninger til datamaskinen: Ikke engang i sjakk vil en maskin noen gang<br />

kunne vinne over en stormester, slår han bombastisk fast i 1972.<br />

Dreyfus tok feil. IBMs datamaskin Deep Blue slo nylig ver<strong>de</strong>nsmesteren i sjakk, og <strong>de</strong>t<br />

er utviklet imponeren<strong>de</strong> programmer som overgår mennesker på mange områ<strong>de</strong>r. Likevel,<br />

lite ty<strong>de</strong>r på at datamaskiner i overskuelig framtid skal kunne besitte noe i nærheten av et<br />

menneskes generelle intelligens. Newell og Simons svulstige visjoner er ikke blitt realisert.<br />

KI-visjonærene og KI-kritikerne har hatt én ting felles. De har basert sine oppfatninger<br />

om henholdsvis datamaskinens muligheter og menneskets fortreffeligheter, på spekula-<br />

sjoner. KI-visjonen baserer seg på en ren spekulasjon, nemlig antagelsen om at "a physical<br />

symbol system has the necessary and sufficient means for general intelligent action"<br />

(Newell & Simon, 1981, s. 41). Denne hypotesen er igjen basert på en antagelse om at<br />

kognisjon er samme type prosess som informasjonsprosessering i datamaskiner. KI-


4<br />

kritikerne har med go<strong>de</strong> argumenter avvist <strong>de</strong>nne antagelsen, men <strong>de</strong> har fulgt opp med en<br />

like spekulativ antagelse om menneskelig intuisjon og skjønn som noe høyt hevet over<br />

maskiner.<br />

Dreyfus og Dreyfus' myter<br />

Dreyfus (1985) sammenfatter sin forståelse av hva som skiller eksperter fra nybegynnere<br />

slik: ”a beginner makes inferences using rules and facts just like a heuristically programmed<br />

computer, but that with talent and a great <strong>de</strong>al of involved experience the beginner <strong>de</strong>velops<br />

into an expert who intuitively sees what to do without applying rules” (s. 9). I boka Mind<br />

over machine (1986) forsøker Dreyfus og Dreyfus å forsvare <strong>de</strong> to relaterte mytene som<br />

kommer til uttrykk i <strong>de</strong>tte sitatet. Den ene myten er påstan<strong>de</strong>n om at <strong>erfarne</strong> profesjons-<br />

utøvere intuitivt ser helheter og hva som bør gjøres i komplekse situasjoner. Vi kan kalle<br />

<strong>de</strong>tte myten om <strong>de</strong>t go<strong>de</strong> skjønn. Den andre kan vi kalle myten om erfaringslæring, nemlig<br />

troen på at man generelt kan erverve seg et godt skjønn gjennom erfaring.<br />

Dreyfus og Dreyfus peker på at KI-visjonene er basert på spekulasjoner: "the grandiose<br />

claims and predictions ma<strong>de</strong> by Simon and associates were not based on sound empirical<br />

research" (s. 8). De har helt rett. Men hva bygger <strong>de</strong> sin alternative forståelse på? I<br />

hovedsak baserer <strong>de</strong> seg på "the seemingly plausible arguments of Merleau-Ponty,<br />

Hei<strong>de</strong>gger, and Wittgenstein, which [we] had come to accept" (s. 7). De bortforklarer<br />

empirisk forskning som stri<strong>de</strong>r mot <strong>de</strong>res eget syn: "To forsake rationality in favor of<br />

unrationalized know-how is to sail on uncharted seas, and there will always be those (...)<br />

who challenge the wisdom. A number of aca<strong>de</strong>mic psychologists have gone so far as to<br />

create experiments purporting to show (...) consistent flaws in human <strong>de</strong>cision-making" (s.<br />

41).<br />

I <strong>de</strong>n grad Dreyfus og Dreyfus baserer seg på empiri, vektlegger <strong>de</strong> studier av senso-<br />

motoriske ferdigheter som sykling, svømming og flyvning. Av kognitive ferdigheter er <strong>de</strong>t<br />

gjerne studier av sjakkspillere <strong>de</strong> viser til. De appellerer <strong>de</strong>ssuten til lesernes ”common<br />

sense”: "You need not merely accept our word but should check to see if the process by<br />

which you yourself acquired various skills reveals a similar pattern" (s. 20).<br />

Det er ikke tvil om at Dreyfus og Dreyfus' ekspertisesyn er utbredt. Mange tiårs psyko-<br />

logisk forskning har imidlertid vist at <strong>de</strong>res tro på intuisjonens kraft og vår evne til å lære av<br />

erfaring er "common non-sense".


Dreyfus og Dreyfus' feilslutninger<br />

5<br />

På vesentlige områ<strong>de</strong>r, som språk og persepsjon, er menneskelig kognisjon overlegen data-<br />

maskiner. Vi har for eksempel en ekstrem evne til å ”lese” ansikter og <strong>vur<strong>de</strong>rer</strong> raskt humø-<br />

ret en person er i ut fra ansiktsuttrykket. Selv om vi er svært dyktige til <strong>de</strong>tte, kan vi ofte<br />

bare vagt beskrive <strong>de</strong> trekkene vi kjenner igjen. Polanyi (1958) vektlegger nettopp slike<br />

persepsjonseksempler i sin argumentasjon for <strong>de</strong>n tause kunnskapens betydning. Persepsjon<br />

har åpenbart en gestaltkarakter: Ser vi <strong>de</strong>ler av en sirkel, "ser" vi hele sirkelen. Dreyfus og<br />

Dreyfus (1986) hev<strong>de</strong>r at og<strong>så</strong> eksperters vur<strong>de</strong>ringer har en slik gestaltkarakter, dvs. at<br />

eksperter i sin alminnelighet er i stand til å se helheter i mønstre av data. De generaliserer<br />

alt<strong>så</strong> fra persepsjon til vur<strong>de</strong>ringer generelt. Det er en feilslutning.<br />

Millioner av års evolusjon ligger bak våre språklige og perseptuelle ferdigheter, ferdig-<br />

heter som er forutsetninger for intelligent atferd. Det er <strong>de</strong>rfor ikke overrasken<strong>de</strong> at <strong>de</strong>t har<br />

vist seg vanskelig å utvikle intelligente datamaskiner. Det som imidlertid skiller mange pro-<br />

blemer som eksperter i dag stilles overfor fra <strong>de</strong>t å lese ansikter og forstå naturlig språk, er<br />

at vi ikke har noen evolusjonsmessige preferanser for å løse <strong>de</strong>m. Det gjel<strong>de</strong>r for eksempel<br />

problemet <strong>klinikere</strong> har når <strong>de</strong> på grunnlag av ulike data skal vur<strong>de</strong>re en pasient.<br />

Dreyfus og Dreyfus’ mo<strong>de</strong>ll for utviklingen fra nybegynner til ekspert er basert på stu-<br />

dier av "the skill-acquisition process of airline pilots, chess-players, automobile drivers and<br />

adult learners of a second language" (s. 20). Når <strong>de</strong>t gjel<strong>de</strong>r disse områ<strong>de</strong>ne, er <strong>de</strong>t liten<br />

grunn til å betvile at <strong>de</strong> "observed a common pattern in all cases, which [they] call the five<br />

stages of skill acquisition" (s. 20). Feilen <strong>de</strong> gjør er igjen at <strong>de</strong> generaliserer til ervervelse av<br />

kognitive ferdigheter i sin alminnelighet.<br />

Myten om <strong>de</strong>t go<strong>de</strong> skjønn er avlivet<br />

Den første kjente psykologiske studien av kvaliteten på eksperters vur<strong>de</strong>ringer ble gjennom-<br />

ført av Hughes allere<strong>de</strong> i 1917. Han stu<strong>de</strong>rte vur<strong>de</strong>ringene til anerkjente eksperter på<br />

<strong>så</strong>korn. Resultatet var nedslåen<strong>de</strong>: ekspertene tok ofte feil, variasjonen i <strong>de</strong>res vur<strong>de</strong>ringer<br />

var stor og <strong>de</strong> baserte sine konklusjoner på langt færre indikasjoner enn hva <strong>de</strong> selv trod<strong>de</strong>.<br />

Senere studier har, som vi skal se, ikke gitt grunn til å tvile på Hughes' funn.<br />

De første systematiske sammenligninger av eksperters vur<strong>de</strong>ringer mot mekaniske ruti-<br />

ner ble gjennomført av Sarbin tidlig på 1940-tallet. Han sammenlignet kvaliteten på klinik-<br />

eres vur<strong>de</strong>ringer med enkle regresjonsligninger, og konklu<strong>de</strong>rte med at <strong>de</strong>t vil gi "less error


6<br />

if clinicians <strong>de</strong>liberately adopted the actuarial method for all their activities" (Sarbin, 1986,<br />

363). Heller ikke Sarbins konklusjon er svekket av senere forskning.<br />

I 1954 gir Meehl ut boka Clinical versus statistical predictions, <strong>de</strong>r han drøfter hva som<br />

er best av skjønnsmessige og statistiske meto<strong>de</strong>r. (Statistisk prediksjon innebærer en statis-<br />

tisk vekting og kombinering av data, mens klinisk prediksjon betyr at data kombineres<br />

skjønnsmessig.) Meehl argumenterer for at spørsmålet må avgjøres empirisk, og setter fram<br />

metodologiske regler for hvordan <strong>de</strong>t kan gjøres. På grunnlag av en analyse av 20 empiriske<br />

studier slutter han at vur<strong>de</strong>ringer (som ’Har pasienten hjerneska<strong>de</strong>?’, ’Li<strong>de</strong>r pasienten av<br />

schizofreni?’ osv.) foretatt ved hjelp av statistiske prosedyrer alltid er minst like nøyaktige,<br />

og oftest mer nøyaktige, enn skjønnsmessige vur<strong>de</strong>ringer.<br />

<strong>de</strong>r:<br />

Innvendingene mot Meehls konklusjoner var av tre typer. Det ble hev<strong>de</strong>t at <strong>de</strong> ikke hol-<br />

1) for reelle vur<strong>de</strong>ringer som <strong>klinikere</strong> faktisk foretar i praksis (f.eks. McArthur,<br />

1956)<br />

2) når <strong>klinikere</strong> og<strong>så</strong> har tilgang til <strong>de</strong>n informasjon som møte med pasientene gir<br />

(f.eks. Holt, 1958)<br />

3) for vur<strong>de</strong>ringer som krever en konfigural (helhetlig) analyse av data. (Meehl<br />

selv er i 1954 åpen for at slike vur<strong>de</strong>ringer muligens kan gå i favør av klinisk<br />

prediksjon).<br />

Holdbarheten av disse tre innvendingene er testet ut i en rekke studier. De hol<strong>de</strong>r ikke. La<br />

oss se på noen klassiske og representative studier som indikerer <strong>de</strong>t.<br />

MMPI (Minnesota multiphasic personality inventory) er <strong>de</strong>n mest brukte personlig-<br />

hetstesten. Testresultatene summeres i en profil bygd opp av elleve tallverdier som hver<br />

representerer testpersonens nivå på én skala eller personlighetsdimensjon (introvert-ekstro-<br />

vert; maskulinitet-feminitet; psykopati osv.) Det var lenge allment akseptert at go<strong>de</strong> tolk-<br />

ninger av MMPI-profiler krever konfigurale vur<strong>de</strong>ringer av profilen, dvs. at man ser <strong>de</strong><br />

elleve skårene i forhold til hverandre (jfr. innvending 3). Vur<strong>de</strong>ring av MMPI-profiler er for<br />

øvrig en type vur<strong>de</strong>ring som <strong>klinikere</strong> hyppig møter i praksis (jfr. innvending 1).<br />

Goldberg (1965) stu<strong>de</strong>rte <strong>erfarne</strong> <strong>klinikere</strong>s evne til å vur<strong>de</strong>re om en pasient er nevro-<br />

tisk eller psykotisk på grunnlag av MMPI-profiler. Han sammenlignet blant annet kliniker-<br />

nes vur<strong>de</strong>ringer med en enkel regel som legger sammen skårene på tre utvalgte skalaer og<br />

trekker fra skårene på to andre. Er resultatet un<strong>de</strong>r 45 er pasienten nevrotisk, ellers psyko-<br />

tisk. 861 MMPI-profiler (til pasienter med bekreftet diagnose) skulle vur<strong>de</strong>res. Goldbergs<br />

regel utkonkurrerte med god margin alle <strong>de</strong> <strong>erfarne</strong> klinikerne.


7<br />

Sawyers (1966) omfatten<strong>de</strong> oversiktsstudie viser at klinisk informasjon ofte ikke bidrar<br />

til bedre vur<strong>de</strong>ringer (jfr. innvending 2). Sawyer fant blant annet at <strong>de</strong>rsom <strong>klinikere</strong> gis<br />

mulighet til å basere sine vur<strong>de</strong>ringer på intervjuer med pasientene i tillegg til testdata, <strong>så</strong><br />

faller systematisk kvaliteten på vur<strong>de</strong>ringene i forhold til om <strong>de</strong> utelukken<strong>de</strong> tar hensyn til<br />

testdata. Generelt har <strong>de</strong>t vist seg at <strong>de</strong>rsom en beslutningstaker får tilgang til informasjon<br />

ut over <strong>de</strong> to-tre mest prediktive data, <strong>så</strong> faller gjerne kvaliteten på vur<strong>de</strong>ringene (f.eks.<br />

Oskamp, 1965). Beslutningstakere drukner raskt i informasjon.<br />

Dawes (1971) påviser at <strong>enda</strong> enklere formler enn Goldbergs regel kan utkonkurrere<br />

<strong>erfarne</strong> beslutningstakere. Han stu<strong>de</strong>rte inntakskomitéer ved amerikanske college. Disse av-<br />

gjør hvilke stu<strong>de</strong>nter som skal tas inn fra high school, dvs. <strong>de</strong> skal predikere framtidige<br />

skoleprestasjoner. Dawes sammenlignet komitéenes vur<strong>de</strong>ringer med helt trivielle lineære<br />

ligninger. Han finner at selv ligninger som bare trenger informasjon om én variabel (elevens<br />

standpunktkaraktersnitt) predikerer framtidige prestasjoner bedre enn en komité beståen<strong>de</strong><br />

av <strong>erfarne</strong> skolefolk. Komitéen had<strong>de</strong> i tillegg til <strong>de</strong>tte karaktersnittet og<strong>så</strong> tilgang til elev-<br />

enes eksamenskarakterer, kjennskap til og et anbefalingsbrev fra <strong>de</strong>n skolen <strong>de</strong> kom fra,<br />

samt et lengre intervju med elevene.<br />

Stikk i strid med Dreyfus og Dreyfus' påstand om at eksperter intuitivt ser hva <strong>de</strong> bør<br />

gjøre, er <strong>de</strong>t nå grundig dokumentert at intelligente og motiverte beslutningstakeres skjønn<br />

systematisk overgås av usofistikerte prosedyrer (f.eks. Dawes, Faust & Meehl, 1989).<br />

Profesjonsutøveres vur<strong>de</strong>ringer bedres (ofte) ikke med erfaring<br />

Dreyfus og Dreyfus påpeker at komitémedlemmene i Dawes’ (1971) studie ikke er<br />

eksperter på heltid: "It would be interesting to compare the predictive ability of mo<strong>de</strong>ls<br />

against those professionals responsible on a full-time basis for the admission <strong>de</strong>cisions at<br />

elite un<strong>de</strong>rgraduate colleges. Our guess is that full-timers would fare better" (s. 45). <strong>Hvorfor</strong><br />

<strong>de</strong> gjetter er ikke lett å forstå. Det er nemlig gjort en rekke studier av betydningen grad av<br />

erfaring har for vur<strong>de</strong>ringers kvalitet. Ett eksempel: I en stor un<strong>de</strong>rsøkelse basert på et<br />

representativt utvalg på 600 av USAs drøyt 3400 nevropsykologer, konklu<strong>de</strong>rte man slik:<br />

"Except for a possible ten<strong>de</strong>ncy among more experienced practitioners to overdiagnose<br />

abnormality, no systematic relations were obtained between training, experience, and<br />

accuracy across a series of neuropsychologic judgments" (Faust et al., 1988).<br />

Dette er ikke en spesielt valgt studie og heller ikke et oppsiktsvekken<strong>de</strong> funn. Allere<strong>de</strong> i<br />

1973 sammenfattet Wiggins resultatene fra en rekke studier av <strong>klinikere</strong> med ulik grad av


8<br />

erfaring slik: "Surprisingly, there is little empirical evi<strong>de</strong>nce that justifies the granting of<br />

'expert' status to the clinician on the basis of his [or her] training, experience, or infor-<br />

mation-processing ability" (s. 131). I en bredt anlagt meta-studie nylig bekrefter Garb<br />

(1989) i hovedsak Wiggins konklusjoner.<br />

Hvordan kan <strong>de</strong>t ha seg at <strong>klinikere</strong>s vur<strong>de</strong>ringer ikke blir bedre med erfaring? Vi lærer<br />

jo <strong>så</strong> mye annet av erfaring, for eksempel å kjøre bil. Vi følger instruksjoner rigid og<br />

klønete i starten. Med øvelse kjører vi bedre og bedre, samtidig som vi tenker mindre og<br />

mindre på hva vi gjør. Vi opparbei<strong>de</strong>r en “taus kunnskap” som gjør at vi “intuitivt ser” hva<br />

vi bør gjøre selv i komplekse situasjoner. <strong>Hvorfor</strong> skjer ikke <strong>de</strong>t samme i klinisk praksis?<br />

Det er mange ulike grunner til at en klinisk psykologs erfaring med tidligere pasienter<br />

ikke gjør han eller hun bedre til å vur<strong>de</strong>re (og behandle) nye pasienter (f.eks. Brehmer,<br />

1980; Dawes, 1994). Jeg skal kort anty<strong>de</strong> et par av <strong>de</strong>m. I klinisk praksis vil en vur<strong>de</strong>ring av<br />

et individ typisk innebære å slutte fra en konfigurasjon av data eller tegn (symptomer, test-<br />

verdier, bakgrunnsopplysninger, familiesituasjon osv.) til en (årsaks-, behandlings- eller<br />

forståelses)kategori (type hjerneska<strong>de</strong>, schizofreni, er misbrukt, trenger behandling X osv.)<br />

Faktorene som bestemmer indivi<strong>de</strong>rs tanker, følelser og handlinger er svært komplekse og<br />

<strong>dårlig</strong> forståtte. Det bidrar til at sammenhengene mellom tegn og kategorier nesten alltid er<br />

probabilistiske i klinisk praksis. Noen ganger skyl<strong>de</strong>s en bestemt konfigurasjon av tegn at et<br />

individ er misbrukt, andre ganger kan årsaken til <strong>de</strong> samme tegnene være noe helt annet.<br />

Bedre kliniske vur<strong>de</strong>ringer forutsetter alt<strong>så</strong> en bedre forståelse av relevante<br />

probabilistiske sammenhenger mellom tegn og kategorier. Det er nærliggen<strong>de</strong> å tro at<br />

<strong>klinikere</strong> gjennom erfaring får større innsikt i slike sammenhenger. Det er imidlertid ikke<br />

tilfelle (f.eks. Brehmer, 1980). En vesentlig grunn til <strong>de</strong>t er at <strong>klinikere</strong>, som alle oss<br />

andre, har en sterk tilbøyelighet til å gjøre ver<strong>de</strong>n forståelig ved å se <strong>de</strong>n gjennom kausale<br />

(<strong>de</strong>terministiske) skjemaer (X bestemmer Y, nevrosene skyl<strong>de</strong>s barndomstraumer osv.).<br />

Laboratoriestudier <strong>de</strong>r enkle probabilistiske sammenhenger mellom variabler skal læres<br />

fra eksempler, viser at <strong>de</strong>t heller ikke hjelper å gjøre forsøkspersonene oppmerksomme på<br />

at sammenhengene er probabilistiske. De lærer <strong>de</strong>m likevel ikke. Grunnen er, kort sagt, at<br />

få kjenner og er i stand til å bruke <strong>de</strong> strategier (sannsynlighetsregning, Bayes’ formel<br />

mm.) som kreves for å fungere effektivt i probabilistiske situasjoner. Vi forenkler i ste<strong>de</strong>t<br />

kompleksiteten i vår erfaringsver<strong>de</strong>n ved å betrakte <strong>de</strong>n <strong>de</strong>terministisk, tenke<br />

representativt osv. Ne<strong>de</strong>nfor forklarer jeg hvorfor slike strategier ikke bidrar til bedre<br />

vur<strong>de</strong>ringer.


9<br />

Den type enkle probabilistiske sammenhenger som forsøkspersoner ikke er i stand til<br />

å lære i laboratoriet, er mellom vel<strong>de</strong>finerte variabler (bestemt av form, farge osv.) Vari-<br />

ablene (tegn og kategorier) er sjel<strong>de</strong>n vel<strong>de</strong>finerte i klinisk praksis. Det er ofte uklart<br />

hvilke tegn som er relevante for å foreta en bestemt vur<strong>de</strong>ring, og kategoriene er i seg selv<br />

ofte <strong>dårlig</strong> forståtte og kontroversielle. Dette gjør læring mye vanskeligere i klinisk prak-<br />

sis enn i laboratoriet. En klinisk psykolog er ikke sjel<strong>de</strong>n i tilsvaren<strong>de</strong> situasjon som en<br />

lege som forsøker å diagnostisere kreft på basis av tidligere erfaring med kreftpasienter og<br />

pasienter uten kreft, men uten å vite hva kreft er. Da kan man heller ikke ha en klar forstå-<br />

else av hva som er en gal vur<strong>de</strong>ring, som er en av <strong>de</strong> to betingelsene som generelt har vist<br />

seg å være avgjøren<strong>de</strong> for erfaringslæring. Den andre helt essensielle betingelsen for lær-<br />

ing er at man får umid<strong>de</strong>lbar, utvetydig og konsistent tilbakemelding når man tar feil.<br />

Disse betingelsene er tilste<strong>de</strong> når vi lærer å kjøre bil. De er av en rekke ulike grunner sjel-<br />

<strong>de</strong>n til ste<strong>de</strong> når <strong>klinikere</strong> <strong>vur<strong>de</strong>rer</strong> enkeltindivi<strong>de</strong>r (f.eks. Dawes, 1994). Og<strong>så</strong> av <strong>de</strong>n<br />

grunn er <strong>de</strong>t ikke slik at en kliniker gjennom ”a great <strong>de</strong>al of involved experience (...)<br />

<strong>de</strong>velops into an expert who intuitively sees what to do” (Dreyfus, 1985, s. 9).<br />

Heuristikk, intelligens og ekspertise<br />

Fra Platon til Freud ble <strong>dårlig</strong> skjønn forklart med at høyere intellektuelle prosesser ble for-<br />

styrret av lavere pasjoner og drifter. Først med informasjonsteknologien ble <strong>de</strong>t mulig å for-<br />

klare kognitiv feilfungering uten å måtte henvise til slike ikke-kognitive faktorer. Shannons<br />

(1948) informasjonsteori, som gir en presis kvantitativ <strong>de</strong>finisjon av informasjon, var <strong>de</strong>t<br />

viktigste enkeltbidraget. Teorien gjor<strong>de</strong> <strong>de</strong>t nemlig mulig for psykologer å betrakte tenkning<br />

kvantitativt. Millers (1956) klassiske studie av begrensningen ved vår ”umid<strong>de</strong>lbare huk-<br />

ommelse” ville for eksempel ”not have been done without the apperance of information<br />

theory" (s. 81). På slutten av 50-tallet inspirerer <strong>de</strong>n nye teknologien psykologer til å be-<br />

trakte mennesket i analogi til datamaskinen, som en informasjonsprosessor (f.eks. Newell,<br />

Shaw & Simon, 1958). Et hovedprosjekt i kognitiv psykologi har si<strong>de</strong>n vært å bestemme <strong>de</strong><br />

kvantitative begrensningene ved <strong>de</strong>nne (postulerte) informasjonsprosessoren, vår <strong>så</strong>kalte<br />

kognitive arkitektur.<br />

Newell og Simon betraktet, som Turing (1947), kognisjon og problemløsning som<br />

søking i problemrom (kognitive symbolske representasjoner av problemomgivelsen). De<br />

konstaterte at optimal søking i slike rom overskri<strong>de</strong>r vår kognitive arkitekturs kapasitet.<br />

Simons (1955) viktige begrep om begrenset rasjonalitet (”boun<strong>de</strong>d rationality") er motivert


10<br />

av <strong>de</strong>nne begrensningen. Idéen bak begrepet er at vår rasjonalitet er begrenset nettopp fordi<br />

<strong>de</strong>n søking eller informasjonsbehandling som kreves <strong>de</strong>rsom vi skal resonnere i overens-<br />

stemmelse med normative kriterier, overskri<strong>de</strong>r vår kognitive kapasitet.<br />

Newell og Simon var ikke primært opptatt av begrensningene ved vår kognitive arki-<br />

tektur, men hvordan vi overskri<strong>de</strong>r <strong>de</strong>m. De stu<strong>de</strong>rte blant annet sjakk, som krever massiv<br />

søking. Hvordan kan da en stormester uten kapasitet til å foreta mer enn en brøk<strong>de</strong>l av søk-<br />

ingen, likevel spille briljant sjakk? Heuristikk kalte <strong>de</strong> <strong>de</strong>n type kunnskap som reduserer<br />

søking og muliggjør go<strong>de</strong>, men ikke alltid optimale, løsninger på komplekse problemer.<br />

Datamaskiner har heller ikke kapasitet til å foreta all <strong>de</strong>n søking som kreves for å løse<br />

virkelige problemer. Antagelsen bak forsøket på å ”klone” eksperter i form av <strong>så</strong>kalte eks-<br />

pertsystemer, er at <strong>de</strong>t er mulig å isolere og representere eksperters heuristiske kunnskap i<br />

dataprogrammer. Dette KI-prosjektet er forøvrig motivert av <strong>de</strong>t samme, i en forstand, opp-<br />

høy<strong>de</strong> syn på ekspertise som <strong>de</strong>t KI-kritikerne Dreyfus og Dreyfus (1986) forfekter. Begge<br />

parter tar nemlig for gitt at eksperters kunnskap gir go<strong>de</strong> vur<strong>de</strong>ringer.<br />

I kognisjonsvitenskapen har alt<strong>så</strong> hovedspørsmålet vært hvordan vi (og datamaskiner)<br />

er i stand til å løse komplekse problemer. Heuristisk kunnskap trod<strong>de</strong> man var svaret: "heu-<br />

ristics that permit huge spaces to be searched very selectively lies at the heart of intelli-<br />

gence, whether human or artificial" (Simon, 1978, s. 12). I beslutnings- og vur<strong>de</strong>ringsforsk-<br />

ningen har heuristikk slett ikke blitt betraktet som forutsetningen for intelligens, men<br />

tvertimot blitt vektlagt som selve årsaken til irrasjonalitet.<br />

Heuristikk, irrasjonalitet og beslutningstaking<br />

Psykologene Daniel Kahneman og Amos Tversky er pionerene i <strong>de</strong>n <strong>så</strong>kalte "heuristics and<br />

biases"-tradisjonen. Tidlig på 70-tallet gjennomførte <strong>de</strong> studier som ty<strong>de</strong>t på at bruk av reg-<br />

ler eller heuristikker som avviker fra statistiske prinsipper, forklarer systematiske skjevheter<br />

(”biases”) i skjønn og beslutningstaking (f.eks. Tversky & Kahneman, 1974). Da disse<br />

heuristikkene er omtalt i alle innføringsbøker i psykologi, skisserer jeg bare kort hva to av<br />

<strong>de</strong>m innebærer: tilgjengelighet (”availability”) og representativitet (”representativeness”).<br />

Med tilgjengelighetsheuristikk menes ten<strong>de</strong>nsen til at vur<strong>de</strong>ringer av hvor hyppig noe<br />

(X) forekommer (i forhold til noe annet) påvirkes av hvor lett tilgjengelig X er, dvs. hvor<br />

lett X er å legge merke til, huske eller forestille seg. Ett hverdagslig eksempel: Det er en<br />

utbredt myte at par som tror <strong>de</strong> ikke kan få barn, lettere får egne barn etter å ha adoptert. En<br />

vanlig forklaring er at <strong>de</strong>tte skyl<strong>de</strong>s at paret etter adopsjon stresser mindre. Klinisk forsk-


11<br />

ning har imidlertid vist at fruktbarheten slett ikke forandrer seg. <strong>Hvorfor</strong> er <strong>de</strong>t likevel <strong>så</strong><br />

mange som tror <strong>de</strong>t? Bruk av tilgjengelighetsheuristikk kan forklare <strong>de</strong>tte: Vi legger veldig<br />

godt merke til at "ufruktbare" par får egne barn etter at <strong>de</strong> har adoptert. Informasjonen som<br />

viser at par som ikke adopterer får barn like hyppig etter å ha forsøkt like lenge, er <strong>de</strong>rimot<br />

sjel<strong>de</strong>n tilgjengelig for oss (se f.eks. Gilovich, 1991).<br />

Tilgjengelighetsheuristikk fungerer bra <strong>så</strong> lenge tilgjengelighet og hyppighet samvar-<br />

ierer. Trolig fungerte slik heuristikk bedre i en før-mo<strong>de</strong>rne ver<strong>de</strong>n. Da var stort sett <strong>de</strong>t<br />

som var viktig for å hol<strong>de</strong> seg i live, lett bå<strong>de</strong> å legge merke til og huske. I vår mo<strong>de</strong>rne<br />

ver<strong>de</strong>n <strong>de</strong>rimot, er statistisk informasjon ofte langt mer pålitelig enn slåen<strong>de</strong>, lett<br />

tilgjengelige egne erfaringer. Tilgjenglighetsheuristikk gjør at vi - kliniske eksperter<br />

inklu<strong>de</strong>rt – likevel har en ten<strong>de</strong>ns til å legge overdreven vekt på <strong>de</strong>t siste. I ste<strong>de</strong>t for å<br />

resonnere statistisk, er vi tilbøyelige til å tenke ”dramatisk”.<br />

Bruk av representativitetsheuristikk innebærer å anven<strong>de</strong> enkle likhetskriterier på<br />

kategoriseringsproblemer, dvs. å redusere vur<strong>de</strong>ringer til gjenkjenning. I et kjent eksperi-<br />

ment spør Kahneman og Tversky: "En professor liker å skrive poesi, er ganske sky og er<br />

liten av vekst. Hva tror du er hans felt? a) Kinesiske studier; b) Psykologi". De fleste svarer<br />

a). Grunnen er at beskrivelsen er mer representativ for hvordan man forestiller seg en sino-<br />

log enn hvordan man forestiller seg en psykolog. Svært få tar hensyn til at <strong>de</strong>t er mange<br />

flere professorer i psykologi enn i sinologi, dvs. man ser bort fra baseratene.<br />

Representativ tenkning bryter med en grunnleggen<strong>de</strong> formel i sannsynlighetsteori:<br />

P(D|S) = P(S|D) * PD/PS (P, D og S er her forkortelser for <strong>de</strong> engelske or<strong>de</strong>ne for hen-<br />

holdsvis sannsynlighet, sykdomskategori og symptom). Denne formelen, som er en måte å<br />

uttrykke Bayes' formel på, kan betraktes som en i<strong>de</strong>alisert mo<strong>de</strong>ll av diagnostisk beslut-<br />

ningstaking. Relatert til klinisk diagnostikk kan formelen forstås slik: Vi kan tenke oss at vi<br />

står overfor en pasient som har et symptom S. Vi ønsker å bestemme sannsynligheten for at<br />

pasienten da og<strong>så</strong> har sykdommen D. Denne sannsynligheten er <strong>de</strong>t som i formelen<br />

betegnes P(D|S). For å kunne beregne P(D|S), må vi vite hvor ofte symptomet S er til ste<strong>de</strong><br />

hos <strong>de</strong> som har <strong>de</strong>n bestemte sykdommen D, alt<strong>så</strong> sannsynligheten for S gitt D eller P(S|D).<br />

Dette må multipliseres med sannsynligheten for at en tilfeldig person i <strong>de</strong>n pasientgruppen<br />

(populasjonen) <strong>klinikere</strong>n behandler har <strong>de</strong>nne sykdommen D, alt<strong>så</strong> med PD. Vi<strong>de</strong>re må <strong>de</strong>t<br />

<strong>de</strong>les med hvor vanlig <strong>de</strong>t er at symptomet S, isolert sett, forekommer i populasjonen, dvs.<br />

med sannsynligheten for symptomet S: PS. Generelt innebærer representativ tenkning at<br />

man betrakter P(D|S) = P(S|D), alt<strong>så</strong> at man ser bort fra baseratene PD og PS.


12<br />

Vi kan si at representativ tenkning skaper symmetrier i vår forståelse som ikke eksi-<br />

sterer i virkeligheten. Det forklarer hvorfor man ofte ser - og<strong>så</strong> blant <strong>erfarne</strong> <strong>klinikere</strong> - en<br />

sterk ten<strong>de</strong>ns til å si<strong>de</strong>stille for eksempel P(Traumatiske barndomsopplevelser|Psykiske pro-<br />

blemer) med P(Psykiske problemer|Traumatiske barndomsopplevelser). Forskning har klart<br />

vist at <strong>de</strong>t ikke er en slik symmetri i virkeligheten. Det er mange som har store traumatiske<br />

opplevelser i barndommen som ikke får alvorlige psykiske problemer senere.<br />

Dette var en liten smakebit. Poenget er at <strong>de</strong>t i stor grad er klarlagt hvilke ulike typer<br />

heuristikker eller strategier som automatisk påvirker bå<strong>de</strong> leg og lærds vur<strong>de</strong>ringer. Det er<br />

blitt heftig diskutert om slike systematiske feilvur<strong>de</strong>ringer som er påvist i "heuristics and<br />

biases"-tradisjonen, viser at mennesket er fundamentalt irrasjonelt (Gigerenzer, 1996, og<br />

Kahneman & Tversky, 1996, er <strong>de</strong> foreløpig siste innlegg i <strong>de</strong>batten). Den diskusjonen er<br />

ikke spesielt interessant her. Det vesentlige må være å begrense og forebygge slike feilvurd-<br />

eringer, som kan ha store uheldige konsekvenser for eksempel i klinisk praksis.<br />

Kliniske vur<strong>de</strong>ringer er komplekse<br />

Representativ tenkning bidrar til at <strong>klinikere</strong> er svært <strong>dårlig</strong>e til å foreta selv enkle vur<strong>de</strong>r-<br />

inger av datas prediktive verdi (eller validitet). I en mye referert studie, ber Eddy (1982)<br />

<strong>erfarne</strong> medisinere anslå sannsynligheten for at en kvinne på førti år som avlegger positiv<br />

mammografitest (i en kartleggingsun<strong>de</strong>rsøkelse) har brystkreft, når man vet at:<br />

- sannsynligheten for brystkreft er 1% i <strong>de</strong>n al<strong>de</strong>rsgruppen (baseraten)<br />

- om en kvinne har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi 80%.<br />

- om kvinnen ikke har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi<br />

10%<br />

Bayes' formel gir at <strong>de</strong>t er 7.5% sjanse for brystkreft ved positiv mammografi. Medisinerne<br />

i Eddys studie anslår sannsynligheten til 70 - 80%! De forveksler hvor typisk eller repre-<br />

sentativt <strong>de</strong>t er at en kvinne som har brystkreft og<strong>så</strong> har positiv mammografi (testens sensi-<br />

tivitet) med <strong>de</strong>n prediktive (diskrimineren<strong>de</strong>) verdi en positiv mammografitest har.<br />

Eddys studie viser hvor vanskelig <strong>de</strong>t er for <strong>klinikere</strong> å vur<strong>de</strong>re hva et enkelt datum<br />

sier om et individ. Klinikere må i praksis vur<strong>de</strong>re hva en meng<strong>de</strong> av data samlet sier. Dette<br />

kan, optimalt sett, bare gjøres på grunnlag av svært kompliserte beregninger. Alle vil rea-<br />

gere <strong>de</strong>rsom kassamannen på RIMI tar handlekurven på øyemål. Han gjør ikke <strong>de</strong>t. Han<br />

summerer. Klinikere <strong>de</strong>rimot, foretar langt mer komplekse vur<strong>de</strong>ringer (beregninger) - som<br />

kan gjel<strong>de</strong> liv og død - på skjønn. Dette gjel<strong>de</strong>r <strong>så</strong> godt som alle vur<strong>de</strong>ringer, alltid.


13<br />

Paul Meehl (1957) stilte spørsmålet: "When shall we use our heads instead of the for-<br />

mula?", og konklu<strong>de</strong>rte med at <strong>de</strong>rsom vi har tilgang til en formel, <strong>så</strong> bør vi bruke ho<strong>de</strong>t<br />

veldig, veldig sjel<strong>de</strong>n. Konklusjonen ble innlemmet i APAs (<strong>de</strong>n amerikanske psykologfor-<br />

enings) etiske retningslinjer allere<strong>de</strong> i 1962:<br />

”Principle 1.5: Except in unusual circumstances, diagnosis and prediction should<br />

not stray from actuarial conclusions when such analysis is available and applicable<br />

to the judgment(s) of interest. It is inappropriate to substitute less valid<br />

means of appraisal or data interpretation for more valid means.<br />

Comment: Principle 1.5 does not eliminate the need for clinical judgment, knowledge,<br />

or skill. However, when viable actuarial methods exist, the attempt to<br />

selectively countervail actuarial conclusions, except in very unusual<br />

circumstances, represent an abuse of reason” (Sitatet er hentet fra Faust, 1991, s.<br />

203).<br />

Det er sterke ord. Men lite har skjedd i kliniske miljøer. Selv om evi<strong>de</strong>nsen i favør av<br />

formler framfor klinisk skjønn bare har styrket seg. Meehl <strong>så</strong> <strong>de</strong>t slik i 1986: ”When you are<br />

pushing 90 investigations, predicting everything from the outcome of football games to the<br />

diagnosis of liver disease and when you can hardly come up with half dozen studies<br />

showing even a weak ten<strong>de</strong>ncy in favor of the clinician, it is time to draw a practical<br />

conclusion” (s. 374).<br />

I dag har <strong>de</strong> nitti studiene vokst til nærmere <strong>de</strong>t dobbelte (Grove & Meehl, 1996). Det<br />

er <strong>de</strong>ssuten viktig å merke seg at i <strong>de</strong> fleste av disse studiene er formelen <strong>de</strong>t er snakk om<br />

helt trivielle mekaniske rutiner som Goldbergs regel og Dawes' lineære ligninger.<br />

<strong>Hvorfor</strong> kan enkle formler erstatte "sofistikert" skjønn?<br />

Eksperter baserer ofte sine vur<strong>de</strong>ringer på kompleks holistisk kunnskap som <strong>de</strong> gjerne<br />

uttrykker i form av konfigurale regler, dvs. regler som forteller hvordan betydningen av en<br />

variabel avhenger av andre variabler. Men slik sofistikert kunnskap bidrar sjel<strong>de</strong>n til å heve<br />

kvaliteten på eksperters vur<strong>de</strong>ringer, snarere tvert imot (f.eks. Camerer, 1981).<br />

<strong>Hvorfor</strong> gir bruk av konfigurale regler (ofte) <strong>dårlig</strong>e vur<strong>de</strong>ringer? Svaret er knyttet til<br />

hvordan slike regler læres. Eksperter, som folk flest, trives med å forstå. Konfigurale regler<br />

er gjerne et produkt av at man i etterkant forsøker å gjøre enkelthen<strong>de</strong>lser forståelige. Reg-<br />

lene blir <strong>de</strong>rmed lett overgeneraliseringer. Slike regler avle<strong>de</strong>s og<strong>så</strong> ofte fra generelle, og i<br />

mange situasjoner uholdbare, teorier. Konfigurale regler er <strong>de</strong>ssuten lite robuste, fenomener<br />

faller lett utenfor (f.eks. Camerer & Johnson, 1991).


14<br />

<strong>Hvorfor</strong> anven<strong>de</strong>r likevel eksperter slik ”<strong>dårlig</strong>” holistisk kunnskap? Vi har alle en<br />

sterk ten<strong>de</strong>ns til å se etter bekreften<strong>de</strong> informasjon (f.eks. Smedslund, 1963; Chapman &<br />

Chapman, 1969). Muligens <strong>de</strong>rfor har og<strong>så</strong> konfigurale regler en ten<strong>de</strong>ns til å utbro<strong>de</strong>res i<br />

ste<strong>de</strong>t for å forkastes, når <strong>de</strong> ikke passer med virkeligheten. Slike komplekse regler gir <strong>de</strong>ss-<br />

uten grunnlag for å generere mange prediksjoner og forklaringer, og eksperter har en ten-<br />

<strong>de</strong>ns til å forveksle høy "fruktbarhet" med stor nøyaktighet. Konfigurale regler er faktisk<br />

og<strong>så</strong> lette bå<strong>de</strong> å lære og bruke. Man slipper å vur<strong>de</strong>re og rangere data etter prediktiv verdi,<br />

og man unngår en kreven<strong>de</strong> vekting og kombinering av usikker informasjon. Reglene kan<br />

anven<strong>de</strong>s omtrentlig, og <strong>de</strong>t passer jo <strong>de</strong> fleste av oss.<br />

Camerer og Johnson (1991) setter erfaringene fra ekspertsystemfeltet opp mot<br />

erfaringene med enkle (regresjons)mo<strong>de</strong>ller, og konklu<strong>de</strong>rer slik: "The main lesson from the<br />

regression-mo<strong>de</strong>l literature is that large numbers of configural rules, which knowledge<br />

engineers take as evi<strong>de</strong>nce of expertise, do not necessarily make good predictions; simple<br />

linear combinations of variables (measured by experts) are better in many tasks" (s. 213).<br />

Denne forskningen ty<strong>de</strong>r alt<strong>så</strong> på at problemet med ekspertsystemer ikke er at <strong>de</strong> fungerer<br />

<strong>så</strong> forskjellig fra eksperter, men at <strong>de</strong> opererer for likt.<br />

Når kan enkle mekaniske rutiner erstatte "sofistikert" skjønn?<br />

Jeg vil nøye meg med å sammenfatte noen funn som indikerer bå<strong>de</strong> hvilke typer kliniske<br />

vur<strong>de</strong>ringer man bør tenke på å automatisere og hva man må vite for å utforme en enkel<br />

mekanisk rutine som vil "vur<strong>de</strong>re" bedre enn <strong>klinikere</strong>:<br />

- Mennesker har en unik evne til å se hva som er relevant informasjon i en situasjon,<br />

men vi har en meget begrenset evne til å integrere <strong>de</strong>n informasjonen som<br />

ligger i flere (unike) observasjoner (f.eks. Sawyer, 1966; Einhorn, 1972).<br />

- Informasjon ut over <strong>de</strong> 2-3 dataene med høyest prediktiv verdi resulterer i <strong>dårlig</strong>ere<br />

vur<strong>de</strong>ringer når informasjonen kombineres klinisk (skjønnsmessig), men<br />

øker samtidig eksperters egen tro på vur<strong>de</strong>ringenes kvalitet (f.eks. Oskamp,<br />

1965).<br />

- Når eksperter hev<strong>de</strong>r å ha brukt konfigural analyse for å nå bestemte vur<strong>de</strong>ringer,<br />

<strong>så</strong> har man stort sett alltid kunnet konstruere lineære mo<strong>de</strong>ller som a<strong>de</strong>kvat dupliserer<br />

ekspertenes vur<strong>de</strong>ringer (f.eks. Camerer, 1981).<br />

Dersom man a priori kan spesifisere hvilken type informasjon eller input som er mest rele-<br />

vant for å foreta en avgrenset vur<strong>de</strong>ring, <strong>så</strong> gir punktene ovenfor god grunn til å tro at man<br />

kan finne fram til en enkel formel som foretar en bedre integrering av input-informasjonen<br />

enn <strong>de</strong>t beslutningstakere er i stand til.


15<br />

Dawes og Corrigan (1974) sammenfatter essensen i hva som må til for å erstatte "sof-<br />

istikert" skjønn med enkle mekaniske rutiner: "the whole trick is to <strong>de</strong>ci<strong>de</strong> what variables to<br />

look at and then to know how to add" (s. 105). Som <strong>de</strong>t ligger implisitt i <strong>de</strong>tte sitatet, <strong>så</strong><br />

kommer vi ikke utenom klinisk skjønn. Skjønn er nødvendig for å avgrense vur<strong>de</strong>ringer<br />

som egner seg for automatisering, og skjønn er og<strong>så</strong> nødvendig "to <strong>de</strong>ci<strong>de</strong> what variables to<br />

look at", dvs. for å i<strong>de</strong>ntifisere hvilken informasjon som er mest relevant for å foreta disse<br />

vur<strong>de</strong>ringene. Kort sagt, <strong>de</strong>t å bestemme hva som er relevant informasjon for å foreta en<br />

vur<strong>de</strong>ring må nesten alltid baseres på klinisk skjønn, mens selve vur<strong>de</strong>ringen (dvs.<br />

integreringen) av <strong>de</strong>nne informasjonen bør overlates til mekaniske rutiner.<br />

Har ingen eksperter reell kompetanse?<br />

Eksperter gjør annet enn å vur<strong>de</strong>re og predikere. De opererer (kirurger), løser problemer<br />

(fysikere), konstruerer (programmerere, ingeniører), komponerer (musikere) osv. I mange<br />

slike ferdigheter utvikles reell domenespesifikk ekspertise gjennom praksis (f.eks. Ericsson<br />

& Lehmann, 1996). Eksperters kognitive prosessering er <strong>de</strong>ssuten overlegen nybegynnere<br />

på <strong>de</strong>t meste fra hukommelse til problemløsning og resonnering. Eksperter (i for eksempel<br />

fysikk og programming) bruker mer effektive resonneringsstrategier enn u<strong>erfarne</strong>, på noen<br />

områ<strong>de</strong>r (som sjakk) oppøver <strong>de</strong> et ”blikk” som gjør at <strong>de</strong> ”intuitivt ser” hva som bør gjøres<br />

osv. (f.eks. Chi, Glaser & Farr, 1988).<br />

Men selv om eksperters kognitive prosessering skiller seg markert fra novisers, <strong>så</strong> gjør<br />

alt<strong>så</strong> ikke kvaliteten på <strong>de</strong>res vur<strong>de</strong>ringer og prediksjoner <strong>de</strong>t. På noen felt erverver imidler-<br />

tid eksperter seg reell kompetanse og<strong>så</strong> i å predikere og vur<strong>de</strong>re. Slike felt er karakterisert<br />

ved at stimuli (<strong>de</strong>t man <strong>vur<strong>de</strong>rer</strong>) er statisk, at <strong>de</strong>t er konsensus om hva som utgjør stimuli,<br />

at samme type stimuli (problem) gjentar seg, at man tar beslutninger om ting (ikke atferd),<br />

at problemer kan <strong>de</strong>les opp, at man får tilbakemelding, at objektive analyser er tilgjengelige,<br />

at man bruker beslutningshjelpemidler og – ikke minst - at <strong>de</strong>t forventes at man og<strong>så</strong> iblant<br />

tar feil. Jo flere av disse faktorene som er tilste<strong>de</strong> på et felt, <strong>de</strong>sto større er muligheten for å<br />

lære av tidligere vur<strong>de</strong>ringer og beslutninger (f.eks. Shanteau, 1992). Sjakk, astronomi, for-<br />

sikringsanalyse og enkelte <strong>de</strong>ler av medisin er eksempler på felt <strong>de</strong>r disse faktorene i stor<br />

grad er tilste<strong>de</strong>. På områ<strong>de</strong>r som klinisk psykologi, psykiatri, astrologi, personellutvelgelse<br />

og prediksjon av aksjeverdier er <strong>de</strong> <strong>de</strong>t ikke.<br />

Og<strong>så</strong> i meteorologi er flere av faktorene nevnt over tilste<strong>de</strong>. Meteorologers predik-<br />

sjoner er da og<strong>så</strong> svært go<strong>de</strong>, ikke minst sammenlignet med kvaliteten på vur<strong>de</strong>ringene til


16<br />

kliniske psykologer. Likevel tror fortsatt mange at meteorologer spår i hytt og vær, mens<br />

psykologer ”ser” gjennom folk. Grunnen til <strong>de</strong>t er åpenbar: Vi har nesten aldri tilgang til<br />

informasjon som forteller når psykologers vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r er <strong>dårlig</strong>e, mens vi<br />

blir våte når meteorologene tar feil. Dessuten un<strong>de</strong>rstreker meteorologer selv at <strong>de</strong> spår<br />

været, mens mange psykologer er helt overbeviste om at <strong>de</strong> forstår enkeltmennesker.<br />

<strong>Hvorfor</strong> tar vi ikke konsekvensene?<br />

Det er antagelig mange grunner til at <strong>klinikere</strong> flest kanskje ikke engang har tenkt tanken at<br />

noen av <strong>de</strong> vur<strong>de</strong>ringene <strong>de</strong> rutinemessig foretar med for<strong>de</strong>l kan mekaniseres. En hoved-<br />

grunn er nok at troen på <strong>de</strong>t go<strong>de</strong> kliniske skjønn som erverves gjennom praksis, fortsatt er<br />

en utbredt myte blant psykologer (se f.eks. flere artikler i Reichelt, 1994).<br />

Én annen viktig grunn til at få kliniske vur<strong>de</strong>ringer er forsøkt automatisert er antagelig<br />

at mekaniske rutiner langt fra er feilfrie, selv om <strong>de</strong> alt<strong>så</strong> gir bedre resultater enn klinisk<br />

skjønn. Det virker som om <strong>de</strong> fleste av oss har større problemer med å akseptere at vi skal<br />

"vur<strong>de</strong>res" av formler og maskiner som til og med ofte "tar" feil, selv om vi alt<strong>så</strong> nå vet at<br />

mekanisk integrering av informasjon totalt sett gir færre feil enn om vi overlater <strong>de</strong> samme<br />

vur<strong>de</strong>ringene til menneskelige beslutningstakere.<br />

For <strong>de</strong>n enkelte kliniker er <strong>de</strong>t nok heller ikke særlig tiltalen<strong>de</strong>, etter en lang utdanning<br />

og kanskje mange års spesialisering, å akseptere at helt enkle addisjonsregler "<strong>vur<strong>de</strong>rer</strong>"<br />

data bedre enn hva en selv gjør. Trusselen mot eget selvbil<strong>de</strong>, og kanskje økonomiske pro-<br />

fesjonsinteresser, bidrar muligens og<strong>så</strong> til å sperre for en økt formalisering, automatisering<br />

og forbedring av kliniske vur<strong>de</strong>ringer.<br />

Mange ser trolig og<strong>så</strong> etiske problemer knyttet til å erstatte "godt" menneskelig skjønn<br />

med "kal<strong>de</strong>" mekaniske rutiner. Dawes (1988) har følgen<strong>de</strong> kontante svar på <strong>de</strong>n innvend-<br />

ingen:<br />

”Friends tell me that important human judgment is often ineffable, unsystematic,<br />

and intuitive. I agree. And it is, therefore, often bad. Friends tell me that <strong>de</strong>cisions<br />

that are effable, systematic, and explicit are <strong>de</strong>humanized <strong>de</strong>cisions. I agree. But<br />

they are "<strong>de</strong>humanized" only for the <strong>de</strong>cision maker, and I am concerned with the<br />

consequences for the people affected by the <strong>de</strong>cisions. Bad <strong>de</strong>cisions are <strong>de</strong>humanizing<br />

for them” (s. 150).<br />

Nå skal <strong>de</strong>t og<strong>så</strong> un<strong>de</strong>rstrekes at <strong>de</strong>t langt fra er enkelt å utforme og integrere effektive mek-<br />

aniske rutiner i klinisk praksis. Det er og<strong>så</strong> en vesentlig grunn til at vi i <strong>så</strong> liten grad støtter<br />

oss til mekaniske rutiner.


I <strong>de</strong>t minste: synliggjør usikkerheten!<br />

17<br />

Selv om man ikke har tro på at særlig mange vur<strong>de</strong>ringer i egen klinisk praksis kan mekani-<br />

seres, <strong>så</strong> bør resultatene fra beslutningsforskningen motivere <strong>klinikere</strong> til å klargjøre hvor<br />

ens kunnskap slutter og <strong>de</strong>t tvilsomme skjønnet begynner.<br />

Den enkleste type klinisk vur<strong>de</strong>ring innebærer å vur<strong>de</strong>re hvor sterkt ett bestemt funn<br />

(X) indikerer at en person hører hjemme i en bestemt kategori (Y). X kan for eksempel være<br />

positiv mammografi eller bestemte lekeobservasjoner og Y brystkreft eller om et barn er<br />

misbrukt. Å avgjøre hvor sterkt X indikerer Y, svarer til å bestemme X sin prediktive verdi i<br />

forhold til Y. Man må da kjenne hyppigheten (f.eks. pr. 1000) av bå<strong>de</strong> sanne positive (SP)<br />

og falske positive (FP), dvs. bå<strong>de</strong> hvor hyppig X er tilste<strong>de</strong> samtidig med Y og hvor ofte X<br />

er tilste<strong>de</strong> uten at Y er tilste<strong>de</strong>. Dersom <strong>klinikere</strong> ”presser seg” til å anslå sanne og falske<br />

positive, og <strong>så</strong> beregner Xs prediktive verdi ut fra <strong>de</strong>t (SP/[SP + FP] gir svaret), <strong>så</strong> blir man<br />

og<strong>så</strong> klar over <strong>de</strong>n meget store usikkerheten som ofte knytter seg til å slutte Y fra X (positiv<br />

mammografi, med tallene i Eddys studie ovenfor, indikerer for eksempel brystkreft med<br />

bare 8/[8 + 99] = 7.5% sikkerhet.) Kjenner man ikke hyppigheten av bå<strong>de</strong> sanne og falske<br />

positive, som man sjel<strong>de</strong>n gjør i klinisk psykologi, <strong>så</strong> har man heller ikke noe grunnlag for å<br />

uttale seg om hvor sterkt X indikerer Y. Likevel kan man regelmessig lese i media at klin-<br />

iske sakkyndige gjør nettopp <strong>de</strong>t. I for eksempel Bjugn-saken trakk <strong>de</strong> sakkyndige avgjør-<br />

en<strong>de</strong> konklusjoner om at barn var misbrukt på grunnlag av bestemte funn, uten å ha tilgang<br />

til data om hvor ofte man finner tilsvaren<strong>de</strong> funn på barn som ikke er misbrukt.<br />

Generelt kan man eksplisere grunnlaget for egen klinisk praksis ved å skille ut <strong>de</strong>lvur-<br />

<strong>de</strong>ringer man regelmessig foretar, bestemme <strong>de</strong> mest relevante data for hver av <strong>de</strong>m, anslå<br />

disse datas prediktive verdi, spesifisere grunnlaget for anslagene osv. I tillegg til å være en<br />

forutsetning for eventuell senere mekanisering av vur<strong>de</strong>ringene, vil en slik enkel kunn-<br />

skapsklargjøring ha mange positive si<strong>de</strong>effekter. Den vil, som nevnt, ganske sikkert øke<br />

bevisstheten om <strong>de</strong>n meget store usikkerheten som (trolig) alltid vil være knyttet til psyko-<br />

logiske vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r. En slik klargjøring vil og<strong>så</strong> bedre muligheten for<br />

erfaringslæring, og <strong>de</strong>ssuten kunne ha en heuristisk funksjon for forskning som bå<strong>de</strong> kan<br />

redusere og synliggjøre (tallfeste) usikkerheten knyttet til egne vur<strong>de</strong>ringer.


Avslutning<br />

18<br />

Tradisjonelt er klinisk ekspertise blitt betraktet som intern, personavhengig og implisitt,<br />

alt<strong>så</strong> som eksklusivt tilhøren<strong>de</strong> eksperten. Det er blitt godtatt at <strong>klinikere</strong> avgir ekspertvur-<br />

<strong>de</strong>ringer om enkeltindivi<strong>de</strong>r uten å spesifisere grunnlaget for <strong>de</strong>m. Dette tror jeg er i ferd<br />

med å endres. Ikke bare på grunn av sterk intern faglig kritikk (f.eks. Dawes, 1994; Ceci &<br />

Bruck, 1995; Meehl, 1997), men og<strong>så</strong> fordi forskningsbasert klinisk kunnskap nå er i ferd<br />

med å bli lett tilgjengelig for alle via medier som internett. Jevnlige oppslag i media indi-<br />

kerer og<strong>så</strong> at offentligheten begynner å bli utålmodig med for eksempel (ofte motstri<strong>de</strong>n<strong>de</strong>)<br />

kliniske sakkyndige som ikke har annen begrunnelse for sine vur<strong>de</strong>ringer enn henvisninger<br />

til sin utdanning, lange erfaring og aka<strong>de</strong>miske tittel. Jeg er ganske sikker på at klinisk pro-<br />

fesjonsutøvelse i tida framover må basere seg i øken<strong>de</strong> grad på ekstern, standardisert, eks-<br />

plisitt, og <strong>de</strong>rmed og<strong>så</strong> inklu<strong>de</strong>ren<strong>de</strong>, kunnskap. Om ikke initiativet til en slik omlegging tas<br />

fra <strong>de</strong> kliniske profesjonene selv, vil andre minne oss på <strong>de</strong>t.<br />

En vanlig måte en <strong>de</strong>l <strong>klinikere</strong> avviser forskning som krever endringer i status quo på,<br />

er å stemple <strong>de</strong>n som ”positivisme.” I en tidligere artikkel i Tidsskriftet <strong>de</strong>r jeg drøfter imp-<br />

likasjoner av <strong>de</strong>ls samme type forskning som her (Kirkebøen, 1995), fikk jeg et svar som<br />

sluttet slik: "Som konklusjon vil jeg påpeke at å postulere aka<strong>de</strong>misk psykologi som grunn-<br />

laget for klinisk psykologi er å blåse til ny ’positivisme<strong>de</strong>batt’" (Elgarøy, 1995, s. 1041).<br />

Dette er å sage over <strong>de</strong>n greina man som klinisk psykolog sitter på. Forankring i aka<strong>de</strong>misk<br />

forskning er jo nettopp <strong>de</strong>t som gir profesjonen legitimitet. Kravet til slik forankring er<br />

eneste grunn til at vi går sju år på et universitet før vi får praktisere som psykologer. Likevel<br />

er slik ”positivisme-avvisning” av viktig forskning <strong>så</strong> utbredt at Paul Meehl, som for øvrig<br />

bå<strong>de</strong> er "positivistisk" forsker og praktiseren<strong>de</strong> psykoanalytiker, tar <strong>de</strong>n opp i sin takketale i<br />

forbin<strong>de</strong>lse med at han (og Eysenck) fikk APAs (Society of Clinical Psychology) "hundre-<br />

årspris" for fremragen<strong>de</strong> (”positivistiske”) bidrag til faget:<br />

”Some clinicians with obscurantist motives, who do not wish to take intellectual<br />

responsibility for cre<strong>de</strong>ntialing their alleged knowledge, take illegitimate<br />

comforts from the <strong>de</strong>ath of logical positivism as a philosophical movement (...)<br />

The distinction between knowledge that brings cre<strong>de</strong>ntials with it and purported<br />

knowledge that does not has nothing whatsoever to do with logical positivism as a<br />

discredited philosophical movement (...) Clinicians who si<strong>de</strong>-steps the issue of<br />

knowledge cre<strong>de</strong>ntials by positivist-bashing are <strong>de</strong>ceiving themselves with a<br />

philosophical red herring” (Meehl, 1997, s. 96).<br />

Uansett, <strong>de</strong>t bør være åpenbart at <strong>de</strong>t har ingenting med positivisme å gjøre at man forsøker<br />

å spesifisere og eksplisere basis for egen profesjonsutøvelse. Det har heller ingen ting med


19<br />

positivisme å gjøre at man forsøker å finne måter å håndtere informasjon på som gir<br />

systematisk bedre resultater enn eget skjønn. Det dreier seg <strong>de</strong>rimot om skjebnen til <strong>de</strong>m<br />

man er satt til å vur<strong>de</strong>re og behandle, om etikk og profesjonell re<strong>de</strong>lighet.<br />

Referanser<br />

Brehmer, B. (1980). In one word: Not from experience. Acta psychologica, 45, 223-241.<br />

Camerer, C. F. (1981). General conditions for the success of bootstrapping mo<strong>de</strong>ls. Organizational<br />

behavior and human performance, 27, 411-422.<br />

Camerer, C. F., & Johnson, E. J. (1991). The process-performance paradox in expert<br />

judgment. I K. A. Ericsson, & J. Smith (Eds.), Toward a general theory of expertise (ss.<br />

195-217). Cambridge: Cambridge University Press.<br />

Ceci, J. J., & Bruck, M. (1995). Jeopardy in the courtroom. Washington, CD: APA.<br />

Chapman, L. J., & Chapman, J. P. (1969). Illusory correlation as an obstacle to the use of<br />

valid psychodiagnostic signs. Journal of abnormal psychology, 74, 271-280.<br />

Chi, M. T, Glaser, R., & Farr, M. J. (Eds.). (1988). The nature of expertise. Hillsdale, NJ:<br />

Erlbaum.<br />

Dawes, R. M. (1971). A case study of graduate admissions. American Psychologist, 26,<br />

180-88.<br />

Dawes, R. M. (1988). You can't systematize human judgment: Dyslexia. I J. Dowie & A.<br />

Elstein (Eds.), Professional judgment (ss. 150-162). Cambridge: Cambridge University<br />

Press.<br />

Dawes, R. M. (1994). House of cards. Psychology and psychotherapy built on myths. New<br />

York: Free Press.<br />

Dawes, R. M., & Corrigan B. S. (1974). Linear mo<strong>de</strong>ls in <strong>de</strong>cision making. Psychological<br />

Bulletin, 81, 95-106.<br />

Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment.<br />

Science, 243, 1668-1673.<br />

Dreyfus, H. L. (1972). What computers can't do. New York: Harper & Row .<br />

Dreyfus, H. L. (1985). Competent systems: the limits of calculative rationality. Foredragsmanuskript,<br />

20.5, <strong>Universitetet</strong> i Oslo.<br />

Dreyfus, H. L., & Dreyfus, E. (1986). Mind over machine. The power of human intuition<br />

and expertise in the era of the computer. New York: The Free Press.<br />

Eddy, D. M. (1982). Probabilistic reasoning in clinical medicine: problems and opportunities.<br />

I D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment un<strong>de</strong>r uncertainty:<br />

Heuristics and biases (ss. 249-67) Cambridge, U.K.: Cambridge University Press.<br />

Einhorn, H. J. (1972). Expert measurement and mechanical combination. Organizational<br />

behavior and human performance, 7, 86-106.<br />

Elgarøy, S. (1995). Med ho<strong>de</strong>t i behold. Tidsskrift for Norsk Psykologforening, 32, 1040-<br />

1041.<br />

Ericsson, K. A., & Lehmann, A. C. (1996). Expert and exceptional performance: evi<strong>de</strong>nce<br />

of maximal adaptation to task constraints. Annual review of psychology, 47, 273-305.


20<br />

Faust, D. (1991). What if we had really listened? Present reflections on altered pasts. I D.<br />

Cicchetti & W. M. Grove (Eds.), Thinking clearly about psychology. Vol 1: Matters of<br />

Public Interest (ss. 185–216). Minneapolis: University of Minnesota Press.<br />

Faust, D., Guilmette, T. J. Hart, K., Arkes, H. R., Fishburne, F. J., & Davey, L. (1988).<br />

Neuropsychologists' training, experience, and judgment accuracy. Archives of clinical<br />

neuropsychology, 3, 145-163.<br />

Garb, H. N. (1989). Clinical judgment, clinical training, and professional experience. Psychological<br />

Bulletin, 105, 387-92.<br />

Gigerenzer, G. (1996). On narrow norms and vague heuristics: a reply to Kahneman and<br />

Tversky (1996). Psychological Review, 103, 592-596.<br />

Gilovich, T. (1991). How we know what isn't so. The fallibility of human reason in<br />

everyday life. New York: Free press.<br />

Goldberg, L. R. (1965). Diagnosticians versus diagnostic signs: The diagnosis of psychosis<br />

versus neurosis from the MMPI. Psychological Monographs 79, 9, hele nr. 602, 1-28.<br />

Grove, W. M., & Meehl, P. E. (1996). Comparative efficiciency of informal (subjective,<br />

impresionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical<br />

controversy. Psychology, Public Policy, and Law, 3, 1-31.<br />

Holt, R. R. (1958). Clinical and statistical prediction: A reformulation and some new data.<br />

Journal of Abnormal and Social Psychology, 56, 1-12.<br />

Hughes, H. D. (1917). An interesting corn seed experiment. The Iowa Agriculturalist, 17,<br />

424-425.<br />

Kahneman, D., & Tversky, A. (1996). On the reality of cognitive illusions: a reply to<br />

Gigerenzer's critique. Psychological Review, 103, 582-591.<br />

Kirkebøen, G. (1993). Psykologi, informasjonsteknologi og ekspertise. Doktoravhandling,<br />

Institutt for lingvistikk og filosofi, <strong>Universitetet</strong> i Oslo.<br />

Kirkebøen, G. (1995). En bombe un<strong>de</strong>r soveputen? Tidsskrift for Norsk Psykologforening,<br />

32, 426-434.<br />

McArthur, C. C. (1956). The dynamic mo<strong>de</strong>l. Journal of Counseling Psychology, 3, 168-<br />

71.<br />

Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review<br />

of the evi<strong>de</strong>nce. Minneapolis: University of Minnesota Press.<br />

Meehl, P. E. (1957). When shall we use our heads instead of the formula? Journal of Counseling<br />

Psychology, 4, 268-273.<br />

Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality<br />

assessment, 50, 370-375.<br />

Meehl, P. E. (1997). Cre<strong>de</strong>ntialed persons, cre<strong>de</strong>ntialed knowledge. Clinical psychology:<br />

science and practice, 4, 91-98.<br />

Miller, G. A. (1956). The magical number seven plus or minus two: some limits in our capacity<br />

for processing information. Psycological Review, 63, 81- 97.<br />

Newell, A., Shaw, J. C., & Simon, H. A. (1958). Elements of a theory of human problem<br />

solving. Psychological review, 65, 151-166.<br />

Newell, A., & Simon, H. A. (1981). Computer science as empirical inquiry. I J. Haugeland<br />

(Ed.), Mind <strong>de</strong>sign (ss. 35-66). Montgomery, Vermont: Bradford/MIT.


21<br />

Oskamp S. (1965). Overconfi<strong>de</strong>nce in case study judgment. Journal of consulting psychology,<br />

63, 81-97.<br />

Polanyi, M. (1958). Personal knowledge. London: Routeledge & Kegan.<br />

Reichelt, S. (Red.). (1994). Psykologi i forandring. Oslo: Norsk Psykologforening.<br />

Sarbin, T. R. (1986). Prediction and clinical inference: Forty years later. Journal of personality<br />

assessment, 50, 362-369.<br />

Sawyer, J. (1966). Measurement and prediction, clinical and statistical. Psychological Bulletin,<br />

66, 178-200.<br />

Shannon, C. (1948). A mathematical theory of communication. Bell System technichal<br />

journal, 27, 379-423.<br />

Shanteau, J. (1992). Competence in experts: The role of task characteristics.<br />

Organizational behavior and human <strong>de</strong>cision processes, 53, 252-266.<br />

Simon, H. A. (1955). A behavioral mo<strong>de</strong>l of rational choice. Quarterly journal of economics,<br />

69, 99-118.<br />

Simon, H. A. (1978). Rationality as process and product of thought. American economic<br />

review, 68, 1-16.<br />

Simon, H. A., & Chase, W. G. (1973). Skill in chess. American scientists, 63, 394-403.<br />

Simon, H. A., & Newell, A. (1958). Heuristic problem solving. Operation research, 6, 1–<br />

10.<br />

Smedslund, J. (1963). The concept of correlation in adults. Scandinavian journal of psychology,<br />

4, 165-173.<br />

Turing, A. (1947/1969). Intelligent Machinery. I B. Meltzer, & D. Michie (Eds.), Machine<br />

Intelligence, 5 (ss. 3–23). Edinburgh: Edinburgh University Press.<br />

Turing, A. (1950). Computing machinery and intelligence. Mind, 59, 433-460.<br />

Tversky, A., & Kahneman, D. (1974). Judgement un<strong>de</strong>r uncertainty: heuristics and biases.<br />

Science, 185, 1124-31.<br />

Wiggins, J. S. (1973). Personality and prediction: Principles of personality assessment.<br />

Reading, MA: Addison-Wesley.

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!