01.09.2013 Views

Kvalitetskriterier för testinstrument – personlighetsbedömning

Kvalitetskriterier för testinstrument – personlighetsbedömning

Kvalitetskriterier för testinstrument – personlighetsbedömning

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong><br />

<strong>–</strong> <strong>personlighetsbedömning</strong><br />

Mars 2002<br />

© Stiftelsen <strong>för</strong> Tillämpad Psykologi


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

innehåll<br />

Testinformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3<br />

Historik och beskrivning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4<br />

Administrering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4<br />

Användardokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5<br />

Vetenskaplig dokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6<br />

Validitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7<br />

Reliabilitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8<br />

Normer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9<br />

Sammanfattande utlåtande . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12<br />

2


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong><br />

<strong>–</strong> <strong>personlighetsbedömning</strong><br />

Följande kvalitetskriterier utgör riktlinjer <strong>för</strong> de granskningar av test inom området<br />

personlighet som ut<strong>för</strong>s av Stiftelsen <strong>för</strong> Tillämpad Psykologis (STP:s) granskare.<br />

Riktlinjerna beskriver de områden som ska finnas med i den skriftliga granskningsrapport<br />

som STP sammanställer utifrån testgranskarnas arbete.<br />

Uppgifterna finns med i den mån de funnits tillgängliga i det material som test<strong>för</strong>läggaren<br />

tillhandahållit i samband med granskningen. Om uppgifter om en rubrik<br />

saknas anges det med ”uppgift saknas”. Förläggaren har haft möjlighet att komplettera<br />

uppgifterna i rapporten innan den skriftliga rapporten slut<strong>för</strong>des.<br />

För att underlätta läsningen av kriterierna och granskningsrapporterna har en läsanvisning<br />

sammanställts.<br />

TESTINFORMATION<br />

Den <strong>för</strong>sta delen av kriterierna omfattar allmän information om testet som namn,<br />

<strong>för</strong>läggare och vilken version som granskades. Här beskrivs vilken typ av test det är<br />

fråga om och vilka eventuella villkor som gäller <strong>för</strong> användning samt vad testet<br />

består av i form av olika formulär eller dataversioner.<br />

Namn på instrumentet, <strong>för</strong>läggare, distributör och <strong>för</strong>fattare samt datum <strong>för</strong> <strong>för</strong>sta<br />

publicering och <strong>för</strong> granskad version<br />

Grundläggande information som identifierar testet och informerar om var det finns<br />

tillgängligt.<br />

Typ av instrument<br />

Instrument som avser att mäta ”typiskt ut<strong>för</strong>ande”, omfattande personlighetstest,<br />

attitydformulär, intresseinventorier, m.m.<br />

Tillbehör<br />

Kort beskrivning av eventuella kringprodukter som exempelvis datorprogram <strong>för</strong><br />

bjudning eller sammanställning.<br />

Användarvillkor<br />

Vilka krav ställs på användaren från leverantören i form av utbildning? Huruvida<br />

dessa anses <strong>för</strong> lösa eller <strong>för</strong> strikta anges inte här, det värderas senare under<br />

granskningen.<br />

Formulär<br />

Finns det flera olika formulär till testet beskrivs dessa. Vissa test finns i olika versio-<br />

3


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

ner <strong>för</strong> olika normgrupper eller i olika versioner <strong>för</strong> olika ändamål. Vilket eller<br />

vilka formulär som ingår i granskningen beskrivs i den inledande informationen.<br />

Format<br />

Papper-och-penna eller olika former av datorisering. Vilket format som granskas<br />

beskrivs i den inledande informationen.<br />

Priser<br />

Information om vad det kostar att skaffa en komplett uppsättning samt pris per<br />

testning.<br />

Service<br />

Finns det möjlighet att få rättning/tolkning via leverantören eller kan det endast<br />

ut<strong>för</strong>as av leverantören?<br />

HISTORIK OCH BESKRIVNING<br />

Här beskrivs testets bakgrund och vilka typer av data som genereras. Bakgrunden<br />

består i en historisk beskrivning där utveckling och eventuella teoretiska utgångspunkter<br />

redovisas. Det är en faktabeskrivning utifrån materialet, vars mål är att ge<br />

en bild av hur och på vilka grunder samt utifrån vilka behov testet utvecklats.<br />

Beskrivning<br />

En allmän beskrivning av testet, vad det sägs mäta, historisk bakgrund etc. En värderingsfri<br />

faktabeskrivning.<br />

Typ av skala<br />

Personlighetsinstrument <strong>för</strong>delar sig grovt i två grupper: de med normativ och de<br />

med ipsativ skala. Även projektiva eller perceptgenetiska test kan <strong>för</strong>ekomma.<br />

Typ av poäng<br />

Vilka värden man får ut; råvärden och andra skalor som kan tas fram via manualen.<br />

ADMINISTRERING<br />

Förutsättningar<br />

Behövs det speciell utrustning utöver de normala <strong>för</strong>utsättningarna som gäller?<br />

Dessa är ett tyst, väl upplyst och ventilerat rum med tillräcklig bordsyta och sittplats<br />

<strong>för</strong> både den testade och testledaren.<br />

Tid<br />

Tidsbedömningarna utgår från att testningen görs av en testledare med erfarenhet<br />

av testet och innefattar inte den tid det tar att lära sig testet. Tiden delas in i fem<br />

delar:<br />

4


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Förberedelsetid Den tid som behövs <strong>för</strong> testledaren att <strong>för</strong>bereda sig.<br />

Bjudningstid Det tid instruktion, genom<strong>för</strong>ande och avslutning tar.<br />

Poängberäkning Den tid det tar att räkna fram råpoängen.<br />

Analys Tid <strong>för</strong> omvandling av råvärden, normjäm<strong>för</strong>else och sammanställning<br />

av preliminär tolkning.<br />

Presentation Den tid det tar att <strong>för</strong>bereda och presentera resultatet <strong>för</strong> den<br />

testade.<br />

ANVÄNDARDOKUMENTATION<br />

Här sätter sig granskaren in i användarens situation och bedömer det material som<br />

medföljer testet. Med användardokumentation menas allt material som medföljer<br />

testet och även andra källor, exempelvis böcker, som är lätt tillgängliga <strong>för</strong> den<br />

som använder testet. Det innefattar inte vetenskaplig dokumentation kring testet då<br />

sådan kan anses vara svårtillgänglig <strong>för</strong> den normala användaren.<br />

Hur lättillgängligt materialet är <strong>för</strong> den normale användaren bedöms på två sätt:<br />

Materialet<br />

Det allmänna intrycket av materialet.<br />

0 Dåligt tryck och ostrukturerat hopplock av olika material<br />

1 Dåligt tryck men acceptabel organisation av innehållet<br />

2 Acceptabelt tryck och organisation av innehållet<br />

3 Bra tryck men <strong>för</strong>delat på flera olika material<br />

4 Bra tryck och samlat i en pärm eller ett paket<br />

5 Bra tryck och samlat i en sammanhängande produkt<br />

Läsbarhet<br />

Hur lätt är det att sätta sig in i materialet? Det påverkas av det språk som används,<br />

hur tekniska termer <strong>för</strong>klaras, ifall man undviker fackuttryck, etc.<br />

0 Dåligt skrivet, svårt att <strong>för</strong>stå och dåligt organiserat<br />

1 Oklart och dålig text<br />

2 Acceptabelt och relativt klart skrivet men med ofullständiga/icke acceptabla<br />

<strong>för</strong>klaringar av tekniska termer<br />

3 Klart skrivet och acceptabelt organiserat men med något ofullständiga/inte helt<br />

acceptabla <strong>för</strong>klaringar av tekniska termer<br />

4 Klart och överskådligt med adekvata <strong>för</strong>klaringar av tekniska termer<br />

5 Mycket väl skrivet och överskådligt med bra <strong>för</strong>klaringar av tekniska termer<br />

5


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

VETENSKAPLIG DOKUMENTATION<br />

I övrigt betygsätts dokumentationen utifrån två aspekter:<br />

• Kvaliteten på den tekniska dokumentationen<br />

• Omfattningen av och tydligheten i innehållet.<br />

En sexgradig betygsskala används:<br />

0 Information saknas<br />

1 Dålig<br />

2 Acceptabel<br />

3 Tillräcklig<br />

4 Bra<br />

5 Utmärkt<br />

Två eller högre anses vara acceptabelt, noll eller ett anses som ej tillräckligt. Ifall ett<br />

kriterium inte är tillämpbart på det här testet sätts ett streck i betygsskalan.<br />

Kvaliteten på den tekniska, vetenskapliga dokumentationen <strong>–</strong> generellt<br />

Här synas den tekniska kvaliteten på dokumentationen utan hänsyn till hur lättillgängligt<br />

presenterad den är.<br />

0 Otillräcklig dokumentation, exempelvis inga referenser och inget om validitet<br />

eller reliabilitet.<br />

1 Svag dokumentation med få referenser, inga eller svaga bevis på validitet och<br />

reliabilitet och få, om ens några, normeringar.<br />

2 Acceptabel dokumentation av tekniska egenskaper och relevant hänvisning till<br />

referenser, men något svaga bevis rörande validitet, reliabilitet, användbarhet<br />

och normer.<br />

3 Acceptabel dokumentation av tekniska egenskaper med acceptabla bevis<br />

rörande validitet, reliabilitet, användbarhet och normer.<br />

4 Bra dokumentation av tekniska egenskaper med goda bevis rörande validitet,<br />

reliabilitet, användbarhet och normer.<br />

5 Grundlig och klar dokumentation av tekniska egenskaper med många och<br />

detaljerade bevis rörande validitet, reliabilitet, användbarhet och normer.<br />

Detaljerad uppdelning av den tekniska dokumentationen<br />

En översiktlig skattning ges tillsammans med specifika skattningar av validitet,<br />

reliabilitet och normer (r = median korrelation).<br />

Vad beträffar test som ursprungligen utvecklats i ett annat land men som översatts<br />

till svenska, kan dokumenterad information från utländska studier om dess kvalitet<br />

6


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

beaktas vid granskningen om<br />

• standardiseringsarbetet med den svenska versionen är väl ut<strong>för</strong>t och skriftligen<br />

dokumenterat samt<br />

• resultaten från åtminstone en mindre studie visar att den svenska versionen av<br />

testet i huvudsak uppvisar samma mönster av tekniska kvaliteter som ursprungs-<br />

versionen.<br />

VALIDITET<br />

Validiteten beskrivs i form av kriterie- och begreppsvaliditet enligt nedanstående<br />

riktlinjer. När och hur studierna är gjorda redovisas under denna rubrik i löpande<br />

text. I de fall prediktiva studier gjorts beskrivs det här. Bedömningar kring valet av<br />

kriterier samt av hur representativa dessa är finns med. Kommentarer görs kring hur<br />

dessa studier står sig i <strong>för</strong>hållande till de <strong>för</strong>utsättningar som råder på den svenska<br />

testmarknaden.<br />

Betygspoängen nedan utgör riktlinjer som är till <strong>för</strong> att vägleda granskaren. De är<br />

inga exakta mått utan snarare bedömningar utifrån helheten, exempelvis granskarens<br />

uppfattning om kvaliteten på den metod som använts i de studier som ligger till<br />

grund <strong>för</strong> värdena.<br />

De i materialet angivna värdena granskas och kommenteras. Orimligt höga värden<br />

leder till en nolla (0) i bedömningen nedan.<br />

Studier ut<strong>för</strong>da i andra länder som är relevanta att kommentera i granskningen<br />

beskrivs i löpande text.<br />

Kriterierelaterad validitet<br />

Mängd data<br />

0 Ingen information finns<br />

1 En inadekvat studie (stickprov < 100)<br />

2 En acceptabel studie (stickprov 100 - 200)<br />

3 En stor studie (stickprov > 200)<br />

4 Mer än en acceptabel studie<br />

5 Flera acceptabla eller stora studier<br />

Kriterierelaterad validitet (medianvärden)<br />

0 Ingen information finns<br />

1 Ej acceptabel (r < 0.2)<br />

2 Acceptabel (0.2 < r < 0.35)<br />

3 Tillräcklig (0.35 < r < 0.45)<br />

4 God (0.45 < r < 0.55)<br />

5 Utmärkt (r > 0.55)<br />

7


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Begreppsvaliditet<br />

Mängd data<br />

0 Ingen information finns<br />

1 En inadekvat studie (stickprov < 100)<br />

2 En acceptabel studie (stickprov 100 - 200)<br />

3 En stor studie (stickprov > 200)<br />

4 Mer än en acceptabel studie<br />

5 Flera acceptabla eller stora studier<br />

Begreppsvaliditet (medianvärden)<br />

0 Ingen information finns<br />

1 Ej acceptabel (r < 0.45)<br />

2 Acceptabel (0.45 < r < 0.55)<br />

3 Tillräcklig (0.55 < r < 0.65)<br />

4 God (0.65 < r < 0.75)<br />

5 Utmärkt (r > 0.75)<br />

RELIABILITET<br />

Reliabiliteten bedöms på liknande sätt som validiteten med exempelvis kommentarer<br />

till hur och när studierna är gjorda samt huruvida vissa värden är orimliga.<br />

Följande kriterier poängsätts:<br />

Homogenitet<br />

Mängd data<br />

0 Ingen information finns<br />

1 En inadekvat studie (stickprov < 50)<br />

2 En acceptabel studie (stickprov 50 - 100)<br />

3 En stor studie (stickprov > 100)<br />

4 Mer än en acceptabel studie<br />

5 Flera acceptabla eller stora studier<br />

Homogenitet (medianvärden)<br />

0 Ingen information finns<br />

1 Ej acceptabel (r < 0.6)<br />

2 Acceptabel (0.6 < r < 0.7)<br />

3 Tillräcklig (0.7 < r < 0.8)<br />

4 God (0.8 < r < 0.85)<br />

5 Utmärkt (r > 0.85)<br />

8


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Stabilitet<br />

Mängd data<br />

0 Ingen information finns<br />

1 En inadekvat studie (stickprov < 50)<br />

2 En acceptabel studie (stickprov 50 - 100)<br />

3 En stor studie (stickprov > 100)<br />

4 Mer än en acceptabel studie<br />

5 Flera acceptabla eller stora studier<br />

Stabilitet (medianvärden)<br />

0 Ingen information finns<br />

1 Ej acceptabel (r < 0.6)<br />

2 Acceptabel (0.6 < r < 0.7)<br />

3 Tillräcklig (0.7 < r < 0.8)<br />

4 God (0.8 < r < 0.85)<br />

5 Utmärkt (r > 0.85)<br />

NORMER<br />

Tillgängliga normer beskrivs på liknande sätt som validitet och reliabilitet samt<br />

enligt följande kriterier, som poängsätts:<br />

Ändamålsenlighet<br />

0 Ingen information finns<br />

1 Inte relevanta <strong>för</strong> Sverige<br />

2 Ej svenska normer, kan ändå användas med <strong>för</strong>siktighet<br />

3 Svenska normer, endast normalbefolkning<br />

4 Svenska normer relevanta <strong>för</strong> arbetslivet<br />

5 Svenska normer med väldefinierade kategorier<br />

Allmängiltighet<br />

0 Ingen information finns<br />

1 Endast en uppsättning normer<br />

2 Acceptabla normer <strong>för</strong> representativ population<br />

3 Tillräckligt antal normgrupper<br />

4 God <strong>för</strong>delning av normgrupper<br />

5 Utmärkt tillgång till yrkesrelaterade, ålders- och könsuppdelade normer med<br />

information om skillnader mellan etniska grupper.<br />

9


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Stickprovsstorlek<br />

0 Ingen information finns<br />

1 Liten (< 150)<br />

2 Acceptabel (150 <strong>–</strong> 300)<br />

3 Tillräcklig (300 <strong>–</strong> 600)<br />

4 Stor (600 <strong>–</strong> 1 000)<br />

5 Mycket stor (> 1 000)<br />

Omfattning av och tydlighet i innehållet<br />

Skattningarna <strong>för</strong>delar sig på fyra grupper:<br />

• Bakgrund, utveckling och standardisering<br />

• Normer, reliabilitet, validitet<br />

• Administrering, poängberäkning, tolkning och återkoppling<br />

• Bias, restriktioner <strong>för</strong> användning, referenser, etc.<br />

Detaljerad indelning beträffande omfattning av och tydlighet i innehåll följer.<br />

Exemplen beskriver kraven <strong>för</strong> betyget ”Utmärkt”.<br />

Bakgrund<br />

Klar och välargumenterad beskrivning av vad instrumentet avser att mäta och var<strong>för</strong><br />

det är konstruerat som det är.<br />

Utveckling<br />

Detaljerade beskrivningar av utvecklingen av instrumentet. Pilotstudier, itemanalys,<br />

jäm<strong>för</strong>ande studier samt ändringar under utvecklingen beskrivs.<br />

Standardisering<br />

Tydlig och detaljerad information om storlek på och typ av standardiseringsgrupper<br />

samt hur standardiseringen gick till.<br />

Normer<br />

Tydlig och detaljerad information om storlek på och typ av normgrupper samt hur<br />

testningen av dessa gick till.<br />

Reliabilitet<br />

Tydlig och detaljerad information om studier av instrumentets homogenitet och stabilitet.<br />

Validitet<br />

Tydlig och detaljerad information om studier av instrumentets validitet.<br />

10


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Administrering<br />

Detaljerad beskrivning och steg-<strong>för</strong>-steg-beskrivning av hur man bjuder instrumentet.<br />

Råd och tips om hur man hanterar frågor och problem vid bjudningen.<br />

Poängsättning<br />

Tydlig och detaljerad information om hur man räknar ihop poängen med tips om<br />

hur man kontrollerar resultatet.<br />

Tolkning<br />

Detaljerade anvisningar om hur man tolkar olika resultat och normvärden samt hur<br />

olika skalor hänger ihop. Flera tydliga exempel och fallstudier ingår.<br />

Återkoppling<br />

Detaljerade anvisningar om hur man ger återkoppling till den testade.<br />

Bias<br />

Detaljerad information från studier kring generaliserbarhet mellan kön eller etniska<br />

grupper.<br />

Begränsningar<br />

Tydlig beskrivning av vilka som bör eller inte bör testas, med <strong>för</strong>klaringar till var<strong>för</strong><br />

dessa begränsningar bör iakttagas.<br />

Referenser, etc.<br />

Detaljerade referenser till vetenskaplig litteratur och korsreferenser till andra relaterade<br />

instrument.<br />

SAMMANFATTANDE UTLÅTANDE<br />

Här ges en mer allmän beskrivning av granskningen och de betyg som getts kommenteras.<br />

Granskningen söker besvara frågan om hur väl instrumentet lever upp till<br />

sina egna anspråk och i vilken grad dokumentationen visar detta.<br />

Granskning av den tekniska dokumentationen<br />

Kommentarer ges till betygsättningen och annan relevant information avseende bakgrund,<br />

validitet, reliabilitet och normer i den tekniska dokumentation som normalt<br />

medföljer produkten. Dokumentation utöver den som normalt medföljer och som<br />

granskarna tagit del av ligger till grund <strong>för</strong> betygsättningen i den detaljerade beskrivningen<br />

samt <strong>för</strong> det allmänna omdömet.<br />

Granskning av omfattning och tydlighet<br />

Allmänna kommentarer till omfattningen av och tydligheten i dokumentationen.<br />

Design<br />

Kvaliteten på designen av instrumentet redovisas här. Hur lätt det är att läsa och fylla i formuläret,<br />

hur lätt det är att rätta, om det finns rättningsmallar eller kontrollfunktioner, etc.<br />

11


<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />

Allmänt omdöme<br />

Granskarens allmänna omdöme angånde instrumentet ges här. Det beskriver instrumentets<br />

<strong>för</strong>- och nackdelar och ger allmänna rekommendationer kring om och när<br />

det är användbart, tillsammans med varningar <strong>för</strong> när det inte är lämpligt.<br />

Granskningen täcker områden som tillämpbarheten i olika arbetspsykologiska<br />

sammanhang, vilken utbildning som behövs <strong>för</strong> att använda instrumentet, kvaliteten<br />

på materialet som medföljer, etc.<br />

Begränsningar vad gäller användningsområden kommenteras, exempelvis åldersgrupper,<br />

könsskillnader, etniska grupper, funktionshindrade.<br />

Slutsats<br />

Här sammanfattas de viktigaste kommentarerna till instrumentet liksom granskarens<br />

rekommendationer.<br />

12

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!