Kvalitetskriterier för testinstrument – personlighetsbedömning
Kvalitetskriterier för testinstrument – personlighetsbedömning
Kvalitetskriterier för testinstrument – personlighetsbedömning
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong><br />
<strong>–</strong> <strong>personlighetsbedömning</strong><br />
Mars 2002<br />
© Stiftelsen <strong>för</strong> Tillämpad Psykologi
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
innehåll<br />
Testinformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3<br />
Historik och beskrivning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4<br />
Administrering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4<br />
Användardokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5<br />
Vetenskaplig dokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6<br />
Validitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7<br />
Reliabilitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8<br />
Normer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9<br />
Sammanfattande utlåtande . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12<br />
2
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong><br />
<strong>–</strong> <strong>personlighetsbedömning</strong><br />
Följande kvalitetskriterier utgör riktlinjer <strong>för</strong> de granskningar av test inom området<br />
personlighet som ut<strong>för</strong>s av Stiftelsen <strong>för</strong> Tillämpad Psykologis (STP:s) granskare.<br />
Riktlinjerna beskriver de områden som ska finnas med i den skriftliga granskningsrapport<br />
som STP sammanställer utifrån testgranskarnas arbete.<br />
Uppgifterna finns med i den mån de funnits tillgängliga i det material som test<strong>för</strong>läggaren<br />
tillhandahållit i samband med granskningen. Om uppgifter om en rubrik<br />
saknas anges det med ”uppgift saknas”. Förläggaren har haft möjlighet att komplettera<br />
uppgifterna i rapporten innan den skriftliga rapporten slut<strong>för</strong>des.<br />
För att underlätta läsningen av kriterierna och granskningsrapporterna har en läsanvisning<br />
sammanställts.<br />
TESTINFORMATION<br />
Den <strong>för</strong>sta delen av kriterierna omfattar allmän information om testet som namn,<br />
<strong>för</strong>läggare och vilken version som granskades. Här beskrivs vilken typ av test det är<br />
fråga om och vilka eventuella villkor som gäller <strong>för</strong> användning samt vad testet<br />
består av i form av olika formulär eller dataversioner.<br />
Namn på instrumentet, <strong>för</strong>läggare, distributör och <strong>för</strong>fattare samt datum <strong>för</strong> <strong>för</strong>sta<br />
publicering och <strong>för</strong> granskad version<br />
Grundläggande information som identifierar testet och informerar om var det finns<br />
tillgängligt.<br />
Typ av instrument<br />
Instrument som avser att mäta ”typiskt ut<strong>för</strong>ande”, omfattande personlighetstest,<br />
attitydformulär, intresseinventorier, m.m.<br />
Tillbehör<br />
Kort beskrivning av eventuella kringprodukter som exempelvis datorprogram <strong>för</strong><br />
bjudning eller sammanställning.<br />
Användarvillkor<br />
Vilka krav ställs på användaren från leverantören i form av utbildning? Huruvida<br />
dessa anses <strong>för</strong> lösa eller <strong>för</strong> strikta anges inte här, det värderas senare under<br />
granskningen.<br />
Formulär<br />
Finns det flera olika formulär till testet beskrivs dessa. Vissa test finns i olika versio-<br />
3
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
ner <strong>för</strong> olika normgrupper eller i olika versioner <strong>för</strong> olika ändamål. Vilket eller<br />
vilka formulär som ingår i granskningen beskrivs i den inledande informationen.<br />
Format<br />
Papper-och-penna eller olika former av datorisering. Vilket format som granskas<br />
beskrivs i den inledande informationen.<br />
Priser<br />
Information om vad det kostar att skaffa en komplett uppsättning samt pris per<br />
testning.<br />
Service<br />
Finns det möjlighet att få rättning/tolkning via leverantören eller kan det endast<br />
ut<strong>för</strong>as av leverantören?<br />
HISTORIK OCH BESKRIVNING<br />
Här beskrivs testets bakgrund och vilka typer av data som genereras. Bakgrunden<br />
består i en historisk beskrivning där utveckling och eventuella teoretiska utgångspunkter<br />
redovisas. Det är en faktabeskrivning utifrån materialet, vars mål är att ge<br />
en bild av hur och på vilka grunder samt utifrån vilka behov testet utvecklats.<br />
Beskrivning<br />
En allmän beskrivning av testet, vad det sägs mäta, historisk bakgrund etc. En värderingsfri<br />
faktabeskrivning.<br />
Typ av skala<br />
Personlighetsinstrument <strong>för</strong>delar sig grovt i två grupper: de med normativ och de<br />
med ipsativ skala. Även projektiva eller perceptgenetiska test kan <strong>för</strong>ekomma.<br />
Typ av poäng<br />
Vilka värden man får ut; råvärden och andra skalor som kan tas fram via manualen.<br />
ADMINISTRERING<br />
Förutsättningar<br />
Behövs det speciell utrustning utöver de normala <strong>för</strong>utsättningarna som gäller?<br />
Dessa är ett tyst, väl upplyst och ventilerat rum med tillräcklig bordsyta och sittplats<br />
<strong>för</strong> både den testade och testledaren.<br />
Tid<br />
Tidsbedömningarna utgår från att testningen görs av en testledare med erfarenhet<br />
av testet och innefattar inte den tid det tar att lära sig testet. Tiden delas in i fem<br />
delar:<br />
4
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Förberedelsetid Den tid som behövs <strong>för</strong> testledaren att <strong>för</strong>bereda sig.<br />
Bjudningstid Det tid instruktion, genom<strong>för</strong>ande och avslutning tar.<br />
Poängberäkning Den tid det tar att räkna fram råpoängen.<br />
Analys Tid <strong>för</strong> omvandling av råvärden, normjäm<strong>för</strong>else och sammanställning<br />
av preliminär tolkning.<br />
Presentation Den tid det tar att <strong>för</strong>bereda och presentera resultatet <strong>för</strong> den<br />
testade.<br />
ANVÄNDARDOKUMENTATION<br />
Här sätter sig granskaren in i användarens situation och bedömer det material som<br />
medföljer testet. Med användardokumentation menas allt material som medföljer<br />
testet och även andra källor, exempelvis böcker, som är lätt tillgängliga <strong>för</strong> den<br />
som använder testet. Det innefattar inte vetenskaplig dokumentation kring testet då<br />
sådan kan anses vara svårtillgänglig <strong>för</strong> den normala användaren.<br />
Hur lättillgängligt materialet är <strong>för</strong> den normale användaren bedöms på två sätt:<br />
Materialet<br />
Det allmänna intrycket av materialet.<br />
0 Dåligt tryck och ostrukturerat hopplock av olika material<br />
1 Dåligt tryck men acceptabel organisation av innehållet<br />
2 Acceptabelt tryck och organisation av innehållet<br />
3 Bra tryck men <strong>för</strong>delat på flera olika material<br />
4 Bra tryck och samlat i en pärm eller ett paket<br />
5 Bra tryck och samlat i en sammanhängande produkt<br />
Läsbarhet<br />
Hur lätt är det att sätta sig in i materialet? Det påverkas av det språk som används,<br />
hur tekniska termer <strong>för</strong>klaras, ifall man undviker fackuttryck, etc.<br />
0 Dåligt skrivet, svårt att <strong>för</strong>stå och dåligt organiserat<br />
1 Oklart och dålig text<br />
2 Acceptabelt och relativt klart skrivet men med ofullständiga/icke acceptabla<br />
<strong>för</strong>klaringar av tekniska termer<br />
3 Klart skrivet och acceptabelt organiserat men med något ofullständiga/inte helt<br />
acceptabla <strong>för</strong>klaringar av tekniska termer<br />
4 Klart och överskådligt med adekvata <strong>för</strong>klaringar av tekniska termer<br />
5 Mycket väl skrivet och överskådligt med bra <strong>för</strong>klaringar av tekniska termer<br />
5
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
VETENSKAPLIG DOKUMENTATION<br />
I övrigt betygsätts dokumentationen utifrån två aspekter:<br />
• Kvaliteten på den tekniska dokumentationen<br />
• Omfattningen av och tydligheten i innehållet.<br />
En sexgradig betygsskala används:<br />
0 Information saknas<br />
1 Dålig<br />
2 Acceptabel<br />
3 Tillräcklig<br />
4 Bra<br />
5 Utmärkt<br />
Två eller högre anses vara acceptabelt, noll eller ett anses som ej tillräckligt. Ifall ett<br />
kriterium inte är tillämpbart på det här testet sätts ett streck i betygsskalan.<br />
Kvaliteten på den tekniska, vetenskapliga dokumentationen <strong>–</strong> generellt<br />
Här synas den tekniska kvaliteten på dokumentationen utan hänsyn till hur lättillgängligt<br />
presenterad den är.<br />
0 Otillräcklig dokumentation, exempelvis inga referenser och inget om validitet<br />
eller reliabilitet.<br />
1 Svag dokumentation med få referenser, inga eller svaga bevis på validitet och<br />
reliabilitet och få, om ens några, normeringar.<br />
2 Acceptabel dokumentation av tekniska egenskaper och relevant hänvisning till<br />
referenser, men något svaga bevis rörande validitet, reliabilitet, användbarhet<br />
och normer.<br />
3 Acceptabel dokumentation av tekniska egenskaper med acceptabla bevis<br />
rörande validitet, reliabilitet, användbarhet och normer.<br />
4 Bra dokumentation av tekniska egenskaper med goda bevis rörande validitet,<br />
reliabilitet, användbarhet och normer.<br />
5 Grundlig och klar dokumentation av tekniska egenskaper med många och<br />
detaljerade bevis rörande validitet, reliabilitet, användbarhet och normer.<br />
Detaljerad uppdelning av den tekniska dokumentationen<br />
En översiktlig skattning ges tillsammans med specifika skattningar av validitet,<br />
reliabilitet och normer (r = median korrelation).<br />
Vad beträffar test som ursprungligen utvecklats i ett annat land men som översatts<br />
till svenska, kan dokumenterad information från utländska studier om dess kvalitet<br />
6
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
beaktas vid granskningen om<br />
• standardiseringsarbetet med den svenska versionen är väl ut<strong>för</strong>t och skriftligen<br />
dokumenterat samt<br />
• resultaten från åtminstone en mindre studie visar att den svenska versionen av<br />
testet i huvudsak uppvisar samma mönster av tekniska kvaliteter som ursprungs-<br />
versionen.<br />
VALIDITET<br />
Validiteten beskrivs i form av kriterie- och begreppsvaliditet enligt nedanstående<br />
riktlinjer. När och hur studierna är gjorda redovisas under denna rubrik i löpande<br />
text. I de fall prediktiva studier gjorts beskrivs det här. Bedömningar kring valet av<br />
kriterier samt av hur representativa dessa är finns med. Kommentarer görs kring hur<br />
dessa studier står sig i <strong>för</strong>hållande till de <strong>för</strong>utsättningar som råder på den svenska<br />
testmarknaden.<br />
Betygspoängen nedan utgör riktlinjer som är till <strong>för</strong> att vägleda granskaren. De är<br />
inga exakta mått utan snarare bedömningar utifrån helheten, exempelvis granskarens<br />
uppfattning om kvaliteten på den metod som använts i de studier som ligger till<br />
grund <strong>för</strong> värdena.<br />
De i materialet angivna värdena granskas och kommenteras. Orimligt höga värden<br />
leder till en nolla (0) i bedömningen nedan.<br />
Studier ut<strong>för</strong>da i andra länder som är relevanta att kommentera i granskningen<br />
beskrivs i löpande text.<br />
Kriterierelaterad validitet<br />
Mängd data<br />
0 Ingen information finns<br />
1 En inadekvat studie (stickprov < 100)<br />
2 En acceptabel studie (stickprov 100 - 200)<br />
3 En stor studie (stickprov > 200)<br />
4 Mer än en acceptabel studie<br />
5 Flera acceptabla eller stora studier<br />
Kriterierelaterad validitet (medianvärden)<br />
0 Ingen information finns<br />
1 Ej acceptabel (r < 0.2)<br />
2 Acceptabel (0.2 < r < 0.35)<br />
3 Tillräcklig (0.35 < r < 0.45)<br />
4 God (0.45 < r < 0.55)<br />
5 Utmärkt (r > 0.55)<br />
7
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Begreppsvaliditet<br />
Mängd data<br />
0 Ingen information finns<br />
1 En inadekvat studie (stickprov < 100)<br />
2 En acceptabel studie (stickprov 100 - 200)<br />
3 En stor studie (stickprov > 200)<br />
4 Mer än en acceptabel studie<br />
5 Flera acceptabla eller stora studier<br />
Begreppsvaliditet (medianvärden)<br />
0 Ingen information finns<br />
1 Ej acceptabel (r < 0.45)<br />
2 Acceptabel (0.45 < r < 0.55)<br />
3 Tillräcklig (0.55 < r < 0.65)<br />
4 God (0.65 < r < 0.75)<br />
5 Utmärkt (r > 0.75)<br />
RELIABILITET<br />
Reliabiliteten bedöms på liknande sätt som validiteten med exempelvis kommentarer<br />
till hur och när studierna är gjorda samt huruvida vissa värden är orimliga.<br />
Följande kriterier poängsätts:<br />
Homogenitet<br />
Mängd data<br />
0 Ingen information finns<br />
1 En inadekvat studie (stickprov < 50)<br />
2 En acceptabel studie (stickprov 50 - 100)<br />
3 En stor studie (stickprov > 100)<br />
4 Mer än en acceptabel studie<br />
5 Flera acceptabla eller stora studier<br />
Homogenitet (medianvärden)<br />
0 Ingen information finns<br />
1 Ej acceptabel (r < 0.6)<br />
2 Acceptabel (0.6 < r < 0.7)<br />
3 Tillräcklig (0.7 < r < 0.8)<br />
4 God (0.8 < r < 0.85)<br />
5 Utmärkt (r > 0.85)<br />
8
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Stabilitet<br />
Mängd data<br />
0 Ingen information finns<br />
1 En inadekvat studie (stickprov < 50)<br />
2 En acceptabel studie (stickprov 50 - 100)<br />
3 En stor studie (stickprov > 100)<br />
4 Mer än en acceptabel studie<br />
5 Flera acceptabla eller stora studier<br />
Stabilitet (medianvärden)<br />
0 Ingen information finns<br />
1 Ej acceptabel (r < 0.6)<br />
2 Acceptabel (0.6 < r < 0.7)<br />
3 Tillräcklig (0.7 < r < 0.8)<br />
4 God (0.8 < r < 0.85)<br />
5 Utmärkt (r > 0.85)<br />
NORMER<br />
Tillgängliga normer beskrivs på liknande sätt som validitet och reliabilitet samt<br />
enligt följande kriterier, som poängsätts:<br />
Ändamålsenlighet<br />
0 Ingen information finns<br />
1 Inte relevanta <strong>för</strong> Sverige<br />
2 Ej svenska normer, kan ändå användas med <strong>för</strong>siktighet<br />
3 Svenska normer, endast normalbefolkning<br />
4 Svenska normer relevanta <strong>för</strong> arbetslivet<br />
5 Svenska normer med väldefinierade kategorier<br />
Allmängiltighet<br />
0 Ingen information finns<br />
1 Endast en uppsättning normer<br />
2 Acceptabla normer <strong>för</strong> representativ population<br />
3 Tillräckligt antal normgrupper<br />
4 God <strong>för</strong>delning av normgrupper<br />
5 Utmärkt tillgång till yrkesrelaterade, ålders- och könsuppdelade normer med<br />
information om skillnader mellan etniska grupper.<br />
9
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Stickprovsstorlek<br />
0 Ingen information finns<br />
1 Liten (< 150)<br />
2 Acceptabel (150 <strong>–</strong> 300)<br />
3 Tillräcklig (300 <strong>–</strong> 600)<br />
4 Stor (600 <strong>–</strong> 1 000)<br />
5 Mycket stor (> 1 000)<br />
Omfattning av och tydlighet i innehållet<br />
Skattningarna <strong>för</strong>delar sig på fyra grupper:<br />
• Bakgrund, utveckling och standardisering<br />
• Normer, reliabilitet, validitet<br />
• Administrering, poängberäkning, tolkning och återkoppling<br />
• Bias, restriktioner <strong>för</strong> användning, referenser, etc.<br />
Detaljerad indelning beträffande omfattning av och tydlighet i innehåll följer.<br />
Exemplen beskriver kraven <strong>för</strong> betyget ”Utmärkt”.<br />
Bakgrund<br />
Klar och välargumenterad beskrivning av vad instrumentet avser att mäta och var<strong>för</strong><br />
det är konstruerat som det är.<br />
Utveckling<br />
Detaljerade beskrivningar av utvecklingen av instrumentet. Pilotstudier, itemanalys,<br />
jäm<strong>för</strong>ande studier samt ändringar under utvecklingen beskrivs.<br />
Standardisering<br />
Tydlig och detaljerad information om storlek på och typ av standardiseringsgrupper<br />
samt hur standardiseringen gick till.<br />
Normer<br />
Tydlig och detaljerad information om storlek på och typ av normgrupper samt hur<br />
testningen av dessa gick till.<br />
Reliabilitet<br />
Tydlig och detaljerad information om studier av instrumentets homogenitet och stabilitet.<br />
Validitet<br />
Tydlig och detaljerad information om studier av instrumentets validitet.<br />
10
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Administrering<br />
Detaljerad beskrivning och steg-<strong>för</strong>-steg-beskrivning av hur man bjuder instrumentet.<br />
Råd och tips om hur man hanterar frågor och problem vid bjudningen.<br />
Poängsättning<br />
Tydlig och detaljerad information om hur man räknar ihop poängen med tips om<br />
hur man kontrollerar resultatet.<br />
Tolkning<br />
Detaljerade anvisningar om hur man tolkar olika resultat och normvärden samt hur<br />
olika skalor hänger ihop. Flera tydliga exempel och fallstudier ingår.<br />
Återkoppling<br />
Detaljerade anvisningar om hur man ger återkoppling till den testade.<br />
Bias<br />
Detaljerad information från studier kring generaliserbarhet mellan kön eller etniska<br />
grupper.<br />
Begränsningar<br />
Tydlig beskrivning av vilka som bör eller inte bör testas, med <strong>för</strong>klaringar till var<strong>för</strong><br />
dessa begränsningar bör iakttagas.<br />
Referenser, etc.<br />
Detaljerade referenser till vetenskaplig litteratur och korsreferenser till andra relaterade<br />
instrument.<br />
SAMMANFATTANDE UTLÅTANDE<br />
Här ges en mer allmän beskrivning av granskningen och de betyg som getts kommenteras.<br />
Granskningen söker besvara frågan om hur väl instrumentet lever upp till<br />
sina egna anspråk och i vilken grad dokumentationen visar detta.<br />
Granskning av den tekniska dokumentationen<br />
Kommentarer ges till betygsättningen och annan relevant information avseende bakgrund,<br />
validitet, reliabilitet och normer i den tekniska dokumentation som normalt<br />
medföljer produkten. Dokumentation utöver den som normalt medföljer och som<br />
granskarna tagit del av ligger till grund <strong>för</strong> betygsättningen i den detaljerade beskrivningen<br />
samt <strong>för</strong> det allmänna omdömet.<br />
Granskning av omfattning och tydlighet<br />
Allmänna kommentarer till omfattningen av och tydligheten i dokumentationen.<br />
Design<br />
Kvaliteten på designen av instrumentet redovisas här. Hur lätt det är att läsa och fylla i formuläret,<br />
hur lätt det är att rätta, om det finns rättningsmallar eller kontrollfunktioner, etc.<br />
11
<strong>Kvalitetskriterier</strong> <strong>för</strong> <strong>testinstrument</strong> <strong>–</strong> <strong>personlighetsbedömning</strong> © Stiftelsen <strong>för</strong> Tillämpad Psykologi<br />
Allmänt omdöme<br />
Granskarens allmänna omdöme angånde instrumentet ges här. Det beskriver instrumentets<br />
<strong>för</strong>- och nackdelar och ger allmänna rekommendationer kring om och när<br />
det är användbart, tillsammans med varningar <strong>för</strong> när det inte är lämpligt.<br />
Granskningen täcker områden som tillämpbarheten i olika arbetspsykologiska<br />
sammanhang, vilken utbildning som behövs <strong>för</strong> att använda instrumentet, kvaliteten<br />
på materialet som medföljer, etc.<br />
Begränsningar vad gäller användningsområden kommenteras, exempelvis åldersgrupper,<br />
könsskillnader, etniska grupper, funktionshindrade.<br />
Slutsats<br />
Här sammanfattas de viktigaste kommentarerna till instrumentet liksom granskarens<br />
rekommendationer.<br />
12