Psykometri inom hälsovetenskaperna Teori och tillämpning

Version 130829Forskarutbildningskurs, 7.5hpPsykometri inom hälsovetenskaperna:Teori och tillämpningStudiehandledning 2013-20141

Varmt välkommen till kursen Psykometri inom hälsovetenskaperna!Denna studiehandledning innehåller praktisk information om vad som kommer att händaunder och mellan respektive campusträff.Kursen betonar såväl psykometrisk teori som applikation i form av föreläsningar,litteraturstudier, grupparbeten, datorövningar och examination.Teoridelarna utgörs av kurslitteraturen, föreläsningar, samt rekommenderadreferenslitteratur. Referenslitteraturen består av en samling artiklar som på olika visbeskriver och illustrerar de metoder som tas upp under kursen. Det rör sig såväl ommetodologiska, teoretiska som empiriska artiklar. Dessa är samlade i en lista som duhittar i kursplattformen Moodle. Artiklar som inte är tillgängliga som open access får vidbehov anskaffas via ditt lärosätes bibliotek, där du förhoppningsvis har tillgång till dem.Handouts i PDF-format för respektive föreläsning kommer att finnas tillgängliga på Moodleinför Campus 1 och Campus 2. Handouts publiceras under veckan innan respektivecampusträff, så att du kan skriva ut och ta med dem till föreläsningarna om du vill.Merparten av de metoder som täcks in under föreläsningarna kommer även attdemonstreras och appliceras med hjälp av datorövningar där vi utgår frånstatistikprogrammet SPSS. Databaser som används vid dessa demonstrationer kommeratt finnas för nedladdning från Moodle. Utöver SPSS kommer vi även att demonstreraarbete med andra programvaror. Detta gäller företrädelsevis metoder som inte finnstillgängliga i SPSS. Länkar och instruktioner för nedladdning av dessa programvarorkommer att finnas i Moodle. Vi rekommenderar dig således även att hämta hem ochinstallera dessa program inför respektive campusträff. Se om möjligt till att installationenär klar innan respektive datorövning, eftersom vi inte har resurser att hjälpa till medinstallationer och liknande under campusträffarna.För att till fullo kunna följa med i kursens samtliga moment är det med andra ordrekommendabelt att du om möjligt tar med din egen dator (med nedladdade datafiler ochinstallerade program) till campusträffarna.Kursen förutsätter grundläggande kunskaper i statistik och ger inte utrymme att gåigenom allmänna statistiska metoder. Eventuell handledning och hjälp med detta fårsåledes ombesörjas via din handledare och/eller hemmainstitution. Om du anser dig habehov av att komplettera kurslitteraturen med lärobok i statistik rekommenderasexempelvis:• Norman G, Streiner D. Biostatistics: The bare essentials, 3 rd ed. Hamilton: B.C.Decker, Inc., 2008.Resterande delar av denna studiehandledning berör specifik information inför respektivecampusträff. Notera att detaljer kan komma att justeras under kursens gång, så håll kollpå kursmeddelanden och eventuella uppdateringar av studiehandledningen införrespektive campusträff.Peter HagellProfessor i vårdvetenskapKursansvarig2

Campus 1Psykometri inom hälsovetenskapernaCampusträff 1 domineras av grundläggande psykometriska begrepp och metoder enligt såkallad klassisk testteori.Inför första campusträffen är det några punkter som ni behöver förbereda.Inför datordemonstrationernaKursen kommer att ha betoning på applikation. Detta innebär att det kommer att avsättastid för demonstration och eget arbete vid datorerna. Inför Campus 1 ber vi dig därför att:• Se till att du har SPSS installerat på din dator som du tar med till Campus (andrastatistikprogram fungerar också – men demonstrationerna kommer enbart att utgåfrån SPSS).• Ladda hem och installera programmet FACTOR frånhttp://psico.fcep.urv.es/utilitats/factor/Download.html• Ladda hem SPSS-filen pain_project.sav samt datafilen painADL_FACTOR.dat frånMoodle.Ta gärna med din(a) egen/na databas(er) med skattningsskaledata på itemnivå om du villprova att arbeta med annat än de exempelfiler som vi utgår ifrån underdemonstrationerna.Fundera redan nu över examinationsuppgifternaExaminationen består av två uppgifter, vilka genomförs två och två (dvs tillsammans meden annan kursdeltagare):• Redovisning och tolkning av egna psykometriska analyser av ett instrument, ellerredovisning och tolkning av en systematisk granskning av ett instrumentspsykometriska egenskaper. För egna psykometriska analyser krävs tillgång tillempiriska skattningsskaledata (n≥100).• Skriftlig projektplan för tänkt eller verklig psykometrisk studie, med fokus på design,datainsamling och analysplan.Vi kommer att diskutera detta under Campus 1 men det kan vara bra att börja funderaönskemål, intressen osv redan innan campusträffen.3

Campus 2Psykometri inom hälsovetenskapernaCampusträff 2 omfattar redovisning av gruppuppgift (artikelgranskning) i form av enjournal club, fördjupning inom klassisk testteori, samt introduktion till modern testteori(Rasch-analys).Inför andra campusträffen är det några punkter som måste förberedas.ArtikelgranskningVarje grupp tilldelas en vetenskaplig artikel med psykometriskt fokus som ska granskaskritiskt inför redovisning och diskussion vid Campus 2. De artiklar som vi använder oss avomfattar olika psykometriska egenskaper men var och en har visst fokus på någonspecifik aspekt eller metod. De artiklar som ska granskas samt fokus för granskningen är:• Nishimura et al. Development and Psychometric Analysis of the Japanese version ofthe Nottingham Health Profile: Cross-cultural adaptation. Internal Medicine 2004;43: 35-41.Fokus för granskning: Reliabilitet• Yellen et al. Measuring fatigue and other anemia-related symptoms with theFunctional Assessment of Cancer Therapy (FACT) measurement system. Journal ofPain and Symptom Management 1997; 13: 63-74.Fokus för granskning: Validitet (fokusera på 13-items subskalan för fatigue)• Troster et al. Quality of life in Essential Tremor Questionnaire (QUEST):Development and initial validation. Parkinsonism & Related Disorders 2005; 11:367–373.Fokus för granskning: Explorativ faktoranalys (EFA)Artiklarna omfattar psykometriska aspekter eller metoder utöver de som granskningenfokuseras på; dessa kan också vara relevanta att ta hänsyn till i granskningen.Artiklarna kommer att distribueras under Campus 1 och information om gruppindelningkommer att anslås i Moodle efter Campus 1.Vid redovisningen/diskussionen under Campus 2 förväntas samtliga deltagare att förutomgranskningen av sin tilldelade artikel även ha läst övriga artiklar inför diskussion vidredovisningarna.Granskningen skall fokusera på den aspekt som anges för respektive artikel (se ovan). Vidredovisningen förväntas gruppen• Kort sammanfatta studiens syfte och design, samt typ av instrumentet, vad detavser mäta osv• Därefter fokusera på artikelns huvudpunkt enligt ovan och kritiskt beskriva ochdiskutera metodik, vad som är gjort, resultat och tolkning• Vid behov ha läst in sig på området med hjälp av kurslitteratur och annan litteraturFör varje redovisning avsätts 45 minuter. Dessa disponeras enligt följande:• Gruppens muntliga sammanfattning (ej PowerPoint eller dylikt) av artikeln enligtovan (ca 10 minuter)• Diskussion samt frågor till och från övriga deltagare, inklusive lärare (ca 35minuter)Vid granskningen bör ni exempelvis beakta design, metodval (inklusive alternativametoder), hur författarna tolkar data, om data ger stöd för konklusioner, om det är någotni saknar i analyserna/data, etc.4

Campus 2Psykometri inom hälsovetenskapernaFrivillig uppgift inför examinationUnder eftermiddagen andra dagen vid Campus 2 har tid avsatts för att de som så önskarska få möjlighet till återkoppling på sina planerade examinationsarbeten. Tiden föråterkoppling beror på hur många som önskar utnyttja denna möjlighet men kanuppskattas till max 10 minuter per arbete.De som vill utnyttja denna möjlighet måste i förväg lämna in en kort (upp till en halv A4-sida) sammanfattning av den planerade examinationsuppgiften. Denna bör innehållaföljande information:• Om det föreslagna arbetet avser litteraturgranskning eller empirisk analys av egnadata.• Typ av instrument, inklusive information om vad det avser att mäta, målgrupp,uppbyggnad (antal items, svarskategorier, ev delskalor etc).• Information om stickprov, kontext och planerade analyser (vid empirisk analys avegna data).• Information om ungefärligt antal befintliga psykometriska utvärderingar, inklusivekontext och typ av utvärderingar (vid litteraturgranskning).Sammanfattningen laddas upp på Moodle (”Frivillig uppgift” under Campus 2) senast den29 november 2013. Döp dokumentet enligt följande:Efternamn_Efternamn_datum_examplan.Exempel: Andersson_Jonsson_131125_examplan.docInför datordemonstrationernaKursen kommer att ha betoning på applikation. Detta innebär att det kommer att avsättastid för demonstration och eget arbete vid datorerna. Inför Campus 2 ber vi dig därför att:• Se till att du har SPSS installerat på din dator som du tar med till Campus (andrastatistikprogram fungerar också – men demonstrationerna kommer enbart att utgåfrån SPSS).• Ladda hem och installera program och datafiler enligt separat information i Moodleinför Campus 2Ta gärna med din(a) egen/na databas(er) med skattningsskaledata på itemnivå om du villprova att arbeta med annat än de exempelfiler som vi utgår ifrån underdemonstrationerna.5

Campus 3Psykometri inom hälsovetenskapernaCampusträff 3 omfattar seminarier med redovisning av examinationsuppgifterna.Instruktioner för examinationsuppgifternaExaminationsuppgifterna genomförs tillsammans med en annan kursdeltagare.Examinationen består av två uppgifter:• Genomföra, tolka och presentera egna psykometriska analyser av enskattningsskala, eller en systematisk granskning av ett instruments psykometriskaegenskaper.• Skriva en projektplan för en psykometrisk studie. Detta kan röra en studie somplaneras att genomföras eller en fiktiv (men realistisk!) studie.Syftet med examinationsuppgifterna är att visa att man förstår psykometriskahuvudprinciper och -begrepp. Detta sker genom att i redovisningarna integreraförklaringar/beskrivningar av innebörder, antaganden, begrepp, vilka frågor olikatest/metoder svarar på, och hur metoderna/resultaten används och tolkas i förhållande tillbegreppen (dvs det som utvärderas), etc.Genomförande, tolkning och presentation av egna psykometriska analyserPsykometrisk testning av instrument/skattningsskala med hjälp av egna empiriska data.Krav på data:• Data på item-nivå från skattningsskala (”multi-item scale”) med ett eller flerasummerade totalpoäng (dvs inte ”single-item scales” eller ”checklistor” som ej äravsedda att generera totalpoäng).• n bör vara åtminstone ca 100.• Relevanta demografiska data.Analyserna ska omfatta olika aspekter av grundläggande psykometriska egenskapersåsom antaganden för poängberäkning, reliabilitet, validitet och responsivitet/sensitivitet.Uppgiften redovisas muntligt med hjälp av PowerPoint-presentation.Observera att det inte är tillåtet att basera examinationsuppgiften på redan publiceradeanalyser/artiklar.Systematisk granskning av ett instruments psykometriska egenskaperEn systematisk kritisk litteraturgranskning av ett instruments psykometriska egenskaper.Utgå gärna från ett instrument som du använder eller planerar att använda. Somriktmärke bör granskningen omfatta minst tre originalstudier.Uppgiften redovisas muntligt med hjälp av PowerPoint-presentation.Observera att det inte är tillåtet att använda redan publicerade reviewartiklar.6

Projektplan för en psykometrisk studieSkriftlig projektbeskrivning för psykometrisk studie innehållande• Bakgrund• Syfte• Metodbeskrivning• Studiens betydelse• Referenser• Bilaga med det instrument som studien avser att testa (såvida projektet inte avserinstrumentutveckling)Fokus i projektbeskrivningen ska ligga på den psykometriska analysplanen (inklusivemotiveringar och förklaringar av vald metodik). Projektet ska omfatta analyser avseendeolika aspekter av grundläggande psykometriska egenskaper såsom antaganden förpoängberäkning, reliabilitet, validitet och responsivitet/sensitivitet.Omfattning: Max 5 sidor (exklusive försättsblad, referenser och bilagor)Redovisningarna ska vara psykometriskt fokuserade. Följande moment skall ingåoch utgör bedömningsgrund för examinationen:• Definition av den/de variabler som instrumenten avser att mäta och instrumentensteoretiska förankring• Instrumentens syfte och användningsområde• Hur instrumenten har utvecklats och (om relevant) översatts• Instrumentens uppbyggnad, inklusive poängberäkning och -tolkning• Hur instrumentens dimension(er) har definierats/konstruerats• Inklusions- och exklusionskriterier (vid egna psykometriska analyser: för detstuderade stickprovet; vid litteraturgranskning: för din selektion av artiklar samtför deltagare i granskade studier)• Beskrivning av psykometriska test, inklusive deskriptiva och psykometriska data,samt (tolknings)kriterier• Beskrivning av innebörden av olika psykometriska begrepp och aspekter• * Diskutera psykometriska svagheter och styrkor, inklusive psykometriska aspektersom ej är testade, samt implikationer av detta *• * Ge en sammanfattning/evidensbaserad konklusion angående instrumentetspsykometriska egenskaper. Det vill säga vad man vet/inte vet beträffandehuvudsakliga psykometriska aspekter (t ex antaganden för poängberäkning,reliabilitet, validitet, responsivitet/sensitivitet), inklusive kontext. Hur starkt stödbedömer du att data ger för olika psykometriska egenskaper? Vilka är depsykometriska styrkorna och svagheterna? Vad saknas? **) Avser enbart redovisningen av egna psykometriska analyser, alternativt granskningav ett instruments psykometriska egenskaper7

Campus 3Psykometri inom hälsovetenskapernaInstruktioner inför CampusträffenExaminationen består av att (1) genomföra, tolka och presentera egna psykometriskaanalyser av en skattningsskala, eller en systematisk granskning av ett instrumentspsykometriska egenskaper, samt (2) skriva en projektplan för en psykometrisk studie.Sista dag att skicka in de egna arbetena är den 16 mars 2014.Inlämning av arbeten inför examination vid Campus 3PowerPoint-presentation (uppgift 1 enl ovan) och projektplan (uppgift 2 enl ovan) skallsenast den 16 mars 2014 laddas upp på Moodle. Döp dokumentet enligt följande:Författarnamn, datum,Använd ej svenska tecken (å, ä, ö) eller specialtecken.Exempel: Författarnamn_Författarnamn_datum.ppt/docAndersson_Jonsson_130225.ppt/docArbetena kommer därmed att vara tillgängliga för samtliga inför Campus 3.Inför Campus 3 förväntas samtliga deltagare gå in under sin respektive grupp-mapp ochhämta hem övriga deltagares bidrag.Vad händer i anslutning till examinationen?Examinationsseminarierna genomförs torsdagen den 27 och fredagen den 28 mars 2014.Kursdeltagarna indelas i grupper som examineras parallellt. Grupptillhörighet kommer attframgå av examinationsschema på Moodle.Varje kursdeltagare kommer att presentera det egna arbetet (uppgift 1 enl ovan), vilketkommer att diskuteras tillsammans med övriga gruppmedlemmar och examinerandelärare. Därefter kommer den föreslagna projektplanen (uppgift 2 enl ovan) att diskuterasinom samma grupp. Samtliga deltagare i respektive grupp förväntas ha tagit del avsamtliga dokument inom seminariegruppen för att kunna bidra med diskussion ochkonstruktiv kritik.Varje arbete examineras enligt följande disposition:• Presentation (PowerPoint) av genomförande och tolkning av egna psykometriskaanalyser av en skattningsskala, eller en systematisk granskning av ett instrumentspsykometriska egenskaper (max 15 minuter)• Diskussion och återkoppling inom seminariegruppen avseende presenteradepsykometriska data och tolkningar (max 25 minuter)• Diskussion och återkoppling på föreslagen projektplan (max 20 minuter)Examinatorn kommer att ge skriftlig återkoppling (inklusive eventuella kompletteringar)inom ca 1 vecka efter Campus 3.8

Kompletteringar och omexaminationBrister avseende följande generella aspekter är att betrakta som riktmärke för behov avkomplettering/omexamination:• Användande och tolkning av begrepp.• Korrekt angivelse av tester och metoder, t ex typ av korrelation, faktoranalys etc.• Rapportering av psykometriska och deskriptiva data så att grunden för tolkningaroch slutsatser blir tydlig.• Kritiskt förhållningssätt i tolkning och bedömning av data.Om arbeten där examinator begärt komplettering inte bedöms uppfylla kraven förgodkänd examinationsuppgift efter genomförd komplettering sätts betyget underkänd.Studenten får därefter inkomma med begäran om omexamination. Precis som vidordinarie examination inkluderar omexamination utrymme för en (1) komplettering.Emailadresser till examinerande lärarePeter Hagell: Peter.Hagell@hkr.seUlf Jakobsson: Ulf.Jakobsson@med.lu.seLYCKA TILL!9