Empiriska utvärderingsmetoder - Chalmers tekniska högskola
Empiriska utvärderingsmetoder - Chalmers tekniska högskola
Empiriska utvärderingsmetoder - Chalmers tekniska högskola
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Utvärderingsmetoder:<br />
”<strong>Empiriska</strong> metoder”<br />
IT-universitetet 2004-02-26
Problemet
Usability is .....<br />
”... the extent to which a product can be used with effectiveness,<br />
efficiency and satisfaction by specific users to achieve specific<br />
goals in a specific environment” (ISO DIS 9241-11)<br />
• effectiveness = ändamålsenlighet, dvs. i vilken utsträckning<br />
mål/uppgifter kan uppnås med noggrannhet och fullständighet ...<br />
• efficiency=effektivitet, dvs. den ansträngning som krävs för att<br />
uppnå ett mål, resursåtgång i förhållande till noggrannhet och<br />
fullständighet ....<br />
• satisfaction=tillfredsställelse som användarna upplever vid<br />
användning, hur acceptabel produkten är ur användarnas<br />
synvinkel, frånvaron av obehag ...
Använd<br />
Uppgift/m<br />
Miljö/Konte<br />
Teknisk prod
<strong>Empiriska</strong> metoder<br />
• Fokusintervjuer<br />
• Intervjuer<br />
• Enkäter<br />
• ”Paper-and-pen” utvärderingar<br />
• Usability tester/användartester<br />
• Fältutvärderingar
Användbarhetstest/<br />
Usability test<br />
En utvärdering där ett urval användare<br />
genomför/löser ett antal uppgifter mha<br />
”produkten”.
Procedur<br />
• Planera<br />
• Välj deltagare<br />
• Välj och utforma testmaterial<br />
• Genomför testen<br />
• Analysera data<br />
• Slutsatser och rekommendatioenr
VARFÖR?<br />
• Varför skall testen genomföras? Vilka frågor<br />
söker du svar på?
VAR?<br />
• Var skall utvärderingen genomföras?<br />
– I lab-miljö?<br />
– (I den faktiska användningsmiljön?)
VAD?<br />
• Vad skall testas - dvs. hur skall ’produkten’/<br />
’gränssnittet’ representeras?<br />
– Mha skisser?<br />
– 3-dimensionell pappersmodell?<br />
– Mock-up?<br />
– Prototyp?<br />
– ”Wizard-of-Oz” metodik
Produktrepresentationer -<br />
”prototyper”<br />
• ..... något som representerar/gestaltar den icke<br />
färdiga produkten med avseende på någon eller<br />
några aspekter, t.ex. användargränssnittets<br />
utformning
Kategorisering av prototyper<br />
Vertical prototype<br />
Different features<br />
Horizontal prototype<br />
Functionality<br />
Källa: Nielsen
Olika prototyper<br />
• Verbal beskrivning, scenario<br />
• Pappersprototyper<br />
– papper, OH-projektion, etc.<br />
• Interaktiva prototyper, simulering<br />
– mha HyperCard, SuperCard, PowerPoint, etc.<br />
– Wizard -of-Oz<br />
–VR
• 3-dimensionella modeller i skala x:1<br />
• ’Mock-ups’, skala 1:1<br />
• Funktionella prototyper skala 1:1
Ett scenario är ...<br />
• en beskrivning av en användare<br />
• som använder vissa funktioner hos en<br />
produkt/gränssnitt<br />
• för att nå ett visst mål<br />
• under vissa förutsättningar<br />
• och under en viss tidsrymd<br />
enl. Nielsen 1993
• Du närmar dig bankomaten och stoppar in ditt<br />
bankomatkort. Det spelar ingen roll vilken sida du<br />
vänder upp. Maskinen läser ändå av kortet korrekt.<br />
• Du blir ombedd att knappa in din 4-siffriga kod. Du<br />
använder knappsatsen som sitter till höger om<br />
skärmen.<br />
• Du presenteras med 4 val: ”ta ut 100 kronor”, ”ta ut<br />
något annat belopp”, ”gör en insättning”, eller<br />
”andra transaktioner”. Vid varje alternativ finns en<br />
knapp.<br />
• Du väljer ett av alternativen ....... etc.<br />
Vilka frågor väcks?
Pappersskiss<br />
• Skisser mha ’papper + penna’<br />
• Blädderblock<br />
• Notisar (post-it)<br />
• ev. kompletterad med beskrivningar över hur man<br />
tänker sig användningen, t.ex. ’storyboards’
Pappersprototyper<br />
• ofta i form av pappersutskrifter av ’gränssnittet’ eller<br />
delar av gränssnittet<br />
• ofta ngn form av ”Wizard-of-Oz” teknik, dold eller<br />
öppen<br />
• har använts t.ex. för taligenkänning<br />
• viktigt att ’the wizard’ inte förmår mer än det nya<br />
<strong>tekniska</strong> systemet -> kan ge felkällor
Verbala beskrivningar<br />
• Någon beskriver användargränssnittet verbalt och<br />
ställer sedan frågor som t.ex. ”Vad skulle du säga om<br />
....?” eller ”Vad tror du händer om ....?”
Interaktiva<br />
prototyper<br />
T.ex. PowerPoint<br />
S.k. händelseknappar<br />
Länka till ’rätt’ bild<br />
Fungerar enbart i ’Visa<br />
bildspel’
345.789
Fel knapp!
Vill du verkligen<br />
lyssna till P1?<br />
Om ja, tryck >I
Valet av ’medierande objekt’<br />
bestäms av syftet<br />
• ... identifiera problem, identifiera krav<br />
• ... attityder till olika lösningsprinciper<br />
• ... välja mellan olika lösningar<br />
• ... utvärdera begriplighet<br />
• ... kontrollera kravuppfyllelse<br />
• ... utvärdera nåbarhet<br />
• ... etc.
...... av fokus<br />
• ... värdera typsnitt, begrepp<br />
• ... värdera # funktioner<br />
• ... värdera färgval<br />
• ... etc.
.... deltagarna/försöks-personerna<br />
• noviser/oerfarna produktanvändare behöver mer<br />
information/mer stöd jfr med experter/erfarna<br />
produktanvändare men ....
.... av produkten/produkttypen<br />
• värdering av en helt ny produkt (en innovation) kan<br />
kräva en mer realistisk prototyp jfr. med en välkänd<br />
produkt men ....
VEM?<br />
• Vem skall delta i testen?<br />
– Representativa ’användare’? Teoretiskt/ subjektivt<br />
urval<br />
– Kritiska ’användare’?<br />
• Hur många skall delta i testen?<br />
– 12-20 normalt<br />
• Vem skall vara försöksledare?
• Procedur?<br />
HUR?<br />
– introduktion, test, värdering, ev. mätning<br />
• Beskriv syftet med utvärderingen. Ange t.ex. om<br />
testen spelas in på olika sätt. Informera om<br />
möjligheten att dra sig ur. etc.<br />
– dokumentation (bandspelare? kamera?)<br />
– hjälp?<br />
– utbildning, träning?<br />
– max-tid?
– provokation?<br />
• ”Så snabbt som möjligt ...!”<br />
– ’tänka-högt’?<br />
• Att tänka högt kan påverka användarens beteende -<br />
både positive och negativt<br />
– retrospektiv värdering, ’ad hoc’ procedur<br />
– ’loggning’?
• Kriterier? Mått? Instrument?<br />
– effektivitet? prestation? tillfredsställelse? begriplighet?<br />
– objektiva mått: ex. effektivitet kan mätas i termer av tid<br />
eller fel<br />
– subjektiva mått: ex. begriplighet, tillfredsställelse mm<br />
kan mätas mha subjektiv skattning (i enkät eller<br />
intervju)<br />
– rekommendation: både objektiva och subjektiva bör<br />
användas för värdering: användbarhet =effektivitet och<br />
tillfredsställelse
• Uppgifter?<br />
– ’representativa’ uppgifter eller frågor alt.’kritiska’?<br />
– Rekommendation: ordning: enkel -> ökande<br />
svårighetsgrad -> enkel<br />
– Rekommendation: scenario-baserade<br />
• jfr.” Ställ in pizzaläget!” vs. ”Du skall baka en pizza.<br />
Ställ in ugnen på lämpligt sätt.”<br />
– Rekommendation: uppgifter/frågor på papper<br />
• minimera memorering av uppgifter -> tar arbetsminne i<br />
anspråk
Exempel Uppgift<br />
Ett öretag f som heter XX XXXX har utvecklat änst<br />
på Internet.<br />
• Gå till www. xxxxxxx.com<br />
• Om Du enbart betraktar startsidan, vilken är tjäns<br />
det retaget fö erbjuder tror Du?
• Gå in och besvara 10 av de rsta fö frågorna å s<br />
noggrant Du kan.<br />
• Svaren kommer att raderas å snart stesten<br />
är över.<br />
• Vid något ämpligt l tillf älle, kontrollerar Du att<br />
svar registrerats.
Exempel Uppgift<br />
Du har fått reda på att det finns en hemsida där man<br />
kan få information om olika hjälpmedel. Hemsidan<br />
heter Trollreda hjälpmedel.<br />
Adressen dit är wwwhot.vgregion.se /trollreda<br />
Du vill gärna kolla vad som finns på hemsidan. Gå till<br />
Trollreda hjälpmedels hemsida.
Din kompis Leif har lätt att glömma bort saker.<br />
Speciellt lätt glömmer han att ta sin medicin. Du<br />
tänker ta reda på om det finns något som kan hjälpa<br />
Leif komma ihåg att ta sin medicin.<br />
Klicka på bilden som visar en person som tvättar sig.<br />
Kropp står det under bilden.<br />
Nu ser du en lista på litet olika hjälpmedel. Hittar Du<br />
något åt Leif?
På sidan finns ett antal bilder. Ett av bilderna ser ut<br />
som en mugg eller kaffekopp. Vad tror du händer om<br />
du klickar på just den bilden?
• Within-subjects<br />
– Samma person utvärderar de olika versionerna<br />
– Jämförelser, preferenser möjliga (+) men leder till<br />
inlärning och ev. uttröttning (-)<br />
• Between-subjects<br />
– Olika personer utvärderar de olika versionerna<br />
– Subjektiva jämförelser omöjliga(-)<br />
– Lika testgrupper svårt att nå
Testordning - om within!<br />
Lösning A Lösning B Lösning C<br />
Fp 1 1 2 3<br />
Fp 2 2 3 1<br />
Fp 3 3 2 1<br />
Fp 4 2 1 3<br />
Fp 5 3 1 2<br />
Fp 6 etc.
Objektiva’mått’<br />
Exempel på . . . .<br />
• Total tid för att slutföra en viss uppgift<br />
• Antal uppgifter / tidsenhet eller inom ramen för tiden<br />
’x’<br />
• Antal interaktioner eller fel per uppgift<br />
• Antal fel<br />
• Total tid för att korrigera fel<br />
• Antalet hjälptillfällen<br />
• Antal kommandon/knapptryckningar/motsvarande per<br />
uppgift
Subjektiva ’mått’<br />
Exempel på ...<br />
• Antalet personer som föredrar en viss lösning framför<br />
en annan (obs!ej möjlig i between-subject test).<br />
• Antalet positiva resp. negativa omdömen under testen.<br />
• Antalet tillfällen användaren uttrycker frustration.<br />
• Skattning av tillfredsställelse, m.m.
Intervju-/enkätfrågor<br />
• Fokus på genomförandet av uppgiften vs.<br />
gränssnittets utformning ?<br />
– ”Att leta reda på avgångstiden från Göteborg var ....<br />
mkt enkelt, enkelt, svårt, mkt svårt”<br />
– vs. ”Gränssnittet var .....” mkt enkelt, enkelt, svårt,<br />
mkt svårt”<br />
• nnnn
Exempel på skattningsskalor<br />
X<br />
Inte alls Helt of fullt<br />
En 100 mm lång skala där testpersonen sätter ett ’kryss’<br />
som markering på sin bedömning.Man mäter sedan<br />
avståndet i mm från ’0’ läget till ’kryssets mitt’. Avståndet<br />
i mm = skattning (t.ex. 33 mm = värde 33)
❏ ❏ ❏ ❏ ❏<br />
1 2 3 4 5<br />
• Välj inte en alltför lång skala om ett fåtal testpersoner.<br />
• Jämn eller ojämn beror på frågeställningen.
Ange i vilken utsträckning Du håller med om följande<br />
påstående: ”Dessa symboler var enkla att förstå.”<br />
❏ ❏ ❏ ❏ ❏<br />
Håller Håller<br />
inte med<br />
alls<br />
med<br />
helt
The product design evokes<br />
emotions<br />
( Monö, 2000 )
Product Semantics<br />
The four semantic functions<br />
• To describe<br />
– purpose, way of functioning, use<br />
• To express<br />
– properties<br />
• To exhort<br />
– trigger a reaction<br />
• To identify<br />
– a product’s origin, product family category<br />
(Monö, 2000)
Repulsive<br />
Unmodern<br />
Uniform<br />
Youthful<br />
Inspiring<br />
5<br />
4<br />
3<br />
2<br />
1<br />
0<br />
Cheeky<br />
Boring<br />
Harmonious<br />
Childish<br />
Professional<br />
Design A<br />
Design B
Sadness<br />
Worry<br />
Irritation<br />
Joy<br />
5<br />
4<br />
3<br />
2<br />
1<br />
0<br />
Expectation<br />
Liking<br />
Surprise<br />
Design A<br />
Design B<br />
Confidence
• Validitet?<br />
– Speglar resultaten det vi vill värdera - mäter vi det vi<br />
vill mäta?<br />
• Felkälla: ’fel’ testpersoner, ej representativa för<br />
målgruppen<br />
• Felkälla: ’fel’ uppgifter<br />
• Felkälla: ’fel’ mått<br />
– Ekologisk validitet? dvs. de resultat vi får i lab-testet,<br />
gäller de också i ’verkligheten’?
• Reliabilitet?<br />
– dvs, om studien upprepades, skulle den ge samma<br />
resultat eller är resultatet en tillfällighet?<br />
• Det finns stora skillnader mellan olika<br />
användare/grupper användare<br />
• Kontrollera det som kan kontrolleras<br />
• Statistisk analys (mv, sd t.ex.) - frågan är vilken<br />
signifikansnivå man vill/behöver nå?<br />
• Ju fler försökspersoner, desto bättre men .....
Litteratur<br />
• Nielsen J (1993); Usability Engineering, Academic Press,<br />
London.<br />
• Jordan P.W., Thomas B., Weermeester B.A., McClelland I<br />
(1996): Usability evaluation in industry. Taylor & Francis<br />
Ltd, London.<br />
• Jordan P.W. (1998): An introduction to usability. Taylor &<br />
Francis Ltd, London.<br />
• Rubin J. (1994) Handbook of Usability testing. John Wiley<br />
& Sons, N.Y.
Change language