1 Utvärdering Processen Utvärderingsanvändare ...

Utvärdering 

Processen 

TNMK31 – Användbarhet 

HIIA20 – Användbarhet med kognitiv psykologi 

Martin Karlsson marka@itn.liu.se K7522 011 – 36 34 63 

2006-04-26 Martin Karlsson - Användbarhet 2 

Utvärderingsanvändare 

Utvärderingsanvändare 

1 

2 

3 

5 extremanvändare 

2-3 extremanvändare, 2-3 ytterligare 

1-3 extremanvändare, 2-4 ytterligare 

Ny användare av systemet 

Kännedom om uppgiften 

Bryr sig inte om uppgiften 

Expertanvändare av systemet 

Användare 

Extremanvändare 

• Användardeltagande är ”alltid” möjligt 

• En ursäkt för att inte ta med användare i 

utvärderingsaktiviteten är att de kanske inte 

är tillgängliga eller kända 

• Liam Bannon berättar en ironisk historia där 

han inte var tillåten att träffa en enda 

användare ”for political, organizational 

reasons” 

• ”Surrogatanvändare” står alltid att finna, bara 

man är medveten om att man kanske inte ska 

tro fullt ut på dem 




• Varför utvärdera alls? 

• Alla är inte som du 

• Problem fixas före produkten släpps 

• Designteamet kan koncentrera sig på verkliga 

problem, inte på eventuella tänkta sådana 

• Programmerarna kan koda istället för att debattera 

hur det ska vara 

• Utvecklingstiden minskas 

• När produkten släpps så har marknadsavdelningen en 

design de kan sälja utan att behöva förklara hur 

mycket bättre det kommer att bli i nästa version ☺ 


• Formativ utvärdering 

• Stöd för designprocessen 

• Arbeta nära presumtiva användare 

• Kvalitativa aspekter av systemet 

• Summativ utvärdering 

• Utvärdera en färdig produkt 

• Arbeta med slutanvändare 

• Kvantitativa aspekter av systemet 



1

Utvärderingsmetoder 

• Empirisk metod 

• Med användare 

• En analys av användarens prestation i relation till det tänkta 

systemet 

• Arbeta med användare och samla data 

med hjälp av intervjuer, 

observationer, mätningar, etc. 

• Analytisk metod 

• Utan användare 

• Usability inspection 

• Kombinera metoder 

• Varje iteration bör bestå av ett antal empiriska och ett antal 

analytiska metoder 


• En generell utvärderingsprocess 

har följande struktur: 

• Identifiera målgruppen 

• Rekrytera användare 

• Forma uppgiften 

• Genomför utvärderingen 

• Rapportera/dokumentera upptäckter/beslut 




• Metoder för empirisk utvärdering 

• Frågeformulär 

• Observationer 

• Intervjuer 

• Scenarier 

• Wizard of Oz 

• Tänka högt 

• Kognitiv genomgång 

• Kontextuell utforskning 

• Deltagande design 

• Gruppgranskning 

• Fokusgrupper 

• Kreativitetsmetoder (som 

brainstorming) 

• Mätningar 

• Prestationsrelaterade 

• Kritiska händelser 


• Scenarier 

• Användningsscenario & 

scenariobaserad utvärdering 

”A scenario can be used to figure out whether 

a certain function in a product is worth 

constructing before actually constructing it.” 

• Uppgiftsscenario 

Syftar till att sätta in användaren i situationen 

och specificerar den uppgift som användaren 

ska utföra 




• Gruppgranskning 

• Utförs med användare, 

utvecklare och andra 

intressenter 

• Gruppen går igenom ett 

antal scenarier som bygger 

på användarnas 

arbetsuppgifter 

• Man utvärderar varje steg 

och kategoriserar samt 

värderar problem 

• Fördel är att man får 

många infallsvinklar 


• Tänka högt-protokollet 

• Bäst förståelse för hur användarna tänker är att låta 

dem tänka högt under tiden de utför en uppgift. 

(Direkt efter uppgiftens utförande är för sent, KTM). 

• Användarna bör för varje steg i uppgiften förklara 

vad de gör och varför 

• Att tänka högt är inte så lätt som det låter och det är 

lämpligt att man som utvärderare ser till att 

användaren känner sig bekväm med det. 

• Alla typer av artefakter kan testas med att tänka högt 



2


• Kognitiv genomgång 

• Tekniken kommer ifrån systemutveckling, 

kodgenomgång är en vanlig metod att hitta 

buggar i system 

• Både kodgenomgång och kognitiv genomgång har 

undermeningen att de är analytiska metoder 

• Det är svårt att göra kodgenomgång med användare 

eller andra utomstående då de måste förstå 

programkod, däremot lämpar det sig mycket bra att 

använda kognitiv genomgång med användare 

(empirisk metod) 


• Kognitiv genomgång (empirisk metod) 

• Består av: 

• Uppgiftsscenario 

• Tänka högt-protokollet 

• Huvudfokus är på hur lätt ett system är att lära sig. 

”Learning through exploration.” 

• Ställ frågor till användaren om användaren tvekar 

• Vad ska man göra i det här läget? 

• Hur ska man göra? 

• Berättar systemet vad som har gjorts? 

(jämför: Visibility, affordance, feedback) 

• Utvärdera varje steg i det korrekta uppgiftsutförandet 

och utröna varför användaren agerade som hon 

gjorde. (Lätt att hitta flaskhalsar) 



Utvärderingsetik 

• Användare är människor, inte saker 

• Tänk över testet noga. Inget får såra/skada 

användaren varken psykiskt eller fysiskt 

• Kalla inte användaren för försöksperson 

• Vad är etiskt? Vad får man 

hålla hemligt? 

(Milgram’s obedience study) 

• Etikregler för forskning 

• Informationskravet, Samtyckeskravet, 

Konfidentialitetskravet, Nyttjandekravet 

Utvärderingsetik 

• Förklara för användaren vad 

som förväntas av henne 

• Förklara att användaren är fri 

att avsluta utvärderingen 

närhelst hon vill 

• Förklara vad syftet med 

utvärderingen är 

• ”Det är produkten som testas, 

inte du” 

• Se till att användaren känner 

sig väl till mods 

• Förklara att resultaten av 

utvärderingen är anonyma och 

hur de kommer att användas 



Användarutvärdering (exempel) 

1. Tidsbestämning för utvärdering 

2. Lär dig produkten (!) 

3. Mottagande av användare, småprat(!) och 

bakgrund för utvärdering, produkt och 

användare 

4. Kognitiv genomgång med uppgiftsscenario 

5. Uppföljningsfrågor (intervju) för att mäta 

användbarhetsmål 

6. Avslutning, tidsbestämning för nästa 

utvärderingstillfälle, belöning(?) 

Expertutvärdering 

• Varför analytisk utvärdering? 

• Behöver ej tillgång till användare 

• Snabb, billig, kostnadseffektiv 

• När utvärderar man? 

• När som helst 

• Tidiga prototyper eller specifikationer 

• För att snabbtesta nya lösningar 

• Vad är expertutvärdering? 

• Formell utvärdering med användbarhetsexperter, dvs. ni! 

• Exempel på expertutvärdering 

• Heuristisk utvärdering / dokumentbaserad metod 

• Cognitive walkthrough 



3

Heuristisk utvärdering 

• Heuristisk utvärdering 

• En del av analytisk metod 

• Använder sig av tumregler (heuristiker) 

• Team av utvärderare (experter) 

• Utvärdera individuellt 

• Ranka problem 

• Sammanställ resultat 

• Tumregler 

• Nielsen, Norman, Shneiderman 


• Nielsens 10 tumregler 

1. Systemets status ska alltid vara synlig 

• Systemet ska alltid visa användaren vad som händer 

genom lämplig feedback, inom rimlig tid 

2. Matcha verkligheten 

• Systemet ska tala användarnas språk och följa de regler 

och normer som gäller i den aktuella miljön. Information 

ska presenteras i en ordning som är logisk för användarna 

3. Låt användaren vara i kontroll 

• Det ska alltid finnas nödutgångar som användaren kan 

utnyttja om han/hon gjort fel eller ångrar sig. Det ska 

alltid gå att ångra sig. 





4. Enhetlighet och standarder 

• Användaren ska aldrig behöva fundera på om olika ord, 

situationer och funktioner betyder samma sak 

5. Förebygg problem 

• Systemet ska designas så att problem och fel kan undvikas 

i möjligaste mån 

6. Igenkänning snarare än memorering 

• Objekt, funktioner och alternativ ska vara synliga. 

Användaren ska inte behöva komma ihåg information från 

en dialog till en annan. Instruktioner för användning ska 

vara synliga eller lätta att ta fram. 



7. Flexibilitet och effektivitet 

• Snabbtangenter gör att systemet passar både nybörjare 

och expertanvändare. Det ska finnas möjligheter för 

expertanvändaren att skräddarsy frekventa operationer 

8. Estetisk och minimalistisk design 

• Dialoger ska inte innehålla information som är irrelevant 

eller används sällan. Varje enhet av onödig information 

tävlar om uppmärksamhet med den nödvändiga 

informationen 

9. Hjälp användaren att upptäcka och rätta till fel och 

misstag 

• Felmeddelanden ska skrivas på ett enkelt språk (inga 

koder!), beskriva problemet i detalj samt föreslå lösning 





10. Hjälp och dokumentation 

• Det bästa är om systemet 

kan användas utan hjälp 

och dokumentation, men i 

många fall är inte detta 

möjligt. Hjälp och 

dokumentation ska vara 

lätt att hitta i, beskriva 

användarens uppgifter, 

ange ett antal konkreta 

steg som användaren ska 

utföra och inte vara för stor 


• Ranka problem 

• Prioritering enligt tre faktorer 

• Frekvens: Hur ofta uppstår problemet? 

• Påverkan: Hur lätt är problemet att komma runt? 

• Ihärdighet: Är det ett engångsproblem eller ett 

återkommande problem? 

• Värdera problem enligt prioriteringsfaktorer 

och placera på följande skala: 

0 = Inget användbarhetsproblem. 

1 = Kosmetiskt problem. Behöver endast åtgärdas om tid finns. 

2 = Mindre användbarhetsproblem. Låg prioritet att åtgärda. 

3 = Större användbarhetsproblem. Hög prioritet att åtgärda. 

4 = Användbarhetskatastrof. Måste åtgärdas. 



4

Cognitive Walkthrough 

• Kognitiv genomgång (analytisk metod) 

• Fyra saker behövs 

• En prototyp 

• En uppgiftsbeskrivning 

• Ett fullständigt användningsscenario 

• En användarbeskrivning eller en persona 

• Fyra frågor besvaras 

• Kommer användarna försöka utföra uppgiften trots 

att problem har uppstått? 

• Kommer användarna att inse om de har ”gjort rätt”? 

• När användarna hittar ett bra sätt att utföra en uppgift på, kommer 

de att inse att det är det bästa sättet? 

• När uppgiften utförs, förstår användarna den återkoppling som 

systemet ger dem? 

Andra analytiska metoder 

• Modellbaserade metoder 

• Baseras på modeller av användare (ex. Personas) 

som teoretiskt möjliggör att man kan förutspå 

användarnas beteende 

• Baseras mycket på stereotyper och är därför inte 

tillförlitliga 

• Automatiska utvärderingar 

• Utnyttjar algoritmer som fokuserar på 

användbarhetskriterier 

• Diagnosticerar brister i systemet 

• Kräver ett färdigt system, därmed används det oftast 

vid summativ utvärdering 



Råd vid val av metod 

• Kombinera metoder 

• Olika utvärderingsmetoder bidrar till att finna olika typer av 

användbarhetsproblem 

• Enkla metoder framför komplexa 

• Objektiva, noggranna och kvantitativa mått är onödigt. Bättre 

att upptäcka problem och använda tiden för att åtgärda 

problemen 

• Dokumentera inte för mycket 

• Korta listor är bättre än långa dokument 

• Håll en positiv ton i utvärderingen 

• Inse att all negativ kritik som användarna kan uppbringa är bra 

kritik. Se det som konstruktiva förslag 

• Använd gärna rankningssystemet för alla funna problem 

Avrapportering 

• Brist på konstruktiva utvärderingsresultat 

• Utvärderingar talar ofta om vad det är för fel 

på ett system, men inte vad man ska göra för 

att komma tillrätta med problemen 

• Utvecklarna är inte särskilt betjänta av ickekonstruktiv 

kritik 

• Därför bör man inte bara skapa en 

prioriteringslista över vad som ska ändras 

utan även en handlingsplan för hur det ska 

ändras 

• Detta passar väl in i användbarhetsguiden 



Återkoppling till användare 

• Riktlinjer för att ge feedback till användarna 

• Samla in och dokumentera alla användarsynpunkter 

• Tag ställning till alla användarkommenterar och fatta 

beslut: 

• Att göra förändringar i enlighet med kommentarerna 

• Att inte göra förändringar (här är det viktigt att förklara för 

användarna varför inte förändringen genomfördes) 

• Rapportera beslutet tillbaka till användarna 

• Ett designbeslut som får direkta inverkningar på 

användarens situation som denne inte känner till eller förstår 

kommer att förstöra användarens motivation till fortsatt 

deltagande 

Sammanfattning 

• Jakob Nielsens tre tips för enkel utvärdering: 

• Rekrytera representativa användare 

• Be dem utföra representativa uppgifter med 

prototypen 

• Håll käft och låt användarna prata 



5

1 Utvärdering Processen Utvärderingsanvändare ...

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?