Teoretiska och empiriska ansatser

Teoretiska och empiriska 

ansatser 

◆ Utgångspunkt 

I. C. MariAnne Karlsson 

©I.C.MariAnne Karlsson 

Teori Empiri 

● för kravbild / målbild 

● för diagnos av problem 

● för utvärdering av (design)lösning 

Scenario inkl. personas 



1



Exemplet Diagnos/Utvärdering 

◆ Informell 

◆ Teoretiskt/expertbaserad/inspektion 

● mha guidelines, tumregler, CW, HTA 

◆ Empirisk 

● användare använder ’produkten’ på ngt sätt 

och/eller ger sin bedömning, olika 

datainsamlingsmetoder 


2

Alternativ kategorisering 

◆ ”User-based” 

◆ ”Theory-based” 

◆ ”Expert-based” 


(Maguire & Sweeny 1989) 



● Prestation (tid, # fel etc.) 

● Icke-verbalt beteende (ögonrörelser etc.) 

● Attityd (verbala yttringar) 

● Kognition (verbala protokoll) 

● Stress (galvanisk mätning, hjärtfrekvens) 

● Motivation (verbala yttringar) 







● Prestation (tid, lärbarhet), t.ex. CLG, TAG, 

GOMS, CCT 



3





● Heuristisk bedömning mha guidelines 

● Professionell bedömning av potentiella 

användbarhetsproblem 


Heuristisk värdering 

Inspektionsmetod 

En liten grupp utvärderare värderar ett 

(produkt)gränssnitt utifrån ett antal 

uppställda designkriterier eller guidelines 


Exempel på ’guidelines’ 

◆ Använd enkel och naturlig dialog 

◆ ’Tala’ användarens språk 

◆ Minimera användarens minnesbelastning 

◆ Var konsekvent 

◆ Ge feedback 

◆ Erbjud genvägar 

◆ Erbjud utvägar 

◆ Formulera tydliga felmeddelanden 

◆ Förhindra felhandlingar 


4


Antal utvärderare? 

5 utvärderare upptäcker mellan 50 och 80% 




Cognitive ’walkthrough’ 

◆ Expertutvärdering (peer review) 

◆ Ett antal bedömare utvärderar: 

● ”The ease by which a typical user can perform a task 

using an interface design with little or no formal 

instruction or informal coaching.” 

◆ En beskrivning av användargränssnittet, ett 

uppgiftsscenario, en procedur, en detaljerad 

beskrivning av användarna, samt en beskrivning 

av användningsmiljön 


5

◆ Utgångspunkt - ”utforskandet” 

◆ Relaterar till teoretiska modeller för lärande 

◆ Norman’s theory of action (goal -> plan -> 

execution of action -> evaluation of feedback -> 

revision of goals -> ) 

◆ Mål Handling 


● Användarens uppgift (task) 

● Målet (= den övergripande uppgiften) bryts ner i 

delmål och delmålen i handlingar 

HTA 

● Användarens mål representationen av 

handlingen för att nå målet 

● Handlingen - trycka på knappen - väljs pga att 

knappen har en kodbeteckning vilken stämmer 

överens med användarens mål 

◆ Steg 1 - Förberedelse 

● Definiera uppgifter (tasks) 


● Uppgiften skall beskrivas utifrån en helt novis användares 

perspektiv (1:a gångs användare) 

● Systemets utgångsläge måste beskrivas 

● Beskriv den ’bästa’ handlingssekvensen som krävs för att 

genomföra uppgiften, med vilken detaljeringsnivå kan diskuteras 

(jfr hierarkisk uppgiftsanalys, HTA) 

● Definiera användargruppens förutsättningar, förkunskaper, etc. 

● Beskriv vilket mål användaren har initialt 


6

HTA: grafisk presentation 

HTA, utföra infusion 

Hur görs det? Varför görs det? 

1. Förbered 

medicin 

1.1 Öppna 1.2 Mät upp 

förpackning rätt mängd 

2. Förbered 

infusionsaggregat 

3.1 Öppna 

mekanism 

◆ Steg 2 - Utvärdering 

0. Utföra infusion 

med infusionspump 

3. Montera 

infusionsaggregat 

3.2.1 Fäst in 

övre klack 

3.2 Montera 

slang 

3.2.2 Fäst in 

nedre klack 


4. Programmera 

pumpen 

3.3 Stäng 

mekanism 

● Analyser genomförs för vart och ett av de handlingssteg som 

beskrivits i steg 1. 

● Analys 1 - jämförelse mellan användarens mål och de mål som 

krävs för att interagera med användargränssnittet - Har 

användaren ’rätt’ mål? 

● Målrelaterade problem - användaren försöker göra ’fel’ sak 

Ex. ”Tryck på 5” ”Avsluta” 


● Analys 2 - problem associerade med val av handling 


5. Övervaka 

pumpen 

● Handlingsrelaterade problem - användaren försöker göra ’rätt’ 

men kan inte förstå hur man ska göra 

Handlingen måste vara tillgänglig och användaren måste veta att det 

är en möjlig handling 

Ex. om ett möjligt alternativ inte finns listat i menyn, hur skall 

användaren då veta att alternativet är ett möjligt val ? 

Alternativet måste vara ’kodat’ så att handlingsalternativet kan 

associeras med målet för handlingen 

Användaren måste ha tid att göra rätt val 

Handlingen måste vara enkel att utföra 

7

● Analys 3 - ev. korrigering av målbild givet den 

feedback som erhållits från systemet 

Användaren måste uppfatta att och vilka delmål som uppnåtts 

Användaren måste också uppfatta att och vilka delmål som 

inte uppfyllts 


CW, procedur 

Analysen genomförs genom att fyra frågor 

ställs vid varje steg i handlings-sekvensen 

Frågorna besvaras med 

•”Ja” med motivering (success story) 

•”Nej” med motivering: problem identifierat 

(failure story) 


CW, procedur 

1. Kommer användaren att försöka utföra korrekt handling? 

2. Kommer användaren upptäcka att korrekt handling är tillgänglig? 

3. Kommer användaren att associera korrekt handling med önskad 

effekt? 

4. Kommer användaren få feedback för att förstå att handlingen 

korrekt utförd? 


8

◆ Exempel: Jag vill ha hänvisning på alla mina samtal till 

772 1234 

◆ Korrekt handlingssekvens 

● Lyft luren 

● Tryck ##7 

● Lägg på luren 

● Lyft luren 

● Tryck **7 

● Tryck 1 2 3 4 

● Lägg på luren 


Användbarhetstest 

En utvärdering där ett urval användare 

genomför/löser ett antal uppgifter mha 

produkten. 

◆ VEM? 


Användartester (1) 

● Vilka deltagare? 

◆ VAR? 

● I lab-miljö eller i verklig användningsmiljö? 

◆ VAD? 

● Skiss? Datoranimering? Prototyp? 

● ’Innehåll’? Funktionalitet? 


9

◆ HUR? 

● Procedur? 

● Uppgifter? 

● Kriterier? 

Användartester (2) 

● ’Mätinstrument’? 

◆ VARFÖR? 

◆ Fälttester 


Var? 

+ verklig användningsmiljö, verkliga uppgifter 

- ingen kontroll 

? tillgänglighet/möjlighet att observera 

◆ Lab-tester 

- overklig användningsmiljö, ålagda uppgifter 

+ kontroll -> jämförelse 

+ tillgänglighet/möjlighet att observera 


Vem? 

◆ Rekommendationen är ”representanter för 

målgruppen” 

◆ Statistiska eller teoretiska (subjektiva) 

urval? 

◆ Representativa eller kritiska urval? 

◆ Noviser eller experter? 

● noviser/experter map teknikvana 

● noviser/experter map domänkunskap 


10

◆ Andra än användare? 

◆ En eller två användare samtidigt? 

● ”Constructive interaction”/”Co-discovery” 

◆ Antal? 

● Den s.k. mättnadspunkten uppnås normalt vid mellan 12-20 

personer något beroende på målgruppens homogenitet. 


Vad? 

◆ Hela eller delar av produkten/gränssnittet? 

● minimum: före- och efterstudier bör testa ’samma’ typ 

◆ Funktionalitet och omfattning? 

● Papper? Animation? Prototyp? 

ex. ”Wizard-of-Oz”-tester 

◆ Enbart produkten eller också 

information/dokumentation? 

◆ Procedur? 


Hur? 

● introduktion, test, värdering, ev. mätning 

Beskriv syftet med utvärderingen. Ange t.ex. om testen spelas 

in på olika sätt. Informera om möjligheten att dra sig ur, etc. 

● dokumentation(bandspelare? kamera?) 

● hjälp? 

● utbildning, träning? 

● max-tid? 

● provokation? 

”Så snabbt som möjligt ...!” 


11

● ’tänka-högt’? 

Att tänka högt kan påverka användarens beteende - både 

positive och negativt 

● retrospektiv värdering, ’ad hoc’ procedur 

● ’loggning’? 


Kommentar 

◆ Valet av metod påverkar resultatet 

● Skriva kommentarer genererar ’mindre’ 

information än att verbala kommentarer. 

● Metoden styr typen av information 

t.ex. vid utvärdering av manualer 

◆ Uppgifter? 

– ’skriva frågor’ -> fokus: innehåll 

– ’verbala kommentarer’ -> fokus: ord och innehåll 


● ’representativa’ uppgifter/frågor alt.’kritiska’? 

● Rekommendation: ordning 

enkel -> ökande svårighetsgrad -> enkel 

● Rekommendation: scenario-baserade uppgifter 

● Uppgifterna styr resultatet 

jfr.” Ställ in pizzaläget!” vs. ”Du skall baka en pizza. 

Ställ in ugnen på lämpligt sätt.” 

● Rekommendation: uppgifter/frågor på papper 

minimera memorering av uppgifter -> tar arbetsminne i 

anspråk 


12

Exempel Uppgift 

Ett företag som heter Företagshälsan har utvecklat en tjänst 

på Internet. 

◆ Gå till www.foretagshalsan.com 

◆ Om Du enbart betraktar startsidan, vilken tjänst är 

det företaget erbjuder tror Du? 


◆ Kriterier? Mått? Instrument? 

● effektivitet? prestation? tillfredsställelse? begriplighet? 

● objektiva kriterier och mått: ex. effektivitet kan mätas i 

termer av tid eller fel 

● subjektiva kriterier och mått: ex. begriplighet, 

tillfredsställelse mm kan mätas mha subjektiv skattning (i 

enkät eller intervju) 

● rekommendation: både objektiva och subjektiva bör 

användas för värdering: användbarhet =effektivitet och 

tillfredsställelse 

Exempel på .... 


Objektiva ’mått’ 

◆ Total tid för att slutföra en viss uppgift 

◆ Antal uppgifter / tidsenhet eller inom ramen för tiden ’x’ 

◆ Antal interaktioner eller fel per uppgift 

◆ Antal fel 

◆ Total tid för att korrigera fel 

◆ Antalet hjälptillfällen 

◆ Antal kommandon/knapptryckningar/motsvarande per uppgift 


13

Exempel på ... 

Subjektiva ’mått’ 

◆ Preferens, dvs. antalet personer som föredrar en viss lösning 

framför en annan (ej möjlig i between-subject test). 

◆ Antalet positiva resp. negativa omdömen under testen. 

◆ Antalet tillfällen användaren uttrycker frustration. 

◆ Skattning av tillfredsställelse, mm. 


Exempel på skattningsskalor 

X 

Inte alls Helt of fullt 

En 100 mm lång skala där testpersonen sätter ett ’kryss’ 

som markering på sin bedömning.Man mäter sedan 

avståndet i mm från ’0’ läget till ’kryssets mitt’. Avståndet 

i mm = skattning (t.ex. 33 mm = värde 33) 


❏ ❏ ❏ ❏ ❏ 

1 2 3 4 5 

◆ Välj inte en alltför lång skala om ett fåtal testpersoner. 

◆ Jämn eller ojämn beror på frågeställningen. 


14

Ange i vilken utsträckning Du håller med om följande 

påstående: ”Dessa symboler var enkla att förstå.” 

❏ ❏ ❏ ❏ ❏ 

Håller Håller 

inte med 

alls helt och 

med fullt 

◆ Within-subjects 


● Samma person utvärderar de olika versionerna av 

gränssnitt 

● Jämförelser, preferenser möjliga (+) men leder till 

inlärning och ev. uttröttning (-) 

◆ Between-subjects 

● Olika personer utvärderar de olika versionerna v 

gränssnitt 

● Subjektiva jämförelser omöjliga (-) 

● Jämförbara testgrupper är mycket svårt att nå 


Testordning 

Lösning A Lösning B Lösning C 

Fp 1 1 2 3 

Fp 2 2 3 1 

Fp 3 3 2 1 

Fp 4 2 1 3 

Fp 5 3 1 2 

Fp 6 etc. 


Slumpmässig? 

Finns risk för 

’bias’! 

15

Identifierade användbarhetsproblem 

mha olika metoder 

Empiriska test Team WT Indiv. WT 

Heuristic 

CW 

HTA 

421 115 78 

159 68 49 

Usability test 


Överensstämmelse 

User 

General ’user’ 

Assumed 

(novice, expert) 

- 

Intended users 


Task 

- 

Goal, sub-goal 

Organization of 

task in relation 

to goal 

Intended (but 

most often 

predefined) 


Technical 

system 

Interface design 


- 


Environment 

- 

? 

- 

Possibly (?) 

16

Litteratur 

◆ Nielsen J (1993); Usability Engineering, 

Academic Press, London. 

◆ Jordan P.W., Thomas B., Weermeester B.A., 

McClelland I (1996): Usability evaluation in 

industry. Taylor & Francis Ltd, London. 

◆ Jordan P.W. (1998): An introduction to 

usability. Taylor & Francis Ltd, London. 


17

Teoretiska och empiriska ansatser

Create successful ePaper yourself

Delete template?

Save as template?