Usability-‐Test – am Beispiel einer SW-‐Entwicklung

Usability-‐Test – 

am Beispiel einer SW-‐Entwicklung 

Praxisbericht – Olaf Schweizer 

PMI Chapter MeeDng 

StuEgart/Haiterbach, 24.06.2013

2 

Inhalt 

SoQware-‐Ergonomie 

Usability-‐Test 

Warum 

Wie 

Diskussion 

Olaf Schweizer 

24.06.2013

3 

SoQware-‐Ergonomie 

Eine Einordnung 


24.06.2013

4 

DefiniDon 

Teilgebiet verschiedener Disziplinen 

WissenschaQ, die sich mit der Anpassung von 

SoQware an die Stärken und Schwächen des 

Menschen befasst. 

griechisch „ergon“ = „Werk“ (Mühe, Arbeit) 

„nomos“ = „Lehre“ (Gesetzmäßigkeit, Regel) 

und 


24.06.2013

5 

Einsatzgebiet 

Zusammenwirken von Mensch und Computer 

Gestaltung der Mensch-‐Maschine-‐SchniEstelle 


24.06.2013

6 

Zielsetzung 

Anpassung der SoQware an die psychischen 

EigenschaQen der damit arbeitenden Menschen 

psychische und körperliche Belastungen (z.B. Stress, 

FrustraDon, ...) minimieren 


24.06.2013

7 

Gebrauchstauglichkeit 

Grundsatz: Benutzer haben immer Recht! 

Nicht den Mensch an die Technik anpassen 

Wenn Benutzer SoQware „falsch bedienen“, SoQware ändern 

Ergonomische SoQware ist „gebrauchtauglich“; 

den Benutzer bei seiner Arbeit unterstützen 

(= benutzerfreundlich) 


24.06.2013

8 

Nutzungskontext 

In welchem Maße ermöglicht die SoQware es, 

Arbeitsziele in einem Nutzungskontext 

effekDv (wirkungsvoll), 

effizient (wirtschaQlich) und 

zufriedenstellend 

zu erreichen? 


24.06.2013

9 

Nutzungskontext 

SoQware hat grundsätzlich keine 

pauschale Qualität hinsichtlich der 

Gebrauchstauglichkeit. 

Qualität im Bezug auf den konkreten 

Nutzungskontext (besteht aus 

Arbeitsaufgabe, Ausrüstung und 

Umgebung des Nutzers) überprüQ 

werden muss. 

SoQware somit nicht absolut „gut“ 

oder „schlecht“ ist, sondern für einen 

besDmmten Einsatzzweck mehr oder 

weniger gut geeignet ist. 

Quelle: steinrisse.at 


24.06.2013

10 

Kriterien 

u.a. ISO 9421 – 11 (ergonomische Anforderung für 

BürotäDgkeit mit Bildschirmgeräten bzw. die Ergonomie 

der Mensch-‐System-‐InterakDon): 

Aufgabenangemessenheit 

Selbstbeschreibungsfähigkeit 

Erwartungskonformität 

Lernförderlichkeit 

Steuerbarkeit 

Fehlertoleranz 

Individualisierbarkeit 


24.06.2013

11 


Was ist das? Wie geht das? 


24.06.2013

12 


Test-‐Benutzer versuchen im Nutzungskontext der 

SoQware (am besten in einer speziellen 

Laborumgebung) mit Kamerabeobachtung Aufgaben 

mit der neuen SoQware zu erledigen 

Grundsatz: Korrekturen sollten als Normal-‐ 

und nicht als Ausnahmefall angesehen werden 


24.06.2013

13 

Wann testen? 

So früh wie möglich und so oQ wie möglich 

(könnte als agile Methode betrachtet werden) 


24.06.2013

14 

Was testen? 

Papierprototyp-‐Test: Struktur oder ein paar der geplanten 

Seiten mit den NavigaDonselementen auf Papier und 

potenziellen Nutzern vorlegen 

HTML-‐/Flash-‐Klickdummys: Verstehen die Benutzer das 

Prinzip, die Struktur, Bezeichnungen, FunkDonen, 

NavigaDonselemente, etc. 

Test am ferDgen Produkt. WichDg: erkannte Fehler können 

nicht wie Programmierfehler behoben werden! 


24.06.2013

15 

Wo testen? 

Wenn möglich in einem Testlabor mit 

Aufzeichnung und Beobachtung, SoQware und 

Hardware, die AkDonen des Users anzeigt 

(AkDonen des User protokollieren: Heatmap, Eytracking, ...) 

Minimum ruhiger Arbeitsplatz, gängiger PC und 

Mikrofon bzw. Aufzeichnen der Mausbewegungen 


24.06.2013

16 

Wie testen? 

Betreuer plus Testpersonen (bevorzugt Zielgruppe, je 

Testlauf min 3 bis 5 ≈ deckt ca. 80% der Probleme) 

Testaufgaben (werden InformaDonen gefunden) sowie 

Arbeitsaufgabe (typische Aufgaben bei der Nutzung 

der SoQware); aber Spielraum lassen 

max. 45 Minuten, nach Abschluss: offene KriDk und 

Verbesserungsvorschläge 


24.06.2013

17 

Weitere Begriffe 

Prototyping – iteraDve Überprüfung einer lauffähigen 

(nicht ferDgen) SoQware, um frühzeiDg eine 

Rückmeldung zu erhalten 

User Experience – Nutzererfahrung bzgl. den 

InterakDonsmöglichkeiten mit der SoQware 


24.06.2013

18 

Warum 

wurde der Usability-‐Test im Projekt durchgeführt? 


24.06.2013

19 

Gründe 

Um die Akzeptanz bei den Nutzern zu steigern 

Als Methode im Rahmen der Qualitätssicherung 

BetriebwirtschaQlicher Sicht 

negaDv: vorzeiDge Ermüdung, gesundheitliche BeeinträchDgungen 

posiDv: geringeren Fehlerquote, höherer MoDvaDon und geringeren Schulungs-‐ 

und Betreuungskosten. 


24.06.2013

20 

Praxis 

Wie wurde der Usability-‐Test durchgeführt? 


24.06.2013

21 

Als Teilprojekt 

Einarbeitung + Planung (u.a. anonyme Tests !!! ) 

Kick-‐Off: Vorgehensweise, Erklärung/Vorkenntnisse (?) 

Durchführung 

Test (Use-‐Case plus Fragebogen) 

Ergebnisse 

Handlungsempfehlungen 

Abschluss 


24.06.2013

22 

Aufgaben im Kontext (ECM) 

Anlegen von Bildern inkl. Meta-‐Daten 

Bearbeiten eines Text-‐Datei im Editor 

Freigabe eines persönlichen Ordners 

Speichern einer persönlichen Suche 

Veröffentlichung einer PublikaDon für online 

... 


24.06.2013

23 

Auswertung 

Auszüge zu dem Kriterien 

-‐ Aufgabenangemessenheit 

-‐ Selbstbeschreibungsfähigkeit 

-‐ Steuerbarkeit 

auf den nachfolgenden Folien: 


24.06.2013

(A) Aufgabenangemessenheit 

Fragen 

SUM ja nein trifft 

nicht zu 

ja [%] nein [%] trifft nicht 

zu [%] 

1: Enthält das Programm alle für Ihre Aufgaben benötigten Funktionen? 3 3 0 0 100,00 0,00 0,00 

2: Finden Sie, dass der erforderliche Aufwand für Ihr Arbeitsergebnis 

jeweils angemessen ist? 

3 1 1 1 33,33 33,33 33,33 

3: Haben Sie das Gefühl, dass Sie Arbeiten machen müssen, die besser 

das Programm erledigen sollte (z.B. Werte und Texte eingeben, die der 3 1 2 0 33,33 66,67 0,00 

Computer wissen möchte)? 

4: Müssen Sie sich mit Umwegen oder Tricks behelfen, um Ihre 

Arbeitsergebnisse so zu erzielen, wie Sie diese haben möchten? 

3 0 2 1 0,00 66,67 33,33 

5: Finden Sie in einem Programm Hilfstexte, die Ihnen auch tatsächlich 

weiterhelfen? 

3 1 2 0 33,33 66,67 0,00 

6: Passt das Programm zu Ihrer bisherigen Vorgehensweise? 3 0 1 2 0,00 33,33 66,67 

24 

!" #" $" %" &" 

#" 

$" 

%" 

&" 

./-0."+-12."34" 

'" 

(" 

)*" 

+,-+" 

Zwischenstand nach 9 Tests 

!5!!" '!5!!" #!!5!!" 

#" 

$" 

%" 

&" 

'" 

(" 

)*"678" 

+,-+"678" 

./-0."+-12."34"678" 


Empfehlungen 

Usabilty-Thema 

Anemerkungen zu Unterstrichen Antworten: Fehler Ticket erstellt für Release 1.0 1.x 

A2: xopus: Tabelle einfügen - hier gibt es verschiedene Möglichkeiten. 

ggf. Anpassung? 

Geht es über Kapiteltabelle hinzufügen wäre es hilfreich wenn sogleich die 

Schulung? 

Darstellung kommt, wo man Spaltewahl eingibt 

A2: z.B. persönliche Suche: Speichern Hinweis hätte ich unten nach dem 

Einstellen erwartet 

A3: Prüfen, ob eine Aufgabe ausgeführt wurden, z.B. Speichern einer 

Datei 

A5: z.B. Einsatz der rechten Maustste (persönliche Ordner freigeben). 

PopUps wären hilfreich 

A5: Die "Hilfe" ist nur ein leerer Bildschirm 

A5: Fehlermeldung nicht qualifiziert. Beim Anlegen eines Beitrags nur das 

Feld Titel ausgefüllt. Fehlermeldung: "Bitte prüfen Sie Ihre Eingaben" -> 

zu ungenau! 

A6: Die eigene Arbeitsweise wird nicht ersetzt. Es findet eine 

Unterstützung statt (in Teilen) 

ja 

/ / 

Position Button 

(grundsätzlich 

überprüfen) 

deutlichere 

Rückmeldung 

an den User 

einheitliches 

Vorgehen / 

zusätzlich 

Funktion 

platzieren 

Fehlermeldung 

nicht allgemein, 

sondern contentspezifisch 

/ 

/ 

24.06.2013

(B) Selbstbeschreibungsfähigkeit 

Frage 

SUM ja nein trifft 

nicht zu 

ja [%] nein 

[%] 

trifft nicht 

zu [%] 

1: Sind die Informationen, die zur Erledigung der Aufgabe notwendig 

sind, auf dem Bildschirm übersichtlich verfügbar? 

3 0 3 0 0,00 100,00 0,00 

2: Können Sie bei der Arbeit mit dem Programm erkennen, welche 

Eingabe als nächste von Ihnen erwartet wird? 

3 1 2 0 33,33 66,67 0,00 

3: Sind die Meldungen des Sytems für Sie immer verständlich? 3 1 2 0 33,33 66,67 0,00 

4: Werden Sie vor Aktionen, die nicht rückgängig gemcht werden können, 

von der Software gewarnt? 

3 2 0 1 66,67 0,00 33,33 

5: Hilft Ihnen die Hilfefunktion wirklich weiter, wenn einmal ein 

Dialogschritt oder Menüpunkt nicht ganz klar ist? 

3 0 1 2 0,00 33,33 66,67 

6: Müssen Sie oft Kollegen oder ein Handbuch konsultieren, um 

weiterarbeiten zu können? 

3 1 0 2 33,33 0,00 66,67 

25 

!" #" $" %" &" 

!5!!" $!5!!" &!5!!" (!5!!" 6!5!!" #!!5!!" 

#" 

#" 


$" 

%" 

&" 

'" 

(" 

Empfehlungen 



B1: Bei Nachrichten kommt nicht auf Anhieb eine Sanduhr, ob eine 

Produktion gerade "läuft" oder ob das das System sich aufgehängt hat 

B1: Bei Ausgabekanälen ist nicht intuitiv klar, was die Knoten bedeuten 

und wann bzw. für welche Aufgabe welcher Über- bzw. Unterordner 

angeklickt werden muss. 

B1: Es wäre gut, wenn man die Ausgabekanäle bzw. Ordner sieht, die 

man sehen will (Auswählbarkeit) 

Info integrieren 

Schulung? 

Ausgabekanal 

konfigurieren 

B1: vgl. A5 (doppelte Nennung) / / / 

/ 

B1: Zur Freigabe des persönlichen Ordners gibt es keinen "Button" im 

mittleren Bereich bzw. [dort] nur den Button "Nutzungsrechte", der hier 

nicht zutrifft 

einheitliches 

Vorgehen / 

zusätzlich 

Funktion 

platzieren 

(analog zu A5) 

B1: Bei Speichern des Textdokumentes gibt es im Ausklappmenü kein 

"Speichern", sondern nur "Speichern und Kopie erstellen", auf das ich 

fälschlicherweise geklickt habe 

B1: Grundsätzlich ist nie klar welches Pflichtfelder sind 

)*" 

+,-+" 

./-0."+-12."34" 


Schulung? 

Pflichtfelder 

kennzeichnen 

(im gesamten 

System) 

B2: siehe B1, siehe A5 / / / 

/ 

B3: Verbessert werden könnte z.B. das Freigabesymbol, dass ich 

zunächst nicht wahrgenommen habe 

Icon optimieren 

(z.B. geöffnetes 

Schloss für 

freigegeben) 

B3: "Bitte prüfen Sie Ihre Eingaben" / / / 

/ 

$" 

%" 

&" 

'" 

(" 

)*"789" 

+,-+"789" 

./-0."+-12."34"789" 

24.06.2013

(C) Steuerbarkeit 

Frage SUM ja nein trifft 

nicht zu 

ja [%] nein [%] trifft nicht 

zu [%] 

1: Können Sie Ihre Arbeitsschritte in der Reihenfolge erledigen, die Ihnen 

am sinnvollsten erscheint? 

3 3 0 0 100,00 0,00 0,00 

2: Macht das Programm manchmal etwas, ohne dass Sie es zu dem 

zeitpunkt wollen? 

3 1 1 1 33,33 33,33 33,33 

3: Können Sie einen Arbeitsschritt wieder zurücknehmen, wenn es für 

Ihre Aufgabenerledigung zweckmäßig ist? 

3 1 0 2 33,33 0,00 66,67 

4: Fühlen Sie sich in Ihrem Arbeitstempo durch das Programm manchmal 

gebremst, z.B. durch zu lange Wartezeiten? 

3 2 0 1 66,67 0,00 33,33 

26 

!" #" $" %" &" 

!3!!" $!3!!" &!3!!" 4!3!!" 5!3!!" #!!3!!" 

#" 

$" 

%" 


'(" 

)*+)" 

,-+.,")+/0,"12" 

#" 

$" 

%" 

'("678" 

)*+)"678" 

,-+.,")+/0,"12"678" 

&" 

&" 

Empfehlungen 



C2: sich aufhängen 

behoben 

C4: Besonders wird Sandhuhr vermisst - siehe A3 und B1 / / / 

/ 

C4: Im Bereich Veröffentlichen - siehe B1 / / / 

/ 


24.06.2013

27 

Auswertung 

Weitere Kriterien: 

-‐ Erwartungskonformität 

-‐ Fehlertoleranz 

-‐ Individualisierbarkeit 

-‐ Lernförderlichkeit 

und zusätzliche Anmerkungen 

Bewertung der Ergebnisse und Erstellung des Testberichtes. 


24.06.2013

28 

Testbericht 

posiDv: 

-‐ Enthält alle benöDgten FunkDonen 

-‐ Durchführung in sinnvoller Reihenfolge 

-‐ Anwendung ist steuerbar 

-‐ Individualisierbarkeit 

-‐ Lernförderlichkeit 

Handlungsempfehlungen: 

-‐ einheitliches Vorgehen (Platzierung von Schalylächen) 

-‐ Kennzeichnung von Pflichyeldern 

-‐ Fehlermeldungen opDmieren 

-‐ Anzeige, dass das Programm eine Aufgabe ausführt 

-‐ Schulungen anbieten 


24.06.2013

29 

Resümee 

spannend 

transparent 

nicht aufwendig 

machen 


24.06.2013

Diskussion: 

Fragen & Antworten 

Vielen Dank für Ihre Aufmerksamkeit.

Usability-‐Test – am Beispiel einer SW-‐Entwicklung

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?