PTA_Test_KonzeptionUndLeitfaden.pdf - PTA GmbH

Leitfaden für die Erstellung eines Testkonzepts
Inhalt
0 EINLEITUNG ............................................................................................................................... 2
0.1 ZIELSETZUNG DES DOKUMENTS.............................................................................................. 2
0.2 AUFBAU DES DOKUMENTS ...................................................................................................... 2
1 ÜBERBLICK ÜBER DIE ANWENDUNG................................................................................. 3
1.1 FACHLICHER ÜBERBLICK ........................................................................................................ 3
1.2 TECHNISCHER ÜBERBLICK ...................................................................................................... 3
2 TESTPHASEN............................................................................................................................... 4
2.1 TESTPLANUNG ......................................................................................................................... 4
2.1.1 Prüfziele........................................................................................................................... 4
2.1.2 Zeitliche und organisatorische Planung ......................................................................... 4
2.1.3 Personalplanung ............................................................................................................. 5
2.1.4 Vorbereitung der Tests .................................................................................................... 5
2.1.5 Risiken abschätzen .......................................................................................................... 5
2.2 TESTENTWURF BZW. –SPEZIFIKATION..................................................................................... 6
2.2.1 Teststrategie und Testverfahren ...................................................................................... 6
2.2.2 Zu testende Funktionen, Prozesse und Komponenten ..................................................... 6
2.2.3 Personalzuordnung ......................................................................................................... 6
2.2.4 Phasen in der Testdurchführung ..................................................................................... 6
2.2.5 Abnahmekriterien ............................................................................................................ 8
2.2.6 Testumgebung.................................................................................................................. 8
2.3 ERSTELLEN DER TESTFÄLLE.................................................................................................... 8
2.3.1 Erstellen von Vorlagen für Modultests............................................................................ 8
2.3.2 Strukturierung der Testfälle in Testpaketen .................................................................... 9
2.3.3 Anlegen der Testfälle....................................................................................................... 9
2.4 VORGEHENSPLANUNG UND TESTVORSCHRIFT...................................................................... 10
2.4.1 Inhaltliche Planung ....................................................................................................... 10
2.4.2 Ressourcenplanung ....................................................................................................... 11
2.4.3 Richtlinien ..................................................................................................................... 11
2.5 DURCHFÜHRUNG DER TESTS................................................................................................. 14
2.6 TESTAUSWERTUNG................................................................................................................ 15
2.6.1 Fehlerverfolgung und Behandlung................................................................................ 15
2.6.2 Testberichte ................................................................................................................... 15
2.6.3 Inhalte eines Abschlussberichtes................................................................................... 15
2.6.4 Softwareübergabe.......................................................................................................... 16
3 TESTTOOLS............................................................................................................................... 17
3.1 TEST-MANAGEMENT ............................................................................................................. 17
3.2 AUTOMATISIERTER TEST FÜR C/S-ANWENDUNGEN............................................................. 17
3.3 PERFORMANCE-, LAST- UND STRESS-TEST FÜR C/S-ANWENDUNGEN................................. 18
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 1 von 19

Leitfaden für die Erstellung eines Testkonzepts
0 Einleitung
0.1 Zielsetzung des Dokuments
Das vorliegende Dokument soll einen allgemeinen Leitfaden zum Erstellen eines
Testkonzepts darstellen. Es wurde versucht, alle wichtigen Aspekte aufzulisten, die für die
Testkonzeption beachten werden sollten.
Um für ein konkretes Projekt ein individuelles Testkonzept zu erstellen, untersucht man für
jeden einzeln Punkt im Leitfaden, ob er für die gegebene Situation relevant ist. Wenn ja,
übernimmt man den Punkt in das Testkonzept und erarbeitet Details dazu.
0.2 Aufbau des Dokuments
Im ersten Kapitel werden allgemeine Punkte über die zu testende Anwendung behandelt. Sie
dienen hauptsächlich dazu, einen Überblick über die Anwendung zu bekommen und alle
nützlichen Informationen (wie z.B. Dokumentationen, Datenmodelle etc.) zu sammeln.
Das zweite Kapitel lehnt sich an ein strukturiertes Testvorgehen an, das in sechs Phasen
gegliedert werden kann, siehe Abbildung 0.1.
Testplanung
-- -----
---- ---
- ------
Testentwurf
-- -----
---- ---
- ------
Testplan Test
-spezifikation
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Testfallermittlung
-- -----
---- ---
- ------
Testfälle
Vorgehensplanung
-- -----
---- ---
- ------
Testvorschrift
Telefon: 0621/41960-0
pta.mannheim@pta.de
Testdurchführung
Testprotokolle
Testauswertung
-- -----
---- ---
- ------
Testbericht
Abbildung 0.1: Phasen eines Softwaretests und Dokumente, die in den Phasen erstellt werden. Das
eigentliche Testen erfolgt in der Phase der Testdurchführung.
Der Ablauf der sechs Phasen ist allerdings nicht streng sequenziell zu sehen. Die Phasen
Testdurchführung und Testauswertung laufen i.d.R. parallel ab. Auch die Testplanung und
der Testentwurf bzw. die Testfallerstellung und die Vorgehensplanung können je nach
Projektgröße zum Teil nebeneinander durchgeführt werden.
Im dritten Kapitel sind verschiedene Testtools aufgelistet.
-- -----
---- ---
- ------
12.02.2007
Seite 2 von 19

Leitfaden für die Erstellung eines Testkonzepts
1 Überblick über die Anwendung
Voraussetzung für die Ausarbeitung eines Konzeptes für den Softwaretest ist, die zu
testende Anwendung und die darin abzubildenden Geschäftsprozesse zu kennen. Ein
Überblick über die fachlichen und technischen Grundlagen hilft, die Anforderungen an die
Anwendung einzuschätzen und damit das richtige Vorgehen für den Test dieser
Anforderungen einzuleiten.
1.1 Fachlicher Überblick
Zu einem fachlichen Überblick gehören
o Aufzählung der Geschäftsprozesse
o Abbildung der Geschäftsprozesse
o Organigramm der beteiligten Personen und Abteilungen
o Eskalationsprozesse und -mechanismen
o Service Agreements und Zielvorgaben
o Übersicht von Zuständigkeiten und Kompetenzen
o Konzept für Benutzergruppen und Zugriffsrechte
o Anwenderdokumentationen
1.2 Technischer Überblick
Aus technischer Sicht können folgende Punkte relevant sein
o Technische Architektur
o Datenmodell
o Liste der Schnittstellen
o Technische Dokumentationen
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 3 von 19

Leitfaden für die Erstellung eines Testkonzepts
2 Testphasen
2.1 Testplanung
Im Testplan werden die groben Rahmenbedingungen der gesamten Testaktivitäten wie z.B.
Zielvorgaben, zeitliche Planung etc. dargestellt. Das Füllen der Rahmenbedingungen mit
detaillierten Inhalten erfolgt beim Testentwurf.
2.1.1 Prüfziele
Eine wesentliche Frage bei der Planung ist, welche Prüfziele mit dem Test erreicht werden
sollen, weil davon die Aktivitäten beim Test entscheidend abhängen. Mögliche Prüfziele und
evtl. geeignete Tests sind:
o Vollständigkeit: sind alle Anforderungen erfüllt (Vgl. mit Fachkonzept)
⇒ Modul-, Systemtest
o Datenvolumen: Massentest mit großen Datenmengen
⇒ Last-, Performancetest
o Zeit: Antwortzeiten des Systems untersuchen
⇒ Last-, Performancetest
o Zuverlässigkeit: Verhalten bei Dauerbelastung
⇒ Last-, Performancetest
o Fehlertoleranz: Verhalten bei Überlast
⇒ Last-, Performancetest
o Benutzbarkeit: Verständlichkeit, Erlernbarkeit, Stabilität bei Fehleingaben (Vgl. mit
Style Guide)
⇒ System-, Abnahmetest,
o Sicherheit: Wirksamkeit der Sicherheitsmechanismen
⇒ Modul-, Systemtest
o Interoperabilität: Kompatibilität mit anderen Systemen (Schnittstellen)
⇒ Integrations-, Systemtest
o Dokumentation: Vorhandensein, Konsistenz und Verständlichkeit
⇒ Code-, Dokumentationsreview
2.1.2 Zeitliche und organisatorische Planung
Eine realistische Terminplanung und Einschätzung der anstehenden Aufwände ist
Voraussetzung für eine erfolgreiche Durchführung der Tests. Zu planen sind:
o Termine (Meilensteine)
Wann kann mit den Tests begonnen werden, wann müssen sie abgeschlossen sein
und in welchem Zeitraum sind welche Testphasen geplant?
o Benötigter Vorlauf
Welche Aktivitäten sind wie lange vor dem Testbeginn durchzuführen?
o Aufwände für
- Planung
- Erstellen der Testfälle und -skripte
- Durchführung (mehrere Testdurchläufe berücksichtigen)
- Fehlerbehebung
- Auswertung/Analyse
o Regelmäßige Statusmeetings
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 4 von 19

Leitfaden für die Erstellung eines Testkonzepts
2.1.3 Personalplanung
Zu einer frühzeitigen Personalplanung gehören die Festlegung und Beschreibung der Rollen,
die für den Softwaretest zu besetzen sind, sowie eine Abschätzung des Personalbedarfs.
2.1.3.1 Beschreibung der Rollen
Welche Rollen sind für den gesamten Testablauf notwendig? Welche Aufgaben und
Kompetenzen besitzen sie? Wer darf Fehler klassifizieren und priorisieren?
o Projektmanager
Entscheidungsträger für die Produktionseinführung der Anwendung
o Testkoordinator
Konzept erstellen, Termine planen, Steuerung der Aktivitäten, Statusbericht erstellen
o Ersteller der Testfälle/-szenarien
Testfälle zusammenstellen und dokumentieren
o Tester
Durchführung der Tests, Testergebnisse dokumentieren
o Entwickler
Fehlerbehebung durchführen und dokumentieren
2.1.3.2 Personalbedarf abschätzen
o Wie viele Personen je Rolle werden benötigt?
o Für welchen Zeitraum werden die Personen benötigt?
2.1.4 Vorbereitung der Tests
Schon in der Planung sollten Aktivitäten identifiziert werden, die frühzeitig erledigt werden
müssen, um einen termingerechten Start der Tests zu gewährleisten. Dazu können gehören:
o Auswahl von Testtools
Welche Tools sollen eingesetzt werden? Z.B. Testmanagementtools,
Capture/Replay-Tools, Tools für Last-/Stresstests. Siehe auch Abschnitt 3.
o Welche Voraussetzungen müssen für den Einsatz der Tools geschaffen werden?
o Informationen über den Test
Auflisten, welche Abteilungen / Personen über die Testaktivitäten informiert werden
müssen. Wer soll wann durch wen informiert werden?
o Abstimmungen mit involvierten Abteilungen und Ansprechpersonen
o Klärung der Kostenverteilung von Personal- und Sachmitteln
2.1.5 Risiken abschätzen
Auch die Betrachtung bestehender Risiken kann einen Einfluss auf die Planungen haben:
o Zeitliche Planung
Konsequenzen bei Terminabweichungen
o Ressourcen
Konsequenzen bei Ausfällen ⇒ Ersatz bereitstellen
o Testdaten
Wie gut sind die Testdaten?
o Aufwand für Fehlerbehebung
Risiken bei hoher Fehleranzahl
o Mangelnde Qualität der Anwendung
Konsequenzen bei Nichteinführung
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 5 von 19

Leitfaden für die Erstellung eines Testkonzepts
2.2 Testentwurf bzw. –spezifikation
Die Rahmenbedingungen aus dem Testplan werden im Testentwurf genauer spezifiziert.
2.2.1 Teststrategie und Testverfahren
Nachdem in der Planung die Prüfziele des Tests bestimmt wurden, sollten im nächsten
Schritt Teststrategien festgelegt und Testverfahren ausgewählt werden. Einen groben
Überblick über mögliche Testverfahren gibt Abbildung 2.1. Zur Festlegung der Teststrategien
gehören:
o Vorgehensweise, um solche Testfälle zu bestimmen, die mit hoher
Wahrscheinlichkeit Fehler aufdecken.
o Auswahl und Bestimmung der Reihenfolge und des Zusammenspiels von einzelnen
Testverfahren und ihrer Anwendung auf die Komponenten des zu testenden
Systems. Die Testverfahren leiten sich z.T. von den festgelegten Prüfzielen ab.
Dynamischer Test
Black-Box-Test White-Box-Test
Testfälle werden
aus funktionalen
Anforderungen
abgeleitet
Testfälle werden
aus dem Quellcode
abgeleitet
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
Statischer Test
Walkthrough Review Inspektion
Qualitätssichernde Maßnahme für:
• Dokumente
• (Daten)-Modelle
• Quellcode
Abbildung 2.1: Einteilung verschiedener Testverfahren, die bei einem Softwaretest eingesetzt
werden können.
2.2.2 Zu testende Funktionen, Prozesse und Komponenten
Im Testentwurf wird auch festgelegt, welche Funktionalitäten und Komponenten im Rahmen
des Tests getestet werden sollen.
o Liste von zu testenden Funktionen und Komponenten aufstellen
o Ggf. Liste von Funktionen und Komponenten, die nicht getestet werden sollen
2.2.3 Personalzuordnung
o Aus welchem Bereich (interne Abteilungen, externe Berater) kommen die Personen?
o Wer steht für welche Rolle in den einzelnen Phasen der Testdurchführung zur
Verfügung?
o Besetzung der Rollen mit Personen
o Ersatzpersonen für Ausfälle einplanen
2.2.4 Phasen in der Testdurchführung
Nach Festlegung von Prüfzielen, Testverfahren und zu testenden Funktionen und
Komponenten sollte außerdem der Umfang der Testaktivitäten beschrieben werden. Dazu
gehört zu klären, in welche Phasen die Testdurchführung gegliedert werden soll, welche
Testaktivitäten in den Phasen durchgeführt und welche Ergebnisse dabei erzielt werden
sollen.
12.02.2007
Seite 6 von 19

Leitfaden für die Erstellung eines Testkonzepts
2.2.4.1 Testphasen klären
o Modultest
Der Modultest wird in der Regel von den Entwicklern durchgeführt und hat folgende
Inhalte und Ziele:
- Test einzelner Module
- White-Box-Test der Funktionalitäten
- Abgleich mit Fach- und DV-Konzept
- Reviews (Konventionen für Code, GUI, Namen usw.)
- Dokumentation der Durchführung
o Integrationstest
Der Integrationstest wird in der Regel ebenfalls von den Entwicklern durchgeführt und
hat folgende Inhalte und Ziele:
- Zusammenwirken der Module
- Black-Box-Test der Funktionalitäten
- Test anhand von Testfällen
o Systemtest
Der Systemtest wird in der Regel von Anwendern oder einem Testteam durchgeführt
und hat folgende Inhalte und Ziele:
- Test des Gesamtsystems
- Black-Box-Test der Geschäftsprozesse
- Interaktion mit externen Systemen (Schnittstellen)
- Test anhand von Testfällen
o Performancetest
Der Performancetest wird in der Regel von einem Testteam durchgeführt und hat
folgende Inhalte und Ziele:
- Test ausgewählte Prozesse
- Hardware- und Softwarekonfigurationen
- Volumen und Last
- Antwortzeiten
o Abnahmetest
Der Abnahmetest wird in der Regel von Anwendern und/oder dem Auftraggeber
durchgeführt und hat folgende Inhalte und Ziele:
- Test ausgewählter Geschäftsszenarien
- Ergonomie
- Leistungsfähigkeit
2.2.4.2 Beschreibung der Phasen
Zu jeder geplanten Testphase sind folgende Punkte festzulegen.
o Inhalt
o Prüfziel und Verfahren
o Vorgehen
o Zeitliche Planung
o Verantwortlichkeiten
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 7 von 19

Leitfaden für die Erstellung eines Testkonzepts
o Ressourcen
2.2.5 Abnahmekriterien
Es sind Kriterien bzw. Anforderungen für die Abnahme bzw. Produktionseinführung
festzulegen (z.B. K.O.-Kriterien)
o Grad der Testabdeckung
o Erlaubte Fehleranzahl pro Fehlerkategorie
o Festlegen von unternehmenskritischen Prozessen, die fehlerfrei sein müssen
o Festlegen von Antwortzeiten des Systems
2.2.6 Testumgebung
Ein wichtiger Punkt bei der Spezifikation eines Softwaretest ist auch die Planung und
Beschreibung der Umgebung, in der die Tests durchgeführt werden sollen. Dazu gehören
insbesondere die Hard- und Softwarekomponenten.
2.2.6.1 Hardware
o Anzahl der benötigten Test-PCs
o Systemanforderungen an Test-PCs (Prozessor, Arbeitsspeicher, freier
Festplattenplatz)
o sonstige Geräte (Drucker, Telefone, etc.)
o Raumplanung
2.2.6.2 Software
o Betriebssystem
o Anwendungssoftware (eingespielte Version)
o Testtools
o Datenbanksystem
Es ist außerdem festzulegen, ab wann die Testumgebung benötigt wird und für welchen
Zeitraum.
2.3 Erstellen der Testfälle
Nach Planung und Entwurf des Tests sollten alle Entscheidungen getroffen und
Informationen gesammelt sein, die Voraussetzung für das Erstellen der Testfälle sind. Die
Testfälle beschreiben die eigentlichen Tests, d.h. die konkreten Schritte, die ein Tester beim
Testen der Anwendung ausführt.
Ausgehend von der Aufteilung der Testdurchführung in mehrere Phasen (Modul-,
Integrations-, Systemtest usw.) werden die Testfälle und Szenarien für die einzelnen Phasen
festgelegt. Beim Modultest bietet sich jedoch ein vereinfachtes Vorgehen ohne speziell
ausgearbeitete Testfälle an.
2.3.1 Erstellen von Vorlagen für Modultests
o Checklisten für Tests erstellen
Modultests werden in der Regel vom Entwickler selbst durchgeführt. Das bedeutet
auch, dass für diese Tests keine detaillierte Beschreibung der Testschritte in Form
von Testfällen erforderlich ist. Um den Aufwand der Vorbereitung zu minimieren und
dennoch ein strukturiertes und dokumentiertes Vorgehen zu erreichen, wird die
Verwendung von allgemein gehaltenen Checklisten vorgeschlagen.
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 8 von 19

Leitfaden für die Erstellung eines Testkonzepts
Diese sollten alle Punkte enthalten, die beim Modultest überprüft werden sollen, z.B.
Überprüfung des Layouts, Rechtschreibung auf GUI, Tabulator Reihenfolge,
Überprüfung gültiger und ungültiger Eingabewerte, korrekte Funktion aller Command
Buttons usw.
o Konventionen für Design und Entwicklung
Die Einhaltung von Standards für das Design und die Entwicklung der Anwendung
sollten im Zuge des Modultests überprüft werden.
2.3.2 Strukturierung der Testfälle in Testpaketen
Generell werden die Testfälle aus den Prüfzielen, fachlichen und technischen
Anforderungen, sowie den geplanten Testverfahren und -strategien abgeleitet. Um den
Überblick über die zu erstellenden Testfälle und die mit diesen erreichte Testabdeckung zu
behalten, ist es meist erforderlich zunächst eine Struktur zu entwerfen und sog. Testpakete
zu schnüren (siehe
Abbildung 2.2). Außerdem erleichtert eine geeignete Strukturierung der Testfälle deren
Pflege und die Planung der Durchführung.
Anforderungen
- Funktional
- Nicht-funktional
Abbildung 2.2: Erstellen von Testfällen. Aus Anforderungen, Prüfzielen, Teststrategie und –verfahren
wird eine Struktur für die Testfälle und schließlich diese selbst abgeleitet.
Folgende Strukturen haben sich bewährt:
o Strukturierung nach Testphasen
o Strukturierung nach Teilsystemen der Anwendung
o Strukturierung nach Fachprozessen
o Testpakete für technische Anforderungen
2.3.3 Anlegen der Testfälle
Die Testfälle werden direkt im Testmanagement-Tool angelegt und einzelnen Testpaketen
zugeordnet. Folgendes ist zu tun:
o Anlegen der Testpakete und Strukturen
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Prüfziele
Strukturierung
der Testfälle
Testfälle
Testfälle
Testfälle
Telefon: 0621/41960-0
pta.mannheim@pta.de
„Testpakete“
Teststrategie /
Testverfahren
12.02.2007
Seite 9 von 19

Leitfaden für die Erstellung eines Testkonzepts
o Erstellen einzelner Testfälle
Die Testfälle sollten folgende Informationen enthalten:
- Zuordnung zu Anforderungen
- Zuordnung zu Testpaket
- Zu testende Funktionen/Prozesse
- Eingaben durch den Tester
- Erwartete Ausgaben
- Abhängigkeit zu anderen Testfällen
o Verweis auf Dokumentationen
Evtl. wird auf System- und Benutzerdokumentationen oder Online-Hilfen verwiesen,
die im Zusammenhang mit der Ausführung des Testfalls auf Brauchbarkeit und
Richtigkeit überprüft werden sollen.
o Beschreibung von Szenarien, die sich aus mehreren Testfällen zusammensetzen
o Überprüfung der Testfälle und –szenarien nach Releasewechsel
Vor dem Test neuer Releases sollten die geplanten Testfälle auf ihre Aktualität und
Richtigkeit überprüft und ggf. angepasst werden.
2.4 Vorgehensplanung und Testvorschrift
Nach Testentwurf und Erstellung der Testfälle wird im nächsten Schritt in der sog.
Vorgehensplanung eine Testvorschrift erstellt. In der Vorgehensplanung werden die
Durchführung der Tests auf Grundlage der Testfälle detailliert geplant und Richtlinien dafür
vorgegeben. Folgendes sollte für jede Phase der Testdurchführung erledigt werden.
2.4.1 Inhaltliche Planung
2.4.1.1 Testumgebung
Evtl. wird bei der Vorgehensplanung erkannt, dass der Aufbau der Testumgebung
abweichend von der Beschreibung im Testentwurf für die einzelnen Phasen der
Testdurchführung angepasst werden muss.
2.4.1.2 Benutzeraccounts, Login- und Zugriffsinformationen
Zur Durchführung der Test sind für die Tester Login- und Zugriffsinformationen
bereitzustellen und entsprechende Benutzeraccounts einzurichten für
o Testinstanz der Anwendung
o Testmanagement System
o Verzeichnisse für Dokumente, Screenshots usw.
2.4.1.3 Testdaten
Für die Testdurchführung ist es meist notwendig, geeignete Testdaten zur Verfügung zu
stellen. Folgende Fragen sind dabei zu klären:
o Art und Herkunft der Testdaten
Welche Daten werden benötigt und wo kommen sie her. Werden sie z.B. aus der
Produktivumgebung oder aus anderen Systemen übernommen oder müssen sie
eigens für den Test generiert werden.
o Bereitstellung
Wer ist für die Bereitstellung der Testdaten zuständig und in welcher Form werden
sie bereit gestellt.
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 10 von 19

Leitfaden für die Erstellung eines Testkonzepts
Evtl. Einrichten von Telefonnummern für Tests von CTI- und oder ACD-Anbindung
o Anpassung der Daten
Sind evtl. Anpassungen der Daten notwendig, z.B.
- Anonymisierung von sensiblen Produktivdaten
- Änderungen von Faxnummern oder Emailadressen, an die automatisiert
Nachrichten verschickt werden
o Verwendung der Daten
Soll es Festlegungen geben, welche Datensätze für welche Tests (Testphasen,
Testfälle, ...) verwendet werden sollen.
2.4.1.4 Reihenfolge der Testfälle
Eine genaue Planung der Testdurchführung beinhaltet auch die Festlegung, in welcher
Reihenfolge und wann die geplanten Testfälle durchgeführt werden sollen.
o Planung der Reihenfolge
Für Testfälle gibt es meist eine Reihenfolge, in der sie am sinnvollsten durchgeführt
werden, insbesondere wenn sie voneinander abhängen.
o Zeitliche Planung der Durchführung
Bei der zeitlichen Planung sollte auch berücksichtigt werden, dass bei Auftreten von
Fehlern diese ausgewertet und behoben werden müssen und die entsprechenden
Testfälle ggf. mehrfach durchgeführt werden müssen. D.h. die zeitlichen Vorgaben
sollten so gesetzt werden, dass innerhalb jeder Testphase mehrere Testzyklen (Test
– Fehlerbehebung – Retest) eingeplant sind.
2.4.2 Ressourcenplanung
Eine detaillierte Ressourcenplanung enthält u.a.
o Zuordnung der Testfälle/-pakete zu Testern
Festlegung, welche Testfälle oder –pakete von welchen Testern bearbeitet werden
sollen.
o Detaillierte Zeit- und Mitarbeiterplanung
Erstellung eines Projektplans, aus dem hervorgeht, welche Testfälle die einzelnen
Tester wann und in welchem Zeitrahmen abarbeiten sollen.
Wie bereits erwähnt, sollte die Zeitplanung mehrere Testdurchläufe (Test –
Fehlerbehebung – Retest) vorsehen.
o Arbeitsplätze und Systemumgebung
Planung, wann und an welchen Arbeitsplätzen die Testumgebung für welche Tester
zur Verfügung steht.
o Regelmäßige Statusmeetings
2.4.3 Richtlinien
Wesentlich für ein einheitliches und kontrollierbares Vorgehen beim Testen ist die Vorgabe
von Richtlinien für die Dokumentation der Durchführung der Tests und der Beschreibung von
auftretenden Fehlern.
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 11 von 19

Leitfaden für die Erstellung eines Testkonzepts
2.4.3.1 Dokumentation der Durchführung
Um den Testfortschritt verfolgen zu können, ist es wichtig, dass die Durchführung von
Testfällen vollständig dokumentiert wird. Die Dokumentation erfolgt im Testmanagement-
Tool und könnte folgende Informationen enthalten:
o Testdatum
o Tester
o Getestete Version, evtl. mit Verweis auf Software-Übergabedokument
o Verwendetes Testskript
o Eventuelle Abweichungen vom Testskript, z.B. bei der Testumgebung
o Durchgeführte Testfälle
o Eingabedaten
z.B. Hardcopy des Eingabefensters
o Testergebnis
o Abweichung vom erwarteten Ergebnis
detaillierte Beschreibung des abweichenden Testergebnisses, z.B. mit Hardcopy der
Ausgabe, Fehlermeldungen, Log-Dateien; dies wird in der Regel in Form einer
Fehlerbeschreibung erfolgen, s.u..
o Unerwartete Ereignisse
o Status des Test
z.B. nicht ausgeführt, fehlerfrei ausgeführt, unterbrochen, fehlgeschlagen
o Dokumentation von unvorhergesehenen Aufwänden
Gemeint sind Aufwände, die entstehen, wenn Testfälle nur verzögert oder gar nicht
ausgeführt werden können, weil die Anwendung fehlerhaft ist, nicht zur Verfügung
steht oder sonstige Probleme auftreten.
2.4.3.2 Fehlerbeschreibungen
Beim Testen werden Fehler auftreten, die vom Tester angemessen beschrieben werden
sollten, damit Testkoordinator und Entwickler den Fehler verstehen, reproduzieren,
beurteilen und beheben können. Folgende Informationen sind zur Fehlerbeschreibung
sinnvoll
o Kategorie
Einteilung des Fehlers in Kategorien wie Programmfehler, Bedienungsfehler,
Designfehler, Change Request, Duplikat zu anderem Fehler usw.
o Priorität
Fehler werden allgemein nach Wichtigkeit priorisiert, z.B. kritisch/schwer, mittel, leicht
o Fehlerstatus
Der Status des Fehlers gibt Auskunft über seinen Bearbeitungsstand, z.B. neu, in
Arbeit, offen, bereit für Retest, behoben, geschlossen.
o Beschreibung
Damit Entwickler und Koordinator den Fehler nachvollziehen und einschätzen
können, ist eine gute Beschreibung des Fehler wichtig. Die Beschreibung sollte z.B.
enthalten, wo und bei welcher Aktion der Fehler aufgetreten ist, ggf. Hardcopy der
Ausgabe, Fehlermeldungen, Log-Dateien.
o ID
Eindeutige Kennung für den Fehler
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 12 von 19

Leitfaden für die Erstellung eines Testkonzepts
o Kurzbezeichnung
Sollte Wiedererkennung des Fehlers erleichtern
o Erstellungsdatum
o Name des Ersteller
Name der Person, die den Fehler gefunden und beschrieben hat.
o Zugeordneter Bearbeiter
Person, die für die Bearbeitung verantwortlich ist. Ein Fehler kann z.B. dem
Testkoordinator zur Analyse oder einem Entwickler zur Behebung zugewiesen sein.
o Testumgebung
in der der Fehler aufgetreten ist
o Versionsnummer
des Releases, in dem der Fehler gefunden wurde
o Zugeordneter Testfall
ggf. Testfall, bei dem der Fehler aufgetreten ist
o Testphase und/oder Projektphase
innerhalb der der Test durchgeführt wurde
o Kommentare
durch Koordinator, Entwickler oder Tester, um die Diskussion und Einschätzungen
zum Fehler festzuhalten.
2.4.3.3 Organisatorische Anweisungen
Je nach Detaillierungsgrad der Testfälle und Qualifikation der Tester kann es sinnvoll sein,
zusätzliche organisatorische Anweisungen zu den Testfällen zu geben. Dies kann in der
Form sog. Testskripte erfolgen, die dann als Anleitung für die Ausführung der Testfälle
dienen. Die organisatorischen Anweisungen bzw. Testskripte werden wie die Testfälle in der
Testmanagement-Anwendung gepflegt und können folgende Informationen enthalten:
o Voraussetzungen zur Ausführung der zugehörigen Testfälle
Dazu gehören vorbereitende Arbeiten, Anforderungen an die Testumgebung,
besondere Kenntnisse der Tester
o Zugehörige Testfälle bzw. Testpakete
Testfälle oder –pakete, für die die Anweisungen gültig sind
o Testziel
kurze Beschreibung des Ziels des Test
o Start des Tests
o Ausführungsschritte
d.h. genaue Beschreibung der Einzelschritte
o Methoden und Formate zur Protokollierung der Testergebnisse
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 13 von 19

Leitfaden für die Erstellung eines Testkonzepts
o Anlegen und Zuweisen von Fehlern
Wie sind Fehler anzulegen und wem sind sie zuzuweisen, z.B. dem Testkoordinator.
o Abbruch wegen unvorhergesehenen Ereignissen
o Neustart
o Ordnungsgemäßes Beenden des Tests
Dazu gehören auch Aufräumarbeiten, um ursprünglichen Zustand
wiederherzustellen, falls dies notwendig ist
o Verhalten bei unvorhergesehenen Vorkommnissen
o Funktionalitäten, die nicht ausgelöst werden dürfen
z.B. automatisierte Outbound-Funktionalitäten, damit keine Fax oder Email verschickt
werden, falls in den Testdaten Adressen nicht entsprechend entschärft wurden
2.5 Durchführung der Tests
Das eigentliche Testen der Software erfolgt in der Phase der Testdurchführung. Wie effektiv
und erfolgreich die Tests sein werden, hängt zum einen von der Qualität der bereitgestellten
Software ab, zum anderen aber auch sehr stark von der vorausgegangenen Planung und
Konzeption der Testaktivitäten.
o Das Vorgehen der Tester und Entwickler ist im Idealfall detailliert in der
Vorgehensplanung bzw. der Testvorschrift beschrieben.
o Die Verfolgung der Testaktivitäten und Auswertung der Ergebnisse durch den
Testkoordinator wird in der Testauswertung festgehalten.
Anforderungen
Anpassung
Änderungsanforderung
Erarbeitung
Anpassung
Änderung
notwendig
Änderung nicht
umsetzen
Abbildung 2.3: Typischer Testkreislauf. Anhand von Anforderungen werden Testfälle erarbeitet und
entsprechende Tests durchgeführt. Dokumentierte Fehler werden klassifiziert und priorisiert;
entsprechend Änderungs- oder Korrekturanforderungen werden davon abgeleitet. Resultieren daraus
Programmanpassungen, müssen diese wieder getestet werden, bevor ein Testfall abgeschlossen
werden kann.
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Testfälle
Programmanpassung
Fehlerhafter
Code
Klassifizierung
Priorisierung
Testfall
fehlerfrei
Testfall abgeschlossen
Telefon: 0621/41960-0
pta.mannheim@pta.de
Testvorschrift
Retest
Weiterleitung
Test
Durchführung
Testdokumentation
12.02.2007
Seite 14 von 19

Leitfaden für die Erstellung eines Testkonzepts
Um einen Überblick über die Aktivitäten während der Testdurchführung zu geben, ist in der
Abbildung 2.3 ein typischer Testkreislauf gezeigt.
Entsprechend der Festlegungen in der Entwurfsphase gliedert sich die Testdurchführung in
mehrere Testphasen, die in der Regel sukzessive durchlaufen werden, siehe Abschnitt 2.2.4:
o Modultest
o Integrationstest
o Systemtest
o Performancetest
o Abnahmetest
2.6 Testauswertung
Eine Testauswertung sollte begleitend zur Testdurchführung in regelmäßigen Abständen
erfolgen.
2.6.1 Fehlerverfolgung und Behandlung
o Klassifizierung der Fehler (Abweichungen) festlegen
o Priorisierungen festlegen
o Definieren, wie (z.B. als Packet gebündelt) und an wen Fehler weitergeleitet werden
o Abstimmung mit dem Releasemanagement:
Wann wird ein neues Release erstellt? Welche Fehler werden darin bereinigt?
o Beauftragung von Korrekturen
2.6.2 Testberichte
Ein Testbericht sollte in regelmäßigen Abständen erstellt werden. Er dient als
Diskussionsgrundlage für die Statusmeetings. In ihm sollten Anzeichen für Probleme und
Gegensteuerungsmaßnahmen erkennbar sein. Im Testkonzept sind Vorgaben hierfür
anzugeben.
o Festlegen, wie oft ein Testbericht zu erstellen ist
o Kennzahlen und Statistiken festlegen
Informationen oder Statistiken über Testabdeckung, Fehleranzahl, Anzahl der
Korrekturen, die der Bericht enthalten soll.
o Verfolgung des Testfortschritts
o Bestimmung des Reifegrads der Anwendung
o Kosten/Nutzen Abschätzung für Fehlerkorrekturen / Change Requests
o Analyse der Fehlerursachen, d.h. Fehler in
- Anforderungsdefinition
- Design
- Realisierung
o Risikoabschätzung
Ist das Projekt noch im Plan?
2.6.3 Inhalte eines Abschlussberichtes
Nach Beendigung der Tests ist ein Abschlussbericht zu erstellen. Er soll die durchgeführten
Aktivitäten dokumentieren und auch Hinweise bzw. Anregungen für zukünftige Tests liefern.
Im Testkonzept sind Vorgaben für die Inhalte aufzulisten.
o Getestete Version
Welche Version wird produktiv gesetzt? Welche Änderungen zur Vorgängerversion
sind hinzugekommen?
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 15 von 19

Leitfaden für die Erstellung eines Testkonzepts
o Testumgebung
Auf welchen Systemen wurde getestet?
o Testumfang
Was wurde getestet, welche Funktionen wurden evtl. nicht ausreichend getestet?
o Testergebnis
Welche Fehler wurden nicht beseitigt? Vorhandene Probleme und Lösungen
aufzeigen.
o Aufwände für den Test
Zeitbedarf und Ressourcenverbrauch darstellen
o Statistiken
Anzahl der Testfälle, Anzahl der Fehler, Anzahl der Korrekturen
o Zusammenfassende Bewertung der Software
o Verweis auf weitere Bestandteile der Testdokumentation
o Eventuell Abnahmeerklärung
o Schlussfolgerungen (Lessons Learned)
- Was ist für zukünftige Tests und Entwicklungsprozesse zu beachten
- Was soll anders gemacht werden
- Wie können die Folgerungen in den zukünftigen Prozess integriert werden
2.6.4 Softwareübergabe
Für jedes neue Release ist sinnvollerweise ein Begleitdokument zu erstellen, aus dem die
Inhalte und Änderungen hervorgehen. Der Inhalt des Dokuments sollte im Testkonzept
beschrieben sein.
o Beschreibung des Inhalts der Lieferung mit Versionsnummern und zugehörigem
Dokumentationsstand
o Übergabemedium oder –verzeichnis
o Status
o Änderungen gegenüber letzter Lieferung: behobene Fehler, geänderte
Funktionen/Spezifikation
o Noch fehlende oder unvollständige Programmteile
o Bekannte Programmfehler
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 16 von 19

Leitfaden für die Erstellung eines Testkonzepts
3 Testtools
Zur Unterstützung von Softwaretest sind mittlerweile zahlreiche Werkzeuge auf dem Markt.
Bei der Durchführung eines Test lassen sich verschiedene Bereiche identifizieren, in denen
Tools eingesetzt werden können:
o Testmanagement
Zum Bereich des Testmanagements gehören Aktivitäten wie das Planen und
Verwalten der Testaufträge, Testprotokolle oder Fehlerbeschreibungen sowie das
Auswerten der Tests.
o Testfallermittlung
Auch die Ermittlung von Testfällen kann durch Tools unterstützt werden. Dazu
gehören z.B. Analysetools, die die Abdeckung der Tests bei der Ausführung
analysieren.
o Testdatenerstellung
Damit sind Tools gemeint, mit denen Testdaten generiert und z.B. in Datenbanken
geschrieben werden können.
o Testausführung
Für die Testausführung sollen die Tools in der Regel eine Automatisierung der Tests
ermöglichen. In der Praxis werden solche Tools meist nur im Rahmen von Last- oder
Performancetests eingesetzt, weil ein Einsatz geeigneter Tools z.B. für fachliche
Tests, die Eingaben über die GUI erfordern, meist zu aufwendig ist.
In den folgenden Abschnitten werden zu einzelnen Bereichen jeweils einige Werkzeuge mit
Produktnamen, Hersteller und kurzer Anwerkung aufgelistet. Für weitere Informationen sei
auf die angegebenen Internet-Adressen verwiesen.
3.1 Test-Management
Produktname Hersteller Internet-Adresse Anmerkungen
QADirector Compuware www.compuware.com Planung, Design und
Analyse von Tests
Rational
TestManager
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Rational Software www.rational.com Planung, Design und
Analyse von Tests
TEO GAKO Informatique www.gako.fr Verwaltung von Testfällen
und Testskripts
TestDirector Mercury Interactive www.merc-int.com Planung, Design und
Analyse von Tests
T-Plan
Professional
T-Plan www.t-plan.co.uk Planung, Design und
Analyse von Tests
3.2 Automatisierter Test für C/S-Anwendungen
Produktname Hersteller Internet-Adresse Anmerkungen
AcuTest Tevron www.tevron.com Black Box-Test
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 17 von 19

Leitfaden für die Erstellung eines Testkonzepts
Produktname Hersteller Internet-Adresse Anmerkungen
AutoTester ONE AutoTester www.autotester.com Black Box-,
Regressions- und
Integrations-Test
Cantata++ Quality Checked
Software
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
www.qcsltd.com Code-Überdeckungsanalyse
für C++
CTA++ Testwell Oy www.testwell.fi Modul- und
Regressions-Test für
C++
Panorama C/C++ International
Software
Automation
www.softwareautomati
on.com
Telefon: 0621/41960-0
pta.mannheim@pta.de
Überdeckungsanalyse
und OO-Metriken für
C++
QARun Compuware www.compuware.com Black Box-Test
QES/Architect QES www.qestest.com Capture & Replay
Rational Visual
Test
Rational Software www.rational.com Black Box- und
Regressions-Test
SilkTest Segue Software www.segue.com Black Box- und
Regressions-Test
Tasker Vista Software www.vistasoftware.com
Test Manager Launch Software www.launchsoftware.c
om
Capture & Replay
Black Box- und
Regressions-Test
TestQuest Pro TestQuest www.testquest.com Black Box-Test
TestRunner Qronus Interactive www.qronus.com Black Box-Test
TestWorks Software Research www.soft.com Black Box- und
Regressions-Test
Unified TestPro Software
Development
Technologies
Vermont High Test
Plus
Vermont Creative
Software
www.sdtcorp.com Black Box- und
Regressions-Test
www.vtsoft.com Black Box- und
Regressions-Test
WinRunner Mercury Interactive www.merc-int.com Black Box- und
Regressions-Test
3.3 Performance-, Last- und Stress-Test für C/S-Anwendungen
Produktname Hersteller Internet-Adresse Anmerkungen
AutoController AutoTester www.autotester.com Last- und Stresstest
Benchmark Factory Quest Software www.quest.com Performance- und
Lasttest
Impact CYRANO www.cyrano.com Last- und Stresstest für
Datenbank-Server
12.02.2007
Seite 18 von 19

Leitfaden für die Erstellung eines Testkonzepts
Produktname Hersteller Internet-Adresse Anmerkungen
LoadRunner Mercury Interactive www.merc-int.com Performance- und
Lasttest
QALoad Compuware www.compuware.com Lasttest
SilkPerformer Segue Software www.segue.com Lasttest
Quelle: Testing Tools Supplier List (www.testingfaqs.org/tools.htm)
Literaturverzeichnis
Knut Fischer, Frank Heise, „Eine PTA-Testdatenbank zur Unterstützung des
Testmanagements“, Beitrag zum PTA Winterseminar 2002, unveröffentlicht
Hasso von Busse, „Glossar Test“, unveröffentlicht
Arne Schirmacher, „Testdokumentation nach ANSI/IEEE 829, Teil 1“, 04.06.2001, URI:
http://www.softwaretesting.de/article/print/1/-1/7/
Arne Schirmacher, „Testdokumentation nach ANSI/IEEE 829, Teil 2“, 13.11.2002, URI:
http://www.softwaretesting.de/article/print/50/-1/7/
Ralf Schroers, Heinz Bons, “Software-Optimierung: „A fool with a tool is still a fool“”,
COMPUTERWOCHE Nr. 4, 24.01.1997, Seite 43-46
© PTA GmbH, Unternehmensberatung
Seckenheimer Str.65-67, 68165 Mannheim
Telefon: 0621/41960-0
pta.mannheim@pta.de
12.02.2007
Seite 19 von 19