Risikobasiertes Testen mittels quantitativer ... - SE 2010
Risikobasiertes Testen mittels quantitativer ... - SE 2010
Risikobasiertes Testen mittels quantitativer ... - SE 2010
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Der Einsatz <strong>quantitativer</strong><br />
Sicherheitsanalysen für den<br />
risikobasierten Test<br />
eingebetteter Systeme<br />
Heiko Stallbaum, Andreas Metzger, Klaus Pohl<br />
Software Systems Engineering<br />
Institute for Computer Science and<br />
Business Information Systems (ICB)<br />
University of Duisburg-Essen, Germany<br />
www.sse.uni-due.de
Agenda<br />
• Einleitung und Motivation<br />
• <strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong><br />
Sicherheitsanalysen<br />
• Zusammenfassung und Ausblick<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 2/15
Einleitung und Motivation<br />
<strong>Testen</strong> und Sicherheitsanalysen<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 3/15<br />
• Für eingebettetes System oftmals Sicherheitsnachweis gefordert<br />
– Sicherheit (Safety) ist Abwesenheit von unakzeptablen Risiken<br />
(vgl. [SAE96], [DIN03], [ISO09])<br />
• <strong>Risikobasiertes</strong> <strong>Testen</strong><br />
– Produktrisiken erforschen durch systematische Systemausführung<br />
– Produktrisiken explizit nutzen für Testplanung<br />
• Quantitative Sicherheitsanalysen<br />
– Produktrisiken quantitativ analysieren auf Basis eines Systemmodells
Einleitung und Motivation<br />
Problem und Lösungsidee<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 4/15<br />
• Problem<br />
– <strong>Risikobasiertes</strong> <strong>Testen</strong> erfordert Zusatzaufwand für<br />
Produktrisikobewertungen<br />
• Lösungsidee<br />
– Separate Produktrisikobewertung obsolet machen durch Kombination von<br />
risikobasierten Testtechniken mit quantitativen Sicherheitsanalysen
Agenda<br />
• Einleitung und Motivation<br />
• <strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong><br />
Sicherheitsanalysen<br />
• Zusammenfassung und Ausblick<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 5/15
<strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong> Sicherheitsanalysen<br />
Überblick über den Ansatz<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 6/15<br />
• Anforderungsbasiert<br />
– Anforderungen sind Basis für Testfallableitung<br />
– Ermöglicht systematischen Test des Systems gegen Anforderungen<br />
• Risikobasiert<br />
– Produktrisiken sind Basis für Testfallpriorisierung<br />
– Ermöglicht systematischen Test entsprechend Produktrisiken<br />
• Modellbasiert<br />
– Ableitung eines Testmodells aus Anforderungen<br />
– Annotation von Produktrisiken im Testmodell<br />
– Ableitung und Priorisierung von Testfällen aus Testmodell<br />
– Ermöglicht hohe Testautomatisierung
<strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong> Sicherheitsanalysen<br />
Überblick über den Ansatz (2)<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 7/15<br />
• Aktivitäten und Artefakte des Ansatzes<br />
N1<br />
Ziele,<br />
Szenarien,<br />
Anwendungs<br />
-fälle<br />
Testmodellerstellung<br />
ScenTED [Re05] [Po08]<br />
T1<br />
Anforderungsbasiertes<br />
Testmodell<br />
T2<br />
Risikoorientiertes<br />
Testmodell<br />
T2<br />
FMECA [DIN06]<br />
RiteDAP [St08]<br />
Testfallableitung<br />
und -priorisierung<br />
T3<br />
Modellbasierte<br />
Testfallszenarien<br />
Risiko-<br />
T4 priorisierte<br />
Testfallszenarien<br />
N2<br />
Systemmodell<br />
Sicherheitsanalyse<br />
N3<br />
Optionale Testfremde Aktivitäten u. Artefakte<br />
Testfremde Aktivitäten u. Artefakte<br />
Testaktivitäten u. Artefakte<br />
Quantifizierte<br />
Produktrisiken<br />
N1: Ziel- und Szenariobasiertes RE<br />
N2: Systemmodellerstellung<br />
N3: Quantitative Produktrisikobewertung<br />
T1: Anforderungsbasierte Testmodellerstellung<br />
T2: Risikoorientierte Testmodellerstellung<br />
T3: Modellbasierte Testfallableitung<br />
T4: Risikobasierte Testfallpriorisierung
<strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong> Sicherheitsanalysen<br />
Anwendung des Ansatzes<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 8/15<br />
• Demonstration Anwendbarkeit am Beispiel ACC-System [Wi03]<br />
• Beispielhafter Anwendungsfall „Geschwindigkeitsverringerung bei<br />
vorausfahrendem Fahrzeug innerhalb des Sicherheitsabstandes“<br />
• Ausschnitt aus anforderungsbasiertem<br />
Testmodell zu<br />
betrachtetem Anwendungsfall<br />
Folgegeschwindigkeit<br />
errechnen<br />
Geschwindigkeitsverringerung<br />
an Motorsteuerung<br />
signalisieren<br />
[Geschwindigkeitsverringerung durch<br />
Motorsteuerung nicht ausreichend]<br />
Geschwindigkeitsverringerung<br />
an Bremssystem<br />
signalisieren<br />
[Geschwindigkeitsverringerung<br />
durch Motorsteuerung ausreichend]
<strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong> Sicherheitsanalysen<br />
Anwendung des Ansatzes (2)<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 9/15<br />
• Ausschnitt aus FMECA-Arbeitsblatt zu einer Funktion des<br />
betrachteten Anwendungsfalls<br />
Funktion / Anforder. Fehlerart(en) Fehlerauswrikung(en) Schwere Fehlerursache(n) Auftreten RPN<br />
Folgegeschwindigkeit<br />
errechnen<br />
10 Ist-Geschwindigkeit und / oder<br />
Abstand zum vorausfahrenden<br />
1 10<br />
Folgegeschwindigkeit<br />
kann nicht errechnet<br />
werden<br />
Folgegeschwindigkeit<br />
wird zu langsam<br />
errechnet<br />
Folgegeschwindigkeit<br />
wird zu hoch errechnet<br />
Folgegeschwindigkeit<br />
wird zu niedrig<br />
errechnet<br />
Fahrzeug wird nicht verlangsamt<br />
und kollidiert mit vorausfahrendem<br />
Fahrzeug<br />
Fahrzeug wird verspätet<br />
verlangsamt und kollidiert mit<br />
vorausfahrendem Fahrzeug<br />
Fahrzeug wird verspätet<br />
verlangsamt und kann<br />
Sicherheitsabstand nicht einhalten<br />
Fahrzeug wird zu wenig<br />
verlangsamt und kollidiert mit<br />
vorausfahrendem Fahrzeug<br />
Fahrzeug wird stärker verlangsamt<br />
als zur Einhaltung des<br />
Sicherheitsabstandes notwendig<br />
Fahrzeug liegen nicht vor<br />
10 Softwarefehler bei der Berechnung 2 20<br />
10 Ist-Geschwindigkeit und / oder 1 10<br />
Abstand zum vorausfahrenden<br />
Fahrzeug liegen verspätet vor<br />
10 Softwarefehler bei der Berechnung 2 20<br />
4 Ist-Geschwindigkeit und / oder 1 4<br />
Abstand zum vorausfahrenden<br />
Fahrzeug liegen verspätet vor<br />
4 Softwarefehler bei der Berechnung 2 8<br />
10 Ist-Geschwindigkeit liegt falsch (zu 3 30<br />
niedrig) und / oder Abstand zum<br />
vorausfahrenden Fahrzeug falsch<br />
(zu groß) vor<br />
10 Softwarefehler bei der Berechnung 2 20<br />
1 Ist-Geschwindigkeit liegt falsch (zu 3 3<br />
hoch) und / oder Abstand zum<br />
vorausfahrenden Fahrzeug falsch<br />
(zu klein) vor<br />
1 Softwarefehler bei der Berechnung 2 2
<strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong> Sicherheitsanalysen<br />
Anwendung des Ansatzes (3)<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 10/15<br />
• Ausschnitt aus risikoorientiertem Testmodell zum betrachteten<br />
Anwendungsfalls<br />
Folgegeschwindigkeit<br />
errechnen<br />
<br />
context Risiko inv:<br />
{Risikoereignis = „Fehlerauswirkung(en)<br />
nach FMECA“<br />
Risikowert = 127}<br />
[Geschwindigkeitsverringerung durch<br />
Motorsteuerung nicht ausreichend]<br />
Geschwindigkeitsverringerung<br />
an Motorsteuerung<br />
signalisieren<br />
<br />
context Risiko inv:<br />
{Risikoereignis = „Fehlerauswirkung(en)<br />
nach FMECA“<br />
Risikowert = 92}<br />
<br />
context Risiko inv:<br />
{Risikoereignis = „Fehlerauswirkung(en)<br />
nach FMECA“<br />
Risikowert = 155}<br />
Geschwindigkeitsverringerung<br />
an Bremssystem<br />
signalisieren<br />
[Geschwindigkeitsverringerung<br />
durch Motorsteuerung ausreichend]<br />
• Hieraus risikopriorisierte Testfallszenarien automatisch ableitbar
Agenda<br />
• Einleitung und Motivation<br />
• <strong>Risikobasiertes</strong> <strong>Testen</strong> <strong>mittels</strong> <strong>quantitativer</strong><br />
Sicherheitsanalysen<br />
• Zusammenfassung und Ausblick<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 11/15
Zusammenfassung und Ausblick<br />
Zusammenfassung<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 12/15<br />
• Präsentiert wurde ein neuer Ansatz<br />
– für den systematischen, risikobasierten Test eingebetteter Systeme<br />
– unter Verwendung <strong>quantitativer</strong> Sicherheitsanalysen<br />
– zur Verminderung des Zusatzaufwandes für Produktrisikobewertungen<br />
– mit hohem Automatisierungsgrad<br />
• Demonstriert wurde die Anwendbarkeit des Ansatzes
Zusammenfassung und Ausblick<br />
Ausblick<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 13/15<br />
• Evaluation der Eignung und Anwendbarkeit von FMECA im<br />
Rahmen des Testansatzes<br />
– Eignung und Anwendbarkeit von FMECA für Software umstritten<br />
- Ist z.B. Fehlzustandsbaumanalyse (FTA) geeigneter? [DIN07]<br />
– Frühe, anforderungsbasierte FMECA untypisch<br />
- Wie kann z.B. architekturbasierte FMECA verwendet werden?<br />
• Evaluation des Leistungsverhaltens des Testansatzes<br />
– Leistungsverhalten von risikobasierten Tests bislang kaum empirisch<br />
untersucht
Zusammenfassung und Ausblick<br />
Weitere Informationen<br />
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 14/15<br />
• Forschungsprojekt<br />
– Software-Plattform Embedded<br />
Systems 2020<br />
– Nationale Innovationsallianz<br />
– 21 Partner aus Forschung und<br />
Industrie<br />
– Förderung durch BMBF<br />
– Entwicklung einer Methodik zur<br />
durchgängig modellbasierten<br />
Entwicklung von eingebetteten<br />
Systemen<br />
– www.spes2020.de<br />
• Kontaktdaten<br />
– Heiko Stallbaum<br />
– Software Systems Engineering<br />
– Universität Duisburg-Essen<br />
Schützenbahn 70<br />
45117 Essen<br />
Germany<br />
– Tel +49 (201) 183 - 4655<br />
Fax +49 (201) 183 - 4699<br />
Web www.sse.uni-due.de<br />
heiko.stallbaum@sse.uni-due.de
H. Stallbaum, A. Metzger, K. Pohl – <strong>SE</strong> <strong>2010</strong>, Paderborn, 26.02.<strong>2010</strong> © Prof. Dr. K. Pohl – 15/15<br />
Referenzen<br />
[DIN03] DIN EN 61508: Funktionale Sicherheit sicherheitsbezogener elektrischer / elektronischer /<br />
programmierbarer elektronischer Systeme. DIN, Germany, 2003.<br />
[DIN06] DIN EN 60812: Analysetechniken für die Funktionsfähigkeit von Systemen – Verfahren für die<br />
Fehlzustandsart- und -auswirkungsanalyse (FMEA). DIN, Germany, 2006.<br />
[DIN07] DIN EN 61025: Fehlerzustandsbaumanalyse. DIN, Germany, 2007.<br />
[ISO09] ISO/DIS 26262: Road vehicles – Functional safety. ISO, Switzerland, 2009.<br />
[Po08] K. Pohl: Requirements Engineering: Grundlagen, Prinzipien, Techniken. 2nd ed., dpunkt Verlag,<br />
2008.<br />
[Re05] A. Reuys, E. Kamsties, K. Pohl, S. Reis: Model-based System Testing of Software Prod-uct<br />
Families. In: Proc. of 17th CAi<strong>SE</strong>, Porto, Portugal, 2005, pp. 519-534.<br />
[SAE96] ARP 4761: Guidelines and Methods for Conducting the Safety Assessment Process on Civil<br />
Airborne Systems and Equipment. SAE, 1996.<br />
[St08] H. Stallbaum, A. Metzger, K. Pohl: An automated Technique for risk-based Test Case Generation<br />
and Prioritization. In: Proc. of 3rd AST, Leipzig, Germany, 2008, pp. 67-70.<br />
[Wi03] H. Winner: ACC Adaptive Cruise Control. Robert Bosch GmbH, Stuttgart, 2003.
Change language