DAR-4-INF-01

DeutscherAkkreditierungsRatDAR-4-INF-01________________________________________________________________________Unsicherheit von Prüfergebnissen(Ergebnisunsicherheit)Empfehlung für Prüflaboratorien und Begutachter zur Ermittlungund Angabe der Ergebnisunsicherheit im PrüfwesenVersion 2.0 • Bestätigt am 17.12.1996Seite 1 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-4-INF-01 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)1 EinleitungVon kompetenten Prüflaboratorien wird erwartet, dass diese eine Aussage zurUnsicherheit der von ihnen ermittelten Prüfergebnisse machen können. Während derBegriff "Unsicherheit einer Messung (Messunsicherheit)" international eindeutigdefiniert /23/ und benutzt wird, ist der Begriff der "Unsicherheit eines Prüfergebnisses"noch nicht international abgestimmt. Es existieren eine Reihe von Leitfäden undtechnische Regeln zur Behandlung von Unsicherheiten (siehe Tabelle 1), die bezüglichder Behandlung von Unsicherheiten im Prüfwesen nur zum Teil aufeinanderabgestimmt sind und nur spezifische bzw. Einzelaspekte dieses Problems behandeln.Sowohl national wie auch international besteht deswegen ein erheblicher Bedarf fürgegenseitige Verständigung und Harmonisierung.Vorausgesetzt wird bei den folgenden Ausführungen, dass durch die zwischen Kundenund Prüflaboratorium vereinbarte Prüfaufgabe die Art des Prüfergebnisses eindeutigvorgegeben ist. Abhängig von der Prüfaufgabe unterscheidet man zwischen einemquantitativen oder einem qualitativen Prüfergebnis. Dementsprechend gibt esverschiedene Möglichkeiten, eine Aussage zur Unsicherheit eines Prüfergebnisses zumachen.2 Ziel dieser EmpfehlungZiel dieser Empfehlung ist es, ein einheitliches Verständnis zur Definition und zurVorgehensweise bei der Ermittlung und Angabe der Unsicherheit einesPrüfergebnisses zu erzeugen. Damit soll ein Beitrag zur Anhebung und besserenVergleichbarkeit der Qualität im Prüfwesen geleistet werden.Der Begriff "Unsicherheit eines Prüfergebnisses" wird erläutert und alsErgebnisunsicherheit definiert. Es werden allgemein zu beachtende Hinweise zurProblematik gegeben und verschiedene Vorgehensweisen zur Ermittlung dieserErgebnisunsicherheit aufgezeigt. Sektorspezifische oder verfahrensbezogeneVorgehensweisen sowie repräsentative Beispiele zur Ermittlung und Angabe derErgebnisunsicherheit sollten von Gremien entsprechender Fachverbände bzw. derAkkreditierstellen unter Berücksichtigung dieses Dokumentes erarbeitet werden.Ein weiteres Ziel dieses Dokumentes ist, die hier vorgelegten Vorstellungen in dieDiskussion um eine internationale Norm oder Richtlinie über die Ermittlung und Angabeder Unsicherheit von Prüfergebnissen einzubringen.3 AnwendungsbereichDieses Dokument soll die Feststellung der Kompetenz eines Prüflaboratoriums durchBegutachter von Akkreditierungsstellen unterstützen, in dem das Vorgehen desPrüflabors bezüglich der Ermittlung und Angabe der Unsicherheit von Prüfergebnissenunter Berücksichtigung dieser Empfehlung begutachtet wird.Diese Empfehlung ist ebenso für Prüflaboratorien vorgesehen, die die Forderungendes ISO-Guide 25 bzw. der EN 45 001 hinsichtlich Ermittlung und Angabe derUnsicherheit von Prüfergebnissen erfüllen wollen. Die vorgestellten Konzepte sollenPrüflaboratorium und Kunden prinzipielle und zweckmäßige Möglichkeiten zurErmittlung und Angabe der Unsicherheit von Prüfergebnissen aufzeigen.Version 2.0 • Bestätigt am 17.12.1996Seite 2 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-4-INF-01 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)4 DefinitionenDie folgenden Definitionen bilden die Grundlage für diese Empfehlung und sind für dasgemeinsame Verständnis notwendig.PrüfungEN 45020/12.1:1994"Technischer Vorgang, der aus dem Bestimmen eines oder mehrerer Merkmale einesbestimmten Erzeugnisses, Verfahrens oder einer Dienstleistung besteht und gemäßeiner vorgeschriebenen Verfahrensweise durchzuführen ist."PrüfverfahrenEN 45020/12.2:1994"Vorgeschriebene technische Verfahrensweise für die Durchführung einer Prüfung."ErmittlungsergebnisDIN 55 350 Teil 13, Juli 1987 (Auszug)"Durch die Anwendung eines Ermittlungsverfahrens festgestellter Merkmalswert.Anmerk. 1: Das Ermittlungsverfahren ist ein Beurteilungs-, Beobachtungs-, Mess-,Berechnungs-, statistisches Schätzverfahren oder eine Kombination daraus. DieFeststellung ist eine Beurteilung, Beobachtung, Messung, Berechnung oder eineKombination daraus. Je nach Art des Ermittlungsverfahrens heißt dasErmittlungsergebnis Beurteilungs-, Beobachtungs-, Mess-, Rechen-,statistisches Schätzergebnis.Anmerk. 2: Ein Ermittlungsergebnis ist im allgemeinen nur dann vollständig, wenn es eineAngabe über die Ergebnisunsicherheit enthält."Hinweis: Die Begriffe: Merkmal, Merkmalswert, quantitatives Merkmal, qualitativesMerkmal sind in DIN 55 350 Teil 12, März 1989 definiert.ErgebnisunsicherheitDIN 55 350 Teil 13, Juli 1987 (Auszug)"Geschätzter Betrag zur Kennzeichnung eines Wertebereiches, innerhalb dessen derBezugswert liegt, wobei dieser je nach Festlegung oder Vereinbarung der wahre Wertoder der Erwartungswert sein kann.Anmerk. 4: Die Ergebnisunsicherheit eines Messverfahrens heißt Messunsicherheit.Entsprechende Benennungen sind bei den anderen in Anmerkung 1 zumErmittlungsergebnis genannten Ermittlungsverfahren möglich."Durch Verwendung und Verknüpfung der vorgenannten Definitionen werden dieBegriffe "Prüfergebnis" und "Unsicherheit eines Prüfergebnisses" im folgendenerläutert und definiert.Prüfergebnis (Ergebnis eines Prüfverfahrens)Ein Prüfergebnis ist ein durch Anwendung eines Prüfverfahrens festgestellterMerkmalswert. Der Merkmalswert kann quantitativer oder qualitativer Art sein(quantitatives oder qualitatives Prüfergebnis).Version 2.0 • Bestätigt am 17.12.1996Seite 3 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-4-INF-01 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)Unsicherheit eines quantitativen PrüfergebnissesGeschätzter Betrag zur Kennzeichnung des Wertebereiches (z. B. Vertrauensbereich),innerhalb dessen der Bezugswert liegt, wobei dieser je nach Festlegung oderVereinbarung der wahre Wert oder der Erwartungswert sein kann.In sinngemäßer Erweiterung wird die Ergebnisunsicherheit einer qualitativen Prüfungso definiert:Unsicherheit eines qualitativen PrüfergebnissesSchätzwert der Wahrscheinlichkeit, mit der das Ergebnis unrichtig ist bzw. anderen alsder angegebenen Klasse (einfachster Fall: Zwei-Klassen-Einteilung) angehört.5 Allgemeines zur Ermittlung der ErgebnisunsicherheitGrundsätzlich muss ein kompetentes Prüflaboratorium in der Lage sein, eine Aussagezur Ergebnisunsicherheit der von ihm ermittelten Prüfergebnisse machen zu können.Aussagen zur Ergebnisunsicherheit sollen auf der Basis dokumentierterVerfahrensweisen und Daten in angemessener, zweckmäßiger und transparenterWeise ermittelt werden.Bei der Ermittlung der Ergebnisunsicherheit ist das Prüfverfahren hinsichtlich möglicherEinflussgrößen und deren Auswirkung auf die resultierende Unsicherheit desPrüfergebnisses zu analysieren. Insbesondere sind Einflüsse- die mit der Probenahme/Probenaufbereitung zusammenhängen,- die mit den Eigenschaften des zu prüfenden Objektes zusammenhängen,- die dem angewandten Prüfverfahren anhaften,- die mit den jeweiligen Prüfbedingungen zusammenhängen,- die den der Prüfung zugrunde liegenden Referenzwerten anhaften,zu beachten.Die Ermittlung von Ergebnisunsicherheiten kann basieren auf:- systematischen Untersuchungen bei festgelegten Einflussgrößen,- Kalibrierung mit Untersuchung der Einflussgrößen,- Vergleich mit anderen Prüfverfahren,- Vergleichsprüfungen zwischen Laboratorien,- regelbasierter Schätzung (Expertenwissen),- mathematischen Modellen,- Literaturangaben,- Normenfestlegungen und- anerkannten branchen- oder verfahrensspezifischen Sonderkonzepten.Verschiedene Vorgehensweisen zur Ermittlung der Ergebnisunsicherheit werden inAbschnitt 7 dieser Empfehlung behandelt.Version 2.0 • Bestätigt am 17.12.1996Seite 4 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-4-INF-01 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)6 Kriterien zur Angabe der Ergebnisunsicherheit in PrüfberichtenEine Angabe zur Unsicherheit von Prüfergebnissen in Prüfberichten wird grundsätzlichempfohlen, da eine derartige Angabe u. a. eine Qualitätsaussage über dasPrüfergebnis liefert, einen Vergleich von Prüfergebnissen aus verschiedenenLaboratorien gestattet und Bedeutung haben kann bei der weiteren Verwendung desPrüfergebnisses durch den Kunden.Die Unsicherheit von Prüfergebnissen sollte explizit im Prüfbericht angegeben werden,wenn- die betreffende Norm, Richtlinie, Prüfanweisung etc. das vorsieht,- der Kunde es fordert,- die Ergebnisunsicherheit die Entscheidung hinsichtlich der Einhaltung vonGrenzwerten oder Spezifikationen beeinflusst.Art und Umfang der Ergebnisunsicherheitsangabe im Prüfbericht müssen unterBeachtung- der Anforderungen der Norm oder des Kunden,- der Angemessenheit zwischen Aufwand und Nutzen,- der beabsichtigten weiteren Verwendung des Prüfergebnisseserfolgen.7 Vorgehensweisen zur Ermittlung der ErgebnisunsicherheitDie Ergebnisunsicherheit wird in Abhängigkeit von der Art des Prüfergebnisses(quantitativer oder qualitativer Merkmalswert) ermittelt:7.1 Quantitatives PrüfergebnisDie Ergebnisunsicherheit wird mittels üblicher statistischer Verfahren entsprechendexistierender Leitfäden (siehe Tabelle 1) abgeschätzt und angegeben.Branchenübliche oder fachspezifisch gebotene oder notwendige Abweichungen vomden Leitfäden zugrundeliegenden Konzept sind zulässig (z. B. einseitiges 3σ-Intervallim Bauwesen, Sonderverfahren bei der Bestimmung des Mittelwertes und der Streuungder Dauerfestigkeit). Geeignete Vorgehensweisen sind beispielsweise statistischeVerfahren entsprechend /1, 2, 3, 4, 5, 6/.7.2 Qualitatives Prüfergebnis7.2.1 Basierend auf quantitativen MerkmalswertenHierbei handelt es sich im wesentlichen um die Prüfung auf Einhaltung von Grenzbzw.Schwellwerten. Das Prüfergebnis ist qualitativer Art, basiert aber u. a. auf vorherermittelten quantitativen Merkmalswerten. Dies ist ein in der Praxis häufig auftretenderFall.Version 2.0 • Bestätigt am 17.12.1996Seite 5 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-4-INF-01 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)Angaben zur Ergebnisunsicherheit sind alternativ in folgenden Formen vorzunehmen:a) Angabe einer Wahrscheinlichkeit entsprechend der Definition in Abschnitt 4 dieserEmpfehlung. Die Ermittlung erfolgt auf der Basis statistischer Größen undAuswertungen (z. B. Vertrauensniveau der quantitativen Merkmalswerte, beiStichprobenauswertung z. B. Verwendung von Operationscharakteristiken).b) Angabe des betreffenden quantitativen Merkmalswertes mit der zugehörigenUnsicherheit. Die Unsicherheit des quantitativen Merkmalswertes wirdentsprechend Abschnitt 7.1 dieser Empfehlung ermittelt.Anwendbare Verfahren und Vorgehensweisen sind beispielsweise beschrieben in/8, 18, 22/. Ergänzend können auch geeignete Verfahren aus den Abschnitten 7.1 und7.2.2 dieser Empfehlung hinzugezogen werden.7.2.2 Basierend auf qualitativen MerkmalswertenIn diesem Fall besteht das Prüfergebnis ausschließlich aus qualitativenMerkmalswerten (Attribut-/Ordinalmerkmale). Die Unsicherheit des qualitativenPrüfergebnisses wird in Form einer Wahrscheinlichkeitsangabe entsprechend derDefinition in Abschnitt 4 dieser Empfehlung ausgedrückt. Geeignete Verfahren zurUnsicherheitsermittlung sind beispielsweise systemtheoretische Methoden (z. B. ROC(Relative/Receiver Operating Characteristic) -Verfahren /11/ bzw. Fehlerbaumanalyse-Verfahren /21/) oder auch geeignete statistische Methoden /19, 20/.8 Referenzen und Literaturhinweise/1 ... 22/ siehe Anhang Tabelle 1: Aktuelle Leitfäden, technische Regeln undVeröffentlichungen zur Behandlung von Ergebnisunsicherheiten,Juli 1996/23/ Internationales Wörterbuch der Metrologie, Übersetzung des BeuthVerlags, 2. Auflage 1994 (VIM)Version 2.0 • Bestätigt am 17.12.1996Seite 6 von 8 SeitenCopyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des Herausgebers

DAR-EM22 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)Tabelle 1: Aktuelle Leitfäden, technische Regeln und Veröffentlichungen zur Behandlung von ErgebnisunsicherheitenLfd.Nr.123456789"Guide to the Expression of Uncertainty inMeasurement", ISO, Genf 1993DIN 1319 T3 "Auswertung v. Messungeneiner einzelnen Messgröße;Messunsicherheit", 1996DIN 1319 T4, "Behandlung vonUnsicherheiten bei der Auswertung vonMessungen", 1985"Expression of the Uncertainty ofMeasurement in Calibration", EAL-R2, 1995"The Expression of Uncertainty inQuantitative Testing", EAL, Draft 6, 1996"Quantifying Uncertainty in AnalyticalMeasurement", EURACHEM, 1995ISO 5725 T1...T6 "Genauigkeit (Richtigkeit u.Präzision) v. Messverfahren u. Messergebnissen",1991"Grenzwerte - Festlegung und Erfüllung derForderungen", P. Th. Wilrich; DIN Fachbericht6, 1986"Guidance on Measurement Uncertainty inTesting", EUROLAB, Draft 3, 1994"Step by Step Estimate of Uncertainty of Test10Results", J. S. Morkowski, 2nd. EUROLABSymposium, "Testing in the Years 2000",Dübendorf (CH), 1994+enthalten -- nicht enthaltenAnwendungsbereich / InhaltMesswesen / allgemeines Konzept zur Ermittlung vonMessunsicherheitenBeschränkung auf 1 Messgröße / ausführliche Darstellung derErmittlung von Messunsicherheitenbevorzugtanwendbar imFormale Darstellungder Auswertung vonUnsicherheitenMess- Prüfwesenwesen+ + vollständig+ + +Auswertung von Messungen + + +Kalibrierung im Messwesen / Behandlung u. Ermittlung v.MessunsicherheitenPrüflaboratorien / allg. Forderungen und Grundzüge derVorgehensweiseChemische Analytik / allg. Behandlung und Ermittlung vonUnsicherheitenPrüflaboratorien / Ermittlung d. Wiederhol- u. Vergleichspräzisionin Ringvergleichen (insbes. auch Analytik)Regelsetzung, Prüflaboratorien / Behandlung v. Grenzwerten imZusammenhang mit auftretenden Unsicherheiten,Stichprobenauswertung (Qualitätsmerkmale von Produkten,Schadstoffemissionen, Analytik, etc.)Prüflaboratorien / allg. Forderungen und Grundzüge derVorgehensweisePrüflaboratorien / Abschätzung von Ergebnisunsicherheiten aufder Basis von Verfahrensmodulen; Standardisierung vonAbschätzungen+ -- ++ + --Stand Juli 1996Bemerkungen+ + + Anwendung des "Guide" aufeinen spez. Bereich desPrüfwesens+ + +-- + + Ausführliche Darstellungmöglicher Vorgehensweisen,Defizite in der vorhandenenRegelsetzung, Beispiele+ + -- Prüfung bzgl. Spezifikationen,insbes. Produkte (sehrunvollständig)+ + --- Fortsetzung -Version 2.0 • Bestätigt am 17.12.1996Copyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des HerausgebersSeite 7 von 8 Seiten

DAR-EM22 • Unsicherheit von Prüfergebnissen (Ergebnisunsicherheit)Tabelle 1 FortsetzungLfd.Nr.111213141516171819202122"Performance Demonstration in NDT byStatistical Methods: ROC and POD forUltrasonic and Radiographic Testing",Nockemann et. al., Proc. of the 6th Europ.Conf. on NDT(ECNDT), Nizza, 1994"Guide to the Expression of Uncertainties inTesting", NAMAS NIS 80, 1994"Guidelines for Evaluating and Expressingthe Uncertainty of NIST MeasurementResults", NIST Technical Note 1297, 1994"Traceable Calibration and Uncertainty ofMeasurements and Tests", Nordtest, NTTechn Report 251, 1994"Nordtest Views on Uncertainty in Metrologyand Testing", NT Position Paper, 1994"The Use of Uncertainty Estimates inTesting", Nordtest SP Report 1993:47, 1993"Uncertainties of Measurement for NAMASElectrical Product Testing Laboratories", NIS20, NAMAS, 1989"ILAC Guide to assessment and reporting ofcompliance with specification", Draft 2, ILAC,1995DIN 40080, "Stichprobenprüfung anhandqualitativer Merkmale ",DIN 53804 T3/T4, " StatistischeAuswertungen, Ordinal-/Attributmerkmale",1982/1985DIN 25424, "Fehlerbaumanalyse", 1990ISO 3951, "Stichprobenprüfung anhandquantitativer Merkmale ", 1992+enthalten -- nicht enthaltenAnwendungsbereich / InhaltPrüflaboratorien der Ultraschallprüfung bzw. radiographischenPrüfungbevorzugtanwendbar imMess- PrüfwesenwesenFormale Darstellungder Auswertung vonUnsicherheitenBemerkungen- + + Zuverlässigkeit von Prüfungen imgenannten GebietPrüflaboratorien / allg. Forderungen und Grundzüge der+ + -- Prüfung bzgl. Spezifikationen,Vorgehensweiseinsbes. ProdukteMesswesen / Ermittlung von Messunsicherheiten + + +Prüflaboratorien / allg. Grundzüge sowie ausgewählte Beispiele:Kalibrierung, Analytik, ZfP, MTPPositionspapier hinsichtl. Forderungen u. Entwicklungen inEuropaPrüflaboratorien / allg. Darstellung, Übertragbarkeit des "Guide"auf PrüfungenPrüflaboratorien für elektr. Produkte / Behandlung vonUnsicherheiten, Prüfung bzgl. Spezifikationen, zulässigeFehlergrenzen, KalibrierintervallePrüflaboratorien / allg. Forderungen und Grundzüge derVorgehensweiseStichprobenprüfung in der Qualitätssicherung undPrüflaboratorien / detaillierte Regeln zur Stichprobenprüfung,Operationscharakteristiken, StichprobenanweisungenStichprobenprüfung in der Qualitätssicherung undPrüflaboratorien / detaillierte Regeln zur Ermittlung derKennwerteSystementwurf, Systemanalyse, Zuverlässigkeitsanalyse,Wahrscheinlichkeitsauswertung / detaillierte Regeln zurKombination von Wahrscheinlichkeiten des SystemsStichprobenprüfung in der Qualitätssicherung undPrüflaboratorien/ detaillierte Regeln zur Stichprobenprüfung,Operationscharakteristiken, Stichprobenanweisungen+ + ausgewählte Beispiele Problemdarstellungen+ + -- Politisches Papier+ + Grundzüge derVorgehensweise+ + +-- + AllgemeineVorgehensweisePrüfung bzgl. SpezifikationenPrüfung bzgl. Spezifikationen,basierend auf NAMAS NIS 80,siehe lfd. Nr. 12-- + + Prüfung bzgl. aufgestellterKlassenzuordnungen-- + +-- + + Kombination von Einzelwahrscheinlichkeiten.DieWahrscheinlichkeiten werden inder Norm als Ausfallwahrscheinlichkeitenbezeichnet-- + + Prüfung bzgl. aufgestellterSpezifikationenVersion 2.0 • Bestätigt am 17.12.1996Copyright DAR-Geschäftsstelle, BAM, Berlin - Nachdruck und Vertrieb nur mit Genehmigung des HerausgebersSeite 8 von 8 Seiten