Handout

Elemantare Messfehlermodelle
Wirkung in der linearen Regression
Birgit Oppolzer
Handout zum Vortrag am 5. Mai 2008 im Rahmen des
Seminars: Analyse fehlerbehafteter Daten
Inhaltsverzeichnis
1 Einleitung 2
2 Fehlermodelle 3
2.1 Zufälliger bzw Systematischer Fehler . . . . . . . . . . . . . . 3
2.2 Multiplikativer bzw. Additiver Fehler . . . . . . . . . . . . . . 3
2.3 Klassischer bzw. Berkson Fehler . . . . . . . . . . . . . . . . . 4
2.4 Differentieller bzw Nichtdifferentieller Fehler . . . . . . . . . . 5
3 Fehlermodelle und ihre Wirkung in der Linearen Regression 6
3.1 Lineare Regression mit klassischem additiven Fehler . . . . . . 6
3.2 Regression mit Berkson Fehler . . . . . . . . . . . . . . . . . . 7
3.3 Regression mit komplexerer Fehlerstruktur . . . . . . . . . . . 8
3.4 Zusammenfassung der linearen Einfachregressionsmodelle . . . 8
4 Messfehler in der Multiple Regression 10
5 Zwei Möglichkeiten um eine Verzerrung zu korrigieren 11
5.1 Momentenmethode . . . . . . . . . . . . . . . . . . . . . . . . 11
5.2 Orthogonale Regression . . . . . . . . . . . . . . . . . . . . . . 13
6 Varianz versus Verzerrung 14
7 Fazit 15
8 Literaturverzeichnis 16
1

1 Einleitung
Wenn wir etwas messen, erhalten wir immer auch einen Messfehler. Interessant
ist in der linearen Regression, wie sich diese auswirken. Dazu schauen
wir uns mal die Messfehler in den Kovariablen genauer an. Diese haben 3
negative Effekte:
• Sie verursachen eine Verzerrung bei den Parameterschätzungen in den
statistischen Modellen
• Sie führen zu teilweise so schwerwiegenden Verlust von ”
Power“, dass
es kaum möglich ist, interessante Beziehungen zwischen Variablen herzustellen
• Außerdem verbergen sie die Eigenschaften und Strukturen von Daten,
was eine graphische Analyse sehr erschwert.
Die ersten beiden Punkte bezeichnet man als ”
doppelten Whammy “(doppelseitiges
Problem), wenn man den dritten Punkt noch hinzunimmt, wird er auch ”
dreifacher
Whammy “genannt. Dieser Effekt wird in der nachfolgenden Graphik
dargestellt.
Abbildung 1: oben: Regression mit den wahren Kovariablen - unten: Regression
mit beobachteten fehlerbehafteten Kovariablen
2

In der linearen Regression ist dieser nicht so von Bedeutung, da hier
nur eine Gerade dargestellt wird und diese von der Struktur her fast immer
erhalten bleibt. Die anderen beiden bereiten bei der Analyse von Daten auch
große Probleme. Wir betrachten nun, was es überhaupt für Fehlermodelle
gibt, wie sie sich genau auswirken und was man zumindest gegen den ersten
Punkt, die Verzerrung ausrichten kann.
2 Fehlermodelle
Messfehler ist nicht gleich Messfehler. Es gibt mehrere Arten, die von verschieden
Annahmen ausgehen können und eventuell auch unterschiedlich behandelt
werden müssen. Hier werden nun die wichtigsten Modelle einmal
vorgestellt.
2.1 Zufälliger bzw Systematischer Fehler
Ganz generell unterscheiden sich Messfehler durch ihre Entstehung. So sind
grobe Messfehler z.B. auf Unaufmerksamkeit des Messenden zurückzuführen.
Diese werden auch Ausreißer genannt, sie können erkannt und vermieden werden
und sollten aus dem Datensatz entfernt werden. Systematische Messfehler
sind meist prinzipbedingte Fehler (z.B. eine vorgehende Uhr). Sie sind oft bestimmbar
und können dann behoben oder herausgerechnet werden. Dagegen
sind zufällige Fehler nur bei Wiederholung erkennbar. Sie sind zeitlich und
räumlich zufällig (z.B. Rauschen) und es kann häufig angenommen werden,
dass sie einer Normalverteilung folgen.
2.2 Multiplikativer bzw. Additiver Fehler
Eine andere Unterscheidung kann über die Abhängigkeit der Fehler vom
Messwert getroffen werden. Als additive Fehler werden die aufgefasst, die
vom Messwert unabhängig sind. Sie werden z.B. von äußeren Störgrößen
verursacht (Messfehler des Messinstruments, Höhe der Dosis in einem kontrollierten
Experiment).
3

Multiplikativen Fehler werden vom Messwert beeinflusst 1 und sind deswegen
nicht unabhängig (z.B. Messung von Strahlenexposition)
Multiplikativ : X ∗ = X · U
Additiv : X ∗ = X + U
X entspricht hier dem wahren Wert, X ∗ dem gemessene Wert und U dem
Messfehler
2.3 Klassischer bzw. Berkson Fehler
Wenn man nun ein Modell betrachtet, bei dem der wahre Wert und der
Messfehler von einander unabhängig sind, hat man nicht nur ein additives
Modell, sondern man nennt dann den Messfehler klassischen Fehler. Im Abgrenzung
zum Berkson - Fehler, bei dem der Fehler und der gemessene Wert
unabhängig sein muss.
Klassischer, additiver und zufälliger Fehler
X*= X + U (U,X) unabhängig
(z.B. Modell für Meßfehler durch Arzt)
Additiver, zufälliger Berkson Fehler
X=X*+U (U,X*) unabhängig
(z.B. Modell für Dosis im kontrolierten Experiment)
In beiden Fällen ist der Fehler U i ∼ N(0, σ 2 U ) verteilet.
Beachte beim Berkson Fehler:
E(X|X ∗ ) = X ∗
V ar(X) = V ar(X ∗ ) + V ar(U)
→ V ar(X) > V ar(X ∗ )
1 Man kann annehmen, dass (X ∗ − X) α X und der Fehler somit indirekt vom Wert
abhängt.
4

2.4 Differentieller bzw Nichtdifferentieller Fehler
Eine vierte Unterscheidung kann über die Information getroffen werden, die
in dem gemessenen Wert enthalten ist. Wenn dieser keine zusätzlichen Informationen
über den Response (gegenüber dem wahren Wert und den anderen
Kovariablen) enthält, dann bezeichnet man den Fehler als nicht−differentiell.
X ∗ kann dann auch als Surrogat bezeichnet werden (z. B. Angst ist nicht
direkt meßbar, sondern man misst die Steigerung der Herzfrequenz ̂= Surrogat).
Alle anderen Fehler heißen differentiell. Es ist recht praktisch, einen
nicht-differentiellen Fehler zu haben, da man die Parameterschätzung, gegeben
dem wahren Wert dann auch ohne den wahren Wert berechnen kann. Das
ist beim differentiellen Fehler im Allgemeinen nicht möglich. Das heißt also
das E(Y |X, X ∗ ) = E(Y |X) ist, da X ∗ keine weiteren Informationen über X
enthält. Somit ist
E(Y |X ∗ ) = E{E(Y |X, X ∗ |)X ∗ )})
= E{E(Y |X)|X ∗ )})
= E(β 0 + β X X|W )
= β 0 + β X E(X|W )
Damit ist gezeigt, dass der Erwartungswert des Response gegeben dem gemessenen
Wert, alleine mit dem wahren Wert berechnet werden kann.
5

3 Fehlermodelle und ihre Wirkung in der Linearen
Regression
3.1 Lineare Regression mit klassischem additiven Fehler
Wir betrachten nun folgendes Modell:
Y = β 0 + β X · X + ɛ
X ∗ = X + U
U ∼ N(0, σ 2 ) ɛ ∼ N(0, σ 2 )
Abbildung 2: Abbildung eines additiven Messfehler-Modells. Die durchgezogene
Linie zeigt zusammen mit den schwarzen Punkten die wahren Werte
und deren Schätzung, so wie die gestrichelte Linie und die weißen Punkte
für die beobachteten Werte.
Zum einen ist hier der Verlust von Power zu sehen. Die Daten mit Fehler
streuen viel mehr um die ihre KQ Gerade als die messfehlerfreien und zum
anderen die Verzerrung in der KQ Schätzung.
Die KQ- Schätzung von X ∗ auf Y ergibt keinen konsitenten Schätzer von β X
sondern eine Schätzer von β X ∗ = λ·β X mit λ =
σ2 X
< 1. Dies bedeutet also
σx+σ 2 U
2
eine Abschwächung des Schätzers. (λ wird als Reliability Ratio bezeichnet.)
6

Der schwächere Zusammenhang zwischen dem Response und den gemessenen
Werten (als zwischen dem Response und den wahren Werten) kann
aber nicht nur durch die Abschwächung erkärt werden sondern auch durch
die größere Varianz (Doppelter Whammy).
V ar(Y |X ∗ ) = σ 2 ɛ + β2 X σ2 U σ2 X
σ 2 X + σ2 U
= σ 2 ɛ + λβ 2 Xσ 2 U
Durch die Erhöhung der Variabilität ergibt sich ein zusätzlichen Fehler. Mit
X ∗ = X + U zu X = X ∗ − U kann man das Modell zu
Y = β 0 + β X X ∗ + (ɛ − β X U)
umformen. Dieser zusätzliche Fehler (ɛ−β X U) verursacht eine Verzerrung, die
durch die Korrellation zwschen dem Fehler und der Kovariate hervorgerufen
wird.
3.2 Regression mit Berkson Fehler
Erstaunlicherweise ergibt sich bei einer linearen Regression mit Berkson Fehler
dieser Verzerrungseffekt nicht. (siehe Abbildung 3)
Abbildung 3: Lineare Einfachregression mit unverzerrten Berkson Fehler.
Man sieht, das die Anpassung deutlich besser ist als beim Modell mit klassischem
Fehler
7

Das liegt daran, das der Erwartungswert E(X|X ∗ ) = X ∗ ist und somit
ist E(Y |X ∗ ) = β 0 + β x X ∗ .
Daraus folgt dann, das der Schätzer von Y unverzerrt für β 0 und β x ist.
3.3 Regression mit komplexerer Fehlerstruktur
Wenn man nun neue Annahmen hinzunimmt, z.B.:
• X* ist nun nicht mehr unbedingt unverzerrt für X.
• Fehler im Regressionsmodell dürfen mit Fehlern in den Prädiktoren
korrellieren, d.h. differentieller Fehler sind nun erlaubt.
Die Möglichkeit der Verzerrung in X ∗ , wird durch X ∗ = γ 0 +γ x X +U ausgedrückt.
U ist unabhängig von X, hat einen Mittelwert von 0 und eine Varianz
von σ 2 u. Die Korrelation zwischen Messfehler (ɛ) und Regressionsfehler(U)
bezeichnet man als ρ ɛU .
Die KQ-Schätzer ergeben sich dann mit
β 0 ∗ = β 0 + β X µ X − β X ∗(γ 0 + γ X µ X )
β X ∗ = β Xγ 1 σX 2 + ρ √
ɛU σ
2
ɛ σU
2
γ1σ 2 X 2 + σ2 U
Bei genauerer Betrachtung von β X ∗ erkennt man, das falls X ∗ verzerrt
ist (γ − 1 ≠ 1)oder (ρ eU ¬0), ist es möglich dass es keine Abschwächung der
Schätzer gibt, sondern genau das Gegenteil eintritt!
3.4 Zusammenfassung der linearen Einfachregressionsmodelle
Diese Tabelle zeigt eine Zusammanfassung der behandelten linearen Modelle.
Bei allen wird eine multivariate Normalverteilung angenommen. Das zugrundeliegend
Modell ist Y = β 0 + β x X + ɛ mit X undɛ sind unabhängig und ɛ ist
(0, σ 2 ) verteilt. Die Fehlermodelle sind geordnet, nach dem negativen Einfluss
den der Meßfehler hat (von groß nach klein).
8

Fehlermodell ρ 2 XX ∗ β 0 βX Residuen Varianz
Differentiell ρ 2 XX β ∗ 0 + βXµX − σ XX ∗β X+σ ɛX ∗
σ X 2 µX ∗ β X
∗
Surrogat ρ 2 XX β ∗ 0 + βXµX − σ XX ∗β X
σ X 2 µX ∗ β X
∗
( )
σXX ∗
σ X 2 ∗
( )
σXX ∗
σ X 2 ∗
+ σ ɛX ∗
σ 2 X ∗ σ 2 ɛ + β 2 X σ2 X − (σ XX ∗β X+σ ɛX ∗) 2
σ 2 X ∗
σ 2 ɛ + β 2 X σ2 X (1 − ρ2 XX ∗)
Klassisch
σ X
2
σ X 2 β0 + βXµX (1 − ρ 2 +σ2 XX ∗) β X
U k
( )
σ 2
x
σ X 2 +σ2 U k
σ 2 ɛ + β 2 X σ2 X (1 − ρ2 XX ∗)
Berkson
σ X 2 −σ2 U b
σ X
2
β0 βX σ 2 ɛ + β 2 X σ2 X (1 − ρ2 XX ∗)
kein Fehler 1 β0 βX σ 2 ɛ
Tabelle 1: Zusammengefasst werden hier die quadrierten Korrelationen, Intercepts, Steigung und Residualvarianzen
bei einem generellem differentiellen bzw. Surrogat Modell, einem unverzerrten klassischen bzw Berkson Modell und
einem Modell ohne Fehler (X ∗ = X).
9

4 Messfehler in der Multiple Regression
In der multiplen Regression sind die Auswirkungen der Messfehler komplizierter
als in der linearen Regression. Wenn auch nur bei einer Variable Messfehler
vorhanden sind, können sich diese sogar auf die Schätzungen der messfehlerfreien
Kovariablen auswirken.
Wir betrachten nun folgendes klassisches, additives Modell:
Y = β 0 + β X X + β t ZZ + ɛ
X ist skalar mit Messfehler und Z ist der Vektor der messfehlerfreien Kovariablen.
Für X ∗ ergibt sich als KQ-Schätzer mit σX|Z 2 und σ2 X ∗ |Z
als Residualvarianzen:
λ 1 β x mit λ 1 = σ2 X|Z
σ 2 X ∗ |Z
=
σ 2 X|Z
σ 2 X|Z + σ2 U
Hierbei muss X ∗ unverzerrt für X sein und U unabhängig von X,Z und
ɛ. Solange Z unabhängig von X ist, hat der Messfehler keinen Einfluss, wenn
aber Z von X abhängt (was bei den allermeisten Datensätzen der Fall sein
sollte), ergibt die einfache KQ-Schätzung nicht β Z , sondern β Z ∗, welche von
β X abhängt und somit auch verzerrt ist. Das bedeutet, dass die Meßfehler
der Variable X auch einen Effekt auf die Variablen ohne Messfehler haben
kann.
β Z ∗ = β Z + β X (1 − λ 1 )Γ Z
2
Das bedeutet, dass die Meßfehler der Variable X auch einen Effekt auf
die Variablen ohne Messfehler haben kann. Wenn nun ein Behandlungseffekt
anhand einer zwei Gruppen Analyse untersucht werden soll, stellt sich solange
kein Problem, solang das Design der zwei Gruppen ausgeglichen ist (d.
h. wenn die Mittelwerte gleich und unabhängig von der Behandlung sind).
Sobald dies aber nicht mehr der Fall ist, kann durch den Messfehler in der
Variable X der Eindruck erweckt werden, dass es zum einen einen Behandlungseffekt
gibt, wo überhaupt keiner vorliegt, und zum anderen, dass der
Effekt positiv ist obwohl er eigentlich negativ wäre (bzw andersherum).
2 Γ t Z ist der Koeffizient der Regression von von X auf Z. E(X|Z) = Γ 0 + Γ t Z Z
10

Abbildung 4: Darstellung der Effekte bei Meßfehlern bei einem unausgeglichenen
Design. Links sieht man die eigentlichen gefitteten Geraden, bei denen kein Behandlungseffekt
zu sehen ist. Rechts werden die Effekte von Meßfehlern in einer
Kovariable gezeigt. Man würde hier einen großen Behandlungseffekt vermuten. Auf
beiden Grafiken sind unten die Dichtefunktionen mitabgetragen
5 Zwei Möglichkeiten um eine Verzerrung zu
korrigieren
5.1 Momentenmethode
Der Schätzer von β kann, wenn der Reliability Ratio bekannt ist, sehr leicht
berechnet werden: ̂β X = ̂β X ∗
Da λ aber nur selten bekannt ist, muss er meist
λ
durch ̂β X = ̂β X ∗
geschätzt werden, mit ̂λ = σ2 X ∗ −σU
2
̂λ
σX 2
Dabei tritt nun leider bei kleineren Datensätzen ∗
das Problem auf, dass
diese Verteilung sehr schief sein kann. Abhilfe versucht hier die von Fuller
modifizierte Momentenmethode zu schaffen.
Algorithmus mit α = 2 3 :
3 Die Methode hängt von einem α ab, über dessen Wahl Fuller keine genauen Anweisung
gibt. Bei alpha = 2 liefert die Methode bessere Werte für die Schätzer als der unmodifizierte
Schätzer.
11

1. σ̂
Y X ∗ und ̂σ Y sind die Varianzen zwischen Y und X ∗ bzw von Y.
2. Definiere ˆκ = ( σ2 X ∗ −σY 2 X ∗
) : σ 2 σY
2 U
3.
{ σ
σx 2 2
= x ∗ − σU 2 falls ˆκ ≥ 1 + (n − 1) −1
σX 2 − ∗ σ2 U {ˆκ − (n − 1)−1 } sonst
4. Fuller’s korrigierter Schätzer für β ist dann
̂β ∗ X σ2 X ∗
(̂σ 2 X +2ˆσ2 U )
(n−1)
Abbildung 5: Im oberen Bild wird die Verteilung eines Momentenmethoden -
Schätzers gezeigt, unten die Verteilung mit der Fuller Korrektur
12

5.2 Orthogonale Regression
Wir betrachten nun das Modell:
Y = β 0 + β X X + ɛ
X ∗ = X + U
ɛ,U sind unkorreliert
Bei der Orthogonalen Regression minimiert man nun die kürzesten Abstände
zur Gerade, gewichtet mit einem Faktor η = σ2 ɛ
, also 4 :
σU
2
n∑
{(Y i − β 0 − β x x i ) 2 + η(Xi ∗ − x i ) 2 )}
i=1
Abbildung 6: Hier ist der Unterschied der Abstandsdefinition bei einer normalen
und der orthogonalen Regression veranschaulicht
Vorteil gegenüber der Momentenmethode ist, dass nur das Verhältnis η
der Fehlervarianzen bekannt sein muss. Doch das ist auch eher selten möglich
und ein großes Problem bei der Anwendung der Orthogonalen Regression
besteht darin, dass es durch die ungenaue Schätzung von η, häufig zu einer
” Überkorrektur “kommt. Das kommt daher, dass der Regressionsfehler
eigentlich aus 2 Teilen besteht:
Y = β 0 + β X X + ɛ Li 5 + ɛ Mij
6
In der normen Varianzanalyse wird der ’
Gleichungsfehler‘nicht beachtet
und somit η unterschätzt, was die Überkorrektur hervorbringt.
4 Eigentlich gilt das nur für η = 1, trotzdem benutzt man den Ausdruck Orthogonale
Regression für alle Werte von η < ∞.
5 ɛ Li entspricht dem Messfehler zum Response
6 ɛ Mij entspricht dem dem Gleichungsfehler‘, welcher der Abweichung der wahren Werte
’
von der Regressionsgerade entspricht, wenn es keine Messfehler gäbe
13

6 Varianz versus Verzerrung
Dank der Messfehler haben wir meist eine verzerrte Verteilung unser Parameterschätzer,
die so oder so ähnlich aussehen könnte:
Abbildung 7: Ein extremes Beispiel einer linearen Regression mit n=20 und
λ = 0.5. Der wahre Wert von β ist 1. Hier sehen eine naive Schätzung die
den Meßfehler ignoriert
Wenn man nun aber gegen diese Verzerrung etwas tun möchte, hat man
ja z.B. mit der Fuller Modifikation ein recht gutes Werkzeug bei der Hand.
Abbildung 8: Hier ist obiges Beispiel mit der Fuller Korrektur zu sehen
Doch wie man feststellt, verschwindet zwar die Verzerrung zu großen Teilen,
doch leider haben wir nun eine riesige Varianz. Dieses nicht wirklich zu
lösende Problem bezeichnet man als ”
Bias−Variance Tradeoff “(Verzerrungs−Varianz
Tradeoff)
14

7 Fazit
Messfehler lassen sich kaum vermeiden und führen zu verzerrten Schätzern,
kaum erkennbaren Datenstrukturen und Verlust von ”
Power “. Trotzdem ist
Messfehler nicht gleich Messfehler. So haben wir z.B. festgestellt, das sowohl
der Berkson Fehler als auch der nicht-differentielle Fehler ein paar Eigenschaften
aufweisen, die uns die Nachbereitung erleichtert. Es ist nicht nur
deswegen sehr wichtig, sich genau zu überlegen, welches Fehlermodell denn
nun vorliegt. Denn bei einem Berkson Fehler ist die Auswirkung in der linearen
Regression ja nicht besonders groß (s.Abb 3).
Um nun die Schätzer geeinet zu entzerren bieten sich zum Beispiel die Momentenmethode
und die Orthogonale Regression an. Beide bergen, wie gesehen,
aber auch ihre Risiken und so kann es zum Beispiel bei der Orthogonalen
Regression zu einer Überkorrektur kommen. Ein Problem, das auch nicht
außer acht gelassen werden sollte ist der Varianz-Verzerrungs-Tradeoff. Zwar
kann durch die Korrektur die Verzerrung etwas verringert werden, gleichzeitig
steigt aber die Varianz. Somit sollte man sich immer überlegen, was einem
in dem Fall wichtiger ist und ob sich eine Korrektur überhaupt lohnt.
Wir werden auch im Rahmen unseres Seminar noch weitere Verfahren kennenlernen,
z.B. die Regressions Kalibrierung und Simulation Extrapolation
(SIMEX), welche gut bei generalisierten linearen Regressionsmodellen angewendet
werden können. Darüberhinaus gibt es natürlich auch noch viele
Ansätze bei nicht-linearen Modellen Meßfehler zu beheben.
15

8 Literaturverzeichnis
Basisliteratur
• Carroll R. J., Ruppert D., Stefanski L.A. and Crainiceanu C. (2006)
Measurement Error in Nonlinear Models: A Modern Perspective, Kapitel
1-3
weitere Literatur
• Fuller W.A. (1987) Measurement Error ModelsS. 1-60 u. 164-177
• Greene W. H. (2003) Economic Analysis S. 83-91
• Gustafson P. (2004) Measurment Error and Misclassification in Statistics
and Epidemiology S.1-30
• Harris D. und Laszlo M. (1999) Generalized Method of Moments Estimation
S. 1-30
• Schneeweiß H. und Mittag H.-J. (1986) Lineare Modelle mit fehlerbehafteten
Daten S.1-56
16