Statistik II für Statistiker, Mathematiker und Informatiker (SS ... - LMU
Statistik II für Statistiker, Mathematiker und Informatiker (SS ... - LMU
Statistik II für Statistiker, Mathematiker und Informatiker (SS ... - LMU
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Inhalt der Vorlesung<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er,<br />
<strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong><br />
(<strong>SS</strong> 2007)<br />
Christian Heumann, <strong>LMU</strong> München<br />
Inhalt der Vorlesung<br />
Kapitel 7: Mehr über Zufallsvariablen <strong>und</strong> Verteilungen<br />
Kapitel 8: Mehrdimensionale Zufallsvariablen<br />
Kapitel 9: Schätzen<br />
Kapitel 10: Testen: Einführung <strong>und</strong> Konzepte<br />
Kapitel 11: Spezielle Testprobleme<br />
Kapitel 12: Regressionsanalyse<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 1<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen<br />
7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7.2 Approximation von Verteilungen<br />
7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7.4 Einige Ergänzungen<br />
7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Erinnerung: Bernoulli-Kette<br />
X i =<br />
X =<br />
{ 1 , falls A eintritt<br />
0 , falls A nicht eintritt<br />
⇒ X ∼ B(1,π = P(A))<br />
{<br />
1, falls A im i-ten Versuch eintritt<br />
0, falls A im i-ten Versuch nicht eintritt<br />
⇒ X i ∼ B(1,P(A))<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 3
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Indikatorvariablen X 1 ,...,X n unabhängig <strong>und</strong> identisch wie X ∼ B(1,π)<br />
verteilt.<br />
f n (A) = f n (X = 1) = 1 n (X 1 + ... + X n ) relative Häufigkeit<br />
“Gesetz großer Zahlen”: f n (A) → P(A)<br />
relative H.<br />
1.0 •<br />
0.8<br />
0.6<br />
0.4<br />
0.2<br />
• • • • • ••• • •• •<br />
• • • • •<br />
• • • •• • ••• • •• • •• • •• • • •••<br />
•<br />
•• •<br />
••••••••••••••••••••••••••••••••••••••••••••••••••••<br />
• •<br />
•<br />
0.0<br />
n<br />
0 20 40 60 80 100<br />
Relative Häufigkeit f n , durch Punkte markiert, nach n unabhängigen<br />
Wiederholungen eines Bernoulli-Versuchs mit π = 0.4<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 4<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 5<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Allgemein: X beliebige diskrete oder stetige Zufallsvariable mit Verteilungsfunktion<br />
F(x),E(X) = µ,V ar(X) = σ 2 .<br />
Zu X gehörender Zufallsvorgang wird n-mal unabhängig wiederholt.<br />
Zufallsvariablen X i , i = 1, ...,n, geben an, welchen Wert X im i-ten Versuch<br />
annehmen wird.<br />
⇒ X 1 , ...,X n unabhängig <strong>und</strong> identisch verteilt wie X.<br />
Ergebnisse x 1 ,...,x n nach Durchführung sind Realisierungen der Zufallsvariablen<br />
X 1 , ...,X n .<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7.1.1 Das Gesetz der großen Zahlen <strong>und</strong> der Hauptsatz der <strong>Statistik</strong><br />
Voraussetzung: X 1 , ...,X n i.i.d. wie X ∼ F(x) mit E(X) = µ,V ar(X) = σ 2<br />
Zufallsvariable Arithmetisches Mittel ¯X n = 1 n (X 1 + ... + X n )<br />
mit Realisierung ¯x n = 1 n (x 1 + . .. + x n )<br />
Es gilt: E( ¯X n ) = µ, V ar( ¯X n ) = σ2<br />
n<br />
Beweis:<br />
Kurz: X 1 ,...,X n i.i.d. (independent and identically distributed) wie X ∼ F(x)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 6<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 7
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Das Gesetz der großen Zahlen<br />
Für beliebig kleines c > 0 gilt<br />
P(| ¯X n − µ| ≤ c) −→ 1 <strong>für</strong> n −→ ∞ .<br />
Man sagt: ¯Xn konvergiert nach Wahrscheinlichkeit gegen µ.<br />
Spezialfall: X 1 , ...,X n Bernoulli-Kette<br />
⇒ Theorem von Bernoulli<br />
Die relative Häufigkeit, mit der ein Ereignis A bei n unabhängigen Wiederholungen<br />
eines Zufallsvorgangs eintritt, konvergiert nach Wahrscheinlichkeit gegen P(A).<br />
Interpretation:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 8<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 9<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Spezialfall: A = {X ≤ x}, X beliebige Zufallsvariable<br />
P(A) = P(X ≤ x) = F(x), f n (A) = F n (x) empirische Verteilungsfunktion<br />
1.0<br />
F(x)<br />
1.0<br />
F(x)<br />
⇒<br />
F n (x) −→ F(x) nach Wahrscheinlichkeit<br />
0.8<br />
0.8<br />
Stärkere Aussage: Hauptsatz der <strong>Statistik</strong> (Satz von Glivenko-Cantelli)<br />
Sei X eine Zufallsvariable mit der Verteilungsfunktion F(x). Dann gilt <strong>für</strong> die zu<br />
unabhängigen <strong>und</strong> identisch wie X verteilten X 1 , ...,X n gebildete Verteilungsfunktion<br />
F n (x)<br />
P(sup |F n (x) − F(x)| ≤ c) −→ 1 <strong>für</strong> n −→ ∞.<br />
x∈R<br />
0.6<br />
0.4<br />
0.2<br />
0.0<br />
x<br />
-3 -2 -1 0 1 2 3<br />
0.6<br />
0.4<br />
0.2<br />
0.0<br />
x<br />
-4 -2 0 2 4<br />
Empirische Verteilungsfunktion (—) von 100 (links) <strong>und</strong> 1000 (rechts)<br />
standardnormalverteilten Zufallszahlen im Vergleich mit der<br />
Verteilungsfunktion der Standardnormalverteilung ( )<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 10<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 11
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
7.1.2 Der zentrale Grenzwertsatz<br />
X beliebig verteilte Zufallsvariable mit E(X) = µ,V ar(X) = σ 2 > 0<br />
X 1 , ...,X n i.i.d. wie X<br />
⇒ E(X 1 + ... + X n ) = nµ,V ar(X 1 + . .. + X n ) = nσ 2<br />
Zentraler Grenzwertsatz:<br />
X 1 + ... + X n<br />
a<br />
∼ N(nµ, nσ 2 )<br />
a<br />
∼ bedeutet: approximativ bzw. asymptotisch <strong>für</strong> n → ∞ verteilt wie<br />
Exakte Formulierung mit standardisierter Summe<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Der zentrale Grenzwertsatz<br />
X 1 , ...,X n seien unabhängig identisch verteilte Zufallsvariablen mit E(X i ) = µ<br />
<strong>und</strong> V ar(X i ) = σ 2 > 0 .<br />
Dann konvergiert die Verteilungsfunktion F n (z) = P(Z n ≤ z) der standardisierten<br />
Summe<br />
Z n = X 1 + ... + X n − nµ<br />
√ = 1 ∑ n<br />
X<br />
√ i − µ<br />
nσ n σ<br />
<strong>für</strong> n −→ ∞ an jeder Stelle z ∈ R gegen die Verteilungsfunktion Φ(z) der<br />
Standardnormalverteilung:<br />
F n (z) −→ Φ(z) .<br />
Kurz:<br />
Z n<br />
a<br />
∼ N(0, 1).<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 12<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 13<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
f(x)<br />
f(x)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
(a)<br />
−4 −2 0 2 4<br />
(c)<br />
x<br />
−4 −2 0 2 4<br />
x<br />
f(x)<br />
f(x)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
(b)<br />
−4 −2 0 2 4<br />
x<br />
−4 −2 0 2 4<br />
Dichten von (a) X 1 ∼ f(x), (b) X 1 + X 2 , (c) X 1 + X 2 +<br />
X 3 , (d) X 1 + . . . + X 6 <strong>und</strong> approximierende Normalverteilungsdichte<br />
ϕ(x)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
(d)<br />
x<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.1 Gesetz der großen Zahlen <strong>und</strong> Grenzwertsätze<br />
Spezialfall: X 1 , ...,X n i.i.d. ∼ B(1,π) ⇒ X 1 + ... + X n = H n ∼ B(n,π)<br />
⇒<br />
Grenzwertsatz von de Moivre<br />
Für n −→ ∞ konvergiert die Verteilung der standardisierten absoluten Häufigkeit<br />
H n − nπ<br />
√<br />
nπ(1 − π)<br />
gegen eine Standardnormalverteilung. Für großes n gilt<br />
H n<br />
a<br />
∼ N(nπ, nπ(1 − π)) ,<br />
d.h. die B(n,π)-Verteilung läßt sich durch eine Normalverteilung mit µ = nπ,<br />
σ 2 = nπ(1−π) approximieren. Für die relative Häufigkeit H n /n gilt entsprechend<br />
H n /n a ∼ N(π, π(1 − π)/n) .<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 14<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 15
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
7.2 Approximation von Verteilungen<br />
Ziel: Regeln zur Approximation von komplexeren Verteilungen durch einfachere<br />
Verteilungen<br />
Theoretische Gr<strong>und</strong>lage oft: Zentraler Grenzwertsatz<br />
Beispiel: Normalverteilungsapproximation der Binomialverteilung beruht auf Satz<br />
von de Moivre<br />
( )<br />
X ∼ B(n,π) ⇒ P(X ≤ x) ∼ a x − nπ<br />
Φ √<br />
nπ(1 − π)<br />
Approximation der Binomialverteilung mit Stetigkeitskorrektur<br />
Sei X ∼ B(n, π)-verteilt. Falls nπ <strong>und</strong> n(1 − π) groß genug sind, gilt<br />
P(X ≤ x) = B(x|n, π) a ∼ Φ<br />
P(X = x) a ∼ Φ<br />
Faustregel: nπ ≥ 5 , n(1 − π) ≥ 5<br />
( )<br />
x + 0.5 − nπ<br />
√<br />
nπ(1 − π)<br />
( ) ( )<br />
x + 0.5 − nπ x − 0.5 − nπ<br />
√ − Φ √<br />
nπ(1 − π) nπ(1 − π)<br />
Verbesserung der Approximation durch Stetigkeitskorrektur<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 16<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 17<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
n = 10, π = 0.1 n = 30, π = 0.1<br />
0.4<br />
✻<br />
0.24<br />
✻<br />
0.3<br />
0.18<br />
0.2<br />
0.12<br />
0.1<br />
0.06<br />
0<br />
✲ 0<br />
.<br />
-3 -2 -1 0 1 2 3 4 5 6 7<br />
0.4<br />
✻<br />
0.24<br />
0.3<br />
0.18<br />
0.2<br />
0.12<br />
0.1<br />
0.06<br />
0<br />
✲ 0<br />
.<br />
0 1 2 3 4 5 6 7 8 9 10<br />
-5 -2 1 4 7 10 13 16 19 22 25<br />
n = 10, π = 0.5 n = 30, π = 0.5<br />
✻<br />
0 3 6 9 12 15 18 21 24 27 30<br />
Approximation von Wahrscheinlichkeitshistogrammen durch Dichtekurven der Normalverteilung<br />
.<br />
.<br />
✲<br />
✲<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
Approximationen im Überblick<br />
❄<br />
B(n, π)<br />
π = M/N<br />
n/N ≤ 0.05<br />
µ = nπ<br />
σ 2 = nπ(1 − π)<br />
nπ ≥ 5<br />
n(1 − π) ≥ 5<br />
H(n, N, M)<br />
❄<br />
λ = nπ n > 30, π ≤ 0.05<br />
✲ Po(λ)<br />
µ = nM/N<br />
σ 2 = nM/N(1 − M/N)<br />
n/N ≤ 0.05<br />
nM/N ≥ 5<br />
n(1 − M/N) ≥ 5<br />
❄<br />
❘<br />
N(µ, σ 2 ✠<br />
)<br />
λ = nM/N<br />
n/N ≤ 0.05<br />
n ≥ 30<br />
M/N ≤ 0.05<br />
µ = λ<br />
σ 2 = λ<br />
λ ≥ 10<br />
Approximationsmöglichkeiten <strong>und</strong> Reproduktionseigenschaften der Verteilungen I<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 18<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 19
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
Zwei Beispiele als Anmerkung<br />
χ 2 (n)<br />
n ≥ 30<br />
Transformation:<br />
Z = √ 2X − √ 2n − 1 n ≥ 30<br />
✲ N(0,1) ✛<br />
t(n)<br />
Approximationsmöglichkeiten <strong>und</strong> Reproduktionseigenschaften der Verteilungen <strong>II</strong><br />
• Bernoulli-Experiment mit sich ändernder Wahrscheinlichkeit<br />
• Mittelwert ¯X n einer Cauchy–Verteilung. Die Dichte ist<br />
1<br />
f(x) = [<br />
πs 1 + ( )<br />
x−l 2<br />
] = 1 π<br />
s<br />
s<br />
s 2 + (x − l) 2<br />
mit Lageparameter l <strong>und</strong> Skalenparameter s. Für l = 0 <strong>und</strong> s = 1 gilt<br />
f(x) = 1 π<br />
1<br />
1 + x 2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 20<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 21<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.2 Approximation von Verteilungen<br />
Cauchy−Verteilung<br />
Relative Häufigkeit<br />
0.0 0.1 0.2 0.3 0.4 0.5<br />
Bernoulli−Experiment<br />
Arithmetisches Mittel<br />
−6 −4 −2 0 2<br />
0 10000 20000 30000 40000 50000<br />
Stichprobenumfang n<br />
0 1000 2000 3000 4000 5000<br />
Stichprobenumfang n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 22<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 23
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7.3 Zufallszahlen <strong>und</strong> Simulation<br />
Erzeugung von (Pseudo-)Zufallszahlen am Computer ist Gr<strong>und</strong>lage <strong>für</strong> Simulation<br />
von Zufallsvorgängen <strong>und</strong> sogenannte Monte-Carlo-Methoden.<br />
Gr<strong>und</strong>lage: Erzeugung von Zufallszahlen x 1 , ...,x n , die sich in sehr guter Näherung<br />
als Realisierungen von unabhängigen, auf [0,1] gleichverteilten Zufallsvariablen<br />
X 1 , ...,X n auffassen lassen mit speziellen Algorithmen.<br />
Zufallszahlen zu anderen Verteilungen werden daraus durch Transformation gewonnen.<br />
Empirische Verteilungsfunktion F n (x) der Zufallszahlen x 1 , ...,x n konvergiert <strong>für</strong><br />
n → ∞ gegen Verteilungsfunktion F(x) der Zufallsvariable X (Hauptsatz der<br />
<strong>Statistik</strong>).<br />
f(x)<br />
0.14<br />
0.12<br />
f(x)<br />
0.14<br />
0.12<br />
0.10<br />
0.10<br />
0.08<br />
0.08<br />
0.06<br />
0.06<br />
0.04<br />
0.04<br />
0.02<br />
0.02<br />
0.0<br />
0.0<br />
0.0 0.2 0.4 0.6 0.8 1.0 x<br />
0.0 0.2 0.4 0.6 0.8 1.0 x<br />
Empirische Häufigkeitsverteilungen beim Ziehen von n = 100 (links)<br />
<strong>und</strong> n = 1000 rechts auf [0,1] gleichverteilten Zufallszahlen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 24<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 25<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
Erzeugen von Zufallszahlen <strong>für</strong> andere Verteilungen<br />
• Bernoulli-Verteilung, X ∼ B(1,π)<br />
– Ziehe gleichverteilte Zufallszahlen u 1 ,...,u n<br />
– Setze<br />
{ 1 falls ui ≤ π<br />
x i =<br />
0 sonst<br />
⇒ x 1 , ...,x n Bernoulli-verteilte Zufallszahlen<br />
x = x 1 + ... + x n B(n,π)- verteilte Zufallszahl<br />
• Exponentialverteilung, X ∼ Ex(λ)<br />
Überlegung: X ∼ Ex(λ) ⇒ F(x) = P(X ≤ x) = 1 − e −λx<br />
Mit Umkehrfunktion F −1 (x) = − 1 λ<br />
log(1 − x) gilt<br />
F(x) = u ⇔ x = F −1 (u).<br />
⇒ Transformierte Zufallsvariable U = F(X) ist auf [0, 1] gleichverteilt<br />
Beweis:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 26<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 27
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
⇒ x i = F −1 (u i ) = − 1 λ log(1 − u i), i = 1,...,n<br />
exponentialverteilte Zufallszahlen<br />
0.8<br />
0.6<br />
f(x)<br />
0.8<br />
0.6<br />
f(x)<br />
• Allgemein: X ∼ F(x)<br />
⇒ U = F(X) [0, 1]−gleichverteilt<br />
0.4<br />
0.4<br />
0.2<br />
0.2<br />
0.0<br />
0 2 4 6 8 10 x<br />
0.0<br />
0 2 4 6 8 10 x<br />
Histogramme zu n = 100 (links) <strong>und</strong> n = 1000 (rechts) auf [0, 1]<br />
exponentialverteilten Zufallszahlen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 28<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 29<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.3 Zufallszahlen <strong>und</strong> Simulation<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
f(x)<br />
0.25<br />
0.20<br />
0.15<br />
Zufallsvariablen als Abbildung<br />
7.4 Ergänzungen<br />
Gegeben sei ein Zufallsexperiment mit der Ergebnismenge Ω. Eine Zufallsvariable<br />
X ist eine Abbildung, die jedem ω ∈ Ω eine reelle Zahl X(ω) = x zuordnet, kurz<br />
0.10<br />
0.05<br />
X :Ω −→ R<br />
ω ↦→ X(ω) = x .<br />
0.0<br />
x<br />
-4 -3 -2 -1 0 1 2 3 4 5 6 7 8<br />
Dichte der N(2,2)-Verteilung, Histogramm <strong>und</strong> Dichtekurve ( ) der<br />
empirischen Verteilung<br />
Der Wert x, den X bei Durchführung des Zufallsexperiments annimmt, heißt<br />
Realisierung von X.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 30<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 31
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
Durch die Zufallsvariable X werden Ereignisse festgelegt, beispielsweise von der<br />
Art:<br />
wobei I ein Intervall ist.<br />
{X = x} = {ω ∈ Ω|X(ω) = x} ,<br />
{X ≤ x} = {ω ∈ Ω|X(ω) ≤ x} ,<br />
{a ≤ X ≤ b} = {ω ∈ Ω|a ≤ X(ω) ≤ b} ,<br />
{X ∈ I} = {ω ∈ Ω|X(ω) ∈ I},<br />
Verteilungsfunktionen<br />
Allgemeine Definition:<br />
Sei X eine Zufallsvariable. Die Funktion F(x), die jedem x ∈ R die Wahrscheinlichkeit<br />
P(X ≤ x) zuordnet, d.h.<br />
heißt Verteilungsfunktion von X.<br />
F(x) = P(X ≤ x) ,<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 32<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 33<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
Eigenschaften von Verteilungsfunktionen:<br />
Beweise:<br />
1. F(x) ist monoton wachsend: F(x 1 ) ≤ F(x 2 ) <strong>für</strong> x 1 < x 2 .<br />
2. Es gilt: limF(x) = 0 , limF(x) = 1 .<br />
x → −∞ x → +∞<br />
3. F(x) ist rechtsseitig stetig: limF(x + h) = F(x).<br />
h → 0<br />
Mit dem linksseitigen Grenzwert limF(x − h) = F(x − ) gilt<br />
h → 0<br />
F(x) − F(x − ) = P(X = x) .<br />
Die Sprunghöhe F(x) − F(x − ) ist also gleich der Wahrscheinlichkeit <strong>für</strong> das<br />
Ereignis {X = x}.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 34<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 35
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
7. Mehr über Zufallsvariablen <strong>und</strong> Verteilungen 7.4 Ergänzungen<br />
Ungleichung von Tschebyscheff<br />
Für eine Zufallsvariable X mit E(X) = µ <strong>und</strong> V ar(X) = σ 2 gelten <strong>für</strong> beliebiges<br />
c > 0 folgende Ungleichungen:<br />
P(|X − µ| ≥ c) ≤ σ2<br />
c 2<br />
<strong>und</strong> P(|X − µ| < c) ≥ 1 − σ2<br />
c 2 .<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 36<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 37<br />
8. Mehrdimensionale Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen<br />
8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
8.2 Zweidimensionale diskrete Zufallsvariablen<br />
Ziele: Stochastische Analoga zu Begriffen der multivariaten deskriptiven <strong>Statistik</strong><br />
(Kapitel 3), insbesondere gemeinsame <strong>und</strong> bedingte Verteilungen<br />
Maßzahlen <strong>für</strong> Zusammenhang (Kovarianz <strong>und</strong> Korrelation)<br />
Beispiele:<br />
8.3 Zweidimensionale stetige Zufallsvariablen<br />
8.4 Unabhängigkeit von Zufallsvariablen<br />
8.5 Kovarianz <strong>und</strong> Korrelation<br />
8.6 Die zweidimensionale Normalverteilung<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 38<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 39
8. Mehrdimensionale Zufallsvariablen 8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
Durch zufälliges Ziehen von statistischen Einheiten bei einer Stichprobe werden<br />
Merkmale X,Y,Z zu Zufallsvariablen.<br />
8. Mehrdimensionale Zufallsvariablen 8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
Beispiel: Roulette<br />
Annahme: Die Zahlen 0, 1, ...,37 treten je mit Wahrscheinlichkeit 1 37 auf.<br />
Definiere die Zufallsvariablen<br />
⎧<br />
⎨<br />
Farbe X =<br />
⎩<br />
⎧<br />
⎨<br />
Typ Y =<br />
⎩<br />
1 rote Zahl<br />
2 schwarze Zahl<br />
3 Zero<br />
1 gerade Zahl<br />
2 ungerade Zahl<br />
3 Zero.<br />
34<br />
31<br />
28<br />
25<br />
22<br />
19<br />
16<br />
13<br />
10<br />
7<br />
4<br />
1<br />
35<br />
32<br />
29<br />
26<br />
23<br />
20<br />
17<br />
14<br />
11<br />
8<br />
5<br />
2<br />
0<br />
36<br />
33<br />
30<br />
27<br />
24<br />
21 18 15 12 9 6 3<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 40<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 41<br />
8. Mehrdimensionale Zufallsvariablen 8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.1 Begriff mehrdimensionaler Zufallsvariablen<br />
Gemeinsame Wahrscheinlichkeitsfunktion<br />
Y<br />
P(X = i, Y = j) gerade ungerade Zero<br />
1 2 3<br />
rot 1 8/37 10/37 0<br />
X schwarz 2 10/37 8/37 0<br />
Zero 3 0 0 1/37<br />
Definition: Mehrdimensionale Zufallsvariablen<br />
Ergeben sich die Werte von Merkmalen X 1 ,X 2 , . ..,X n als Ergebnisse eines<br />
Zufallsvorgangs, so heißen X 1 ,X 2 , . ..,X n mehrdimensionale Zufallsvariablen.<br />
Neben eindimensionalen Verteilungen / Wahrscheinlichkeiten wie P(X 1 ∈ B 1 )<br />
etc. interessieren nun gemeinsame Verteilungen / Wahrscheinlichkeiten, etwa<br />
P(X 1 ∈ B 1 ,X 2 ∈ B 2 , ...,X n ∈ B n ),<br />
wobei B 1 , B 2 ,...,B n z.B. Intervalle.<br />
Im weiteren: vor allem zweidimensionale Zufallsvariablen X,Y<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 42<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 43
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
8.2 Zweidimensionale diskrete Zufallsvariablen<br />
X,Y diskrete Zufallsvariablen mit Wertebereich {x 1 ,x 2 , ...} bzw. {y 1 , y 2 ,...}<br />
Definition: Gemeinsame Wahrscheinlichkeitsfunktion<br />
Die Wahrscheinlichkeitsfunktion der bivariaten diskreten Zufallsvariable (X, Y )<br />
ist bestimmt durch<br />
{<br />
P(X = x, Y = y) <strong>für</strong> (x, y) ∈ {(x1 , y<br />
f(x,y) =<br />
1 ),(x 1 , y 2 ),...}<br />
0 sonst.<br />
Wir bezeichnen die Wahrscheinlichkeitsfunktion auch als (gemeinsame) diskrete<br />
Dichte oder (gemeinsame) Verteilung.<br />
Oft: X ∈ {x 1 ,...,x k },Y ∈ {y 1 , ...,y l } endlich<br />
Darstellung der Wahrscheinlichkeiten<br />
in Kontingenztabelle:<br />
p ij = P(X = x i , Y = y j ) = f(x i ,y j )<br />
y 1 . .. y m<br />
x 1 p 11 . .. p 1m<br />
. . .<br />
x k p k1 . .. p km<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 44<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 45<br />
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
Darstellung durch Stabdiagramm:<br />
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
Randwahrscheinlichkeiten<br />
P(X = x i ) = p i· = ∑ j<br />
P(Y = y j ) = p·j = ∑ i<br />
p ij (Zeilensumme i)<br />
p ij (Zeilensumme j)<br />
Stabdiagramm zu den Zufallsvariablen “Farbe” (1: rot, 2:<br />
schwarz, 3: Zero) <strong>und</strong> “Zahltyp” (1: gerade, 2: ungerade, 3:<br />
Zero) beim Roulette<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 46<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 47
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
Bedingte Wahrscheinlichkeiten<br />
P(X = x i |Y = y j ) = P(X=x i,Y =y j )<br />
P(Y =y j )<br />
P(Y = y j |X = x i ) = P(X=x i,Y =y j )<br />
P(X=x i )<br />
= p ij<br />
p·j<br />
i = 1, 2, ...<br />
= p ij<br />
p i·<br />
j = 1,2, . ..<br />
Bedingte Wahrscheinlichkeitsfunktion von X bzw. Y , gegeben Y = y j bzw.<br />
X = x i<br />
Beispiel: Roulette<br />
Y<br />
P(X = i, Y = j) gerade ungerade Zero<br />
1 2 3<br />
rot 1 8/37 10/37 0 18/37 o<br />
X schwarz 2 10/37 8/37 0 18/37<br />
Zero 3 0 0 1/37 1/37<br />
18/37 18/37 1/37 1<br />
| {z }<br />
f Y<br />
f X<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 48<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 49<br />
8. Mehrdimensionale Zufallsvariablen 8.2 Zweidimensionale diskrete Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
Gemeinsame Verteilungsfunktion<br />
Als gemeinsame Verteilungsfunktion zu X <strong>und</strong> Y erhält man<br />
F(x,y) = P(X ≤ x, Y ≤ y) = ∑ ∑<br />
f(x i , y j ).<br />
x i ≤x y j ≤y<br />
Randverteilungsfunktionen<br />
8.3 Zweidimensionale stetige Zufallsvariablen<br />
X <strong>und</strong> Y stetige Zufallsvariablen<br />
Univariat:<br />
P(a ≤ X ≤ b) =<br />
∫ b<br />
a<br />
f(x) dx<br />
Bivariat:<br />
P(a ≤ X ≤ b, c ≤ Y ≤ d) = ?<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 50<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 51
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
Definition: Gemeinsame stetige Verteilung <strong>und</strong> Dichte<br />
Die Zufallsvariablen X <strong>und</strong> Y sind gemeinsam stetig verteilt, wenn es eine<br />
zweidimensionale Dichtefunktion f(x, y) ≥ 0 gibt, so daß<br />
P(a ≤ X ≤ b,c ≤ Y ≤ d) =<br />
∫ b ∫ d<br />
a<br />
c<br />
f(x, y) dy dx.<br />
0<br />
-2<br />
-1<br />
0<br />
1<br />
2<br />
3<br />
4<br />
5<br />
0<br />
-1<br />
-2<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
Form einer zweidimensionalen Dichte f(x, y)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 52<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 53<br />
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
Definition: Randdichte<br />
Die Randdichte von X ist gegeben durch<br />
f X (x) =<br />
die Randdichte von Y durch<br />
f Y (y) =<br />
∫ ∞<br />
−∞<br />
∫ ∞<br />
−∞<br />
f(x, y) dy,<br />
f(x,y) dx.<br />
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
Definition: Bedingte Dichte<br />
Die bedingte Dichte von Y unter der Bedingung X = x, kurz Y |X = x, ist <strong>für</strong><br />
festen Wert x <strong>und</strong> f X (x) ≠ 0 bestimmt durch<br />
f Y (y|x) =<br />
f(x, y)<br />
f X (x) .<br />
Für f X (x) = 0 legt man f Y (y|x) = 0 fest.<br />
Die bedingte Dichte von X unter der Bedingung Y = y, kurz X|Y = y, ist <strong>für</strong><br />
festen Wert y <strong>und</strong> f Y (y) ≠ 0 bestimmt durch<br />
f X (x|y) =<br />
f(x, y)<br />
f Y (y) .<br />
Für f Y (y) = 0 legt man f X (x|y) = 0 fest.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 54<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 55
8. Mehrdimensionale Zufallsvariablen 8.3 Zweidimensionale stetige Zufallsvariablen<br />
Definition: Gemeinsame Verteilungsfunktion<br />
Die gemeinsame Verteilungsfunktion zu (X,Y ) erhält man aus<br />
8. Mehrdimensionale Zufallsvariablen 8.4 Unabhängigkeit von Zufallsvariablen<br />
8.4 Unabhängigkeit von Zufallsvariablen<br />
Zunächst <strong>für</strong> diskrete Zufallsvariablen X, Y :<br />
Definition: X <strong>und</strong> Y unabhängig, wenn <strong>für</strong> alle Wertepaare (x i , y i )<br />
F(x, y) = P(X ≤ x, Y ≤ y) =<br />
∫ x ∫ y<br />
−∞ −∞<br />
f(u,v) dv du.<br />
P(X = x i , Y = y j ) = P(X = x i ) · P(Y = y j )<br />
f(x, y) = f X (x) · f Y (y)<br />
<strong>für</strong> alle x, y ∈ {(x i , y j ),i, j = 1,2, ...}<br />
Für endliche Zufallsvariablen X,Y mit Wertetabelle (p ij ):<br />
p ij = p i· · p·j <strong>für</strong> alle (i, j).<br />
bzw.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 56<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 57<br />
8. Mehrdimensionale Zufallsvariablen 8.4 Unabhängigkeit von Zufallsvariablen<br />
Äquivalente Definition:<br />
Bedingte Wahrscheinlichkeitsfunktion von X gegeben Y =<br />
Rand-Wahrscheinlichkeitsfunktion von X<br />
Bedingte Wahrscheinlichkeitsfunktion von Y gegeben X =<br />
Rand-Wahrscheinlichkeitsfunktion von Y<br />
8. Mehrdimensionale Zufallsvariablen 8.4 Unabhängigkeit von Zufallsvariablen<br />
Für stetige Zufallsvariablen X, Y : Übertragung der Definition <strong>für</strong> Wahrscheinlichkeitsfunktionen<br />
auf Dichten<br />
Definition: X <strong>und</strong> Y unabhängig, wenn <strong>für</strong> alle (x, y) gilt:<br />
Bemerkung: Äquivalent dazu ist<br />
f(x,y) = f X (x)f Y (y)<br />
⇔ f X (x|y) = f X (x) ⇔ f Y (y|x) = f Y (y)<br />
P(X ∈ A, Y ∈ B) = P(X ∈ A) · P(Y ∈ A)<br />
<strong>für</strong> beliebige Intervalle A,B. Speziell<br />
P(X ≤ x, Y ≤ y) = P(X ≤ x) · P(Y ≤ y)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 58<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 59
8. Mehrdimensionale Zufallsvariablen 8.4 Unabhängigkeit von Zufallsvariablen<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8.5 Kovarianz <strong>und</strong> Korrelation<br />
E(X) = µ X , E(Y ) = µ Y ; V ar(X) = σX 2 ,V ar(Y ) = σ2 Y<br />
X <strong>und</strong> Y definiert, z.B.<br />
wie bisher separat <strong>für</strong><br />
Verallgemeinerung <strong>für</strong> n > 2 Zufallsvariablen:<br />
Die Zufallsvariablen X 1 , ...,X n heißen unabhängig, wenn <strong>für</strong> alle x 1 ,...,x n gilt<br />
P(X 1 ≤ x 1 ,...,X n ≤ x n ) = P(X 1 ≤ x n ) · . .. · P(X n ≤ x n ).<br />
Äquivalent dazu ist die Produktbedingung<br />
f(x 1 ,...,x n ) = f X1 (x 1 ) · . .. · f Xn (x n ),<br />
wobei f(x 1 ,...,x n ) die gemeinsame Dichte von X 1 , ...,X n <strong>und</strong> f Xi (x i ) die<br />
Dichte der Zufallsvariable X i bezeichnen (i = 1,...,n).<br />
µ X = ∑ x i p i·, σ 2 X = ∑ (x i − µ X ) 2 p i·<br />
= ∑ x i f X (x i ), = ∑ (x i − µ X ) 2 f X (x i )<br />
∫<br />
∫<br />
bzw. µ X = xf X (x) dx, σX 2 = (x − µ X ) 2 f X (x) dx<br />
• Kovarianz <strong>und</strong> Korrelation wichtigste Maßzahlen <strong>für</strong> Zusammenhang zwischen<br />
X <strong>und</strong> Y .<br />
• Definition in Analogie zu empirischer Kovarianz <strong>und</strong> empirischer Korrelation<br />
aus Kapitel 3.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 60<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 61<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Definition: Kovarianz Cov(X, Y ) zwischen X <strong>und</strong> Y<br />
• X,Y diskret:<br />
Cov(X, Y ) = ∑ i<br />
∑<br />
j<br />
(x i − µ X )(y j − µ Y ) f(x i ,y j )<br />
} {{ }<br />
p ij<br />
Bemerkung:<br />
Für diskrete Zufallsvariablen völlige Analogie zu empirischer Kovarianz:<br />
µ X = ¯x, µ Y = ȳ, f ij = p ij<br />
Auch Interpretation analog.<br />
• X,Y stetig: ∑ −→ ∫<br />
∫ ∫<br />
Cov(X, Y ) =<br />
(x − µ X )(y − µ Y )f(x, y) dy dx<br />
Für stetige Zufallsvariablen werden entsprechende Beiträge<br />
(x − µ X )(y − µ Y )f(x, y) aufintegriert statt aufsummiert.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 62<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 63
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Zusammenfassende Definition:<br />
Die Kovarianz der Zufallsvariablen X <strong>und</strong> Y ist bestimmt durch<br />
Cov(X, Y ) = E([X − E(X)][Y − E(Y )]).<br />
Eigenschaften:<br />
• Verschiebungssatz:<br />
• Symmetrie<br />
Cov(X, Y ) = E(XY ) − E(X) · E(Y )<br />
Cov(X, Y ) = Cov(Y, X)<br />
• Lineare Transformation<br />
Die Kovarianz der transformierten Zufallsvariablen ˜X = a X X + b X ,<br />
Ỹ = a Y Y + b Y ist bestimmt durch<br />
Cov( ˜X, Ỹ ) = a X a Y Cov(X, Y ) .<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 64<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 65<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Bemerkungen:<br />
Beispiel:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 66<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 67
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Definition: Korrelationskoeffizient ρ<br />
Eigenschaften:<br />
ρ = ρ(X,Y ) =<br />
1. −1 ≤ ρ(X, Y ) ≤ 1<br />
Cov(X, Y )<br />
√<br />
V ar(X)<br />
√<br />
V ar(Y )<br />
= Cov(X, Y )<br />
σ X σ Y<br />
.<br />
2. ρ(X,Y ) = ±1 ⇔ Y = aX + b mit a > 0 bzw. a < 0<br />
3. Maßstabsunabhänigigkeit gegenüber linearer Transformation<br />
˜X = a X X + b X , Ỹ = a Y Y + b Y mit a X ≠ 0, a Y ≠ 0<br />
⇒ ρ( ˜X,Ỹ ) = a Xa Y<br />
|a X ||a Y | ρ(X,Y )<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Definition: Unkorreliertheit<br />
Zwei Zufallsvariablen X <strong>und</strong> Y heißen unkorreliert, wenn gilt<br />
ρ(X,Y ) = 0.<br />
Wenn ρ(X,Y ) ≠ 0 gilt, heißen sie korreliert.<br />
Sind zwei Zufallsvariablen unabhängig, so sind sie auch unkorreliert, d.h. es gilt<br />
ρ(X,Y ) = 0.<br />
Bemerkung:<br />
• X,Y unabhängig ⇒ E(X · Y ) = E(X) · E(Y )<br />
Verschiebungssatz ⇒ Cov(X, Y ) = E(X · Y ) − E(X) · E(Y ) = 0<br />
• Umkehrung “X,Y unkorreliert ⇒ X,Y unabhängig” im allgemeinen falsch!<br />
Ausnahme: X,Y gemeinsam normalverteilt<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 68<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 69<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
Varianz der Summe von Zufallszahlen<br />
V ar(X 1 + X 2 ) = V ar(X 1 ) + V ar(X 2 ) + 2Cov(X 1 , X 2 ).<br />
Beispiel: Portfolio-Analyse<br />
V ar(a 1 X 1 + ... + a n X n ) = a 2 1V ar(X 1 ) + · · · + a 2 nV ar(X n )<br />
+ 2a 1 a 2 Cov(X 1 ,X 2 ) + 2a 1 a 3 Cov(X 1 ,X 3 ) + ...<br />
n∑<br />
= a 2 iV ar(X i ) + 2 ∑ a i a j Cov(X i ,X j ).<br />
i=1 i
8. Mehrdimensionale Zufallsvariablen 8.5 Kovarianz <strong>und</strong> Korrelation<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
8.6 Die zweidimensionale Normalverteilung<br />
Erinnerung: Eindimensionale Normalverteilung<br />
{<br />
f(x) = √ 1 exp − 1 2πσ 2<br />
( ) } 2 x − µ<br />
, µ = E(X), σ 2 = V ar(X)<br />
σ<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 72<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 73<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
Parameter <strong>für</strong> zweidimensionale Normalverteilung:<br />
µ 1 =E(X) Erwartungswert von X<br />
µ 2 =E(Y ) Erwartungswert von Y<br />
σ 2 1 =V ar(X)<br />
σ 2 2 =V ar(Y )<br />
ρ = Cov(X, Y )<br />
σ 1 σ 2<br />
Varianz von X<br />
Varianz von Y<br />
Korrelation zwischen X <strong>und</strong> Y<br />
Definition: Zweidimensionale Normalverteilung<br />
Die Zufallsvariablen X <strong>und</strong> Y heißen gemeinsam normalverteilt, wenn die Dichte<br />
bestimmt ist durch<br />
1<br />
f(x, y) = p<br />
2πσ 1 σ 2 1 − ρ<br />
2<br />
(<br />
" „x «<br />
1 − 2 „ « „ « „ «<br />
µ1 x − µ1 y − µ2 y −<br />
2<br />
#)<br />
µ2<br />
× exp −<br />
− 2ρ<br />
+<br />
2(1 − ρ 2 )<br />
σ 1 σ 2 σ 2<br />
σ 1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 74<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 75
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
0.2<br />
0.2<br />
0.1<br />
0.1<br />
0.2<br />
0.2<br />
3<br />
2<br />
1<br />
0<br />
0<br />
-2<br />
-1<br />
-1<br />
0<br />
-2<br />
1<br />
2<br />
3<br />
Zweidimensionale Normalverteilungsdichte <strong>für</strong><br />
unkorrelierte Merkmale, ρ = 0, mit<br />
µ 1 = µ 2 = 0, σ 1 = σ 2 = 1.0<br />
3<br />
2<br />
1<br />
0<br />
0<br />
-2<br />
-1<br />
-1<br />
0<br />
-2<br />
1<br />
2<br />
3<br />
Zweidimensionale Normalverteilungsdichte <strong>für</strong><br />
unkorrelierte Merkmale, ρ = 0, mit<br />
µ 1 = µ 2 = 0, σ 1 = 1.5, σ 2 = 1.0<br />
0.1<br />
2<br />
1<br />
0<br />
0<br />
-2<br />
-1<br />
-1<br />
0<br />
-2<br />
1<br />
2<br />
3<br />
Zweidimensionale Normalverteilungsdichte,<br />
ρ = 0.8, µ 1 = µ 2 = 0, σ 1 = σ 2 = 1.0<br />
3<br />
0.1<br />
3<br />
2<br />
1<br />
0<br />
0<br />
-2<br />
-1<br />
-1<br />
0<br />
-2<br />
1<br />
2<br />
3<br />
Zweidimensionale Normalverteilungsdichte,<br />
ρ = −0.8, µ 1 = µ 2 = 0, σ 1 = σ 2 = 1.0<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 76<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 77<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
Unabhängigkeit <strong>und</strong> Korrelation bei normalverteilten Zufallsvariablen<br />
Mehrdimensionale Zufallsvariablen in Matrixnotation<br />
Für gemeinsam normalverteilte Zufallsvariablen X <strong>und</strong> Y gilt:<br />
X <strong>und</strong> Y sind unabhängig genau dann, wenn sie unkorreliert sind.<br />
Beweis:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 78<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 79
8. Mehrdimensionale Zufallsvariablen 8.6 Die zweidimensionale Normalverteilung<br />
9. Schätzen<br />
9. Schätzen<br />
Induktive <strong>Statistik</strong><br />
Schlüsse von einer Stichprobe oder von Daten aus einem Zufallsvorgang auf eine<br />
zugr<strong>und</strong>eliegende Gr<strong>und</strong>gesamtheit oder Gesetzmäßigkeit mit Hilfe von Stochastik<br />
Zentrale Konzepte<br />
• Schätzen von Parametern <strong>und</strong> Verteilungen<br />
• Testen von Hypothesen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 80<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 81<br />
9. Schätzen<br />
Inhalt von Kapitel 9<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9.1 Zufällige Stichproben<br />
9.1 Stichproben<br />
9.2 Schätzer <strong>und</strong> ihre Eigenschaften<br />
9.3 Konstruktion von Schätzfunktionen<br />
9.4 Konfidenzintervalle<br />
9.5 Nichtparametrische Dichteschätzung<br />
Wir unterscheiden<br />
• Zufällige Stichproben (Definition folgt)<br />
• Nichtzufällige Stichproben, wie zum Beispiel Auswahl aufs Geratewohl, Quotenverfahren,<br />
typische Fälle (Medizin)<br />
Nur zufällige Stichproben ermöglichen Rückschlüsse durch Wahrscheinlichkeitsaussagen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 82<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 83
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9.1.1 Gr<strong>und</strong>begriffe<br />
X Merkmal bzw. Zufallsvariable<br />
Gr<strong>und</strong>sätzlich zwei Typen von “Stichproben”:<br />
Fall A:<br />
G konkrete (endliche) Gr<strong>und</strong>gesamtheit mit N Elementen; daraus werden n Elemente<br />
zufällig gezogen.<br />
X i<br />
ist die Zufallsvariable, die angibt, welchen Wert von X das i-te Element<br />
in der Auswahl (Stichprobe) haben wird, i = 1, ...,n.<br />
Situation vor der Ziehung.<br />
x i beobachteter Wert von X beim i-ten Element, d.h. Realisierung von X i .<br />
Situation nach der Ziehung.<br />
Fall B:<br />
Ein Zufallsvorgang wird n-mal wiederholt.<br />
X i ist die Zufallsvariable, die angibt, welchen Wert X beim i-ten<br />
Versuch annehmen wird.<br />
Situation vor Durchführung des Zufallsvorgangs.<br />
x i der beim i-ten Versuch beobachtete Wert von X.<br />
Situation nach Durchführung des Zufallsvorgangs.<br />
In beiden Fällen:<br />
X 1 ,...,X n Stichprobenvariablen <strong>für</strong> X<br />
x 1 ,...,x n Stichprobenwerte oder (beobachtete) Stichprobe<br />
n Stichprobenumfang<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 84<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 85<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Situation in induktiver <strong>Statistik</strong><br />
Verteilung von X nicht oder nicht vollständig bekannt.<br />
Ziel: Schätzen der Verteilung oder von Parametern der Verteilung.<br />
Fall A: Verteilung gleich der Verteilung von X in Gr<strong>und</strong>gesamtheit,<br />
kurz: Verteilung der Gr<strong>und</strong>gesamtheit<br />
Fall B: Verteilung der Zufallsvariable<br />
Im Fall A:<br />
G = {1, ...,j, ...,N},<br />
ξ j Ausprägung (Wert) des Merkmals X <strong>für</strong> j ∈ G.<br />
Häufigkeitsverteilung von X in G:<br />
F G (x) = 1 N [ Anzahl der Elemente j mit ξ j ≤ x]<br />
= empirische Verteilung zu ξ 1 , ...,ξ j , ...,ξ N<br />
= diskrete Verteilung<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 86<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 87
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Bei großem N betrachtet man oft eine Modellverteilung <strong>für</strong> X, mit Verteilungsfunktion<br />
F(x). Im Sinne eines Modells stimmt F im allgemeinen nicht exakt,<br />
sondern nur approximativ mit F G überein:<br />
F(x) ≈ F G (x)<br />
Falls Abweichung vernachlässigbar: Es wird<br />
gesetzt.<br />
F(x) ! = F G (x)<br />
⇒ Für Fall A bzw. B:<br />
“Verteilung von X” <strong>und</strong> “Verteilung der Gr<strong>und</strong>gesamtheit” identisch<br />
⇒ Für Fall A:<br />
E(X) = µ = 1 N<br />
N∑<br />
ξ j = ¯ξ<br />
j=1<br />
V ar(X) = σ 2 = 1 N<br />
N∑<br />
(ξ j − ¯ξ) 2<br />
j=1<br />
Für Fall B:<br />
µ,σ 2 lassen sich nur als Verteilungsparameter von X auffassen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 88<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 89<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Spezialfall: X dichotom (binär)<br />
Fall B:<br />
Fall A:<br />
j = 1, ...,N.<br />
ξ j =<br />
X =<br />
{<br />
1, A tritt ein<br />
0, Ā tritt ein<br />
π = P(X = 1) = P(A),<br />
µ = π, σ 2 = π(1 − π)<br />
X ∼ B(1,π)<br />
{<br />
1, Element j ∈ G hat Eigenschaft A<br />
0, Element j ∈ G hat Eigenschaft A nicht ,<br />
µ = π = 1 N<br />
N∑<br />
j=1<br />
ξ j<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
⇒<br />
N∑<br />
(ξ j − π) 2 =<br />
j=1<br />
=<br />
N∑ N∑<br />
ξj 2 − 2π<br />
j=1<br />
N∑<br />
j=1<br />
ξ j<br />
} {{ }<br />
Nπ<br />
j=1<br />
ξ j + Nπ 2 ξ2 j =ξ j<br />
=<br />
−2πNπ + Nπ 2 =<br />
= Nπ − Nπ 2 = Nπ(1 − π)<br />
⇒ σ 2 = V ar(X) = π(1 − π) = 1 N<br />
Also: A <strong>und</strong> B passen <strong>für</strong> µ, σ 2 exakt zusammen.<br />
N∑<br />
(ξ j − π) 2<br />
j=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 90<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 91
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Identisch <strong>und</strong>/oder unabhängig verteilte Stichproben<br />
• Stichprobe heißt identisch verteilt oder einfach:<br />
⇔ Stichprobenvariablen X 1 , ...,X n sind identisch wie X verteilt<br />
• Stichprobe heißt unabhängig: ⇔ X 1 , ...,X n unabhängig<br />
• X 1 ,...,X n u.i.v./i.i.d. wie X verteilt:<br />
⇔ Stichprobe identisch <strong>und</strong> unabhängig verteilt (independent and identically<br />
distributed)<br />
• Fall B: Wird Zufallsvorgang <strong>für</strong> X n-mal unabhängig wiederholt<br />
⇒ X 1 ,...,X n i.i.d. wie X ∼ F(x)<br />
• Fall A: Ob eine einfache <strong>und</strong>/oder unabhängige Stichprobe vorliegt, hängt vom<br />
Auswahlverfahren ab, siehe 9.1.2.<br />
• In jedem Fall gilt: Falls ohne Zurücklegen gezogen wird, sind X 1 , ...,X n<br />
voneinander abhängig. Bei Ziehen mit Zurücklegen: “X 1 ,...,X n unabhängig”<br />
ist sinnvolle Annahme (vgl. Urnenmodell).<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 92<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 93<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9.1.2 Rein zufällige Stichproben aus endlichen Gr<strong>und</strong>gesamtheiten<br />
Erinnerung: Nur Zufallsstichproben erlauben induktive Schlüsse mit Wahrscheinlichkeitstheorie<br />
Einige nichtzufällige Stichproben:<br />
Auswahl aufs Geratewohl, “Experten”-Auswahl, Quotenverfahren,.. .<br />
Reine (oder uneingeschränkte) Zufallsstichprobe mit Zurücklegen: ⇔<br />
• Einzelne Ziehungen sind voneinander unabhängig.<br />
• Jedes Element hat bei jeder Ziehung dieselbe Wahrscheinlichkeit 1 N gezogen<br />
zu werden.<br />
Es gilt: Eine reine Zufallsstichprobe mit Zurücklegen ist eine identisch <strong>und</strong><br />
unabhängig verteilte Stichprobe, d.h. X 1 , ...,X n i.i.d. wie X.<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Beweis: Sei F G (x) die Verteilungsfunktion von X in G.<br />
a) Zu zeigen: P(X i ≤ x) = F G (x)<br />
Sei G x = {j ∈ G : ξ j ≤ x}.<br />
{<br />
1, falls j ∈ G beim i-ten Zug gezogen wird<br />
Z ji =<br />
0, sonst<br />
P(Z ji = 1) = 1 N ,<br />
dann ist<br />
P(X i ≤ x) = ∑<br />
P(Z ji = 1) = [ Anzahl der Elemente von G x ] · 1<br />
N =<br />
j∈G x<br />
= F G (x).<br />
b) Unabhängigkeit der X i folgt aus Unabhängigkeit der Ziehung.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 94<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 95
9. Schätzen 9.1 Zufällige Stichproben<br />
Reine Zufallsstichprobe ohne Zurücklegen: ⇔<br />
• n-mal ohne Zurücklegen ziehen<br />
• Falls nacheinander gezogen wird, hat nach jeder Ziehung eines Elements jedes<br />
noch in der Gr<strong>und</strong>gesamtheit vorhandene Element die gleiche Wahrscheinlichkeit<br />
als nächstes Element gezogen zu werden. Beim i-ten Zug ist diese<br />
Wahrscheinlichkeit<br />
1<br />
, i = 1, ...,n.<br />
N − (i − 1)<br />
Äquivalent dazu ist: Jede Teilmenge von n Elementen aus G hat die gleiche<br />
Wahrscheinlichkeit, als Stichprobe aufzutreten, also ( N<br />
n) −1.<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Folgerungen aus der Definition:<br />
1. Für jedes Element aus G ist die Wahrscheinlichkeit, in die Stichprobe<br />
zu gelangen (also bei n Ziehungen ausgewählt zu werden) gleich<br />
n<br />
N<br />
(“Auswahlsatz”).<br />
2. Vor Beginn der Ziehungen ist <strong>für</strong> jedes Element aus G die Wahrscheinlichkeit,<br />
genau beim i-ten Zug gewählt zu werden gleich<br />
1<br />
N .<br />
3. X 1 ,...,X n sind identisch wie X verteilt, d.h. eine reine Zufallsstichprobe<br />
ohne Zurücklegen ist eine identisch verteilte Stichprobe.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 96<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 97<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
“Beweise:”<br />
2. ⇒ 3.: Wie bei Ziehen mit Zurücklegen<br />
1. ⇒ 2.: Innerhalb einer Stichprobe ohne Zurücklegen ist die Auswahl der<br />
ersten i Elemente ebenfalls eine reine Zufallsauswahl vom Umfang i<br />
Sei A ji “Element j ∈ G wird genau bei i-ten Zug gewählt”,<br />
B ji “Element j ∈ G wird innerhalb der ersten i Züge gewählt”.<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Auswahltechniken:<br />
• Zufallszahlen am Rechner<br />
• Weitere Techniken in Vorlesung “Stichproben”<br />
P(A ji ) = P(B ji ) − P(B j(i−1) ) = 1. i N − i − 1<br />
N<br />
= 1 N<br />
Beweis von 1.: Kombinatorik<br />
)<br />
P(...) =<br />
( N−1<br />
n−1<br />
( N<br />
n<br />
) = n N<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 98<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 99
9. Schätzen 9.1 Zufällige Stichproben<br />
Wie schätzt man µ = 1 N<br />
Naheliegend durch<br />
N∑<br />
ξ j = E(X)?<br />
j=1<br />
¯x = 1 n (x 1 + ... + x n ) arithmetisches Mittel der Stichprobenwerte.<br />
Dazu gehört die Zufallsvariable<br />
¯X = 1 n (X 1 + ... + X n ).<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Beim Ziehen mit Zurücklegen<br />
V ar( ¯X m ) = 1 n 2 · nσ2 = σ2<br />
n , da X 1,...,X n unabhängig.<br />
Aber: beim Ziehen ohne Zurücklegen<br />
V ar( ¯X o ) =?<br />
Beim Ziehen mit <strong>und</strong> ohne Zurücklegen gilt<br />
E( ¯X) = 1 n (E(X } {{ 1) + ... + E(X<br />
}<br />
n )) = nµ } {{ } n = µ.<br />
=µ =µ<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 100<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 101<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9.1.3 Geschichtete Stichproben<br />
G in k Schichten G 1 ,...,G j ,...,G k zerlegt:<br />
Dann: Reine Zufallsstichprobe ohne bzw. mit Zurücklegen separat in jeder Schicht.<br />
Fragestellungen:<br />
• Wie wählt man Schichten?<br />
“Schichten in sich möglichst homogen, untereinander möglichst heterogen bzgl.<br />
der x-Werte” → Vorlesung “Stichproben”<br />
• Wie wählt man Stichprobenumfänge n j in den Schichten G j , j = 1, ...,k?<br />
• Wie schätzt man µ?<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
• Notationen<br />
N j = Anzahl der Elemente der j-ten Schicht in der Gr<strong>und</strong>gesamtheit<br />
(Umfang der Schicht j)<br />
ξ ji = Wert von X, den das i-te Element in der j-ten Schicht besitzt<br />
N<br />
µ j = 1 ∑ j<br />
N j<br />
ξ ji = Mittelwert der j-ten Schicht<br />
i=1<br />
N<br />
σj 2 = 1 ∑ j<br />
N j<br />
(ξ ji − µ j ) 2 = Varianz der j-ten Schicht<br />
n j<br />
i=1<br />
= Umfang der aus der j-ten Schicht gezogenen reinen Zufallsstichprobe<br />
⇒ N = N 1 + ... + N k , n = n 1 + . .. + n k<br />
µ = 1 N<br />
k∑<br />
N j ∑<br />
j=1 i=1<br />
ξ ji = 1 N<br />
k∑<br />
N j µ j<br />
j=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 102<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 103
9. Schätzen 9.1 Zufällige Stichproben<br />
Sei X j1 , . ..,X jnj Teilstichprobe aus j-ter Schicht G j .<br />
Schätzung <strong>für</strong> µ ist gewichtetes Stichprobenmittel<br />
¯X = 1 N<br />
k∑<br />
N j ¯X j<br />
j=1<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
• Frage: Wie legt man n 1 , ...,n k fest?<br />
Im wesentlichen zwei Varianten: Proportionale oder optimale Aufteilung<br />
• Proportional geschichtete Stichprobe<br />
Auswahlsatz n j<br />
N j<br />
in jeder Schicht gleich groß, d.h.<br />
n 1<br />
N 1<br />
= n 2<br />
N 2<br />
= ... = n k<br />
N k<br />
n<br />
mit ¯X j = 1 ∑ j<br />
n j<br />
i=1<br />
X ji .<br />
⇒ n j = n N N j<br />
bzw.<br />
n j<br />
n = N j<br />
N<br />
• Schätzung ¯X prop<br />
¯X prop = 1 N<br />
k∑<br />
N j ¯Xj = 1 N<br />
j=1<br />
k∑<br />
j=1<br />
N j · 1 ∑<br />
n j<br />
X ji = 1 n j n<br />
i=1<br />
k∑<br />
j=1<br />
∑<br />
n j<br />
X ji<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 104<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 105<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
⇒ ¯Xprop ungewichtetes Stichprobenmittel<br />
In einer geschichteten Stichprobe kann in den Schichten mit oder ohne Zurücklegen<br />
gezogen werden.<br />
In beiden Fällen gilt:<br />
Eine proportional geschichtete Stichprobe stellt eine gleichgewichtete, aber<br />
keine reine Zufallsstichprobe dar.<br />
Gleichgewichtet heißt: Vor Beginn der Ziehungen hat jedes Element die gleiche<br />
Wahrscheinlichkeit, in die Stichprobe zu gelangen.<br />
• Optimal geschichtete Stichprobe: “Stichproben-Theorie”<br />
Klumpen-(Cluster-)Stichproben<br />
G in Klumpen (Cluster) zerlegt<br />
Klumpen in sich möglichst heterogen,<br />
untereinander möglichst homogen.<br />
D.h.: Jeder Klumpen möglichst repräsentativ<br />
<strong>für</strong> G.<br />
Aus M Klumpen werden m Klumpen durch reine Zufallsauswahl gewählt. Dann<br />
Totalerhebungen in den ausgewählten Klumpen.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 106<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 107
9. Schätzen 9.1 Zufällige Stichproben<br />
9. Schätzen 9.1 Zufällige Stichproben<br />
Schätzen von µ:<br />
Zweistufige Zufallsauswahl<br />
Y i Summe der x-Werte aller Elemente aus Klumpen i<br />
⇒ Ŷ = M m<br />
m∑<br />
i=1<br />
Y i<br />
Schätzung <strong>für</strong> Gesamtsumme der x-Werte in G<br />
⇒ ¯X km = 1 N Ŷ = 1 N<br />
M<br />
m<br />
m∑<br />
Y i Schätzung <strong>für</strong> µ<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 108<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 109<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Generelle Notation<br />
Beispiel<br />
9.2.1 Problemstellung/Definitionen<br />
X Merkmal bzw. Zufallsvariable<br />
Parameter:<br />
• Kennwerte einer (unbekannten) Verteilung, z.B.<br />
E(X),V ar(X), Median, ρ(X,Y ), ...<br />
• (unbekannte) Parameter eines Verteilungstyps, z.B.<br />
λ bei Po(λ); µ, σ 2 bei N(µ,σ 2 ); π bei B(n,π), . ..<br />
X ∼ F(x|θ)<br />
θ = µ = E(X)<br />
θ unbekannter Parameter(-vektor) X ∼ N(µ, σ 2 ),θ = (µ,σ 2 )<br />
θ ∈ Θ Parameterraum Θ = R bzw. Θ = R × R +<br />
Gesucht: Schätzer bzw. Schätzwert <strong>für</strong><br />
θ : ˆθ ≡ t = g(x1 , ...,x n ) µ : ¯x = 1 n (x 1 + . . . + x n )<br />
σ 2 : s 2 = 1 ∑ n<br />
n−1 i=1 (x i − ¯x) 2<br />
X 1 , ...,X n Stichprobenvariablen, hier: i.i.d. wie X<br />
x 1 , ...,x n Stichprobenwerte<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 110<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 111
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Definition: Schätzer (Schätzfunktion, Schätzstatistik)<br />
Zufallsvariable T = g(X 1 ,...,X n )<br />
(Deterministische) Funktion der Stichprobenvariablen X 1 ,...,X n heißt Schätzer.<br />
Schätzwert t = g(x 1 ,...,x n ) ist Realisierung von T in der Stichprobe.<br />
Beispiele <strong>für</strong> Schätzer/Schätzwerte<br />
• Arithmetisches Mittel<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
• Spezialfall: X binär<br />
P(X = 1) = π = E(X), P(X = 0) = 1 − π<br />
¯X = 1 n (X 1 + . .. + X n ) = H <strong>für</strong> π = E(X),<br />
n<br />
wobei H die absolute Häufigkeit von Einsen in der Stichprobe ist.<br />
¯X = 1 n (X 1 + . .. + X n )<br />
Schätzer <strong>für</strong> µ = E(X)<br />
¯X = H n<br />
relative Häufigkeit<br />
¯x = 1 n (x 1 + . .. + x n )<br />
Schätzwert <strong>für</strong> µ = E(X)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 112<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 113<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
• Stichprobenvarianz<br />
S 2 = 1<br />
n − 1<br />
• Oder: Empirische Varianz<br />
n∑<br />
(X i − ¯X) 2 <strong>für</strong> σ 2 = V ar(X)<br />
i=1<br />
˜S 2 = 1 n<br />
n∑<br />
(X i − ¯X) 2<br />
i=1<br />
Frage: Wie “gut” sind solche Schätzer ? ⇒ 9.2.2 - 9.2.4<br />
Beispiel: ¯X Schätzer <strong>für</strong> µ = E(X)<br />
9.2.2 Erwartungstreue<br />
X Zufallsvariable mit µ = E(X); X 1 , ...,X n i.i.d. wie X.<br />
µ unbekannter, aber fester Wert<br />
⇒ E( ¯X) = E( 1 n (X 1 + . .. + X n )) = 1 n (E(X } {{ 1) + ... + E(X<br />
}<br />
n )) = µ<br />
} {{ }<br />
µ<br />
µ<br />
Also: Unabhängig davon, welchen wahren (aber unbekannten) Wert µ tatsächlich<br />
besitzt, gilt<br />
E( ¯X) = µ .<br />
D.h.: Der erwartete Wert von ¯X, in objektiver oder subjektiver Interpretation, ist<br />
µ. Damit:<br />
Keine systematische “Verzerrung” beim Schätzen.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 114<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 115
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Definition: Erwartungstreue <strong>und</strong> Verzerrung<br />
Interpretation:<br />
• T = g(X 1 , ...,X n ) heißt erwartungstreu (unverzerrt) <strong>für</strong> θ:⇔<br />
E(T) = θ<br />
<strong>für</strong> alle θ ∈ Θ<br />
• T heißt verzerrt:⇔<br />
E(T) ≠ θ<br />
E(T) − θ heißt Verzerrung (Bias).<br />
• T = g(X 1 , ...,X n ) heißt asymptotisch erwartungstreu:⇔<br />
lim E(T) = θ<br />
n→∞<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 116<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 117<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Beispiele:<br />
• E( ¯X) = µ, d.h. ¯X <strong>für</strong> µ unverzerrt<br />
• H n<br />
<strong>für</strong> π unverzerrt<br />
• E(˜S 2 ) = E( 1 n<br />
⇒ ˜S 2 verzerrt<br />
∑i (X i − ¯X) 2 ) = n−1<br />
n σ2<br />
Bias(˜S 2 ) = E(˜S 2 ) − σ 2 = n−1<br />
n σ2 − σ 2 = − σ2<br />
n<br />
˜S 2 asymptotisch ewartungstreu, da Verzerrung − σ2<br />
n → 0 <strong>für</strong> n → ∞<br />
Beweise zu Erwartungstreue/Bias von Schätzern <strong>für</strong> σ 2 = V ar(X)<br />
a) µ = E(X) sei bekannt.<br />
[ ]<br />
n∑<br />
1<br />
⇒ E (X i − µ) 2 ↓<br />
n<br />
i=1<br />
Linearität von E<br />
= 1 n<br />
i=1<br />
b) µ unbekannt; durch ¯X geschätzt<br />
⇒ ˜S<br />
n∑<br />
2 = 1 n<br />
(X i − ¯X) 2 , aber E[˜S 2 ] = n−1<br />
i=1<br />
⇒ ˜S 2 verzerrt!<br />
n∑<br />
E [ (X i − µ) 2] = 1<br />
} {{ } n · nσ2 = σ 2<br />
V ar(X i )=σ 2<br />
n σ2<br />
• E(S 2 ) = σ 2 ,<br />
S 2 unverzerrt<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 118<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 119
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Beweis zu b):<br />
1<br />
n<br />
= 1 n<br />
= 1 n<br />
= 1 n<br />
n∑<br />
(X i − ¯X) 2 = 1 n<br />
i=1<br />
n∑<br />
(X i − µ + µ − ¯X) 2 =<br />
↓<br />
i=1<br />
n∑<br />
(X i − µ) 2 + 2 n (µ − ¯X) ·<br />
i=1<br />
i=1<br />
ausquadrieren<br />
n∑<br />
(X i − µ) + 1 n n( ¯X − µ) 2 =<br />
i=1<br />
n∑<br />
(X i − µ) 2 − 2 n ( ¯X − µ) · ( ¯X − µ) · n + ( ¯X − µ) 2 =<br />
↑ P X i =n ¯X<br />
n∑<br />
(X i − µ) 2 − ( ¯X − µ) 2<br />
i=1<br />
E<br />
c) S 2 = 1<br />
[<br />
1<br />
n<br />
]<br />
n∑<br />
(X i − ¯X) 2 = E<br />
i=1<br />
n−1<br />
i=1<br />
n∑<br />
(X i − ¯X) 2 = n<br />
[<br />
1<br />
n<br />
]<br />
n∑<br />
(X i − µ) 2 −E( ¯X − µ)<br />
} {{ }<br />
2 =<br />
i=1<br />
} {{ }<br />
siehe a)<br />
= σ 2 − σ2<br />
n = n − 1<br />
n<br />
n−1 · 1<br />
n<br />
i=1<br />
σ2<br />
n∑<br />
(X i − ¯X) 2 = n<br />
E(S 2 ) = E( n ˜S 2 n−1<br />
) = n<br />
n−1 · E(˜S 2 ) =<br />
} {{ }<br />
n<br />
n−1 · n−1<br />
n σ2 = σ 2<br />
siehe a)<br />
S 2 unverzerrter Schätzer <strong>für</strong> σ 2<br />
V ar(<br />
n−1 ˜S 2<br />
¯X)= σ2<br />
n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 120<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 121<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9.2.3 Varianz, MSE <strong>und</strong> Konsistenz<br />
Neben E(T) − θ ist auch V ar(T), d.h. die Varianz bzw. “Ungenauigkeit” des<br />
Schätzers ein Maß <strong>für</strong> die Güte von T.<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Definition: Varianz <strong>und</strong> Standardabweichung eines Schätzers<br />
Bemerkung:<br />
T = g(X 1 ,...,X n ) Schätzer<br />
V ar(T) = V ar{g(X 1 ,...,X n )} Varianz von T<br />
σ T = + √ V ar(T) Standardabweichung von T<br />
Exakte analytische Formeln nur in einfachen Fällen angebbar; oft Approximation<br />
<strong>für</strong> großes n.<br />
Beispiel: ¯X<br />
σ 2¯X = V ar( ¯X) = σ2<br />
n , σ2 = V ar(X), σ 2 aber unbekannt<br />
√<br />
n∑<br />
Schätzer: ˆσ ¯X = √ S n<br />
= √ 1 1<br />
n<br />
(X i − ¯X) 2<br />
n−1<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 122<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 123
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Definition: Erwartete quadratische Abweichung, Mean Square Error<br />
Bemerkung:<br />
MSE(T) = E{(T − θ) 2 } = V ar(T) + (Bias(T) 2 )<br />
Der Mean Square Error MSE(T) fasst als Erwartungswert der quadratischen<br />
Abweichung (T − θ) 2 des Schätzers T vom zu schätzenden Parameter θ die<br />
Varianz <strong>und</strong> die quadrierte Verzerrung in einem gemeinsamen Gütekriterium <strong>für</strong><br />
T zusammen.<br />
Beweis der zweiten Gleichung:<br />
Definition: Konsistenz<br />
• T heißt (MSE-)konsistent <strong>für</strong> θ :⇔ MSE(T) → 0 <strong>für</strong> n → ∞<br />
• T heißt (schwach) konsistenz <strong>für</strong> θ :⇔ P(|T − θ| < ǫ) → 1 ∀ǫ > 0 <strong>und</strong> <strong>für</strong><br />
n → ∞<br />
Bemerkungen:<br />
• Damit MSE(T) = V ar(T) + (Bias(T)) 2 → 0 geht, muss V ar(T) → 0 <strong>und</strong><br />
Bias(T) → 0 gelten.<br />
• Aus MSE-Konsistenz folgt schwache Konsistenz mit Hilfe des Satzes von<br />
Tschebyscheff.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 124<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 125<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Beispiele<br />
• MSE( ¯X) = σ2<br />
n<br />
2<br />
+ (Bias( ¯X)) =<br />
} {{ }<br />
σ2<br />
n → 0 <strong>für</strong> n → ∞<br />
=0<br />
Annahme: X 1 , ...,X n iid N(µ,σ 2 ). Dann gilt:<br />
• MSE(S 2 ) =<br />
• MSE(˜S 2 ) =<br />
Herleitung:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 126<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 127
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
−−− S 2 − − − S ~2<br />
0.0 0.5 1.0 1.5 2.0<br />
5 10 15 20 25 30<br />
Stichprobenumgang n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 128<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 129<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
Beispiel: Bernoulli–Verteilung<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 130<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 131
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
−−− X − − − p_M ... p_G<br />
0.000 0.005 0.010 0.015 0.020 0.025<br />
−−− X − − − p_M ... p_G<br />
0.000 0.002 0.004 0.006 0.008<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Stichprobenumgang n=10<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Stichprobenumgang n=30<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 132<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 133<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9.2.4 Effiziente (oder “wirksamste”) Schätzstatistiken<br />
MSE(T) Maß <strong>für</strong> Güte von T<br />
−−− X − − − p_M ... p_G<br />
0.0000 0.0002 0.0004 0.0006 0.0008 0.0010 0.0012<br />
V ar(T) Maß <strong>für</strong> Varianz von T<br />
⇒ Man kann zwei Schätzer T 1 ,T 2 bzgl. MSE (oder auch V ar) vergleichen.<br />
Definition: T 1 (MSE-)effizienter als T 2 :⇔<br />
MSE(T 1 ) ≤ MSE(T 2 )<br />
Bei erwartungstreuen Schätzern T 1 , T 2 :<br />
Bias(T 1 ) = Bias(T 2 ) = 0 ⇒ MSE(T i ) = V ar(T i ), i = 1, 2<br />
⇒ T 1 effizienter als T 2 ⇔ V ar(T 1 ) ≤ V ar(T 2 )<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Stichprobenumgang n=200<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 134<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 135
9. Schätzen 9.2 Schätzer <strong>für</strong> Parameter <strong>und</strong> ihre Eigenschaften<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Definition:<br />
Ist ein Schätzer T besser als alle zur “Konkurrenz” zugelassenen anderen Schätzer<br />
˜T, so heißt T (MSE-)effizient <strong>für</strong> θ.<br />
Ziel:<br />
9.3 Konstruktion von Schätzfunktionen<br />
Einführung in generelle Ansätze/Konzepte, wie man Schätzer insbesondere<br />
auch in komplexeren Nicht-Standardsituationen findet bzw. konstruiert<br />
<strong>und</strong> berechnet.<br />
Beispiele:<br />
• ¯X <strong>für</strong> µ, unter allen erwartungstreuen Schätzern <strong>für</strong> µ.<br />
• ¯X <strong>für</strong> µ, falls X normalverteilt ist;<br />
alternative Schätzer dürfen dann auch verzerrt sein!<br />
Konzepte/Methoden:<br />
• Maximum-Likelihood-Schätzung<br />
• Kleinste-Quadrate-Schätzung<br />
• Bayes-Schätzung<br />
• Momenten-Methode<br />
Schwerpunkt: Maximum-Likelihood-Methode<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 136<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 137<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9.3.1 Maximum-Likelihood-Schätzung<br />
Voraussetzung hier:<br />
Stichprobenvariablen X 1 , ...,X n i.i.d. wie X ∼ f(x|θ)<br />
f(x|θ) diskrete Dichte (Wahrscheinlichkeitsfunktion) oder stetige Dichte<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Gr<strong>und</strong>idee <strong>für</strong> diskretes X:<br />
Sei X 1 = x 1 ,...,X n = x n die konkrete Stichprobe.<br />
Gesucht: Schätzwert ˆθ (bzw. T) <strong>für</strong> θ<br />
Konzept: Bestimme/konstruiere ˆθ so, dass die Wahrscheinlichkeit <strong>für</strong> Auftreten<br />
der Stichprobe maximal wird, d.h. ˆθ so, dass<br />
Es ist<br />
P(X 1 = x 1 , ...,X n = x n |θ) → max .<br />
θ<br />
P(X 1 = x 1 ,...,X n = x n |θ) = f(x 1 , ...,x n |θ) =<br />
} {{ }<br />
gemeinsame W’fkt.<br />
= P(X 1 = x 1 |θ) · . .. · P(X n = x n |θ) = f(x 1 |θ) · ... · f(x n |θ).<br />
↑<br />
X 1 , . . . , Xn i.i.d.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 138<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 139
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Definition: Likelihoodfunktion<br />
Bei gegebenen x 1 , ...,x n heißt<br />
Likelihoodfunktion <strong>für</strong> θ.<br />
L(θ) = f(x 1 , ...,x n |θ) = f(x 1 |θ) · ... · f(x n |θ)<br />
Definition: Likelihood-Prinzip/Maximum-Likelihood-Schätzung<br />
Bestimme ˆθ so, dass<br />
L(ˆθ) = max L(θ).<br />
θ<br />
Für stetige Zufallsvariablen X mit Dichte f(x|θ) überträgt man das Konzept in<br />
völliger Analogie:<br />
Wähle θ so, dass die gemeinsame Dichte L(θ) = f(x 1 , ...,x | θ) = f(x 1 |θ) · ... ·<br />
f(x n |θ) maximal wird:<br />
L(ˆθ) = max L(θ).<br />
θ<br />
I.a. ist ˆθ eine (komplizierte, nichtlineare) Funktion von x 1 , ...,x n :<br />
ˆθ = g(x 1 , ...,x n ).<br />
Setzt man statt der Realisierungen x 1 ,...,x n die Stichprobenvariablen<br />
X 1 , ...,X n ein, wird T ≡ ˆθ zum Maximum-Likelihood-Schätzer.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 140<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 141<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Konkrete Berechnung erfolgt meist durch Maximieren der log-Likelihood<br />
log L(θ) =log f(x 1 |θ) + ... + log f(x n |θ) =<br />
n∑<br />
= log f(x i |θ)<br />
i=1<br />
Maxima ˆθ von L(θ) <strong>und</strong> log L(θ) sind identisch, da log eine streng monotone<br />
Transformation ist.<br />
Das Maximum wird i.a. durch Nullsetzen der ersten Ableitung berechnet.<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Beispiele<br />
• Poisson-Verteilung<br />
X 1 ,...,X 4 i.i.d. Po(λ) mit Realisierungen x 1 = 2, x 2 = 4,x 3 = 6, x 4 = 3.<br />
⇒ Likelihoodfunktion<br />
L(λ) = f(x 1 |λ) · · · f(x 4 |λ) = e −λλ2<br />
2! e−λλ4<br />
4! e−λλ6<br />
6! e−λλ3<br />
3!<br />
= e −4λ λ 15 1<br />
2! 4! 6! 3!<br />
⇒ Log-Likelihoodfunktion<br />
Ableiten <strong>und</strong> Nullsetzen<br />
log L(λ) = −4λ + 15 log λ − log(2! 4! 6! 3!).<br />
⇒<br />
∂ log L(λ)<br />
= −4 + 15ˆλ = 0 ⇔<br />
∂λ<br />
ˆλ = 15 4<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 142<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 143
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Likelihood<br />
0e+00 1e−04 2e−04 3e−04 4e−04 5e−04 6e−04<br />
Log−Likelihood<br />
−18 −16 −14 −12 −10 −8<br />
2 4 6 8 10<br />
lambda<br />
2 4 6 8 10<br />
lambda<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 144<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 145<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
• Normalverteilung<br />
X 1 ,...,X n i.i.d. N(µ,σ 2 ) mit Realisierungen x 1 ,...,x n<br />
Kern der Log−Likelihood<br />
−4 −2 0 2 4<br />
⇒ L(µ, σ) = √ 1 e −(x 1 −µ)2 1<br />
2σ 2 · . .. · √ e −(xn−µ)2 2σ 2<br />
2πσ 2πσ<br />
log L(µ,σ) =<br />
=<br />
n∑<br />
[ ( ) 1<br />
log √ − (x i − µ) 2 ]<br />
2πσ 2σ 2<br />
n∑<br />
[− log √ 2π − log σ − (x i − µ) 2 ]<br />
2σ 2<br />
i=1<br />
i=1<br />
2 4 6 8 10<br />
lambda<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 146<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 147
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9.3.2 Bayes-Schätzung<br />
⇒<br />
∂ log L(µ,σ)<br />
=<br />
∂µ<br />
∂ log L(µ,σ)<br />
∂σ<br />
=<br />
⇒ ˆµ = ¯x, ˆσ =<br />
n∑ x i − ˆµ<br />
= 0<br />
ˆσ 2<br />
n∑<br />
(− 1ˆσ + 2(x i − ˆµ) 2 )<br />
= 0<br />
2ˆσ 3<br />
i=1<br />
i=1<br />
√<br />
n∑<br />
(x i − ¯x) 2<br />
1<br />
n<br />
i=1<br />
Basiert auf subjektivem Wahrscheinlichkeitsbegriff; dennoch enge Verbindung<br />
zur Likelihood-Schätzung. Besonders <strong>für</strong> hochdimensionale, komplexe Modelle<br />
geeignet; “Revival” etwa seit 1990.<br />
“Subjektives” Gr<strong>und</strong>verständnis:<br />
• θ wird als Realisierung einer Zufallsvariablen Θ aufgefasst<br />
• Unsicherheit/Unkenntnis über θ wird durch eine priori-Verteilung (stetige oder<br />
diskrete Dichte)<br />
f(θ)<br />
bewertet. Meist: Θ stetige Zufallsvariable; f(θ) stetige Dichte.<br />
Die Bayes-Inferenz beruht auf der posteriori-Verteilung von Θ, gegeben die Daten<br />
x 1 , ...,x n . Dazu benötigen wir den Satz von Bayes <strong>für</strong> Dichten.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 148<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 149<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Notation<br />
f(x | θ) bedingte Wahrscheinlichkeitsfunktion bzw. Dichte von X, gegeben<br />
Θ = θ<br />
f(x) Randverteilung oder -dichte von X<br />
f(θ) a priori Wahrscheinlichkeitsfunktion oder a priori Dichte von Θ (d.h.<br />
die Randverteilung von Θ)<br />
f(θ | x) a posteriori (oder bedingte) Wahrscheinlichkeitsfunktion oder Dichte<br />
von Θ, gegeben die Beobachtung X = x<br />
f(x,θ) gemeinsame Wahrscheinlichkeitsfunktion oder Dichte<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Dann gilt folgende Form des Satzes von Bayes:<br />
Θ <strong>und</strong> X diskret:<br />
⇒<br />
f(θ | x) =<br />
f(x, θ)<br />
f(x)<br />
=<br />
P(X = x) = f(x) = ∑ j<br />
f(x | θ)f(θ)<br />
.<br />
f(x)<br />
f(x | θ j )f(θ j ) ,<br />
wobei über die möglichen Werte θ j von Θ summiert wird.<br />
Θ stetig:<br />
⇒ f(θ | x) =<br />
Dabei kann X stetig oder diskret sein.<br />
f(x | θ)f(θ) f(x | θ)f(θ)<br />
∫ = f(x | θ)f(θ)dθ f(x)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 150<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 151
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Für Stichprobe x = (x 1 . ..,x n ) aus f(x 1 , ...,x n | θ):<br />
f(x) → f(x 1 ,...,x n | θ) = f(x 1 | θ) · ... · f(x n | θ) = L(θ)<br />
⇒ Bayes-Inferenz, Bayesianisches Lernen:<br />
Die Wahrscheinlichkeitsfunktion oder Dichte von X, gegeben θ, sei<br />
<strong>und</strong><br />
f(x | θ)<br />
L(θ) = f(x 1 , ...,x n | θ)<br />
die gemeinsame Dichte bzw. Likelihoodfunktion <strong>für</strong> n unabhängige Wiederholungen<br />
von X.<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Für den unbekannten Parameter wird eine a priori Dichte<br />
spezifiziert.<br />
f(θ)<br />
Dann ist die a posteriori Dichte über den Satz von Bayes bestimmt durch<br />
f(θ | x 1 , ...,x n ) =<br />
f(x 1 | θ) · · ·f(x n | θ)f(θ)<br />
∫<br />
f(x1 | θ) · · · f(x n | θ)f(θ)dθ =<br />
= ∫ L(θ)f(θ) . L(θ)f(θ)dθ<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 152<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 153<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Bayes-Schätzer<br />
a posteriori Erwartungswert:<br />
∫<br />
ˆθ p = E(θ | x 1 ,...,x n ) =<br />
θf(θ | x 1 ,...,x n ) dθ<br />
Beispiel:<br />
a posteriori Modus oder maximum a posteriori (MAP) Schätzer:<br />
Wähle denjenigen Parameterwert ˆθ MAP , <strong>für</strong> den die a posteriori Dichte maximal<br />
wird, d.h.<br />
L(ˆθ)f(ˆθ) = max L(θ)f(θ)<br />
θ<br />
bzw.<br />
log L(ˆθ) + log f(ˆθ) = max{log L(θ) + log f(θ)}.<br />
θ<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 154<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 155
9. Schätzen 9.3 Konstruktion von Schätzfunktionen<br />
Beispiel:<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
9.4 Konfidenzintervalle<br />
Bisher:<br />
(Punkt-)Schätzer T bzw. ˆθ <strong>für</strong> θ liefert einen Schätzwert t bzw. ˆθ;<br />
i.a. ˆθ ≠ θ<br />
9.4.1 Allgemeine Definition<br />
Jetzt:<br />
Angabe eines Intervalls, das θ mit hoher Wahrscheinlichkeit 1 − α<br />
enthält. Irrtumswahrscheinlichkeit α z.B. = 0.1,0.05, 0.001.<br />
1 − α: Sicherheits- oder Konfidenzwahrscheinlichkeit<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 156<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 157<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
Definition: (1 − α)-Konfidenzintervall (KI)<br />
Irrtumswahrscheinlichkeit α vorgegeben.<br />
Untere <strong>und</strong> obere Intervallgrenzen<br />
G u = g u (X 1 , ...,X n ) <strong>und</strong> G o = g o (X 1 ,...,X n )<br />
bilden (1 − α)-Konfidenzintervall (Vertrauensintervall):⇔<br />
P(G u ≤ G o ) = 1, P(G u ≤ θ ≤ G o ) = 1 − α<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
9.4.2 Konfidenzintervalle <strong>für</strong> Erwartungswert, Varianz <strong>und</strong> Anteilswert<br />
1. X ∼ N(µ, σ 2 ), σ 2 bekannt; X 1 ,...,X n i.i.d. wie X<br />
[<br />
]<br />
σ σ<br />
(1 − α) − Konfidenzintervall <strong>für</strong> µ : ¯X − z 1− α<br />
2<br />
√n , ¯X + z1− α<br />
2<br />
√n<br />
Herleitung:<br />
Realisiertes Konfidenzintervall: [g u , g o ]; g u = g u (x 1 ,...,x n ), g o = g o (x 1 ,...,x n )<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 158<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 159
9. Schätzen 9.4 Konfidenzintervalle<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
2. X ∼ N(µ, σ 2 ), σ 2 unbekannt<br />
(1 − α) − Konfidenzintervall <strong>für</strong> µ :<br />
[<br />
¯X − t 1− α<br />
2<br />
S √n , ¯X + t 1− α<br />
2<br />
S √n<br />
]<br />
,<br />
d.h. ersetze in 1. σ durch Schätzer S <strong>und</strong> z 1− α<br />
2<br />
durch t 1− α<br />
2<br />
.<br />
“Herleitung”:<br />
3. Konfidenzintervall <strong>für</strong> µ ohne Normalverteilungsannahme<br />
approximatives (1 − α)-Konfidenzintervall (<strong>für</strong> n ≥ 30): wie in 2., mit z 1− α<br />
2<br />
anstatt t 1− α<br />
2<br />
“Herleitung” (zentraler Grenzwertsatz):<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 160<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 161<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
9. Schätzen 9.4 Konfidenzintervalle<br />
4. X ∼ B(1,π), Konfidenzintervall <strong>für</strong> Anteilswert π<br />
approximatives (1 − α)-Konfidenzintervall: ˆπ ± z 1− α<br />
2<br />
√<br />
ˆπ(1−ˆπ)<br />
n<br />
“Herleitung”:<br />
Bemerkung: Breite von Konfidenzintervallen<br />
Beispiel Konfidenzintervall <strong>für</strong> µ: Breite = 2 · z 1− α<br />
2<br />
σ √n<br />
1 − α größer (kleiner) ⇒ z 1− α<br />
2<br />
größer (kleiner) ⇒ KI breiter (schmaler)<br />
n größer (kleiner) ⇒ KI schmaler (breiter)<br />
n → nc ⇒ Breite verändert sich um Faktor √ c !<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 162<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 163
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
9.5 Nichtparametrische Dichteschätzung<br />
Nachteile des Histogramms:<br />
Bisher:<br />
Funktionale Form der Dichte f(x | θ) bis auf unbekannte Parameter<br />
θ bekannt; z.B. X ∼ N(µ, σ 2 ), X ∼ Po(λ), etc.<br />
Jetzt:<br />
Ziel:<br />
Bekannt:<br />
Kein parametrischer Verteilungstyp vorausgesetzt; X ∼ f(x) stetig<br />
“Nichtparametrische” Schätzung von f(x)<br />
ˆf(x) ≡ Histogramm<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 164<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 165<br />
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
Besser: Gleitendes Histogramm<br />
ˆf(x) =<br />
1<br />
n · Anzahl der Daten x i in [x − h, x + h)<br />
2h<br />
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
Darstellung des gleitenden Histogramms durch Rechteckfenster<br />
• Einheitsrechteckfenster/Einheits-“Kern”<br />
{<br />
1<br />
2<br />
<strong>für</strong> − 1 ≤ u < 1<br />
K(u) =<br />
0 sonst<br />
• Rechteckfenster über x i<br />
( )<br />
1 x −<br />
h K xi<br />
=<br />
h<br />
⇒ ˆf(x) = 1 n<br />
{<br />
1<br />
2h<br />
x i − h ≤ x < x i + h<br />
0 sonst<br />
n∑<br />
i=1<br />
( )<br />
1 x −<br />
h K xi<br />
h<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 166<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 167
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
Weitere Kerne:<br />
• Epanechnikov-Kern: K(u) = 3 4 (1 − u2 ) <strong>für</strong> −1 ≤ u < 1, 0 sonst<br />
• Bisquare-Kern: K(u) = 15<br />
16 (1 − u2 ) 2 <strong>für</strong> −1 ≤ u < 1, 0 sonst<br />
• Gauß-Kern: K(u) = √ 1<br />
2π<br />
exp ( − 1 2 u2) <strong>für</strong> u ∈ R<br />
K(u)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Epanechnikov-Kern<br />
K(u)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Bisquare-Kern<br />
K(u)<br />
0.0 0.2 0.4 0.6 0.8 1.0<br />
Gauss-Kern<br />
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
Definition: Kern-Dichteschätzer<br />
Sei K(u) eine Kernfunktion. Zu gegebenen Daten x 1 , ...,x n ist dann<br />
ˆf(x) = 1 n∑<br />
( ) x − xi<br />
K ,x ∈ R<br />
nh h<br />
i=1<br />
ein (Kern-) Dichteschätzer <strong>für</strong> f(x).<br />
Bemerkungen:<br />
-2 -1 0 1 2<br />
u<br />
-2 -1 0 1 2<br />
u<br />
-3 -2 -1 0 1 2 3<br />
u<br />
Häufig verwendete Kerne zur Approximation von Dichtekurven<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 168<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 169<br />
9. Schätzen 9.5 Nichtparametrische Dichteschätzung<br />
10. Testen: Einführung <strong>und</strong> Konzepte<br />
Beispiele:<br />
10. Testen: Einführung <strong>und</strong> Konzepte<br />
0.0 0.0006 0.0012<br />
0 500 1000 2000 3000<br />
Nettomiete in DM<br />
0 10 20 30 40<br />
-0.15 -0.05 0.05 0.15<br />
Renditen der MRU-Aktie<br />
Approximation durch Kerndichteschätzer (—) <strong>und</strong> Normalverteilung (· · · )<br />
10.1 Einführung: Gauß-, Student- <strong>und</strong> Binomialtest<br />
10.2 Prinzipien des Testens von Hypothesen<br />
Ziele des Kapitels:<br />
Exemplarische Einführung in das Testen von Hypothesen,<br />
Beschreibung der generellen Konzepte<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 170<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 171
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Gauß- <strong>und</strong> Student-Test: bekannteste Tests zum Prüfen von Hypothesen über<br />
µ = E(X)<br />
Beispiel: Qualitätssicherung<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Allgemeine Form der Hypothesen über µ = E(X):<br />
a) H 0 : µ = µ 0 , H 1 : µ ≠ µ 0 zweiseitige Alternative H 1<br />
b) H 0 : µ = µ 0 , H 1 : µ < µ 0 einseitige Alternative H 1<br />
c) H 0 : µ = µ 0 , H 1 : µ > µ 0 einseitige Alternative H 1<br />
Bemerkungen:<br />
• Verschiedene Tests unterscheiden sich durch Annahmen über X.<br />
• Binomialtest: Testen von analogen Hypothesen über π = P(X = 1) bei<br />
Bernoulli-Variable<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 172<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 173<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10.1.1 (Exakter) Gauß-Test<br />
• Annahmen: X ∼ N(µ,σ 2 ) mit bekannter Varianz σ 2 , Stichprobenvariablen<br />
X 1 ,...,X n i.i.d. wie X.<br />
• Hypothesen über µ = E(X): a), b), c) wie oben<br />
• Idee <strong>für</strong> Test: Falls H 0 richtig ist: E(X) = µ 0 . Bilde arithmetisches Mittel ¯x<br />
zu den Stichprobenwerten x 1 , ...,x n . Lehne H 0 ab, falls Abweichung zwischen<br />
µ 0 <strong>und</strong> ¯x zu groß.<br />
a)<br />
• Frage: wie groß sind die kritischen Werte zu wählen?<br />
• Diskussion <strong>für</strong> Hypothesenpaar c) H 0 : µ = µ 0 , H 1 : µ > µ 0<br />
Übergang von ¯X zu standardisierter Teststatistik<br />
Z = ¯X − µ 0 √ n.<br />
σ<br />
Unter H 0 gilt: ¯X ∼ N(µ 0 , σ2<br />
n ) ⇒ Z ∼ N(0,1)<br />
b)<br />
c)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 174<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 175
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
• Testvorschrift <strong>für</strong> Z: H 0 ablehnen ⇔ Z > k<br />
Frage: Wie ist der kritische Wert k zu wählen?<br />
• Prinzip: Die Wahrscheinlichkeit <strong>für</strong> den<br />
Fehler 1.Art: H 0 wird abgelehnt, obwohl H 0 richtig ist<br />
Beim exakten Gauß-Test ist dies äquivalent zu<br />
P(Z > k | µ = µ 0 ) = α<br />
⇔ k = z 1−α (1 − α-Quantil der Standardnormalverteilung)<br />
Testvorschrift: H 0 ablehnen, falls Z > z 1−α<br />
soll (höchstens) gleich einem (kleinen) vorgegebenen Signifikanzniveau α<br />
(z.B. = 1%, 5%, 10%) sein. D.h.<br />
P(H 0 ablehnen | H 0 richtig) = α<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 176<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 177<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Bemerkungen:<br />
1. Neben dem Fehler 1.Art gibt es den<br />
2. Falls H 0 : µ ≤ µ 0 gilt, also auch µ < µ 0 als Nullhypothese möglich ist, folgt<br />
P(Fehler 1.Art) = P(Z > z 1−α | µ ≤ µ 0 ) ≤ α<br />
Fehler 2.Art: H 0 wird nicht abgelehnt, obwohl H 1 richtig ist.<br />
Es gilt (vergleiche 10.2, Gütefunktion):<br />
Je kleiner (größer) das Signifikanzniveau α gewählt wird, desto größer (kleiner)<br />
wird die Wahrscheinlichkeit <strong>für</strong> einen Fehler 2.Art.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 178<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 179
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Hypothesenpaar b) H 0 : µ = µ 0 , µ < µ 0<br />
symmetrisch zu c),<br />
⇒<br />
Hypothesenpaar a) H 0 : µ = µ 0 , H 1 : µ ≠ µ 0<br />
Unter H 0 : Z ∼ N(0, 1)<br />
Testvorschrift: H 0 ablehnen, falls Z < −z 1−α<br />
Testvorschrift: H 0 ablehnen, falls |Z| > z 1− α<br />
2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 180<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 181<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Alternative Formulierungen der Testentscheidungen:<br />
1. Direkt über ¯X statt Z<br />
2. Mit Hilfe von Konfidenzintervallen<br />
3. Mit p-Werten (“Überschreitungswahrscheinlichkeiten”)<br />
1. Nur <strong>für</strong> a) H 0 : µ = µ 0 , H 1 : µ ≠ µ 0 :<br />
H 0 ablehnen, falls |Z| > z 1− α<br />
2<br />
, Z = ¯X − µ 0 √ n<br />
σ<br />
⇔ H 0 ablehnen, falls | ¯X − µ 0 | > z 1− α<br />
2<br />
σ √n<br />
⇔ H 0 ablehnen, falls ¯X < µ 0 − z 1− α<br />
2<br />
σ √n oder ¯X > µ 0 + z 1− α<br />
2<br />
σ √n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 182<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 183
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
2. Testentscheidung in 1. offensichtlich äquivalent zu<br />
H 0 ablehnen, falls µ 0 /∈ KI <strong>für</strong> µ, d.h.<br />
[ ]<br />
µ 0 /∈ ¯X −<br />
σ z1− α √n 2<br />
, ¯X +<br />
σ z1− α √n 2<br />
3. Testentscheidungen mit Überschreitungswahrscheinlichkeiten (p-Werte, p-<br />
value)<br />
Zunächst c) H 0 : µ = µ 0 , H 1 : µ > µ 0 : H 0 ablehnen, falls Z > z 1−α .<br />
Bemerkung:<br />
1. <strong>und</strong> 2. lassen sich auch <strong>für</strong> einseitige Problemstellungen b) <strong>und</strong> c) formulieren.<br />
p-value<br />
Offensichtlich: Z > z 1−α ⇔ ↓ p< α<br />
Dabei ist p = P H0 (Z > z) = 1 − Φ(z)<br />
↑<br />
Realisierung der Teststatistik<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 184<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 185<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
b): Analog: Z < −z 1−α ⇔ p < α<br />
a):<br />
Bemerkungen:<br />
• Statistische Programmpakete geben in der Regel p-Werte <strong>für</strong> zweiseitige Tests<br />
aus.<br />
Dann: H 0 ablehnen ⇔ “p -value” < α, α vorgegebenes Signigikanzniveau.<br />
• Vorsicht bei einseitigen Tests zu b) <strong>und</strong> c):<br />
Dann gilt p = 1 − Φ(Z), nicht p/2 = 1 − Φ(z) ⇔ p = 2(1 − Φ(z)),<br />
d.h. p-Werte müssen <strong>für</strong> Testentscheidung halbiert werden.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 186<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 187
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Annahmen:<br />
10.1.2 Approximativer Gauß-Test<br />
X beliebig verteilt mit E(X) = µ; V ar(X) = σ 2 bekannt.<br />
X 1 , ...,X n i.i.d. wie X; Faustregel: n ≥ 30<br />
Wegen zentralem Grenzwertsatz: Unter µ = µ 0 gilt<br />
¯X a ∼ N(µ 0 , σ2<br />
n ) bzw. Z a ∼ N(0, 1)<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Beispiel:<br />
Testvorschrift wie beim exakten<br />
Gauß-Test.<br />
Aber: P(Fehler 1.Art) a ≤ α<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 188<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 189<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10.1.3 Student-Test<br />
• Annahmen: Wie beim Gauß-Test in 10.1.1 bzw. 10.1.2, aber: σ 2 unbekannt<br />
• Hypothesen: a), b), c) wie bisher<br />
• Idee: Ersetze σ (beim Gauß-Test) durch<br />
S = √ 1 n∑<br />
(X i −<br />
n − 1<br />
¯X) 2 ,<br />
i=1<br />
Man kann zeigen: X ∼ N(µ 0 ,σ 2 )<br />
⇒<br />
⇒ T ∼ t(n − 1) Student-verteilt mit n − 1 Freiheitsgraden<br />
Herleitung der Testvorschriften wie beim Gauß-Test; ersetze Z durch T <strong>und</strong><br />
die Dichte φ von Z durch Dichte der t(n − 1)-Verteilung.<br />
⇒ Ersetze in Testvorschriften Z durch T <strong>und</strong> z-Quantile durch t(n − 1)-<br />
Quantile.<br />
Für n ≥ 30 : t(n − 1)-Quantile ≈ z-Quantile<br />
⇒ Z = ¯X−µ 0<br />
σ<br />
√ n Teststatistik T =<br />
¯X−µ 0<br />
√<br />
S n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 190<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 191
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
10.1.4 Binomial-Test<br />
Annahmen: X ∼ B(1,π), d.h. P(X = 1) = π; X 1 ,...,X n i.i.d. wie X; <strong>für</strong><br />
approximativen Binomial-Test: n ≥ 30<br />
Hypothesen:<br />
a) H 0 : π = π 0 , H 1 : π ≠ π 0<br />
Teststatistik:<br />
X = X 1 + . ..+X n absolute Häufigkeit von Einsen, unter π = π 0 : X ∼ B(n,π 0 )<br />
Standardisierte Teststatistik:<br />
Z = X − nπ 0<br />
√<br />
nπ0 (1 − π 0 ) = ˆπ − π 0<br />
√<br />
π 0 (1−π 0 )<br />
n<br />
b) H 0 : π ≥ π 0 H 1 : π < π 0<br />
c) H 0 : π ≤ π 0 , H 1 : π > π 0<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 192<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 193<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.1 Gauß-Test, Student-Test <strong>und</strong> Binomialtest<br />
Bemerkung:<br />
• n < 30: exakter Binomial-Test nötig<br />
• n ≥ 30: approximativer Binomial-Test<br />
<strong>für</strong> π = π 0 : Z ∼ a N(0, 1) (zentraler Grenzwertsatz)<br />
⇒ gleiche Testvorschriften wie beim approximativen Gauß-Test.<br />
Beispiel:<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
Parameter-Tests<br />
Generelle Problemstellung<br />
X ∼ F(x | θ), θ ∈ Θ<br />
10.2 Prinzipien des Testens von Hypothesen<br />
θ unbekannter Parameter/Kennwert<br />
Θ zulässiger Bereich <strong>für</strong> θ<br />
Beispiel: Gauß-Test<br />
X ∼ N(µ,σ 2 ),σ 2 bekannt<br />
θ = µ = E(X)<br />
Θ = R<br />
Nullhypothese H 0 : θ ∈ Θ 0 a) Θ 0 = {µ 0 }, Θ 1 = R\{µ 0 }<br />
Alternativhypothese H 1 : θ ∈ Θ 1 c) Θ 0 = (−∞, µ 0 ], Θ 1 = (µ 0 , ∞)<br />
Θ 0 ∩ Θ 1 = ∅<br />
X 1 , ...,X n i.i.d. wie X X 1 ,...,X n i.i.d. N(µ,σ 2 )<br />
T = t(X 1 , ...,X n ) Teststatistik T = Z = ( ¯X−µ 0 ) √<br />
σ n<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 194<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 195
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
Nichtparametrische Tests<br />
Struktur von Tests<br />
H 0 : X normalverteilt,<br />
H 0 : X,Y unabhängig,<br />
usw. (Kap.11)<br />
H 1 : X nicht normalverteilt<br />
H 1 : X,Y abhängig<br />
1. Inhaltliches Problem als Testproblem formulieren, Annahmen über X,Y,...<br />
festlegen. H 0 <strong>und</strong> H 1 bilden.<br />
2. Signifikanzniveau α festlegen.<br />
3. Daten aus Stichprobe erheben.<br />
4. Prüfgröße/Teststatistik T<br />
Verteilung von T unter H 0 muss (approximativ) bekannt sein.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 196<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 197<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
5. Testentscheidung: H 0 ablehnen, falls T in kritischen Bereich fällt.<br />
Wahrscheinlichkeit <strong>für</strong> den Fehler 2.Art beim exakten Gauß-Test<br />
6. Fehlentscheidungen:<br />
H 0 ablehnen H 0 nicht ablehnen<br />
H 0 richtig Fehler 1.Art<br />
H 1 richtig<br />
Fehler 2.Art<br />
Alle Signifikanztests garantieren:<br />
P(Fehler 1.Art) ≤ α<br />
Es gilt:<br />
P(Fehler 2.Art) = P(H 0 nicht ablehnen | H 1 richtig) =<br />
= P(Z ≤ z 1−α | µ > µ 0 )<br />
¯X ∼ N(µ,σ 2 ) ⇒ Z = ¯X−µ 0<br />
σ<br />
√ n ∼ N(<br />
µ−µ 0<br />
√<br />
σ n, 1)<br />
⇒ P(Z ≤ z 1−α | µ > µ 0 ) = Φ(z 1−α − µ−µ 0<br />
σ<br />
(Fall c))<br />
√ n), µ > µ0<br />
Frage: P(Fehler 2.Art) =?<br />
Gütefunktion<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 198<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 199
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
10. Testen: Einführung <strong>und</strong> Konzepte 10.2 Prinzipien des Testens von Hypothesen<br />
Gütefunktion<br />
Gütefunktion g(µ), µ ∈ R fasst P(Fehler 1.Art) <strong>und</strong> P(Fehler 2.Art) in einer<br />
Funktion zusammen.<br />
Gütefunktion beim zweiseitigen Gauß-Test<br />
g(µ) := P(H 0 ablehnen | µ) = 1 − Φ(z 1−α − µ − µ 0√ n)<br />
σ<br />
(Fall c))<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 200<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 201<br />
11. Spezielle Testprobleme<br />
11. Spezielle Testprobleme<br />
11. Spezielle Testprobleme<br />
Ziel: Ausgewählte Tests zu Standardproblemen bei<br />
• Untersuchung der Verteilung eines Merkmals: Ein-Stichproben-Fall<br />
• Vergleich von Verteilungen bei unabhängigen <strong>und</strong> verb<strong>und</strong>enen Stichproben:<br />
Zwei- <strong>und</strong> Mehr-Stichproben-Fall<br />
11.1 Ein-Stichproben-Fall<br />
11.2 Vergleiche aus unabhängigen Stichproben<br />
11.3 Vergleiche aus verb<strong>und</strong>enen Stichproben<br />
11.4 Zusammenhangsanalyse<br />
• Tests auf Korrelation <strong>und</strong> Unabhängigkeit<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 202<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 203
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11.1 Ein-Stichproben-Fall<br />
• Annahme: Stichprobenvariablen X 1 ,...,X n i.i.d. wie zu untersuchende Variable<br />
X verteilt.<br />
• Ziele: Tests auf Lage (Erwartungswert, Median) <strong>und</strong> Verteilung<br />
• Tests auf Lage: Vorzeichen- <strong>und</strong> Wilcoxon-Test als nonparametrische Alternativen<br />
zum Gauß- bzw. Student-Test<br />
• Test auf Verteilung: χ 2 -Anpassungstest<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
Definition: Vorzeichen-Test<br />
• Annahmen: X 1 , ...,X n unabhängige Wiederholungen, X besitzt stetige Verteilungsfunktion<br />
• Hypothesen:<br />
(a) H 0 : x med = δ 0 H 1 : x med ≠ δ 0<br />
(b) H 0 : x med ≥ δ 0 H 1 : x med < δ 0<br />
(c) H 0 : x med ≤ δ 0 H 1 : x med > δ 0<br />
• Teststatistik: A = Anzahl der Stichprobenvariablen mit einem Wert kleiner<br />
als δ 0<br />
• Verteilung unter x med = δ 0 : B(n,0.5), <strong>für</strong> n ≥ 25 approximativ N(0.5n, 0.25n)<br />
• Ablehnungsbereiche: Für n ≥ 25 wie beim approximativen Binomialtest mit<br />
π 0 = 0.5. Für n < 25 exakter Binomialtest nötig.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 204<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 205<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
Bemerkungen zum Vorzeichen-Test<br />
• Keine Annahmen über Verteilungstyp notwendig; nur: stetige Verteilungsfunktion.<br />
Deshalb: verteilungsfreier bzw. nonparametrischer Test<br />
• Unter x med = δ 0 gilt P(X i < δ 0 ) = 0.5; ⇒<br />
A ∼ B(n,0.5).<br />
D.h.: Vorzeichen-Test ist spezieller Binomialtest auf π 0 = 0.5.<br />
• Falls X normalverteilt: Effizienzverlust, d.h. geringere Güte als Student-Test<br />
Definition: Wilcoxon-Vorzeichen-Rang-Test<br />
• Annahmen: X 1 ,...,X n unabhängig <strong>und</strong> identisch verteilt wie X.<br />
X metrisch skaliert <strong>und</strong> symmetrisch verteilt. Verteilungsfunktion stetig.<br />
• Hypothesen:<br />
(a) H 0 : x med = δ 0 H 1 : x med ≠ δ 0<br />
(b) H 0 : x med ≥ δ 0 H 1 : x med < δ 0<br />
(c) H 0 : x med ≤ δ 0 H 1 : x med > δ 0<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 206<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 207
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
• Teststatistik: W + ∑<br />
= n rg|D i |Z i<br />
i=1 {<br />
1 D i > 0<br />
mit D i = X i − δ 0 , Z i =<br />
0 D i < 0 .<br />
Für n > 20 ist W + approximativ verteilt nach N<br />
• Ablehnungsbereich:<br />
( )<br />
n(n+1)<br />
4<br />
, n(n+1)(2n+1)<br />
24<br />
.<br />
(a) W + < w + α/2<br />
oder W + > w + 1−α/2<br />
(b) W + < w α<br />
+<br />
(c) W + > w 1−α + ,<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
Bemerkungen:<br />
• Keine Annahmen über Verteilungstyp notwendig; nur: stetige <strong>und</strong> symmetrische<br />
Verteilungsfunktion. Deshalb: verteilungsfreier/nonparametrischer Test.<br />
• Wegen Symmetrie: x med = E(X).<br />
⇒ Hypothesenpaare (a), (b), (c) identisch zum Gauß- <strong>und</strong> Student-Test<br />
⇒ Alternative zum Student-Test; keine Normalverteilungsannahme notwendig.<br />
wobei w +˜α das tabellierte ˜α-Quantil der Verteilung von W + ist.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 208<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 209<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
• Zur Teststatistik W + :<br />
1. Berechne die Differenzen D i = X i − δ 0 , i = 1,...,n.<br />
2. Bilde die zugehörigen betragsmäßigen Differenzen |D 1 |,...,|D n |.<br />
3. Ordne diesen betragsmäßigen Differenzen Ränge zu, d.h. der kleinste<br />
Betrag erhält den Rang 1, der zweitkleinste Betrag den Rang 2, usw..<br />
Bezeichnet rg|D i | den Rang von |D i |, ergibt sich die Teststatistik als die<br />
Summe<br />
{<br />
n∑<br />
W + 1 wenn D i > 0<br />
= rg|D i |Z i mit Z i =<br />
0 wenn D i < 0.<br />
i=1<br />
W + stellt damit die Summe über alle Ränge dar, die zu Beobachtungen<br />
gehören, <strong>für</strong> die X i > δ 0 , d.h. D i > 0 gilt.<br />
Bei Bindungen (ties): Durchschnittsränge vergeben.<br />
• Idee der Teststatistik:<br />
– Unter x med = δ 0 ⇒ (wegen symmetrischer Verteilung) Summe der<br />
Ränge mit D i > 0 ≈ Summe der Ränge mit D i < 0<br />
⇒ E(W + ) = (rg(D 1 ) + . .. + rg(D n ))/2 = (1 + . .. + n)/2 = n(n+1)<br />
4<br />
– Ist x med < δ 0 bzw. x med > δ 0 : Anzahl der i mit X i > δ 0 bzw. X i > δ 0<br />
wird kleiner.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 210<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 211
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
• Verteilung von W + unter x med = δ 0 hängt nicht von der wahren Verteilung<br />
von X ab: verteilungsfreier Test.<br />
Exakte Herleitung <strong>für</strong> endliches n schwierig.<br />
⇒ Tabellen <strong>für</strong> Quantile bzw. Normalverteilungsapproximation<br />
• Geringer Effizienzverlust gegenüber Student-Test, falls X tatsächlich normalverteilt.<br />
χ 2 -Anpassungstest<br />
Ziel: Testen, ob eine spezifische Verteilung, z.B. N(10, 25), vorliegt, oder ein<br />
bestimmter Verteilungstyp, z.B. Normalverteilung mit beliebigen Parametern<br />
µ, σ 2 .<br />
• X kategorial ∈ {1, ...,k}; X 1 ,...,X n i.i.d. wie X<br />
Beobachtete Häufigkeiten: h 1 ,...,h k <strong>für</strong> Werte 1, . ..,k.<br />
Unter H 0 : P(X i = i) = π i ⇒ h i ∼ B(n,π i ), E(h i ) = nπ i .<br />
Idee: Vergleiche beobachtete Häufigkeiten h i mit erwarteten Häufigkeiten<br />
nπ i , i = 1, . ..,k.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 212<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 213<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
• X stetig oder diskret mit vielen Ausprägungen<br />
Gruppiere X in k benachbarte Klassen 1,...,k.<br />
Berechne hypothetische Klassenhäufigkeiten π i = P(X ∈ i) <strong>für</strong> Verteilung F<br />
von X unter H 0 , z.B. <strong>für</strong> Normalverteilung.<br />
Falls F unbekannte Parameter enthält, z.B. µ <strong>und</strong> σ 2 : Parameter aus Stichprobe<br />
schätzen.<br />
Dann weiter wie bei kategorialem X.<br />
Definition: χ 2 -Anpassungstest bei kategorialem Merkmal<br />
• Annahme: X 1 ,...,X n unabhängig <strong>und</strong> identisch verteilt wie X ∈ {1, . ..,k}<br />
• Hypothesen: H 0 : P(X = i) = π i , i = 1,...,k<br />
H 1 : P(X = i) ≠ π i <strong>für</strong> mindestens ein i<br />
• Teststatistik: χ 2 = k ∑<br />
i=1<br />
(h i −nπ i ) 2<br />
nπ i<br />
• Verteilung unter H 0 : approximativ χ 2 (k − 1),<br />
Approximation anwendbar, wenn nπ i ≥ 1 <strong>für</strong> alle i, nπ i ≥ 5 <strong>für</strong> mindestens<br />
80% der Zellen<br />
• Ablehnungsbereich: χ 2 > χ 2 1−α(k − 1)<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 214<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 215
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
χ 2 -Test <strong>für</strong> gruppierte Daten<br />
Exkurs: Normal-Quantil-Plots<br />
Normal-Quantil-Plots sind eine grafisch-explorative Alternative, um zu untersuchen,<br />
ob eine Normalverteilung vorliegt.<br />
Idee: Vergleiche Quantile der empirischen Verteilung der Stichprobe mit entsprechenden<br />
Quantilen der Standardnormalverteilung. Dazu fasst man die geordnete<br />
Urliste x (1) ,...,x (n) als Quantile der empirischen Verteilung auf.<br />
Dann ist x (i) das i/n -Quantil.<br />
Stetigkeitskorrektur: Verwende (i−0.5)/n -Quantile der Standardnormalverteilung.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 216<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 217<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
11. Spezielle Testprobleme 11.1 Ein-Stichproben-Fall<br />
Definition: Normal-Quantil-Plots<br />
Sei x (1) ,...,x (n) die geordnete Urliste. Für i = 1, . ..,n werden die (i − 0.5)/n-<br />
Quantile z (i) der Standardnormalverteilung berechnet. Der Normal-Quantil-Plot<br />
(N-Q-Plot) besteht aus den Punkten<br />
im (z,x)-Koordinatensystem.<br />
(z (1) , x (1) ), ...,(z (n) , x (n) )<br />
• Falls empirische Verteilung approximativ standardnormalverteilt:<br />
N-Q-Plot liegt nahe an der Winkelhalbierenden z.<br />
Renditen der BMW-Aktie<br />
-0.15 -0.05 0.05<br />
••<br />
•<br />
••••<br />
•••<br />
••<br />
••<br />
••<br />
••<br />
•••<br />
••<br />
••<br />
•<br />
•• ••<br />
••<br />
•<br />
••<br />
•<br />
••<br />
•••<br />
••<br />
•<br />
•<br />
• •<br />
•••<br />
••• •••<br />
••<br />
•<br />
•<br />
• ••<br />
• ••<br />
•••<br />
• •<br />
•<br />
•<br />
• • • •<br />
• •<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
•<br />
-2 0 2<br />
•<br />
• Falls empirische Verteilung approximativ normalverteilt:<br />
N-Q-Plot liegt nahe an der Geraden x = ¯x + sz.<br />
Quantile der Standardnormalverteilung<br />
NQ-Plot der Renditen der BMW–Aktie<br />
• Details: Kapitel 2.4.2, FKPT.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 218<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 219
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11.2 Vergleiche aus unabhängigen Stichproben<br />
Zwei-Stichproben-Mittelwertsvergleiche<br />
Ziel: Tests zum Vergleich von Parametern <strong>und</strong> Verteilungen von zwei (oder mehr)<br />
Variablen X,Y,...<br />
Annahmen: X 1 ,...,X n i.i.d. wie X, Y 1 , ...,Y m i.i.d. wie Y ;<br />
X 1 , ...,X n ,Y 1 ,...,Y m insgesamt unabhängig, d.h. die Stichproben<br />
<strong>für</strong> X <strong>und</strong> Y sind voneinander unabhängig.<br />
Bezeichnungen:<br />
• Metrische Merkmale X <strong>und</strong> Y<br />
• Unbekannte Parameter: E(X) = µ X<br />
• Stichprobenvariablen: X 1 ,X 2 , . ..,X n<br />
<strong>und</strong> E(Y ) = µ Y<br />
<strong>und</strong> Y 1 ,Y 2 , ...,Y m<br />
• Annahmen: X 1 ,...,X n unabhängig <strong>und</strong> identisch verteilt wie X<br />
Y 1 , ...,Y m unabhängig <strong>und</strong> identisch verteilt wie Y<br />
X 1 ,...,X n , Y 1 , ...,Y m unabhängig<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 220<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 221<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Hypothesen:<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Je nach den Annahmen über die Verteilungen von X <strong>und</strong> Y ergeben sich verschiedene<br />
Testvarianten.<br />
• Zweiseitiges Testproblem:<br />
(a) H 0 : µ X − µ Y = δ 0 vs. H 1 : µ X − µ Y ≠ δ 0<br />
• Einseitige Testprobleme:<br />
(b) H 0 : µ X − µ Y ≥ δ 0 vs. H 1 : µ X − µ Y < δ 0<br />
(c) H 0 : µ X − µ Y ≤ δ 0 vs. H 1 : µ X − µ Y > δ 0<br />
Verteilung Teststatistik Ablehnbereiche<br />
X ∼ N(µ X , σ<br />
X 2 ),<br />
Y ∼ N(µ Y , σ<br />
Y 2 )<br />
Z = ¯X−Ȳ<br />
(a) |Z| > z<br />
−δ 1− α<br />
0<br />
2<br />
r<br />
σ<br />
X 2 , σ2 Y bekannt σ<br />
X 2 n + σ2 (b) Z < −z 1−α<br />
Y (c) Z > z m 1−α<br />
X ∼ N(µ X , σ 2 X ),<br />
Y ∼ N(µ Y , σ<br />
Y 2 )<br />
T =<br />
σ<br />
X 2 = σ2 Y unbekannt<br />
¯X−Ȳ s<br />
−δ 0<br />
“ 1n + m<br />
1 ”(n−1)S<br />
X 2 +(m−1)S2 Y<br />
n+m−2<br />
(a) |T | > t 1− α<br />
2<br />
(n + m − 2)<br />
(b) T < −t 1−α (n + m − 2)<br />
(c) T > t 1−α (n + m − 2)<br />
X, Y beliebig verteilt<br />
σ<br />
X 2 , σ2 Y unbekannt, n, m > 30 T = ¯X−Ȳ<br />
(a) |T | > z<br />
−δ 1− α<br />
r 0<br />
2<br />
S<br />
X 2 n + S2 (b) T < −z 1−α<br />
Y (c) T > z m 1−α<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 222<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 223
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Wilcoxon-Rangsummen-Test<br />
Verteilungsfreie Alternative zu Gauß-<strong>und</strong> t -Tests.<br />
Annahme: Verteilungsfunktionen F <strong>und</strong> G von X bzw. Y haben gleiche Form,<br />
sind aber möglicherweise um ein Stück gegeneinander verschoben.<br />
⇒ Bilde gepoolte Stichprobe X 1 ,...,X n , Y 1 , ...,Y m <strong>und</strong> zugehörige Ränge<br />
rg(X 1 ), ...,rg(Y m ).<br />
(Bei Bindungen: Durchschnittsränge vergeben.)<br />
Teststatistik: T W = Summe der Ränge, die zu x-Werten gehören.<br />
Falls F ≠ G: T W zu groß <strong>und</strong>/oder zu klein.<br />
Idee: Unter H 0 : x med = y med sind F <strong>und</strong> G identisch, d.h. x- <strong>und</strong> y -Werte<br />
kommen aus der gleichen Verteilung.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 224<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 225<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Definition: Wilcoxon-Rangsummen-Test<br />
• Annahmen: X 1 ,...,X n unabhängig <strong>und</strong> identisch verteilt wie X<br />
• Hypothesen:<br />
Y 1 , ...,Y m unabhängig <strong>und</strong> identisch verteilt wie Y<br />
X 1 ,...,X n <strong>und</strong> Y 1 ,...,Y m unabhängig<br />
X <strong>und</strong> Y besitzen stetige Verteilungsfunktion F bzw. G<br />
(a) H 0 : x med = y med vs. H 1 : x med ≠ y med<br />
(b) H 0 : x med ≥ y med vs. H 1 : x med < y med<br />
(c) H 0 : x med ≤ y med vs. H 1 : x med > y med<br />
• Teststatistik:<br />
T W =<br />
n∑<br />
rg(X i ) =<br />
i=1<br />
n+m<br />
∑<br />
mit<br />
{<br />
1, i-te Beobachtung der gepoolten Stichprobe ist X-Variable<br />
V i =<br />
0, sonst<br />
• Ablehnungsbereiche:<br />
i=1<br />
iV i<br />
(a) T W < w α/2 (n, m) oder T W > w 1−α/2 (n, m)<br />
(b) T W < w α (n, m)<br />
(c) T W > w 1−α (n, m)<br />
wobei w˜α das tabellierte ˜α-Quantil der Verteilung von T W ist.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 226<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 227
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Bemerkungen:<br />
• Für m oder n > 25 ist die Teststatistik approximativ N( n(n+m+1)<br />
verteilt.<br />
• Verteilungsfreie Alternative zum Zwei-Stichproben-t-Test.<br />
2<br />
, nm(n+m+1)<br />
12<br />
)–<br />
χ 2 -Homogenitätstest<br />
Ziel: Test auf Gleichheit der Verteilungen von zwei oder mehr Variablen<br />
X 1 ,X 2 ,...,X k . Meist: X i Merkmal X in i-ter Population oder unter<br />
i-ter Versuchsbedingung.<br />
X jeweils entweder kategorial mit m Kategorien oder gruppiert in m Klassen.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 228<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 229<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Daten zusammengefasst in Kontingenztabelle:<br />
Beispiel: Kreditwürdigkeit<br />
Population<br />
Merkmalsausprägungen<br />
1 . . . m<br />
1 h 11 . . . h 1m n 1<br />
2<br />
.<br />
h 21<br />
.<br />
. . . h 2m<br />
.<br />
n 2<br />
.<br />
k h k1 . . . h km n k<br />
h·1 . . . h·m<br />
X 1 Kontostand (m = 3) bei guten Krediten (n 1 = 700)<br />
X 2 Kontostand bei Problemkrediten (n 2 = 300)<br />
Kreditwürdigkeit<br />
Konto<br />
nein gut mittel<br />
unproblematische<br />
Kredite<br />
139 348 213 700<br />
Problemkredite 135 46 119 300<br />
274 394 332 1000<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 230<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 231
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
• Idee: Unter H 0 : P(X 1 = j) = ... = P(X k = j) <strong>für</strong> j = 1, . ..,m sind die<br />
Verteilungen identisch.<br />
⇒ h·j<br />
n<br />
Schätzer <strong>für</strong> P(X i = j)<br />
Da h ij ∼ B(n i , P(X i = j)) <strong>und</strong> E(h ij ) = n i P(X i = j)<br />
⇒ ˜h ij = n i<br />
h·j<br />
n<br />
erwartete Häufigkeit von h ij unter H 0<br />
• Teststatistik χ 2 vergleicht h ij <strong>und</strong> ˜h ij <strong>für</strong> alle i, j.<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Definition: χ 2 -Homogenitätstest/k Stichproben<br />
• Annahmen: Unabhängige Stichprobenziehung in den k Populationen<br />
• Hypothesen: H 0 : P(X 1 = j) = · · · = P(X k = j),<br />
• Teststatistik: χ 2 = k ∑<br />
H 1 : P(X i1 = j) ≠ P(X i2 = j)<br />
<strong>für</strong> mindestens ein Tupel (i 1 ,i 2 , j)<br />
m∑<br />
i=1 j=1<br />
„<br />
h ij − n i h·j<br />
« 2<br />
n<br />
n i h·j<br />
n<br />
j = 1,...,m<br />
• Verteilung unter H 0 : approximativ χ 2 ((k − 1)(m − 1))<br />
• Ablehnungsbereich: χ 2 > χ 2 1−α((k − 1)(m − 1))<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 232<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 233<br />
11. Spezielle Testprobleme 11.2 Vergleiche aus unabhängigen Stichproben<br />
Beispiel: Kreditwürdigkeit<br />
Tabelle der zu erwartenden Häufigkeiten ˜h ij<br />
Kreditwürdigkeit<br />
Konto<br />
nein gut mittel<br />
unproblematische<br />
Kredite<br />
191.80 275.80 232.40 700<br />
Problemkredite 82.20 118.20 99.60 300<br />
274 394 332 1000<br />
11. Spezielle Testprobleme 11.3 Vergleiche aus verb<strong>und</strong>enen Stichproben<br />
11.3 Vergleiche aus verb<strong>und</strong>enen Stichproben<br />
Bei unabhängigen Stichproben (11.2): Separate, unabhängige Stichproben; in<br />
getrennten Teilpopulationen.<br />
Jetzt: X <strong>und</strong> Y an gleichen Einheiten erhoben; meist Vorher-nachher-Situation<br />
bzw. wiederholte Messungen.<br />
⇒ χ 2 = 116.851 > χ 2 0.95(2) = 5.99 ⇒ H 0 ablehnen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 234<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 235
11. Spezielle Testprobleme 11.3 Vergleiche aus verb<strong>und</strong>enen Stichproben<br />
Annahmen: Stichprobenpaare (X 1 ,Y 1 ), ...,(X n ,Y n ) unabhängig, aber X i <strong>und</strong><br />
Y i , i = 1,...,n jeweils abhängig.<br />
Idee: Zurückführung auf Ein-Stichproben-Fall durch Übergang zu Differenzen<br />
D i = X i − Y i , i = 1, . ..,n<br />
⇒ D 1 , ...,D n i.i.d. wie D = X − Y<br />
Damit: H 0 : E(X) − E(Y ) = δ 0 ⇔ H 0 : E(D) = δ 0<br />
⇒ Ein-Stichproben-Tests auf Lage anwendbar.<br />
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
11.4 Zusammenhangsanalyse<br />
Ziel: Test auf Unabhängigkeit bzw. Korrelation von X <strong>und</strong> Y<br />
Annahme: (X i , Y i ), i = 1, ...,n, i.i.d. wie (X,Y )<br />
χ 2 -Unabhängigkeitstest<br />
Beispiel: Sonntagsfrage<br />
CDU/CSU SPD FDP Grüne Rest<br />
Männer 144 153 17 26 95 435<br />
Frauen 200 145 30 50 71 496<br />
insgesamt 344 298 47 76 166 931<br />
Frage: Geschlecht <strong>und</strong> Parteipräferenz abhängig?<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 236<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 237<br />
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
Definition: χ 2 -Unabhängigkeitstest<br />
• Annahmen: Unabhängige Stichprobenvariablen (X i ,Y i ), i = 1,...,n<br />
• Hypothesen:<br />
H 0 : P(X = i, Y = j) = P(X = i) · P(Y = j) <strong>für</strong> alle i, j<br />
H 1 : P(X = i, Y = j) ≠ P(X = i) · P(Y = j) <strong>für</strong> mindestens ein Paar (i, j)<br />
• Teststatistik:<br />
χ 2 =<br />
• Ablehnungsbereich:<br />
k∑<br />
m∑<br />
i=1 j=1<br />
(h ij − ˜h ij ) 2<br />
˜h ij<br />
mit ˜hij = h i·h·j<br />
n<br />
X<br />
Y<br />
1 . . . m<br />
1 h 11 . . . h 1m h 1·<br />
. .<br />
. .<br />
k h k1 . . . h km h k·<br />
h·1 . . . h·m n<br />
unter H 0<br />
−→<br />
X<br />
1<br />
.<br />
k<br />
Y<br />
1 . . . m<br />
h 1·h·1<br />
n . . .<br />
h 1·h·m<br />
n h 1·<br />
.<br />
. .<br />
h k·h·1 h<br />
n . . . k·h·m<br />
n h k·<br />
h·1 . . . h·m n<br />
χ 2 > χ 2 1−α((k − 1) · (m − 1))<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 238<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 239
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
Beispiel: Sonntagsfrage<br />
Berechnung von χ 2 bereits in Kap.3:<br />
χ 2 = 20.065; (k − 1)(m − 1) = 4; χ 2 0.95(4) = 9.488<br />
20.065 > 9.488 ⇒ H 0 bei α = 5% ablehnen,<br />
d.h. signifikanter Zusammenhang zwischen Geschlecht <strong>und</strong> Parteipräferenz.<br />
Definition: Korrelationstest<br />
• Annahmen: Unabhängige gemeinsam normalverteilte Stichprobenvariablen<br />
(X i ,Y i ), i = 1, ...,n<br />
• Hypothesen:<br />
(a) H 0 : ρ XY = 0 vs. H 1 : ρ XY ≠ 0<br />
(b) H 0 : ρ XY ≥ 0 vs. H 1 : ρ XY < 0<br />
(c) H 0 : ρ XY ≤ 0 vs. H 1 : ρ XY > 0<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 240<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 241<br />
11. Spezielle Testprobleme 11.4 Zusammenhangsanalyse<br />
12. Regressionsanalyse<br />
• Teststatistik:<br />
• Ablehnungsbereiche:<br />
T =<br />
r XY<br />
√<br />
1 − r<br />
2<br />
XY<br />
√<br />
n − 2<br />
(a) |T | > t 1− α<br />
2<br />
(n − 2)<br />
(b) T < −t 1−α (n − 2)<br />
(c) T > t 1−α (n − 2)<br />
12. Regressionsanalyse<br />
• Ziel: Analyse des Einflusses einer oder mehrerer Variablen X 1 , ...,X p auf eine<br />
Zielvariable Y .<br />
• Bezeichnungen: X 1 ,...,X p erklärende Variablen (Kovariablen, Regressoren)<br />
Y Zielvariable (Regressand)<br />
• Verschiedene Arten von Regressionsmodellen, abhängig vom Typ der Zielvariable<br />
Y <strong>und</strong> der Art des Einflusses von X 1 ,...,X p .<br />
• Hier: Y metrisch bzw. stetig<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 242<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 243
12. Regressionsanalyse<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12.1 Lineare Einfachregression<br />
12.1 Lineare Einfachregression<br />
12.2 Das multiple lineare Regressionsmodell<br />
12.3 Ausblick: Nichtlineare <strong>und</strong> nichtparametrische Regression<br />
Datensituation wie beim Streudiagramm (Kap.3):<br />
(y i , x i ), i = 1,...,n Beobachtungen <strong>für</strong> stetige bzw. metrische Merkmale Y<br />
<strong>und</strong> X.<br />
Beispiel: Mietspiegel<br />
Y Nettomiete bzw. Nettomiete/qm, X Wohnfläche<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 244<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 245<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
• Zusammenhang zwischen Y <strong>und</strong> X nicht deterministisch, sondern durch<br />
(zufällige) Fehler additiv überlagert.<br />
Y = f(x) + ǫ<br />
f deterministische Funktion, ǫ additiver Fehler<br />
• Lineare Einfachregression: f linear<br />
Y = α + βX + ǫ<br />
• Primäres Ziel: Schätze α <strong>und</strong> β aus Daten (y i ,x i ), i = 1,...,n.<br />
Unterstelle dabei lineare empirische Beziehung<br />
Weitere Annahmen an die Fehler ǫ i :<br />
ǫ i i.i.d mit σ 2 = V ar(ǫ i )<br />
y i = α + βx i + ǫ i<br />
α + βx i systematische Komponente, ǫ i zufällige Fehler mit E(ǫ i ) = 0.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 246<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 247
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Standardmodell der linearen Einfachregression:<br />
Es gilt<br />
Y i = α + βx i + ǫ i , i = 1, ...,n.<br />
Dabei sind :<br />
Bemerkungen:<br />
1. Deterministische <strong>und</strong> stochastische Regressoren<br />
Y 1 ,...,Y n beobachtbare metrische Zufallsvariablen,<br />
x 1 , ...,x n gegebene deterministische Werte oder Realisierungen einer<br />
metrischen Zufallsvariable X.<br />
ǫ 1 ,...,ǫ n unbeobachtbare Zufallsvariablen, die unabhängig <strong>und</strong><br />
identisch verteilt sind mit E(ǫ i ) = 0 <strong>und</strong> V ar(ǫ i ) = σ 2 .<br />
Die Regressionskoeffizienten α,β <strong>und</strong> die Varianz σ 2 sind unbekannte Parameter,<br />
die aus den Daten (y i , x i ), i = 1, . ..,n, zu schätzen sind.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 248<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 249<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
2. Eigenschaften der Zielvariablen<br />
E(Y i | x i ) = E(α + βx i + ǫ i ) = α + βx i<br />
V ar(Y i | x i ) = V ar(α + βx i + ǫ i ) = V ar(ǫ i ) = σ 2<br />
Y i | x i , i = 1, ...,n, unabhängig<br />
3. Normalverteilungsannahme<br />
ǫ i ∼ N(0,σ 2 ) bzw. Y i | x i ∼ N(α + βx i , σ 2 )<br />
y<br />
.<br />
.<br />
.<br />
.<br />
.<br />
.<br />
.<br />
.<br />
y = α + βx<br />
x<br />
.<br />
Dichten der Zielvariablen<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 250<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 251
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Schätzen, Testen <strong>und</strong> Prognose<br />
Ziele: Punkt- bzw. Intervallschätzen von α, β <strong>und</strong> σ 2<br />
Schätzen:<br />
Testen von Hypothesen über α <strong>und</strong> β<br />
Prognose von Y <strong>für</strong> neuen Wert x des Regressors X<br />
KQ-(Kleinste-Quadrate-)Methode: Bestimme Schätzer ˆα, ˆβ so, dass<br />
n∑<br />
(Y i − α − βx i ) 2 → min<br />
α,β<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 252<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 253<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Lösung:<br />
KQ-Schätzer<br />
Beweis:<br />
ˆα = Ȳ − ˆβ¯x ,<br />
n∑<br />
(x i − ¯x)(Y i − Ȳ )<br />
ˆβ =<br />
i=1<br />
n∑<br />
=<br />
(x i − ¯x) 2<br />
i=1<br />
n∑<br />
x i Y i − n¯xȲ<br />
i=1<br />
n∑<br />
x 2 i − n¯x2<br />
i=1<br />
Schätzer <strong>für</strong> die Varianz σ 2 :<br />
ˆσ 2 = 1<br />
n − 2<br />
n∑<br />
i=1<br />
ˆǫ 2 i = 1<br />
n − 2<br />
n∑<br />
(Y i − (ˆα + ˆβx i )) 2<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 254<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 255
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Geschätzte Regressionsgerade (Ausgleichsgerade):<br />
Streuungszerlegung <strong>und</strong> Bestimmtheitsmaß<br />
Streuungszerlegung (Quadratsummenzerlegung):<br />
Geschätzte Fehler, Residuen:<br />
Ŷ = ˆα + ˆβx<br />
n∑<br />
n∑<br />
n∑<br />
(Y i − Ȳ ) 2 = (Ŷ i − Ȳ ) 2 + (Y i − Ŷ i ) 2<br />
i=1<br />
i=1<br />
i=1<br />
} {{ } } {{ } } {{ }<br />
SQT = SQE + SQR<br />
ˆǫ i = Y i − Ŷi = Y i − ˆα − ˆβx i<br />
SQT:<br />
SQE:<br />
SQR:<br />
Gesamtabweichungsquadratsumme in Y -Richtung<br />
Durch die Regression erklärter Teil von SQT<br />
Trotz der Regression unerklärt bleibender Teil von SQT<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 256<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 257<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Bestimmtheitsmaß:<br />
Bemerkungen <strong>und</strong> Beweise:<br />
Berechnung: R 2 =<br />
R 2 = SQE<br />
SQT = 1 − SQR<br />
SQT<br />
n∑<br />
(Ŷ i − Ȳ ) 2<br />
i=1<br />
n∑<br />
=<br />
(Y i − Ȳ )2<br />
i=1<br />
n∑<br />
i=1<br />
n∑<br />
i=1<br />
Ŷ 2<br />
i − nȲ 2<br />
Y 2<br />
i − nȲ 2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 258<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 259
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Verteilungseigenschaften der KQ-Schätzer<br />
Verteilung der geschätzten Regressionskoeffizienten:<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Bemerkungen <strong>und</strong> Beweise:<br />
x<br />
2<br />
i<br />
P<br />
ˆα ∼ N(α,σ2ˆα ) mit V ar(ˆα) = σ2ˆα<br />
= σ2<br />
n P = σ 2<br />
(x i −¯x) 2<br />
ˆβ ∼ N(β, σ 2ˆβ) mit V ar(ˆβ) = σ 2ˆβ =<br />
σ 2 P (xi −¯x) 2 =<br />
σ 2<br />
P x 2<br />
i −n¯x 2<br />
P x<br />
2<br />
i<br />
n( P x 2 i −n¯x2 )<br />
Verteilung der standardisierten Schätzfunktionen:<br />
√ P<br />
ˆα−α<br />
∼ t(n − 2) mit ˆσˆα = ˆσ √ x 2<br />
i<br />
ˆσˆα n P = ˆσ<br />
(x i −¯x) 2<br />
ˆβ−β<br />
ˆσˆβ<br />
ˆσ<br />
∼ t(n − 2) mit ˆσˆβ<br />
= √ P(xi =<br />
−¯x) 2<br />
√ P x 2<br />
√ i<br />
P n( x 2<br />
i<br />
−n¯x 2 )<br />
√<br />
ˆσ P x 2<br />
i −n¯x 2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 260<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 261<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Aus den Verteilungseigenschaften folgen:<br />
• (1 − α)-Konfidenzintervalle <strong>für</strong> α <strong>und</strong> β:<br />
<strong>für</strong> α:<br />
<strong>für</strong> β:<br />
• Testen von Hypothesen:<br />
Teststatistiken:<br />
[<br />
]<br />
ˆα − ˆσˆα t 1− α<br />
2<br />
(n − 2), ˆα + ˆσˆα t 1− α<br />
2<br />
(n − 2)<br />
[ˆβ − ˆσˆβt 1− α<br />
2<br />
(n − 2), ˆβ + ˆσˆβt 1− α<br />
2<br />
(n − 2)]<br />
T α0 = ˆα − α 0<br />
ˆσˆα<br />
<strong>und</strong> T β0 = ˆβ − β 0<br />
ˆσˆβ<br />
Hypothesen <strong>und</strong> Ablehnbereiche:<br />
• Prognose:<br />
Konfidenzintervall <strong>für</strong> Y 0 :<br />
[<br />
Hypothesen<br />
Ablehnbereich<br />
H 0 : α = α 0 vs. H 1 : α ≠ α 0 |Tα 0<br />
| > t 1− α<br />
2<br />
(n − 2)<br />
H 0 : β = β 0 vs. H 1 : β ≠ β 0 |T β0 | > t 1− α<br />
2<br />
(n − 2)<br />
H 0 : α ≥ α 0 vs. H 1 : α < α 0 Tα 0<br />
< −t 1−α (n − 2)<br />
H 0 : β ≥ β 0 vs. H 1 : β < β 0 T β0 < −t 1−α (n − 2)<br />
H 0 : α ≤ α 0 vs. H 1 : α > α 0 Tα 0<br />
> t 1−α (n − 2)<br />
H 0 : β ≤ β 0 vs. H 1 : β > β 0 T β0 > t 1−α (n − 2)<br />
Ŷ 0 ± t 1− α<br />
2<br />
(n − 2)ˆσ<br />
Ŷ 0 = ˆα + ˆβx 0<br />
√<br />
]<br />
1 + 1 n + (x 0 − ¯x)<br />
∑ 2<br />
x<br />
2<br />
i − n¯x 2<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 262<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 263
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
12. Regressionsanalyse 12.1 Lineare Einfachregression<br />
Bemerkungen:<br />
Beispiele:<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 264<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 265<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12.2 Multiple lineare Regression<br />
Ziel: Erweiterung der linearen Einfachregression <strong>für</strong> mehrere Kovariablen<br />
X 1 , ...,X p<br />
Daten: (y i ,x i1 ,...,x ip ), i = 1,...,n<br />
Zielvariable Y : metrisch bzw. stetig<br />
Kovariablen: metrisch oder kategorial<br />
Metrische Kovariable x kann auch Transformation x = f(z) einer ursprünglichen<br />
erklärenden Variablen z sein, z.B. x = z 2 , x = ln z, usw..<br />
Kategoriale Regression mit k Kategorien 1, . ..,k durch k − 1 Dummy-Variablen<br />
x (1) ,...,x (k−1) kodiert; mit k als Referenzkategorie.<br />
Dummy-Kodierung<br />
{<br />
x (j) 1, falls Kategorie j vorliegt<br />
=<br />
0, sonst,<br />
wobei j = 1, ...,k − 1.<br />
x (1) = . .. = x (k−1) = 0 ⇔ Referenzkategorie k liegt vor.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 266<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 267
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
Standardmodell der linearen multiplen Regression<br />
Es gilt<br />
Dabei sind<br />
Y i = β 0 + β 1 x i1 + · · · + β p x ip + ǫ i ,<br />
i = 1,...,n.<br />
Y 1 ,...,Y n beobachtbare metrische Zufallsvariablen,<br />
x 1j , ...,x nj deterministische Werte der Variablen X j oder<br />
Realisierungen von Zufallsvariablen X j ,<br />
ǫ 1 ,...,ǫ n unbeobachtbare Zufallsvariablen, die unabhängig <strong>und</strong><br />
identisch verteilt sind mit E(ǫ i ) = 0 <strong>und</strong> V ar(ǫ i ) = σ 2 .<br />
Matrixnotation<br />
Y =<br />
⎛<br />
⎜<br />
⎝<br />
⎞<br />
Y 1<br />
Y 2<br />
⎟<br />
.<br />
Y n<br />
⎛<br />
⎠ ,X = ⎜<br />
⎝<br />
⎞<br />
1 x 11 ... x 1p<br />
1 x 21 ... x 2p<br />
⎟<br />
. . .<br />
1 x n1 ... x np<br />
⎛<br />
⎠ ,β = ⎜<br />
⎝<br />
Y Beobachtungsvektor der Zielvariablen, X Designmatrix<br />
Y = Xβ + ǫ, E(ǫ) = 0; Annahme: Rang von X = p + 1<br />
⎞<br />
β 0<br />
β 1<br />
⎟<br />
.<br />
β p<br />
⎛<br />
⎠ ,ǫ = ⎜<br />
⎝<br />
⎞<br />
ǫ 1<br />
ǫ 2 ⎟<br />
. ⎠<br />
ǫ n<br />
Normalverteilungsannahme:<br />
ǫ i ∼ N(0, σ 2 ) ⇔ Y i | x i1 , ...,x ip ∼ N(β 0 + β 1 x i1 + . .. + β p x ip , σ 2 )<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 268<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 269<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
Schätzen, Testen <strong>und</strong> Prognose<br />
Schätzer ˆβ = (ˆβ 0 ,..., ˆβ p ) ′ nach dem KQ-Prinzip<br />
n∑<br />
(Y i − β 0 − β1x i1 − ... − β p x ip ) 2 = (Y − Xβ) ′ (Y − Xβ) → min<br />
β<br />
i=1<br />
Lösung: KQ-Schätzer<br />
ˆβ = (X ′ X) −1 X ′ Y<br />
Gefittete Werte:<br />
Residuen:<br />
Schätzer <strong>für</strong> die Varianz σ 2 :<br />
ˆσ 2 =<br />
Ŷ i = ˆβ 0 + ˆβ 1 x i1 + ˆβ 2 x i2 + ... + ˆβ p x ip<br />
ˆǫ i = Y i − Ŷi ,<br />
1<br />
n − p − 1<br />
i=1<br />
i = 1,...,n.<br />
n∑<br />
ˆǫ 2 1<br />
i =<br />
n − p − 1<br />
n∑<br />
(Y i − Ŷ i ) 2<br />
i=1<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 270<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 271
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
Erwartungstreue:<br />
E(ˆβ j ) = β j , j = 0,...,p; E(ˆσ 2 ) = σ 2<br />
Varianz:<br />
σj 2 := V ar(ˆβ j ) = σ 2 v j ; v j j-tes Diagonalelement von (X ′ X) −1<br />
Verteilung der standardisierten Schätzfunktionen:<br />
(1 − α)-Konfidenzintervalle <strong>für</strong> β j :<br />
ˆβ j − β j<br />
ˆσ j<br />
∼ t(n − p − 1) , j = 0, . ..,p<br />
[ˆβj − ˆσ j t 1− α<br />
2<br />
(n − p − 1), ˆβj + ˆσ j t 1− α<br />
2<br />
(n − p − 1)]<br />
Geschätzte Varianz:<br />
ˆσ 2 j = ˆσ 2 v j<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 272<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 273<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
12. Regressionsanalyse 12.2 Multiple lineare Regression<br />
Teststatistiken:<br />
T j = ˆβ j − β 0j<br />
ˆσ j<br />
, j = 0, . ..,p<br />
Hypothesen <strong>und</strong> Ablehnbereiche:<br />
Overall–F–Test:<br />
• Hypothesen:<br />
H 0 : β 1 = . .. = β p = 0<br />
H 1 : β j ≠ 0 <strong>für</strong> mindestens ein j<br />
Hypothesen<br />
Ablehnbereich<br />
H 0 : β j = β 0j vs. H 1 : β j ≠ β 0j |T j | > t 1− α<br />
2<br />
(n − p − 1)<br />
H 0 : β j ≥ β 0j vs. H 1 : β j < β 0j T j < −t 1−α (n − p − 1)<br />
H 0 : β j ≤ β 0j vs. H 1 : β j > β 0j T j > t 1−α (n − p − 1)<br />
• Teststatistik:<br />
• Ablehnungsbereich:<br />
F =<br />
R2 n − p − 1<br />
= SQE n − p − 1<br />
1 − R 2 p SQR p<br />
F > F 1−α (p,n − p − 1)<br />
• Prognose<br />
Ŷ 0 = x ′ 0 ˆβ 0 = ˆβ 0 + ˆβ 1 x 01 + . .. + ˆβ p x 0p ,<br />
x 0 neuer Kovariablenvektor<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 274<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 275
12. Regressionsanalyse 12.3 Ausblick: Nichtlineare <strong>und</strong> nichtparametrische Regression<br />
12.3 Ausblick: Nichtlineare <strong>und</strong> nichtparametrische Regression<br />
Nichtlineare parametrische Regression<br />
Bisher: Regressionsmodell Y = β 0 +β 1 X 1 +. ..+β p X p +ǫ linear in den Parametern<br />
β 0 , ...,β p .<br />
12. Regressionsanalyse 12.3 Ausblick: Nichtlineare <strong>und</strong> nichtparametrische Regression<br />
Beispiel: Modell <strong>für</strong> abnehmenden Grenznutzen<br />
Y = α + β · exp(−γX) + ǫ, θ = (α, β, γ) ′<br />
Nichtlineares Modell<br />
Y = f(X 1 , . ..,X p ;θ) + ǫ<br />
f nichtlinear in θ.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 276<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 277<br />
12. Regressionsanalyse 12.3 Ausblick: Nichtlineare <strong>und</strong> nichtparametrische Regression<br />
Nichtparametrische Regression<br />
Spezifikation einer parametrischen Regressionsfunktion f(X;θ) a priori oft schwierig.<br />
Nichtparametrische Regression flexibler: Keine parametrische funktionale Form<br />
postuliert; nur qualitativ-strukturelle Annahmen.<br />
Beispiel: Additives Modell<br />
Y = f 1 (X 1 ) + f 2 (X 2 ) + β 1 Z 1 + ... + β p Z p + ǫ<br />
f 1 , f 2 ,...<br />
glatte, unbekannte Funktionen; werden aus den Daten “nichtparametrisch”<br />
geschätzt.<br />
<strong>Statistik</strong> <strong>II</strong> <strong>für</strong> <strong>Statistik</strong>er, <strong>Mathematiker</strong> <strong>und</strong> <strong>Informatiker</strong> im <strong>SS</strong> 2007 278