2. Zufallsvariablen

Statistische MethodenMarianne Müller14. Dezember 2002

Inhaltsverzeichnis1. Deskriptive Statistik 42. Zufallsvariablen 62.1. Zusammenhang:Wirklichkeit–Modell....................... 62.2. Diskrete Zufallsvariablen . . . ........................... 62.3. StetigeZufallsvariablen .............................. 82.4. Erwartungswert und Varianz ........................... 112.5. Kovarianz und Korrelation . . ........................... 132.6. Anwendungsbereiche von verschiedenen Wahrscheinlichkeitsmodellen . . . . . 133. Schätzungen 143.1. Grenzwertsätze ................................... 143.2. Vertrauensintervalle ................................ 144. Statistische Tests 174.1. BegriffeundVorgehensweise............................ 174.2. Tests fürLageparameter.............................. 184.3. WelcherTestsollbenutztwerden?........................ 194.4. DualitätzwischenTestsundVertrauensintervallen ............... 205. Zusammenhang zwischen zwei kategoriellen Variablen 215.1. 2×2-Kreuztabelle, Kontingenztafel . ....................... 215.2. Chiquadrat-Test auf Unabhängigkeit....................... 215.3. r × s -Kontingenztafeln.............................. 225.4. BemerkungenzumChiquadrat–Test ....................... 235.5. McNemar’s Test fürgepaarteDaten ....................... 235.6. Chiquadrat–Anpassungstest............................ 236. Einfache lineare Regression 256.1. DasModell ..................................... 256.2. MethodederKleinstenQuadrate ......................... 256.3. TestsundVertrauensintervalle .......................... 266.4. Varianzanalyse ................................... 266.5. Residuenanalyse .................................. 277. Multiple lineare Regression 297.1. DasModell ..................................... 297.2. TestsundVertrauensintervalle .......................... 307.3. Modelldiagnostik .................................. 337.4. Modellwahl ..................................... 348. Versuchsplanung 362

9. Varianzanalyse 389.1. Ein-Weg-Varianzanalyse.............................. 389.2. VollständigesBlockdesign ............................. 409.3. Multi–Faktor–Experimente ............................ 40A. Matrizen und Vektoren 42A.1.Definition ...................................... 42A.2.RechnenmitMatrizen ............................... 42A.3. Lineare UnabhängigkeitundinverseMatrizen.................. 43A.4.ZufallsvektorenundKovarianzmatrizen ..................... 433

1. Deskriptive StatistikDie deskriptive Statistik (beschreibende Statistik, explorative Datenanalyse) versucht, dasWesentliche eines Zahlenhaufens zu beschreiben, um die Daten zu verstehen oder präsentierenzu können.Daten bestehen aus Messungen oder Beobachtungen an mehreren Versuchseinheiten (z. B.Personen oder Tiere). Die Grössen oder Merkmale, die erfasst werden, heissen Variablen (sievarieren zwischen den Versuchseinheiten).Zu allererst interessiert die Verteilung einer Variablen: welche Werte werden wie oft angenommen.Dazu macht man eine Häufigkeitstabelle und stellt diese graphisch dar mit einemKuchen- oder Balkendiagramm, bzw. mit einem Histogramm. Andere Darstellungsmöglichkeitensind Stem-and-Leaf-Plot und Boxplot. Die Form der Verteilung sollte in diesen Graphikenerkennbar werden: symmetrisch, links- oder rechtsschief, bimodal.Um die mittlere Lage und die Streuung einer Variablen zu beschreiben, werden statistischeKennzahlen berechnet, wie z. B. arithmetisches Mittel, Median, Quartilsdifferenz undStandardabweichung. Kennzahlen werden auch Statistiken genannt.Welche numerische oder graphische Beschreibung den Daten angemessen ist, hängt vor allemvom Typ der Daten ab: Nominal- oder Ordinaldaten, bzw. diskrete oder stetige Daten.Fischgattungen: Pie- und BarchartRotaugeAlandBrachse6040Stint20HechtBarsch0Brachse Aland Rotauge Stint Hecht Barsch4

stem(fish$length3)HistogrammN = 159 Median = 29.4 Quartiles = 23.1, 39.7Decimal point is 1 place to the right of the colon0 10 20 3010 20 30 40 50 60 70Länge in cm0 : 91 : 1222233333341 : 556666778992 : 0001111222222333333333344444442 : 555555566677778889999999993 : 0011112344443 : 555556666677778888999999994 : 00000111111112222233444 : 55555566667895 : 15 : 56 : 0446 : 8Definition des Boxplots-1 0 1 2 3Ausreissergroesste Beob.=Q1-1.5*IQR5

2. Zufallsvariablen2.1. Zusammenhang: Wirklichkeit–ModellWirklichkeitStichprobeDatendiskretstetigrel. HäufigkeitHäufigkeitstabelleStabdiagrammHistogrammempir. Verteilungsfunktionempir. KennzahlenMittelwert ¯xVarianz s 2ModellPopulationZufallsvariablediskretstetigWahrscheinlichkeitWahrscheinlichkeitsverteilungStabdiagrammDichteVerteilungsfunktiontheoret. KennzahlenErwartungswert E(X)Varianz Var(X)Eine Zufallsvariable (random variable) ist eine quantitative Variable, deren Wert durch daszufälllige Ergebnis von Experimenten oder Beobachtungen bestimmt wird. Zufallsvariablenbilden ein Modell für die beobachteten Grössen, die Daten.Es gibt diskrete (discrete) und stetige (continuous) Zufallsvariablen. Diskrete Zufallsvariablenhaben nur eine endliche oder abzählbare Anzahl möglicher Werte, stetige Zufallsvariablenkönnen alle Werte innerhalb eines Intervalls der reellen Zahlen annehmen.2.2. Diskrete ZufallsvariablenDie Wahrscheinlichkeitsverteilung p (probability function) ist definiert durch:X x 1 x 2 ... x kp p(x 1 ) p(x 2 ) ... p(x k )p(x i ):=P (X = x i ),∑ p(xi )=1.Die kumulative Verteilungsfunktion F (cumulative distribution function) ist definiert durch:F (x) =P (X ≤ x),−∞

0.40.30.250.20P0.20.1P0.150.100.050.00.00 1 2 3 4B(4,0.25)0 2 4 6 8 10B(10,0.25)P0.140.120.100.080.060.040.020.0P0.080.060.040.020.00 10 20 30 40B(40,0.25)0 20 40 60 80 100B(100,0.25)Abbildung 2.1.: BinomialverteilungenBernoulli VerteilungEin Experiment habe zwei mögliche Ausgänge, “Erfolg” und “Misserfolg”, mit den Wahrscheinlichkeitenp und 1 − p.X ={0 : “Misserfolg”1 : “Erfolg”X 0 1p(x) 1-p pBinomialverteilungEs werden n voneinander unabhängige Versuche gemacht. Jeder einzelne Versuch hat zweimögliche Ausgänge, ”Erfolg“ und ”Misserfolg“. Die Wahrscheinlichkeit p für einen Erfolg istkonstant. Die Anzahl Erfolge X hat dann eine Binomialverteilung B(n, p) und die Wahrscheinlichkeitfür k Erfolge ist gegeben durch:(nP (X = k) = pk)k (1 − p) n−kfür k =0, 1,...,n.Geometrische VerteilungEs werden unabhängige Versuche durchgeführt. Jeder einzelne Versuch hat zwei möglicheAusgänge, ”Erfolg“ und ”Misserfolg“. Die Wahrscheinlichkeit p für einen Erfolg ist konstant.X ist die Anzahl Versuche bis und mit dem ersten Erfolg.P (X = k) =(1− p) k−1 p für k =1, 2, 3,....Negative BinomialverteilungEs werden unabhängige Versuche durchgeführt. Jeder einzelne Versuch hat zwei möglicheAusgänge, ”Erfolg“ und ”Misserfolg“. Die Wahrscheinlichkeit p für einen Erfolg ist konstant.7

P0.60.50.40.30.2P0.250.200.150.100.10.00.050.00 1 2 3 4 5a)0 2 4 6b)0.200.150.140.120.10P0.10P0.080.060.050.00.040.020.00 2 4 6 8 10c)0 5 10 15d)Abbildung 2.2.: Poissonverteilungen mit a) λ =0.5, b) λ =2,c)λ =4,d)λ =8X ist die Anzahl Misserfolge bis r Erfolge eingetreten sind.( )k + r − 1P (X = k) =p r (1 − p) k für k =0, 1, 2,....kPoissonverteilungBetrachte die absolute Häufigkeit, mit der ein bestimmtes Ereignis eintritt. Wenn die Ereignisseunabhängig voneinander mit einer konstanten Rate λ passieren, dann hat die AnzahlEreignisse X eine Poissonverteilung P(λ). Die Wahrscheinlichkeit für k Ereignisse pro Zeiteinheitist:P (X = k) = λk e −λk =0, 1, 2,...k!Für n gross und p klein ist die Poissonverteilung eine Näherung für die Binomialverteilungmit λ = np.Ein Prozess, der innerhalb eines festen zeitlichen oder räumlichen Intervalls eine AnzahlEreignisse erzeugt, die einer Poissonverteilung folgt, heisst Poissonprozess.2.3. Stetige ZufallsvariablenDie Dichte f (density) ist eine stückweise stetige Funktion mit f(x) ≥ 0 und ∫ ∞Wenn X eine stetige Zufallsvariable mit Dichte f ist, dann gilt:−∞f(x) dx.P (a

Die kumulative Verteilungsfunktion F (cumulative distribution function) ist definiert durch:F (x) =P (X ≤ x),−∞ 0,λ>0.Die Gammafunktion Γ(x) ist definiert durch: Γ(x) = ∫ ∞0u x−1 e −u du x > 0.Es gilt: Γ(1) = 1, Γ(α) =(α − 1)Γ(α − 1) für α>1, Γ(α) =(α − 1)! , wenn α eine ganzeZahl grösser als 1 ist.NormalverteilungDie Normalverteilung ist das weitaus häufigste Modell für Messdaten. Entwickelt wurdesie als Modell für Messfehler, sie passt aber oft auch in andern Situationen recht gut. Das9

2.01.5f(x)1.00.50.00 1 2 3 4 5 6xAbbildung 2.3.: Exponentialverteilungen mit λ =0.5 (–· – ·), λ =1(······), λ =2(—)2.50.202.00.151.5g(t)g(t)0.101.00.050.50.00.00a)0.0 0.5 1.0 1.5 2.0tb)0 5 10 15 20tAbbildung 2.4.: Gammaverteilungen mit λ = 1 und a) α =0.5 (—) und α =1(···),b) α = 5 (—) und α =10(···)10

0.80.6f(x)0.40.20.0-4 -2 0 2 4 6 8 10xAbbildung 2.5.: Dichtekurven von N (0, 1) , N (3, 4) und N (7, 1/4)hat sich empirisch gezeigt und ein mathematisches Resultat, der Zentrale Grenzwertsatz,bestätigt das. Ein grosser Teil der statistischen Methoden setzt Normalverteilung voraus.Die Dichte einer Zufallsvariablen mit Normalverteilung N (µ, σ 2 ) ist gegeben durch:f(x) = 1 √2πσe −1 2 (x − µσ )2 −∞

Sei X eine stetige Zufallsvariable mit Dichte f. DerErwartungswert E(X) vonX ist definiertals:E(X) =∫ ∞−∞xf(x) dx,falls das Integral existiert.Sei X eine Zufallsvariable mit Erwartungswert E(X). Dann ist die Varianz von X (variance)gegeben durch:Var(X) =E{[X − E(X)] 2 },falls der Erwartungswert existiert. Die Standardabweichung von X (standard deviation) istdie Wurzel aus der Varianz. Oft wird die Varianz mit σ 2 und die Standardabweichung mit σbezeichnet.Wenn X diskret ist, gilt mit E(X) =µ :Var(X) = ∑ i(x i − µ) 2 p(x i ),für X stetig:Var(X) =∫ ∞−∞(x − µ) 2 f(x) dx.RechenregelnSeien X 1 und X 2 Zufallsvariablen und a, b konstante Zahlen. Dann gilt:E(X 1 + X 2 ) = E(X 1 )+E(X 2 )E(a + bX 1 ) = a + bE(X 1 )Var(X 1 + X 2 ) = Var(X 1 )+Var(X 2 ) , falls X 1 und X 2 unabhängig sindVar(a + bX 1 ) = b 2 Var(X 1 ).Zusammenstellung der wichtigsten VerteilungenVerteilung P (X = k) bzw. f(x) Wertebereich E(X) Var(X)(Binomialn )k p k (1 − p) n−k k =0, 1,...,n np np(1 − p)(Neg. Binomial k+r−1 )k p r (1 − p) k k =0, 1,... r 1−ppr 1−pp 2Geometrisch (1 − p) k−1 1p k =1, 2,...λ k e −λPoissonk!k =0, 1,... λ λ1a+bUniformb−aa

2.5. Kovarianz und KorrelationSeien X und Y gemeinsam verteilte Zufallsvariablen mit Erwartungswerten µ X und µ Y .Dann ist die Kovarianz von X und Y (covariance) gegeben durch:Cov(X, Y )=E[(X − µ X )(Y − µ Y )],falls der Erwartungswert existiert.Seien X 1 , X 2 , Y 1 und Y 2 Zufallsvariablen und a, b, c und d konstante Zahlen, dann gilt:Cov(X 1 + X 2 ,Y 1 + Y 2 ) = Cov(X 1 ,Y 1 )+Cov(X 1 ,Y 2 )+Cov(X 2 ,Y 1 )+Cov(X 2 ,Y 2 )Cov(a + bX 1 ,c+ dY 1 ) = bdCov(X 1 ,Y 1 ).Daraus folgt:Var(aX 1 + bX 2 )=a 2 Var(X 1 )+b 2 Var(X 2 )+2abCov(X 1 ,X 2 ).Seien X und Y gemeinsam verteilte Zufallsvariablen mit Varianzen verschieden von Null.Dann ist die Korrelation von X und Y (correlation) gegeben durch:ρ =Cov(X, Y )√Var(X)Var(Y ).Es gilt: −1 ≤ ρ ≤ 1 und ρ = ±1 für Y = a + bX.2.6. Anwendungsbereiche von verschiedenenWahrscheinlichkeitsmodellenVerteilungBeispieleDiskret Uniform Würfeln, einstellige ZufallszahlenBernoulli Spezialfall der Binomial (n =1)BinomialAnzahl Uebertragungsfehler in einer Sequenz fester Länge,Anzahl defekte Stücke unter n Einheiten, Anzahl Bluter untern Knaben, Anzahl Mädchen unter n Kindern, Anzahl vonObjekten, die regulär verteilt sind (zeitlich oder räumlich)Geometrisch Anzahl gekaufte Lose bis zu einem GewinnHypergeometrisch Ziehen ohne Zurücklegen“, Capture-Recapture”Negative Binomial Anzahl von Objekten, die geklumpt verteilt sind (zeitlichoder räumlich), Anzahl Corn-Flakes-KäufePoissonAnzahl Todesfälle pro Jahr, Bakterien in 10ml Lösung, Fahrzeugevor einer Ampel, Telephonanrufe pro 5 Min.Stetig Uniform Zufallszahl zwischen 0 und 1“”Exponential Warte- oder Überlebenszeiten zwischen Ereignissen, diepoissonverteilt sind ( ohne Gedächtnis“), Aufnahmezeiten”von neurologischen RezeptorenGammaWarte- oder Ueberlebenszeiten mit Klumpung“, Zeit zwischenzwei Erdbeben ”NormalMessfehler, Längenmessungen, Mittelwerte (ZGS)13

3. SchätzungenStatistiken werden benutzt, um entsprechende Parameter der Population zu schätzen. EineSchätzung, die aus einer einzelnen Zahl besteht, heisst Punktschätzung.Wegen der Stichprobenvariabilität ergibt sich je nach Stichprobe ein anderer Wert. Es istwichtig zu wissen, wie stark diese Schwankungen sein können, um die Genauigkeit derSchätzung beurteilen zu können.3.1. GrenzwertsätzeGegeben sei eine Population mit Mittelwert µ und Standardabweichung σ. Der Mittelwerteiner Zufallsstichprobe X 1 ,...,X n vom Umfang n aus dieser Population kann als Zufallsvariable¯X betrachtet werden. Für die Wahrscheinlichkeitsverteilung von ¯X gilt dann:µ¯x = µ und σ¯x = σ/ √ n (3.1)Im Mittel liegt die Schätzung richtig, sie ist erwartungstreu, und die Streuung nimmt mitzunehmendem n ab.Mit Hilfe des Gesetzes der grossen Zahl und dem Zentralen Grenzwertsatz kann diese Aussagenoch präzisiert werden.Satz 1 (Gesetz der grossen Zahl) Seien X 1 ,X 2 ,...,X n unabhängige Zufallsvariablen mitE(X i )=µ und Var(X i )=σ 2 .Sei ¯Xn =1/n ∑ ni=1 X i . Dann gilt für ein beliebiges ɛ>0:P (| ¯X n − µ| >ɛ) → 0für n →∞.Für genügend grosses n liegt also ¯X nahe bei µ.Satz 2 (Zentraler Grenzwertsatz) Seien X 1 ,X 2 ,...,X n unabhängige Zufallsvariablen mitE(X i )=µ, Var(X i )=σ 2 und gemeinsamer Verteilungsfunktion F .Dannnähert sich dieVerteilung des Mittelwerts ¯X n der X i für wachsendes n der Normalverteilung an:lim P ( ¯X n − µn→∞ σ/ √ ≤ x) =Φ(x) −∞

l lll lllllllllll llllll llllll ll ll l llll lll l ll l lll l ll l lll l ll l lll ll ll lllll ll l llllll lll l lllll lll l lllll l llllll l lllll l ll l l lllll l llllll lllllllll llll llllll l ll ll l ll l lll l lllll l llllllll l lllllll-4 -2 0 2 4Abbildung 3.1.: Simulation von 100 Vertrauensintervallen um µ =0d. h.P (µ − 1.96σ/ √ n ≤ ¯X ≤ µ +1.96σ/ √ n)=0.95.Nun istµ − 1.96σ/ √ n ≤ ¯X ≤ µ +1.96σ/ √ naequivalent zu¯X − 1.96σ/ √ n ≤ µ ≤ ¯X +1.96σ/ √ n.Wenn σ bekannt ist, kann man also eine Stichprobe ziehen, ¯x berechnen, zusammen mit σin der obigen Ungleichung einsetzen und dann erhält man ein 95%-Vertrauensintervall oderKonfidenzintervall (confidence interval) für den unbekannten Parameter µ:¯x ± 1.96σ/ √ n (3.2)Man kann nicht sagen, dass µ mit einer Wahrscheinlichkeit von 95% im berechneten Intervallliegt. Der Parameter µ ist eine Konstante und nicht zufällig. Aus einer Stichprobe berechnetman den Mittelwert ¯x und daraus die Intervallgrenzen. Auch die Intervallgrenzen sind alsofest und nicht zufällig. Entweder liegt µ im Intervall oder nicht.Zufällig ist der Wert, den die Zufallsvariable ¯X annimmt. Jede Stichprobe liefert ein etwasanderes ¯x und damit ein etwas anderes Intervall ¯x±1.96σ/ √ n. 95% der so erzeugten Intervalleenthalten tatsächlich µ, die restlichen 5% nicht.Vertrauensintervall für Proportion pSei p der Anteil der Stimmbevölkerung, der für Kandidat A ist und ˆp = der entsprechendeAnteil in einer repräsentativen“ Stichprobe vom Umfang n, also eine Schätzung für p.”Gegeben { seien Zufallsvariablen X 1 ,...,X n mit∑1 Person i ist für AXi ∑∼B(n, p),X i =0Xisonstˆp =n15

√Wegen dem Zentralen Grenzwertsatz ist ˆp ∼N(p, as p(1−p)n), σˆp = p(1−p)n.Deshalb gilt: P(P ˆp − 1.96√ p(1−p)( √p − 1.96 p(1−p)n< ˆp

4. Statistische Tests4.1. Begriffe und VorgehensweiseAllgemeinBeispiel1. Problem formulieren:Nullhypothese H 0 festlegen2. Alternativen bestimmen:Alternativhypothese H A3. zu beobachtende Grösse festlegen:Teststatistik T4. Wahrscheinlichkeitsverteilung von Tunter H 0 bestimmen5. Menge aller “extremen” Beobachtungendefinieren:Verwerfungsbereich K mit Signifikanzniveauα6. Daten erheben, Wert von T berechnen:T = t7. P-Wert berechnen8. Entscheidung:t im Verwerfungbereich: verwerfe H 0t im Annahmebereich: behalte H 0 beiErläuterungen:1. Wir nehmen an, dass kein Effekt oder Unterschied vorhanden ist und versuchen Evidenzgegen diese Annahme, die Nullhypothese H 0 , zu finden. Die Nullhypothese ist das zuüberprüfende Modell und besteht meistens aus einer Verteilungsannahme und einerAussage über einen Parameter.2. Weil man Evidenz gegen und nicht für etwas sucht, entspricht die Alternativhypotheseder Arbeitshypothese. Die Nullhypothese möchte man möglichst widerlegen.3. Die Teststatistik basiert meistens auf einer Schätzung des Parameters, der in Null- undAlternativhypothese auftritt.5. Das Signifikanzniveau α (significance level) ist gleich der Wahrscheinlichkeit, ein ”extremes“Resultat zu erhalten, unter der Annahme, dass H 0 stimmt. Je grösser alsoα gewählt wird, desto grösser ist der Verwerfungsbereich und umgekehrt. Üblich sindα =5%oderα = 1%. Das Komplement zum Verwerfungsbereich heisst Annahmebereich.17

7. Der P -Wert (p-value) ist die Wahrscheinlichkeit, dass in einem neuen Versuch einmindestens so extremes Resultat herauskommt, unter der Annahme, dass H 0 richtigist. Der P -Wert ist nicht die Wahrscheinlichkeit, dass H 0 richtig ist. Einer Hypothesekann gar keine Wahrscheinlichkeit zugeordnet werden, sie ist entweder richtig oderfalsch.8. Der Wert von T ist genau dann im Verwerfungsbereich, wenn der P -Wert≤ α. Indiesem Fall wird die Nullhypothese abgelehnt oder verworfen. H 0 wird als statistischwiderlegt betrachtet. Der Test ist (statistisch) signifikant.Wenn der P -Wert> αist, dann liegt der Wert von T im Annnahmebereich und dieDaten sprechen zu wenig gegen H 0 . H 0 kann nicht verworfen werden. Der Test ist nichtsignifikant.Fehler 1. Art: H 0 wird verworfen, obschon H 0 richtig wäre. Die Wahrscheinlichkeit einesFehlers 1. Art ist α und wird auf 5% oder 1% festgelegt.Fehler 2. Art: H 0 wird beibehalten, obschon H A stimmt. Die Wahrscheinlichkeit eines Fehlers2. Art wird meist mit β bezeichnet.Macht: 1 − β ist die Wahrscheinlichkeit, eine wahre Alternativhypothese zu erkennen undheisst die Macht des Tests (power).Beispiel: Vergleich von zwei BetriebssystemenBraucht die Installation von Linux mehr Zeit? 15 InformatikerInnen richteten je zwei Netzwerkeein (Betriebssystem, Applikationen, Peripheriegeräte).Benötigte Zeit in Minuten:Inf. Nr. Linux WinNT Diff. d1 154 145 92 164 162 23 198 156 424 168 152 165 180 168 126 172 157 157 142 155 -138 165 140 259 172 145 2710 158 160 -211 170 165 512 148 174 -2613 188 138 5014 145 142 315 146 149 -34.2. Tests für Lageparameterz-TestSeien X 1 ,...,X n unabhängig normalverteilt mit Erwartungswert µ und bekannter Varianzσ 2 . Betrachte die folgenden Hypothesen:H 0 : µ = µ 0H A : µ ≠ µ 0 .18

Die Teststatistik des z-Tests ist:Z = ¯X − µ 0σ/ √ n , unter H 0 standardnormalverteilt.t-Test für eine StichprobeSeien X 1 ,...,X n unabhängig normalverteilt mit Erwartungswert µ und unbekannter Varianz.Betrachte die folgenden Hypothesen:H 0 : µ = µ 0H A : µ ≠ µ 0 .Die Teststatistik des t-Tests ist:t = ¯X − µ 0S/ √ n , unter H 0 t-verteilt mit n − 1 Freiheitsgraden (degrees of freedom).Vorzeichentest (sign test)Seien X 1 ,...,X n iid mit Median m.H 0 : m = µ 0H A : m ≠ µ 0 .Zur Berechnung der Teststatistik T wird von jedem Wert µ 0 subtrahiert. Dann ist T dieAnzahl positiver (oder negativer) Beobachtungen; T ∼B(n, 0.5).Wilcoxontest (Rangsummentest, signed rank test)Seien X 1 ,...,X n iid stetige, symmetrisch verteilte Zufallsvariablen mit Median m.H 0 : m = µ 0H A : m ≠ µ 0 .Zuerst wird von allen Beobachtungen µ 0 subtrahiert. Die Werte werden dann dem Absolutbetragnach geordnet und die zugehörigen Ränge bestimmt. Sind mehrere Werte gleichgross, werden die Ränge gemittelt.Die Teststatistik ist die Rangsumme aller positiven (oder negativen) Werte T + (oder T − ).Es gibt Tabellen mit den kritischen Werten; für n>30 Normalapproximation.4.3. Welcher Test soll benutzt werden?Im Betriebssystembeispiel wird von den drei Tests auf Lageparameter einer signifikant undzwei nicht. Was nun? Nehmen wir das für uns günstigste Ergebnis und vergessen den Rest?Die verschiedenen Tests haben ganz unterschiedliche Voraussetzungen:z-Test: Daten sind normalverteilt, σ 2 ist bekannt, unabh. Beobachtungent-Test: Daten sind normalverteilt, unabh. BeobachtungenWilcoxontest: Daten sind stetig und symmetrisch verteilt, unabh. BeobachtungenVorzeichentest: unabh. BeobachtungenDie Null- und Alternativhypothese sind entsprechend:19

H 0 : die obigen Voraussetzungen und µ = µ 0 oder m = µ 0H A : die obigen Voraussetzungen und µ ≠ µ 0 oder m ≠ µ 0Der z-Test ist praktisch kaum je benutzbar, weil σ fast immer unbekannt ist. Der t-Test reagiertauf Ausreisser sehr empfindlich, weil ¯x und s empfindlich sind. Er ist hingegen robust(unempfindlich) gegen kleinere Abweichungen von der Normalverteilung, insbesondere fürgrösseres n. Die Robustheit bezieht sich aber nur auf das Signifikanzniveau α. DieMachtdest-Tests kann ziemlich drastisch abnehmen. Der Wilcoxontest hat unter exakter Normalverteilungeine etwas kleinere Macht als der t-Test, bei Abweichungen von der Normalverteilung ister aber deutlich effizienter (mächtiger) als der t-Test. Der Vorzeichentest ist eher ineffizient.Empfehlung:Falls die Daten stetig und symmetrisch sind den Wilcoxontest benutzen, sonst den Vorzeichentest.Falls der t-Test benutzt wird, den Normalplot anschauen.t-Test für zwei unabhängige StichprobenSeien X 1 ,...,X n unabhängig normalverteilt mit Erwartungswert µ X und Varianz σ 2 undY 1 ,...,Y m unabhängig normalverteilt mit Erwartungswert µ Y und Varianz σ 2 .DieY i seienunabhängig von den X i .H 0 : µ X = µ YH A : µ X ≠ µ Y .Die Teststatistik des t-Tests ist:¯X −t = √ Ȳ mit SS 1 p n + 1 p 2 = (n − 1)S2 X +(m − 1)S2 Yn + m − 2mUnter H 0 ist t t-verteilt mit n + m − 2 Freiheitsgraden.Mann-Whitney-Test (Rangsummentest, rank sum test)Seien X 1 ,...,X n iid stetige Zufallsvariablen mit Erwartungswert µ X und Y 1 ,...,Y m iidstetige Zufallsvariablen mit Erwartungswert µ Y .DieY i seien unabhängig von den X i .H 0 : µ X = µ YH A : µ X ≠ µ Y .Bestimme die Rangsummen T (1) der X i und T (2) der Y i in der gemeinsamen“ Stichprobe.”SetzeU (1) = T (1) n(n +1)− , U (2) = T (2) m(m +1)− und U =min(U (1) ,U (2) ).22Die kritischen Werte für U sind tabelliert.4.4. Dualität zwischen Tests und VertrauensintervallenBei einem Test lautet die Frage: ”Welche Beobachtungen sind vereinbar mit H 0 ,bzw.einemParameterwert µ 0 ?“ Der Annahmebereich liefert die Antwort.Umgekehrt wird bei einem Vertrauensintervall gefragt: ”Welche Parameter sind vereinbarmit den Beobachtungen?“ Alle diese Parameterwerte bilden dann das Vertrauensintervall.Satz 4 (Dualitätssatz) Ein Test mit Signifikanzniveau α verwirft H 0 : µ = µ 0 genau dannnicht, wenn µ 0 innerhalb des (1 − α)100%-Vertrauensintervalls liegt.20

5. Zusammenhang zwischen zweikategoriellen Variablen5.1. 2×2-Kreuztabelle, KontingenztafelBeispiel: DesinfektionJoseph Lister, brit. Arzt im 19. Jh., experimentierte mit Karbolsäure, um die hohe Todesratedurch postoperative Infektionen nach Amputationen zu senken.Eine 2×2-Kreuztabelle, oderKontingenztafel, zeigt die 75 Operationen:überlebtDesinfektion ja nein Totalja 34 6 40nein 19 16 35Total 53 22 75YX 1 2 Total1 n 11 n 12 n 1.2 n 21 n 22 n 2.Total n .1 n .2 n ..Verschiedene relative Häufigkeiten:Gemeinsame Häufigkeit: der Anteil der Beobachtungen mit X = 1 und Y = 1 an derGesamtzahl Beobachtungen.Randhäufigkeit, marginale Häufigkeit: der Anteil der Beobachtungen mit X = 1 an derGesamtzahl Beobachtungen.Bedingte Häufigkeit: der Anteil der Beobachtungen mit Y = 1 unter den Beobachtungenmit X =1.Besteht ein Zusammenhang zwischen X und Y ? Vergleiche die bedingten Häufigkeiten miteinander.5.2. Chiquadrat-Test auf UnabhängigkeitGemeinsame Verteilung von X und Y : p ij = P (X = i, Y = j) miti =1, 2,j =1, 2.Randverteilungen: p i. = P (X = i) = ∑ j p ij und p .j = P (Y = j) = ∑ i p ij.YX 1 2 Total1 p 11 p 12 p 1.2 p 21 p 22 p 2.Total p .1 p .2 1Wenn X und Y unabhängig sind, so gilt:P (X = i, Y = j) =P (X = i)P (Y = j), d. h. p ij = p i. · p .jNull- und Alternativhypothese:21

H 0 : p ij = p i. · p .j kein Zusammenhang zwischen X und YH A : p ij ≠ p i. · p .j es gibt einen Zusammenhang zwischen X und YErwartete Häufigkeiten unter H 0 :YX 1 2 Totaln11. n .1 n 1. n .2n .. n ..n 1.n22. n .1 n 2. n .2n .. n ..n 2.Total n .1 n .2 n ..Die Testgrösse basiert auf den Abweichungen zwischen beobachteten (O k ) und erwartetenHäufigkeiten (E k ) in den einzelnen Zellen k: X 2 = ∑ 4 (O k −E k ) 2k=1 E k= ∑ (n ij −n i. n .j /n ..) 2ij n i. n .j /n ...X 2 ist unter H 0 genähert χ 2 -verteilt mit einem Freiheitsgrad. Näherung ist gut, wenn n .. ≥ 30und alle erwarteten Häufigkeiten ≥ 5.Der χ 2 -Test ist ein einseitiger Test! Mit α =5%wirdH 0 verworfen, wenn X 2 > 3.84.5.3. r × s -KontingenztafelnDie kategoriellen Variablen X und Y haben r und s Ausprägungen.Nullhypothese H 0 : kein Zusammenhang zwischen X und YTestgrösse basiert wieder auf den Abweichungen zwischen beobachteten (O k ) und erwartetenHäufigkeiten (E k ): X 2 = ∑ rsk=1(O k −E k ) 2E k.X 2 hat unter H 0 genähert eine χ 2 -Verteilung mit (r − 1)(s − 1) Freiheitsgraden.Näherung ist gut, falls n .. ≥ 30, die meisten erwarteten Häufigkeiten ≥ 4 und höchstens 20%aller erwarteten Häufigkeiten zwischen 1 und 4 sind.Beispiel: Umfrage zum UmweltschutzBeeinträchtigungBildung 1 2 3 4 Total1 212 85 38 20 3552 434 245 85 35 7993 169 146 74 30 4194 79 93 56 21 2495 45 69 48 20 182Total 939 638 301 126 2004H 0 : ”Es gibt keinen Zusammenhang zwischen Beeinträchtigung und Bildung“.Die unter H 0 erwarteten Häufigkeiten sind:BeeinträchtigungBildung 1 2 3 41 166.3 113.0 53.3 22.32 374.4 254.4 120.0 50.23 196.3 133.4 62.9 26.34 116.7 79.3 37.4 15.75 85.3 57.9 27.3 11.422

5.4. Bemerkungen zum Chiquadrat–TestImmer Absolutzahlen verwenden, keine Prozentzahlen oder sonst irgendwie standardisierteZahlen nehmen.Beobachtungen müssen unabhängig sein. Bei z. B. gepaarten Daten ist McNemar’s Test stattdem χ 2 - Test durchzuführen.Für Kategorien mit einer Rangordnung gibt es den Chiquadrattest auf Trend.Bei zu kleinen Anzahlen ist Fisher’s exakter Test durchzuführen.5.5. McNemar’s Test für gepaarte Daten19821980 RaucherIn NichtraucherIn TotalRaucherIn 620 97 717NichtraucherIn 76 1317 1393Total 696 1414 2110H 0 : ”kein Zusammenhang zwischen Jahr und Rauchverhalten“ oder ”Zwischen 1980 und1982 begannen gleichviele Personen neu zu rauchen wie RaucherInnen aufhörten“.H A : ”Es gibt eine Änderungstendenz in eine Richtung“.Betrachte nur diejenigen Personen, die sich verändern. Es gibt r = 97 Raucherinnen, dieaufhörten und s = 76 NichtraucherInnen, die mit Rauchen anfingen. Die Teststatistik ist:X 2 (|r − s|−1)2= und ist χ 2 -verteilt mit 1 fgr + sWir haben also X 2 =2.31 < 3.84, H 0 kann nicht verworfen werden.5.6. Chiquadrat–AnpassungstestStimmt eine beobachtete Häufigkeitsverteilung mit einer theoretischen Verteilung überein?Die Testgrösse X 2 = ∑ r (O k −E k ) 2k=1 E kist χ 2 -verteilt mit ν Freiheitsgraden, wobeiν = Anz. Klassen − 1 − Anz. geschätzter Parameter.Beispiel: Kreuzungsversuch:Nachkommen mit drei Phänotypen mit W’keiten 1 4 , 1 2 und 1 4. Sind die beobachteten Häufigkeitenunter 150 Nachkommen mit dem Erbgesetz vereinbar?Phänotyp beobachtet (O k ) erwartet (E k )I 29 37.5II 77 75III 44 37.5Total 150 15023

Beispiel: Poissonverteilung für die Anzahl BakterienAnz. Bakterien Anzahl Flächenpro Fläche beobachtet erwartet0 34 32.81 68 82.12 112 102.63 94 85.54 55 53.45 21 26.76 12 11.17+ 4 5.7Total 400 399.924

6. Einfache lineare Regression6.1. Das Modelly i = β 0 + β 1 x i + ɛ ii =1,...,ny i ist die Zielvariable der i-ten Beobachtung.x i ist die erklärende Variable der i-ten Beobachtung. x i ist eine feste, nicht zufällige Grösse.β 0 , β 1 sind unbekannte Parameter, die sog. Regressionskoeffizienten. Diese sollen mit Hilfeder vorhandenen Daten geschätzt werden.ɛ i ist der zufällige Rest oder Fehler, d.h.diezufällige Abweichung von y i von der Geraden.Es wird vorausgesetzt, dass E(ɛ i )=0,Var(ɛ i )=σ 2 ist und dass Cov(ɛ i ,ɛ j )=0für i ≠ j.6.2. Methode der Kleinsten QuadrateResiduen: r i = y i − (β 0 + β 1 x i )Minimiere Q(β 0 ,β 1 )= ∑ ni=1 r 2 i = ∑ ni=1 (y i − (β 0 + β 1 x i )) 2y✻(x i ,y i )◦r iβ 0 + β 1 x✟ ✟✟✟✟✟✟✟✟✟✟✟✟✟✲ xNormalgleichungen:∑ nβ 0i=1nβ 0 + β 1x i + β 1n ∑i=1∑ ni=1x i =x 2 i =n∑y ii=1n∑y i x ii=1Least Squares-Lösung:∑ ni=1(x i − ¯x)(y i − ȳ)ˆβ 1 = ∑ ni=1(x i − ¯x) 2 , ˆβ0 =ȳ − ˆβ 1¯xRegressionsgerade:ŷ = ˆβ 0 + ˆβ 1 xEigenschaften der LS-Schätzera) erwartungstreu E( ˆβ 0 )=β 0 und E( ˆβ 1 )=β 1b) BLUE Best Linear Unbiased Estimator25

Var( ˆβ 0 )=σ 2 ( 1 n + ¯x 2∑ (xi − ¯x) 2 ) Var( ˆβ 1 )=σ 2∑ (xi − ¯x) 2Schätzung für σ 2 :ˆσ 2 = MSE = SSEn − 26.3. Tests und VertrauensintervalleVor: ɛ i normalverteilt und unabhängig.Das Modell kann nun so geschrieben werden:y i ∼ N(β 0 + β 1 x i ,σ 2 ), y i und y j unabhängig für i ≠ jt-Test für H 0 : β 1 = β gegen H A : β 1 ≠ β:t ∗ = ˆβ 1 − βse( ˆβ 1 ) =ˆβ1 − β√ˆσ 2 / ∑ (x i − ¯x) 2t ∗ hat eine t-Verteilung mit n − 2 Freiheitsgraden. Die Grösse se( ˆβ 1 ) heisst Standardfehler(standard error) von ˆβ 1 . Verwerfe H 0 ,wenn|t ∗ | >t 97.5%,n−2 .Ein 95%-Vertrauensintervall für β 1 ist:√ˆβ 1 ± t 97.5%,n−2 · ˆσ 2 / ∑ (x i − ¯x) 2Ein 95%-Vertrauensintervall für β 0 + β 1 x 0 ist√ˆβ 0 + ˆβ 11 x 0 ± t 97.5%,n−2 · ˆσn + (x 0 − ¯x) 2∑ (xi − ¯x) 2Ein 95%-Prognoseintervall für y 0 ist√ˆβ 0 + ˆβ 1 x 0 ± t 97.5%,n−2 · ˆσ 1+ 1 n + (x 0 − ¯x) 2∑ (xi − ¯x) 26.4. VarianzanalyseZerlegung der Quadratsummen:n∑n∑n∑(y i − ȳ) 2 = (ŷ i − ȳ) 2 + (y i − ŷ i ) 2i=1i=1i=1SST = SSR + SSEtotal sum of squares = regression sum of squares + error sum of squaresMean square of ...=sum of squares of ...FreiheitsgradeF-Test für H 0 : β 1 = 0 mit der Teststatistik:F ∗ =SSR/1SSE/(n − 2) = MSRMSEF ∗ hat unter H 0 eine F-Verteilung mit 1 und n − 2 Freiheitsgraden. Verwerfe H 0 ,wennF ∗ >F 95%,1,n−226

Anova-Tabelle:Source of Sum of Degrees of MeanVariation squares Freedom square F ∗Regression SSR 1 MSR MSR/MSEResidual SSE n − 2 MSETotal SST n − 1Bestimmtheitsmass R 2 : Anteil an der Gesamtvariabilität, der ”durch die Regression erklärtwird“:R 2 =1− SSESSTEs gilt R 2 = r 2 ,wobeir die Korrelation zwischen x und y ist.6.5. ResiduenanalyseModellannahmen:a) Zusammenhang zwischen y und x genähert linear.b) ɛ i haben Erwartungswert 0.c) ɛ i haben Varianz σ 2 .d) ɛ i sind unkorreliert.e) ɛ i sind normalverteilt.Residuenplots:a) Normalplotb) Plot von r i gegen ŷ ic) Plot von r i gegen x id) Plot von r i gegen iNormalplots27

Plot von r i gegen ŷ i oder x i28

7. Multiple lineare RegressionBeispiel: Luftverschmutzung und MortalitätUm den Einfluss der Luftverschmutzung auf die allgemeine Mortalität zu untersuchen, wurdenin einer US-Studie (finanziert von General Motors) Daten aus 60 verschiedenen Regionenzusammengetragen. Neben der altersstandardisierten Mortalität und der Belastung durchCO, NOx und SO 2 wurden verschiedene demographische und meteorologische Variablenerfasst.Eine einfache lineare Regression von Mortalität auf SO 2 zeigt, dass mit zunehmender SO 2 -Konzentration die allgemeine Sterblichkeit signifikant ansteigt. Aber auch der Zusammenhangzwischen Mortalität und allgemeinem Bildungsstand, Bevölkerungsdichte, %-Nichtweisse,Einkommen, Niederschlagsmenge usw. ist jeweils signifikant.Statt viele einzelne einfache Regressionen zu rechnen, ist es besser, den Zusammenhang mitmehreren erklärenden Variablen gleichzeitig zu untersuchen.7.1. Das Modelly i = β 0 + β 1 x i1 + β 2 x i2 + ...+ β p x ip + ɛ ii =1,...,ny i : Zielvariablex i1 ,...,x ip : erklärende Variablen, fest.β 0 ,...,β p : unbekannte Parameter, Regressionskoeffizienten.ɛ i :zufälliger Rest oder Fehler. E(ɛ i )=0,Var(ɛ i )=σ 2 und Cov(ɛ i ,ɛ j )=0für i ≠ j.Für ɛ i normalverteilt gilt y i ∼ N(β 0 + β 1 x i1 + ...+ β p x ip ,σ 2 ) und Cov(y i ,y j )=0für i ≠ j.in Matrixschreibweise:y = Xβ + ɛy : Zielvariablenvektor der Länge n.X : Designmatrix der Dimension n × (p +1).β : Parametervektor der Länge p +1.ɛ : Fehlervektor, E(ɛ) =0 und Cov(ɛ) =σ 2 I.Für ɛ i normalverteilt gilt y ∼ N(Xβ,σ 2 I).Die Regressionsgleichungen von drei einfachen linearen Regressionen sindŷ = 886.85 + 16.73 · log SO 2ŷ = 887.06 + 4.49 · %-Nichtweisseŷ = 849.53 + 2.37 · Niederschlagŷ = 776.22 + 16.9 · log SO 2 +3.66 · %-Nichtweisse + 1.73 · NiederschlagInterpretation der Regressionskoeffizienten?29

ˆβ j gibt die Veränderung in y bei einem Anstieg von x j um eine Einheit an, vorausgesetztalle andern Variablen bleiben konstant.Methode der kleinsten QuadrateGesucht sind ˆβ 0 , ˆβ 1 ,..., ˆβ p so, dassQ = ∑ ni=1 r 2 i = ∑ ni=1 (y i − (β 0 + β 1 x i1 + ...+ β p x ip )) 2 minimal wird.Normalgleichungen:∂Qn∑= −2 (y i − (β 0 + ...+ β p x ip )) = 0∂β 0 i=1∂Qn∑= −2 (y i − (β 0 + ...+ β p x ip ))x i1 =0∂β 1 i=1. .∂Qn∑= −2 (y i − (β 0 + ...+ β p x ip ))x ip =0∂β p i=1X t (y − Xˆβ) =0oderX t Xˆβ = X t yLeast-Squares-Schätzungen:ˆβ =(X t X) −1 X t yE( ˆβ) =β und Cov(ˆβ) =σ 2 (X t X) −1mit Normalverteilung: ˆβ ∼ N(β,σ 2 (X t X) −1 )Schätzung für σ 2 :SSE = ∑ r 2 i =(y − ŷ) t (y − ŷ) ˆσ 2 = SSEn − p − 1 = MSEGeschätzte Werte und Residuen:ŷ = Xˆβ = X(X t X) −1 X t y = Hy r = y − ŷ =(I − H)y H heisst Hat-Matrix7.2. Tests und VertrauensintervalleANOVA-Tabelle:Source Sum of df Meansquares square F ∗Regres SSR = ∑ (ŷ i − ȳ) 2 p MSR MSR/MSEResid SSE = ∑ (y i − ŷ i ) 2 n − 1 − p MSETotal SST = ∑ (y i − ȳ) 2 n − 1Globaler F-Test:H 0 : β 1 = β 2 = ...= β p = 0 gegen H A : mindestens ein β j ≠0Testgrösse F ∗ = MSR/MSE hat unter H 0 eine F-Verteilung mit p und n − p − 1 Freiheitsgraden.Verwerfe H 0 ,wennF ∗ >F 95%,p,n−p−1 .30

Multiples Bestimmtheitsmass:R 2 = SSR SSE=1−SST SST( ) n − 1 SSEadjR 2 =1−n − p − 1 SSTTests von individuellen Parametern:H 0 : β j = 0 gegen H A : β j ≠0Teststatistikt ∗ =ˆβ jse( ˆβ j ) =ˆβj√ˆσ (X t X) −1jjhat unter H 0 eine t-Verteilung mit n–p–1 Freiheitsgraden. Verwerfe H 0 ,wenn|t ∗ | >t 97.5%,n−p−1 .√95%-Vertrauensintervall für β j : ˆβj ± t 97.5%,n−p−1 · ˆσ (X t X) −1jj√95%-Vertrauensintervall für E(y 0 ): ŷ 0 ± t 97.5%,n−p−1 · ˆσ x t 0 (Xt X) −1 x 0 wobeix t 0 =(1x 01 x 02 ···x 0p ) t√95%-Prognoseintervall für eine zukünftige Beobachtung: ŷ 0 ±t 97.5%,n−p−1·ˆσ 1+x t 0 (Xt X) −1 x 0Beispiel: LuftverschmutzungsstudieCall: lm(formula = mort ~ log(so2) + nonwhite + rain, data = smsa)Residuals:Min 1Q Median 3Q Max-75.9671 -25.0296 0.5792 20.7507 128.3527Coefficients:Estimate Std.Error tvalue Pr(>|t|)(Intercept) 776.225 21.248 36.532 < 2e-16 ***log(so2) 16.949 3.348 5.060 4.84e-06 ***nonwhite 3.665 0.586 6.248 5.98e-08 ***rain 1.732 0.456 3.796 0.000363 ***---Residual standard error: 38.17 on 56 df Multiple R-Squared: 0.6428,Adjusted R-squared: 0.6237 F-statistic: 33.6 on 3 and 56 df, p-value: 1.48e-012Modell mit allen sozialen und meteorolog. VariablenjantempjulytemprelhumraineducdensMittlere Januar-Temperatur in FahrenheitMittlere Juli-Temperatur in FahrenheitMittlere relative Luftfeuchtigkeit um 13 UhrMittlere jährl. Niederschlagsmenge in inchesMedian der absolvierten Schuljahrealler über 25jährigenBevölkerungsdichte pro Quadratmeile31

nonwhite Anteil der nichtweissen Bevölkerung in %wc Anteil “white-collar worker” in %pop Bevölkerunghouse Mittlere Anzahl Personen pro Haushaltincome Median des EinkommensCall: lm(formula = mort ~ educ + jantemp +julytemp + relhum + rain + dens + nonwhite +wc + pop + house + income + log(so2),data = smsa, na.action = na.omit)Residuals:Min 1Q Median 3Q Max-70.915 -20.941 -2.773 18.859 105.931Coefficients:Estimate Std.Error t value Pr(>|t|)(Intercept) 1.16e+03 2.94e+02 3.96 0.00026 ***educ -1.11e+01 9.45e+00 -1.17 0.24698jantemp -1.67e+00 7.93e-01 -2.10 0.04079 *julytemp -1.17e+00 1.94e+00 -0.60 0.55021relhum 7.02e-01 1.11e+00 0.63 0.52864rain 1.22e+00 5.49e-01 2.23 0.03074 *dens 5.62e-03 4.48e-03 1.25 0.21594nonwhite 5.08e+00 1.01e+00 5.02 8.3e-06 ***wc -1.93e+00 1.26e+00 -1.52 0.13462pop 2.07e-06 4.05e-06 0.51 0.61180house -2.22e+01 4.04e+01 -0.55 0.58607income 2.43e-04 1.33e-03 0.18 0.85562log(so2) 6.83e+00 5.43e+00 1.26 0.21426---Residual standard error: 36.2 on 46 dfMultiple R-Squared: 0.733,Adjusted R-squared: 0.664F-statistic: 10.5 on 12 and 46 df,p-value: 1.42e-009Multicollinearität:Sind x 1 und x 2 korreliert, dann ändern sich die geschätzten Koeffizienten, je nachdem welcheVariablen im Modell sind. Es ist möglich, dass der globale F -Test signifikant ist und alleeinzelnen t-Tests sind nicht signifikant.32

Partielle F-Tests:Effekt von p − q Variablen gemeinsam testen. Partitioniere Parametervektor und Designmatrix:β =]=β 2 ⎜⎝[β1⎛β 0β 1.β qβ q+1.β p⎞⎟⎠[und X =Modell: y = Xβ + ɛ = X 1 β 1 + X 2 β 2 + ɛTeste auf H 0 : β 2 = 0 gegen H 1 : β 2 ≠ 0TestgrösseF ∗ = (SSR H 1− SSR H0 )/(p − q)SSE H1 /(n − p − 1)X 1 X 2],hat unter H 0 eine F -Verteilung. Verwerfe H 0 ,wennF ∗ >F 95%,p−q,n−p−1 .7.3. ModelldiagnostikResiduenplot:Normalplot der Residuen r iResiduen r i gegen geschätzte y-Werte ŷ iResiduen r i gegen eine erklärende Variable x i des ModellsResiduen r i gegen eine neue Variable x ′ i ,dienichtimModellistResiduen r i gegen den Index iAusreisser und einflussreiche Beobachtungen:Ausreisser: Beobachtung mit grossem Residuumeinflussreiche Beobachtung: Beobachtung mit grossem Einfluss auf ParameterschätzungenHebelpunkt: Beobachtung mit extremen x-WertenLeverages: Diagonalelemente h ii der Hat-Matrix H. Messen, wie extrem Beobachtungenbezüglich der x-Variablen sind. Es gilt 0 ≤ h ii ≤ 1. Hebelpunkte: h ii > 2(p +1)/n.Gefährlich, wenn r i und h ii gross. Betrachte Plot r i gegen h ii .Cook’s Distanz:∑ (ŷj − y j(i) ˆ ) 2D i =(p +1)ˆσ 2 = h ii1 − h ii·r ∗ i 2p +1r ∗ i =r iˆσ √ 1 − h iiheisst studentisiertes ResiduumPunkte mit D i > 1 sollten genauer untersucht werden.33

7.4. ModellwahlEs gibt verschiedene Strategien, das ”beste“ Modell zu finden und verschiedene Kriterien,was das ”beste“ Modell ist. Meistens gibt es allerdings, gleich nach welchem Kriterium, nichtein ”bestes“ Modell, sondern mehrere gleich ”gute“.StrategienRückwärts-EliminationBei der Rückwärts-Elimination (backward elimination) beginnt man mit dem vollständigenModell, d. h. mit allen zur Verfügung stehenden, erklärenden Variablen. Man eliminiert diejenigeVariable mit dem kleinsten F -Wert, sofern dieser kleiner als eine vorgegebene Schrankevon z. B. F OUT = 3 ist. Dann berechnet man eine neue Regression und eliminiert die nächstunwichtigste Variable im Modell, bis keine Variable mehr einen F -Wert unterhalb der Schrankebesitzt. Diese Strategie ist nur durchführbar, wenn die Anzahl vorhandener erklärenderVariablen deutlich kleiner ist als die Anzahl Beobachtungen.Vorwärts-SelektionBei der Vorwärts-Selektion (forward selection) beginnt man mit dem ”leeren“ Modell (keineerklärende Variablen) und nimmt schrittweise jeweils die wichtigste, zusätzliche Variable indas Modell auf, solange diese eine vorgegebene Schranke von z. B. F IN =3überschreitet.Die Vorwärtsselektion braucht viel weniger Rechenaufwand als die Rückwärtsmethode.Schrittweise RegressionDie schrittweise Regression (stepwise regression) ist eine Kombination von Vorwärts- undRückwärtsstrategie. Man beginnt vorwärts, überprüft nach jeder Aufnahme einer neuenVariable aber die F -Werte der anderen Variablen. Es ist also möglich, dass einmal aufgenommeneVariablen wieder eliminiert werden, oder dass eliminierte Variablen später wiederaufgenommen werden.Alle Gleichungen“”Bei diesem Verfahren wird unter allen Regressionsmodellen mit den vorhandenen erklärendenVariablen das beste“ gesucht (all subsets). Die Zahl der Modelle wächst mit der Anzahl”Variablen allerdings ziemlich schnell an. Bsp: mit 10 Variablen gibt es 2 10 = 1024 Modelle.Intelligente Algorithmen ersparen es sich, alle Modelle durchzurechnen.GütekriterienIn Frage kommen die folgenden Grössen:1. Maximales Korrigiertes Bestimmtheitsmass :adjR 2 =1− n − 1 (1 − R 2) =1− MSEn − p − 1MST2. Minimaler Mean Square Error:MSE =SSEn − p − 134

3. Maximaler Wert der Teststatistik des globalen F -Tests:F ∗ = MSRMSE4. Minimale PRESS-Statistik : Dieses Kriterium misst die Güte des Modells an seinemVorhersagewert. Man rechnet das Regressionsmodell jeweils ohne die i-te Beobachtungund vergleicht dann den geschätzten Wert für die i-te Beobachtung mit dem tatsächlicheny-Wert.Das i-te PRESS-Residuum ist definiert alsr i,−i = y i − ŷ i,−imit dem geschätzten y-Wert für x t i :ŷ i,−i = x t iβ −i .β −i bezeichnet die LS-Lösung ohne die i-te Beobachtung.Führt man diese Berechnungen für jede Beobachtung aus (also n mal) und summiertdie quadrierten PRESS-Residuen auf, so erhält man die PRESS-Statistikn∑n∑PRESS = (y i − ŷ i,−i ) 2 = ri,−i2i=1i=1Glücklicherweise ist es nicht nötig, alle n Regressionen durchzuführen, denn es gilt:r i,−i =r i1 − h iiSomit erhält manPRESS =n∑i=1( ri1 − h ii) 2Die PRESS-Statistik lässt sich also aus den gewöhnlichen Residuen r i und den Leveragesh ii (Diagonalelementen der Hat-Matrix) berechnen.5. Mallows C q :Die Statistik von Mallows ist gegeben durchC q = SSE qˆσ 2 f− n +2qDabei ist SSE q das Fehlersummenquadrat des betrachteten Modells, q ist die Anzahlder Parameter des entsprechenden Modells (q = p+1), und ˆσ f 2 ist die geschätzte Varianzunter dem vollen Modell mit allen erklärenden Variablen. Modelle mit C q nahe bei qsind gute Kandidaten für die Modellwahl.Für eine feste Anzahl von Variablen im Modell führen all diese Kriterien zum gleichen Ergebnis.Wenn hingegen Modelle miteinander verglichen werden mit einer unterschiedlichenAnzahl Variablen, dann können verschiedene beste“ Modelle herauskommen. Es gibt eben”auch nicht ein bestes“ oder gar richtiges“ Modell und alles andere ist schlechter oder” ”falsch. Neben der automatisierten Suche aufgrund eines objektiven Kriteriums braucht esimmer auch viel Fachwissen und subjektive Entscheidungen, um zu einem oder mehreren” geeigneten“ Modellen zu gelangen. 35

8. VersuchsplanungStufen einer Studie1. Problem formulieren, in überprüfbare Hypothesen übersetzen2. Information sammeln: Literatur, existierende Daten3. Versuchsplanung4. Daten sammeln und kontrollieren5. Statistische Analyse6. InterpretationVersuchsplanung• Wahl des Studientyps: beobachtend/experimentell• Protokoll– Variablen (erklärende und Zielvariable)– Messinstrumente– Zielpopulation, Stichprobe– genauer Ablauf, Verantwortlichkeiten– Vorgehen bei Protokollabweichungen• Pilotstudie• Design– Reliabilität– Management– Block Design, Faktorieller Versuchsplan, Split-plot Design– StudiengrösseStudientypen• experimentell: Versuchseinheiten, -personen werden verschiedenen Behandlungen (treatments)zugeteilt. “Behandlung” umfasst alles, was kontrolliert werden kann, die gesamtenVersuchsbedingungen. Bsp: Interventionsstudie, klinische Studie.• beobachtend: Kein Einfluss auf die Gruppenzuteilung, keine Kontrolle der erklärendenVariablen. Bsp: epidemiologische Studie.– Umfrage (survey)– Fall-Kontroll-Studie (case-controll study): Vergleich der Häufigkeiten des Auftretenseines Risikofaktors bei kranken und bei gesunden Personen.– Kohortenstudie (cohort study): Vergleich der Häufigkeiten des Auftretens vonKrankheiten bei Personen mit/ohne Risikofaktor.36

Randomisierte, kontrollierte StudienGoldstandard für experimentelle Studien sind randomisierte, kontrollierte Studien (RCT):die Versuchseinheiten werden zufällig der Behandlungs- oder der Kontrollgruppe zugeteiltund die Studie ist, wo möglich, doppelblind, d. h. weder Versuchspersonen noch ExperimentatorInnenwissen, wer in welcher Gruppe ist.37

9. VarianzanalyseBeispiel: Postoperative ZahnschmerzenEine Anaesthesistin untersuchte in einer Doppel-Blind-Studie die Wirksamkeit von vier verschiedenenBehandlungen gegen Zahnschmerzen nach einem chirurgischen Eingriff. Die vierBehandlungen waren:I: Codein und AkupunkturII: nur Akupunktur (und Zuckerkapsel)III: nur Codein (und Scheinakupunktur“)”IV: Placebo (Zuckerkapsel und Scheinakupunktur“)”40 Patienten, alles Männer im Alter zwischen 18 und 30 Jahren, wurden mittels Randomisierungden vier Gruppen zugeteilt. Für jede Person wurde ein Schmerz-Intensitäts-Indexerhoben, sowohl vor der Zahnbehandlung als auch 2 Stunden danach. Zielvariable war dieDifferenz zwischen vorher“ und nachher“. Die Daten sind:” ”EinzelwerteBehandlungI 3.1 2.7 1.6 1.3 1.0 0.8 2.5 1.7 1.1 0.9II 0.6 1.3 0.3 1.5 0.0 0.4 2.0 1.3 0.2 0.8III 2.1 1.6 0.8 0.5 0.3 0.0 1.0 1.4 −0.2 0.6IV 1.8 0.0 −1.8 −1.6 1.7 −1.6 1.2 0.3 0.0 −0.7Idee der Varianzanalyse☛✟ ☛Gesamtvariabilitätder Beobachtungen= Variations-✡✠ ✡ursache 1✟ ☛Variations-+✠ ✡ursache 2✟ ☛Variations-+✠ ✡ursache 3✟+ ...✠BegriffeFaktor: diskrete, erklärende VariableLevels: Werte, die der Faktor annimmtEin-Weg-Varianzanalyse: Einfluss eines Faktors wird untersuchtZwei-Weg-Varianzanalyse: Einfluss von zwei Faktoren wird untersuchtTreatment: FaktorkombinationPlot, experimentelle Einheit: kleinste Einheit, die einem Treatment zugeteilt werdenkann.9.1. Ein-Weg-VarianzanalyseModell:y ij = µ + A i + ɛ ij , wobei ∑ A i =038

y ij ist die Messung für Person j mit Treatment i, j =1,...,J; i =1,...,I,µ ist das Gesamtmittel,A i ist der Effekt des i-ten Levels von Faktor A, bzw. die Abweichung der Gruppe i vomGesamtmittel undɛ ij ist ein zufälliger ”Fehler“ oder Rest, über den folgendes vorausgesetzt wird:1) E(ɛ ij )=0für alle i und j2) die ɛ ij sind unabhängig und haben alle die gleiche Varianz σ 23) die ɛ ij sind normalverteiltVarianzanalyse-Grundgleichung∑ ∑(y ij − y .. ) 2 = ∑ ∑(y i. − y .. ) 2i ji j} {{ } } {{ }Gesamtvariabilität Variabilität zwischenden Gruppen+ ∑ i∑(y ij − yi.) 2j} {{ }Variabilität innerhalbder Gruppentotal sum of squares = treatment sum of squares + residual sum of squaresSS tot = SS treat + SS resN–1 = I–1 + N–Idf tot = df treat + df resTotal mean square: MS tot = SS tot /(N − 1)Residual mean square: MS res = SS res /I(J − 1) = ˆσ 2 , E(MS res )=σ 2Treatment mean square: MS treat = SS treat /(I − 1), E(MS treat )=σ 2 + ∑ JA 2 i /(I − 1)Anova-TabelleSource SS df MS F P-Value∑ ∑Treatment i j (y i. − y .. ) 2 I–1 MS treat MS treat /M Sres P H0 (F>F ∗ )∑ ∑Residuals i j (y ij − yi.) 2 N–I MS∑ ∑resTotali j (y ij − y .. ) 2 N–1Tests und ParameterschätzungenF-TestH 0 : alle A i =0, H A : mindestens ein A i ≠0Wenn die ɛ ij normalverteilt sind, dann ist F = MS treat /M S res unter H 0 F -verteilt mit I − 1und N − I Freiheitsgraden. Verwerfe H 0 , falls F>F 95%,I−1,N−I .∑Effekt Modell: y ij = µ + A i + ɛ ij , Ai =0Schätzungen: ˆµ = y ̂ .. µ + A i = y i.  i = y i. − y ..Voraussage: ŷ ij =ˆµ + Âi = yi. Residuum: ˆɛ ij = y ij − y i.Mean Modell: y ij = µ i + ɛ ij ˆµ i = y i.Effekt Modell mit anderer Nebenbedingung: y ij = µ + A i + ɛ ij ,A 1 =0ˆµ = y 1. ,  i = y i. − y 1.TreatmentvergleicheTreatmentunterschied A i −A i ′ wird geschätzt durch y i. −y i ′ ., mit Standardfehler √ σ 2 (1/J +1/J) =√2σ 2 /J, geschätzt durch √ 2MS res /J.39

Multiple VergleicheEin Kontrast C ist eine Linearkombination von Effekten: C = ∑ Ii=1 λ i A i mit ∑ λ i =0und wird durch Ĉ = ∑ λ i y i. geschätzt.Zwei Kontraste C 1 = ∑ λ i A i und C 2 = ∑ λ ′ i A i heissen orthogonal, wenn ∑ λ i λ ′ i =0.Dieentsprechenden Schätzungen sind dann unkorreliert. Es gibt I–1 orthogonale Kontraste.n geplante, orthog. Kontraste Bonferroni (-Holm) Signifikanzniveau α/n(n ≤ I − 1)alle Paarvergleiche Tukey: krit. Werte für√die Verteilung von max |y i. − y i ′ .|komplexe nichtorthogonale oderkomplexe ungeplante VergleicheScheffé: krit. Wert (I − 1)F I−1,N−I,95%9.2. Vollständiges BlockdesignJedes Treatment kommt in jedem Block gleich oft vor.Modell: y ij = µ + A i + b j + ɛ ij , b j : Effekt des Blocks j.Fixed-Effects Model / Modell IMixed Model / Modell IIIRandom-Effects Model / Modell IIAnova-Tabelle:Source SS df MS FBlocks ... J − 1 ...Treatments ... I − 1 ... ...Residual ... (I − 1)(J − 1) ...Total ... N − 1∑ Ai =0, ∑ b j =0,ɛ ij ∼N(0,σ 2 )∑ Ai =0,b j ∼N(0,σb 2),ɛ ij ∼N(0,σe),2alle b j und ɛ ij unabhängigalle Faktoren haben zufällige Effekte9.3. Multi–Faktor–Experimente2–Weg–VarianzanalyseModell:y ijk = µ + A i + B j +(AB) ij + ɛ ijk ,i =1,...,I; j =1,...,J; k =1,...,K.mit den Nebenbedingungen: ∑ A i =0, ∑ B j =0, ∑ i (AB) ij =0, ∑ j (AB) ij =0.y ijk ist die k-te Beobachtung mit Faktor A auf Level i und Faktor B auf Level j, µ ist dasGesamtmittel, A i ist der Haupteffekt des i-ten Levels des Faktors A, B j ist der Haupteffektdes j-ten Levels des Faktors B, (AB) ij ist die Interaktion des i-ten Levels von A mit demj-ten Level von B und ɛ ijk ist der zufällige Rest mit ɛ ∼N(0,σ 2 I).Zerlegung der Gesamtvariabilität:SS tot = SS A + SS B + SS AB + SS resSS tot = ∑∑∑ (y ijk − y ... ) 2 SS A = ∑∑∑ (y i.. − y ... ) 2 SS B = ∑∑∑ (y .j. − y ... ) 2SS AB = ∑∑∑ (y ij. − y i.. − y .j. + y ... ) 2 SS res = ≪Differenz≫Ein Faktor mit I Levels hat I − 1, eine Interaktion zwischen zwei Faktoren mit I und JLevels hat (I − 1)(J − 1) Freiheitsgrade.40

Anova-TabelleSource SS df MS F P-WertA I − 1 MS A /M S resB J − 1 MS B /M S resAB (I − 1)(J − 1) MS AB /M S resResidual≪Differenz≫Total IJK − 1Modell mit zufälligen Effekten (Modell II)y ijk = µ + a i + b j + ɛ ijk ,i =1,...,I; j =1,...,J; k =1,...,K.µ ist das Gesamtmittel,a i ist der zufällige Effekt von Faktor a, a i ∼N(0,σ 2 a),b j ist der zufällige Effekt von Faktor b, b j ∼N(0,σ 2 b ),ɛ ijk ist der zufällige Rest, ɛ i ∼N(0,σ 2 e), die a i , b j und ɛ ijk sind alle unabhängig.Schätzungen:ˆσ 2 e = MS resˆσ 2 a =(MS a − MS res )/JKˆσ 2 b =(MS b − MS res )/IK41

A. Matrizen und VektorenA.1. DefinitionEine Matrix ist eine rechteckige Anordnung von Zahlen in Zeilen und Spalten.⎛⎞a 11 a 12 ... a 1ma 21 a 22 ... a 2mA =⎜⎟⎝ . . . . ⎠a n1 a n2 ... a nmDie Dimension von A ist dim A = n × m (Anzahl Zeilen × Anzahl Spalten)a ij : Element in der i-ten Zeile und j-ten Spalte von ATransponierte Matrix von A :⎛A t =⎜⎝⎞a 11 a 21 ... a n1a 12 a 22 ... a n2⎟. . . . ⎠a 1m a 2m ... a nmSpezialfälle:Eine Matrix der Dimension 1 × 1 ist eine Zahl (Skalar). Eine quadratische Matrix hat gleichvieleSpalten wie Zeilen.Eine Matrix, die nur aus einer Spalte besteht, ist ein Vektor.Wenn A = A t , so heisst A symmetrisch.Eine Diagonalmatrix ist symmetrisch und alle Elemente ausserhalb der Diagonalen sind 0.Die Einheitsmatrix I ist diagonal mit lauter Einsen in der Diagonale.A.2. Rechnen mit MatrizenAddition und Subtraktion von zwei Matrizen und die Multiplikation einer Matrix mit einemSkalar geschieht elementweise.Multiplikation zweier Matrizen:( ) (2 31 4 6A =B =4 11 5 8)( ∣ ∣∣ 2 3∣ ∣∣4 1)·( ∣ ∣∣∣∣11) ( )4 65 . .=∣ 5 8. . .2 · 1+3· 1 = 542

Einfaches lineares Regressionsmodell y= Xβ+ ɛmit⎛y =⎜⎝⎞y 1y 2⎟. ⎠y n⎛X = ⎜⎝⎞1 x 11 x 2⎟. . ⎠1 x nβ = (β0β 1)⎛und ɛ =⎜⎝⎞ɛ 1ɛ 2 ⎟. ⎠ɛ nA.3. Lineare Unabhängigkeit und inverse MatrizenEine Menge von Vektoren heisst linear unabhängig, wenn keine der Spalten als Linearkombinationder übrigen geschrieben werden kann.Das Inverse A −1 einer Matrix A ist :A −1 · A = A · A −1 = INicht jede Matrix ist invertierbar.Ein Inverses existiert genau dann, wenn alle Spalten, resp. Zeilen linear unabhängig sind.A.4. Zufallsvektoren und KovarianzmatrizenEin Zufallsvektor ist ein Vektor aus Zufallsvariablen Y 1 ,Y 2 ,...,Y n :⎛ ⎞Y 1Y 2Y =⎜ ⎟⎝ . ⎠Y nErwartungswert⎛E(Y) =⎜⎝E(Y 1 )E(Y 2 ).E(Y n )⎞⎟⎠Kovarianzmatrix⎛⎞VarY 1 Cov(Y 1 ,Y 2 ) Cov(Y 1 ,Y 3 ) ··· Cov(Y 1 ,Y n )Cov(Y 1 ,Y 2 ) VarY 2 Cov(Y 2 ,Y 3 ) ··· Cov(Y 2 ,Y n )Cov(Y) =Cov(Y 1 ,Y 3 ) Cov(Y 2 ,Y 3 ) Var(Y 3 ) ··· Cov(Y 3 ,Y n )⎜⎟⎝ ... . . ⎠Cov(Y 1 ,Y n ) Cov(Y 2 ,Y n ) Cov(Y 3 ,Y n ) ··· VarY nRechenregeln:E(a + B · Y) = a + B · E(Y)Cov(a + B · Y) = B · Cov(Y) · B tMehrdimensionale VerteilungenDie Wahrscheinlichkeitsverteilung eines Zufallsvektors ist die gemeinsame Verteilung dereinzelnen Variablen. Am häufigsten benutzt wird die multivariate Normalverteilung. Was43

y-3 -2 -1 0 1 2 3oooo oooo o ooo oo ooo ooooo oooo o oooooooooo oooo oooo ooo o o ooooooooooooo ooooooo ooooooooo oooooo o oo oo o ooooooo o o ooooo oooo00.050.10.150.2Z3210 -1 -2 -3Y-3 -2 -1 0 1 2 3X-3 -2 -1 0 1 2 3xAbbildung A.1.: Bivariate Normalverteilungen mit ρ =0man sich unter einer zweidimensionalen, sogenannte bivariaten Normalverteilung vorstellensoll, zeigen die Abbildungen A.1 und A.2.X und Y ,wieauchU und V haben univariate Normalverteilungen. Daneben bestimmtdie Korrelation zwischen den Variablen die genaue Form der gemeinsamen Verteilung. Jegrösser die Korrelation ρ, desto enger werden die elliptischen Kontourlinien (Punkte mitgleicher Dichte).Eine bivariate Normalverteilung wird demnach durch fünf Parameter festgelegt: µ x ,σ 2 x,µ y ,σ 2 y,ρ xy .Für eine 3-dimensionale Normalverteilung braucht es schon 9 Parameter und die Liste wirdlänger und länger mit wachsender Dimension. Benutzt man die Matrixnotation, so genügtdie Angabe des Vektors der Erwartungswerte und der Kovarianzmatrix.Also zum Beispiel:Z ∼ N(µ,Cov(Z))mit(XZ =Y) ( )µx, µ =µ yund Cov(Z) =(σ2x ρσ x σ yρσ x σ yσ 2 y)44

v-3 -2 -1 0 1 2 3oooooo ooo ooo ooooo oo oo oooo ooo oooo ooooo o ooo ooooooooooo ooooo o o o o o ooooooo oooo oo o ooo o00.050.10.150.2Z3210 -1 -2 -3v-3 -2 -1 0 1 2 3u-3 -2 -1 0 1 2 3uAbbildung A.2.: Bivariate Normalverteilungen mit ρ =0.645