Statistische Methoden - Institut für Experimentelle und Angewandte ...
Statistische Methoden - Institut für Experimentelle und Angewandte ...
Statistische Methoden - Institut für Experimentelle und Angewandte ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Modeling of data<br />
<strong>Statistische</strong> <strong>Methoden</strong><br />
Modeling of Data / Maximum Likelyhood methods<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Institut</strong> <strong>für</strong> <strong>Experimentelle</strong> <strong>und</strong> <strong>Angewandte</strong> Physik<br />
Christian-Albrechts-Universität zu Kiel<br />
<strong>Statistische</strong> <strong>Methoden</strong> – 22.05.2006<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Datenmodellierung<br />
Messung vs Modell<br />
◮ Optimierungsproblem: Modell(Parameter)<br />
◮ Suche: best-fit parameter<br />
◮ dazu: geeignete merit Funktion minimieren, d.h. die merit<br />
Funktion soll klein werden, wenn Modell <strong>und</strong> Messung<br />
kleine Abweichung haben<br />
◮ d.h. Messung der merit Funktion ist nötig<br />
◮ Problem: Merit-Funktion muss nicht unimodal sein, kann<br />
mehr als ein Minimum haben<br />
◮ Suche: Globales Minimum, nicht lokales<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Anforderungen an Fit Prozeduren<br />
◮ Liefert wahrscheinlichste Parameter<br />
◮ Liefert Schätzwert <strong>für</strong> Fehler der Parameter<br />
◮ Liefert Maß <strong>für</strong> die statistische Qualität des Fits<br />
Daten sehen gut aus (chi-by-eye) reicht nicht.<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Anforderungen an Fit Prozeduren<br />
◮ Liefert wahrscheinlichste Parameter<br />
◮ Liefert Schätzwert <strong>für</strong> Fehler der Parameter<br />
◮ Liefert Maß <strong>für</strong> die statistische Qualität des Fits<br />
Daten sehen gut aus (chi-by-eye) reicht nicht.<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Anforderungen an Fit Prozeduren<br />
◮ Liefert wahrscheinlichste Parameter<br />
◮ Liefert Schätzwert <strong>für</strong> Fehler der Parameter<br />
◮ Liefert Maß <strong>für</strong> die statistische Qualität des Fits<br />
Daten sehen gut aus (chi-by-eye) reicht nicht.<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Anforderungen an Fit Prozeduren<br />
◮ Liefert wahrscheinlichste Parameter<br />
◮ Liefert Schätzwert <strong>für</strong> Fehler der Parameter<br />
◮ Liefert Maß <strong>für</strong> die statistische Qualität des Fits<br />
Daten sehen gut aus (chi-by-eye) reicht nicht.<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Least Squares<br />
◮ Problem: N Messungen (x i , y i )<br />
◮ Modell: M Parameter (a i )<br />
i = 1, . . . , N<br />
i = 1, . . . , M<br />
◮ Zusammenhang zwischen Modell <strong>und</strong> Parametern:<br />
y(x) = y(x; a 1 . . . a M )<br />
◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
Warum?<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Least Squares<br />
◮ Problem: N Messungen (x i , y i )<br />
◮ Modell: M Parameter (a i )<br />
i = 1, . . . , N<br />
i = 1, . . . , M<br />
◮ Zusammenhang zwischen Modell <strong>und</strong> Parametern:<br />
y(x) = y(x; a 1 . . . a M )<br />
◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
Warum?<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Least Squares<br />
◮ Problem: N Messungen (x i , y i )<br />
◮ Modell: M Parameter (a i )<br />
i = 1, . . . , N<br />
i = 1, . . . , M<br />
◮ Zusammenhang zwischen Modell <strong>und</strong> Parametern:<br />
y(x) = y(x; a 1 . . . a M )<br />
◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
Warum?<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Least Squares<br />
◮ Problem: N Messungen (x i , y i )<br />
◮ Modell: M Parameter (a i )<br />
i = 1, . . . , N<br />
i = 1, . . . , M<br />
◮ Zusammenhang zwischen Modell <strong>und</strong> Parametern:<br />
y(x) = y(x; a 1 . . . a M )<br />
◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
Warum?<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Least Squares<br />
◮ Problem: N Messungen (x i , y i )<br />
◮ Modell: M Parameter (a i )<br />
i = 1, . . . , N<br />
i = 1, . . . , M<br />
◮ Zusammenhang zwischen Modell <strong>und</strong> Parametern:<br />
y(x) = y(x; a 1 . . . a M )<br />
◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
Warum?<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Maximum likelyhood Schätzung<br />
◮ Bestimmte Parameter passen “besser”, wieviel besser?<br />
◮ Wahrscheinlichkeit dass Parameter korrekt?<br />
◮ Meßfehler!<br />
◮ Wahrscheinlichkeit, daß bei Parametern Meßwerte<br />
auftreten können<br />
◮ Meßfehler berücksichtigen!<br />
P =<br />
( [<br />
N∏<br />
exp − 1 ( ) ] )<br />
yi − y (x i ) 2<br />
∆y<br />
2 σ<br />
i=1<br />
Wahrscheinlichkeit maximieren → Logarithmus maximieren<br />
oder: −Logarithmus minimieren<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Maximum likelyhood Schätzung<br />
◮ Bestimmte Parameter passen “besser”, wieviel besser?<br />
◮ Wahrscheinlichkeit dass Parameter korrekt?<br />
◮ Meßfehler!<br />
◮ Wahrscheinlichkeit, daß bei Parametern Meßwerte<br />
auftreten können<br />
◮ Meßfehler berücksichtigen!<br />
P =<br />
( [<br />
N∏<br />
exp − 1 ( ) ] )<br />
yi − y (x i ) 2<br />
∆y<br />
2 σ<br />
i=1<br />
Wahrscheinlichkeit maximieren → Logarithmus maximieren<br />
oder: −Logarithmus minimieren<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Maximum likelyhood Schätzung<br />
◮ Bestimmte Parameter passen “besser”, wieviel besser?<br />
◮ Wahrscheinlichkeit dass Parameter korrekt?<br />
◮ Meßfehler!<br />
◮ Wahrscheinlichkeit, daß bei Parametern Meßwerte<br />
auftreten können<br />
◮ Meßfehler berücksichtigen!<br />
P =<br />
( [<br />
N∏<br />
exp − 1 ( ) ] )<br />
yi − y (x i ) 2<br />
∆y<br />
2 σ<br />
i=1<br />
Wahrscheinlichkeit maximieren → Logarithmus maximieren<br />
oder: −Logarithmus minimieren<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Maximum likelyhood Schätzung<br />
◮ Bestimmte Parameter passen “besser”, wieviel besser?<br />
◮ Wahrscheinlichkeit dass Parameter korrekt?<br />
◮ Meßfehler!<br />
◮ Wahrscheinlichkeit, daß bei Parametern Meßwerte<br />
auftreten können<br />
◮ Meßfehler berücksichtigen!<br />
P =<br />
( [<br />
N∏<br />
exp − 1 ( ) ] )<br />
yi − y (x i ) 2<br />
∆y<br />
2 σ<br />
i=1<br />
Wahrscheinlichkeit maximieren → Logarithmus maximieren<br />
oder: −Logarithmus minimieren<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Minimiere:<br />
[ N<br />
∑<br />
i=1<br />
]<br />
[y i − y (x i )] 2<br />
2σ 2 − N log ∆y<br />
N, σ, <strong>und</strong> ∆y sind konstant, also:<br />
minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
◮ Least squares ist eine maximum likelyhood Methode, wenn<br />
Fehler unabhängig <strong>und</strong> gleichverteilt sind<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Minimiere:<br />
[ N<br />
∑<br />
i=1<br />
]<br />
[y i − y (x i )] 2<br />
2σ 2 − N log ∆y<br />
N, σ, <strong>und</strong> ∆y sind konstant, also:<br />
minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
◮ Least squares ist eine maximum likelyhood Methode, wenn<br />
Fehler unabhängig <strong>und</strong> gleichverteilt sind<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Minimiere:<br />
[ N<br />
∑<br />
i=1<br />
]<br />
[y i − y (x i )] 2<br />
2σ 2 − N log ∆y<br />
N, σ, <strong>und</strong> ∆y sind konstant, also:<br />
minimiere a 1 , . . . , a M :<br />
N∑<br />
[y i − y (x i ; a 1 . . . a M )] 2<br />
i=1<br />
◮ Least squares ist eine maximum likelyhood Methode, wenn<br />
Fehler unabhängig <strong>und</strong> gleichverteilt sind<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
chi-square fit / weighted least-squares fitting<br />
◮ Gaußverteilte Daten:<br />
68% der Messungen innerhalb 1σ vom wahren Wert 95%<br />
der Messungen innerhalb 2σ vom wahren Wert 99.7% der<br />
Messungen innerhalb 3σ vom wahren Wert 20σ: ein<br />
Meßwertvon 2 × 10 88<br />
◮ Zählen von Ergeignissen: Poissonstatistik<br />
◮ konvergiert <strong>für</strong> viele Ereignissen gegen Gauß<br />
◮ Aussreisser nach Gauß viel unwahrscheinlicher als nach<br />
Poisson<br />
χ 2 =<br />
N∑<br />
i=1<br />
( )<br />
yi − y (x i ; a 1 . . . a M ) 2<br />
σ i<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
chi-square fit / weighted least-squares fitting<br />
◮ Gaußverteilte Daten:<br />
68% der Messungen innerhalb 1σ vom wahren Wert 95%<br />
der Messungen innerhalb 2σ vom wahren Wert 99.7% der<br />
Messungen innerhalb 3σ vom wahren Wert 20σ: ein<br />
Meßwertvon 2 × 10 88<br />
◮ Zählen von Ergeignissen: Poissonstatistik<br />
◮ konvergiert <strong>für</strong> viele Ereignissen gegen Gauß<br />
◮ Aussreisser nach Gauß viel unwahrscheinlicher als nach<br />
Poisson<br />
χ 2 =<br />
N∑<br />
i=1<br />
( )<br />
yi − y (x i ; a 1 . . . a M ) 2<br />
σ i<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Lineare Regression<br />
Anpassen von N Messwerten (x i , y i ) an eine Gerade:<br />
Chi-square als merit Funktion<br />
y(x) = y(x; a, b) = a + bx<br />
χ 2 (a, b) =<br />
N∑<br />
i=1<br />
( )<br />
yi − a − bx 2<br />
i<br />
σ i<br />
Bei normalverteilten Messfehlern liefert diese merit Funktion<br />
die maximum likelyhood Parameter Schätzer <strong>für</strong> a <strong>und</strong> b.<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Lineare Regression<br />
Chi-square minimieren:<br />
Abkürzungen:<br />
0 = ∂χ2<br />
∂a = −2 N ∑<br />
i=1<br />
0 = ∂χ2<br />
∂b = −2 N ∑<br />
i=1<br />
y i − a − bx i<br />
σ 2 i<br />
x i (y i − a − bx i )<br />
σ 2 i<br />
S =<br />
N∑ 1<br />
σ 2 i=1 i<br />
S x =<br />
N∑<br />
x i<br />
σ 2 i=1 i<br />
S y =<br />
N∑<br />
y i<br />
σ 2 i=1 i<br />
S xx =<br />
N∑<br />
i=1<br />
x 2<br />
i<br />
σ 2 i<br />
S xy =<br />
N∑<br />
i=1<br />
x i y i<br />
σ 2 i<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Lineare Regression<br />
Chi-square minimieren:<br />
Abkürzungen:<br />
0 = ∂χ2<br />
∂a = −2 N ∑<br />
i=1<br />
0 = ∂χ2<br />
∂b = −2 N ∑<br />
i=1<br />
y i − a − bx i<br />
σ 2 i<br />
x i (y i − a − bx i )<br />
σ 2 i<br />
S =<br />
N∑ 1<br />
σ 2 i=1 i<br />
S x =<br />
N∑<br />
x i<br />
σ 2 i=1 i<br />
S y =<br />
N∑<br />
y i<br />
σ 2 i=1 i<br />
S xx =<br />
N∑<br />
i=1<br />
x 2<br />
i<br />
σ 2 i<br />
S xy =<br />
N∑<br />
i=1<br />
x i y i<br />
σ 2 i<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Lineare Regression<br />
aS + bS x = S y<br />
aS x + bS xx = S xy<br />
Best fit Paramter:<br />
∆ = SS xx − (S x ) 2<br />
a = S xxS y − S x S xy<br />
∆<br />
b = SS xy − S x S y<br />
∆<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Güte des Fits / Fehlerfortpflanzung<br />
hier:<br />
σ 2 f =<br />
N∑<br />
i=1<br />
σ 2 i<br />
( ∂f<br />
∂y i<br />
) 2<br />
∂a<br />
∂y i<br />
= S xx − S x x i<br />
σ 2 i<br />
∆<br />
∂a<br />
∂y i<br />
= S x i<br />
− S x<br />
σ 2 i<br />
∆<br />
Summe über Datenpunkte (Fehler der Schätzwerte):<br />
σ 2 a = S xx /∆<br />
σ 2 b = S/∆<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
Fehler in a <strong>und</strong> b<br />
Fehler in a <strong>und</strong> b sind nicht mehr unabhängig:<br />
Cov(a, b) = −S x /∆<br />
Pearsscher Korrelations Koeffizient:<br />
r ab =<br />
−S x<br />
√<br />
SSxx<br />
r ab > 0: Fehler von a <strong>und</strong> b haben das gleiche Vorzeichen<br />
r ab < 0: Fehler von a <strong>und</strong> b sind anti-korreliert<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
R<strong>und</strong>ungsfehler vermeiden<br />
t i = 1 (<br />
x i − S )<br />
x<br />
, i = 1, 2, . . . , N<br />
σ i S<br />
N∑<br />
S tt =<br />
i=1<br />
t 2<br />
i<br />
b = 1 S tt N ∑<br />
i=1<br />
t i y i<br />
σ i<br />
a = S y − SXb<br />
S<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
R<strong>und</strong>ungsfehler vermeiden<br />
σ 2 a = 1 S<br />
( )<br />
1 + S2 x<br />
SS tt<br />
σ 2 b = 1 S tt<br />
Cov(a, b) = − S x<br />
r ab =<br />
SS tt<br />
Cov(a, b)<br />
σ a σ b<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>
Modeling of data<br />
R<br />
β =<br />
∑ (xi − ¯x)(y i − ȳ)<br />
∑ (xi − ¯x) 2<br />
α = ȳ − β¯x<br />
∑ (xi − ¯x)(y i − ȳ)<br />
r = √∑ (xi − ¯x) 2 ∑ (y i − ȳ) 2<br />
Christian T. Steigies, Franko Greiner<br />
<strong>Statistische</strong> <strong>Methoden</strong>