Statistische Methoden - Institut für Experimentelle und Angewandte ...

Modeling of data 

Statistische Methoden 

Modeling of Data / Maximum Likelyhood methods 

Christian T. Steigies, Franko Greiner 

Institut für Experimentelle und Angewandte Physik 

Christian-Albrechts-Universität zu Kiel 

Statistische Methoden – 22.05.2006 


Statistische Methoden


Datenmodellierung 

Messung vs Modell 

◮ Optimierungsproblem: Modell(Parameter) 

◮ Suche: best-fit parameter 

◮ dazu: geeignete merit Funktion minimieren, d.h. die merit 

Funktion soll klein werden, wenn Modell und Messung 

kleine Abweichung haben 

◮ d.h. Messung der merit Funktion ist nötig 

◮ Problem: Merit-Funktion muss nicht unimodal sein, kann 

mehr als ein Minimum haben 

◮ Suche: Globales Minimum, nicht lokales 










































































Anforderungen an Fit Prozeduren 

◮ Liefert wahrscheinlichste Parameter 

◮ Liefert Schätzwert für Fehler der Parameter 

◮ Liefert Maß für die statistische Qualität des Fits 

Daten sehen gut aus (chi-by-eye) reicht nicht. 




























Least Squares 

◮ Problem: N Messungen (x i , y i ) 

◮ Modell: M Parameter (a i ) 

i = 1, . . . , N 

i = 1, . . . , M 

◮ Zusammenhang zwischen Modell und Parametern: 

y(x) = y(x; a 1 . . . a M ) 

◮ Methode der kleinsten Quadrate: minimiere a 1 , . . . , a M : 

N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

Warum? 




Least Squares 



i = 1, . . . , N 

i = 1, . . . , M 


y(x) = y(x; a 1 . . . a M ) 


N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

Warum? 




Least Squares 



i = 1, . . . , N 

i = 1, . . . , M 


y(x) = y(x; a 1 . . . a M ) 


N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

Warum? 




Least Squares 



i = 1, . . . , N 

i = 1, . . . , M 


y(x) = y(x; a 1 . . . a M ) 


N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

Warum? 




Least Squares 



i = 1, . . . , N 

i = 1, . . . , M 


y(x) = y(x; a 1 . . . a M ) 


N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

Warum? 




Maximum likelyhood Schätzung 

◮ Bestimmte Parameter passen “besser”, wieviel besser? 

◮ Wahrscheinlichkeit dass Parameter korrekt? 

◮ Meßfehler! 

◮ Wahrscheinlichkeit, daß bei Parametern Meßwerte 

auftreten können 

◮ Meßfehler berücksichtigen! 

P = 

( [ 

N∏ 

exp − 1 ( ) ] ) 

yi − y (x i ) 2 

∆y 

2 σ 

i=1 

Wahrscheinlichkeit maximieren → Logarithmus maximieren 

oder: −Logarithmus minimieren 











P = 

( [ 

N∏ 

exp − 1 ( ) ] ) 

yi − y (x i ) 2 

∆y 

2 σ 

i=1 













P = 

( [ 

N∏ 

exp − 1 ( ) ] ) 

yi − y (x i ) 2 

∆y 

2 σ 

i=1 













P = 

( [ 

N∏ 

exp − 1 ( ) ] ) 

yi − y (x i ) 2 

∆y 

2 σ 

i=1 






Minimiere: 

[ N 

∑ 

i=1 

] 

[y i − y (x i )] 2 

2σ 2 − N log ∆y 

N, σ, und ∆y sind konstant, also: 

minimiere a 1 , . . . , a M : 

N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 

◮ Least squares ist eine maximum likelyhood Methode, wenn 

Fehler unabhängig und gleichverteilt sind 




Minimiere: 

[ N 

∑ 

i=1 

] 

[y i − y (x i )] 2 

2σ 2 − N log ∆y 



N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 






Minimiere: 

[ N 

∑ 

i=1 

] 

[y i − y (x i )] 2 

2σ 2 − N log ∆y 



N∑ 

[y i − y (x i ; a 1 . . . a M )] 2 

i=1 






chi-square fit / weighted least-squares fitting 

◮ Gaußverteilte Daten: 

68% der Messungen innerhalb 1σ vom wahren Wert 95% 

der Messungen innerhalb 2σ vom wahren Wert 99.7% der 

Messungen innerhalb 3σ vom wahren Wert 20σ: ein 

Meßwertvon 2 × 10 88 

◮ Zählen von Ergeignissen: Poissonstatistik 

◮ konvergiert für viele Ereignissen gegen Gauß 

◮ Aussreisser nach Gauß viel unwahrscheinlicher als nach 

Poisson 

χ 2 = 

N∑ 

i=1 

( ) 

yi − y (x i ; a 1 . . . a M ) 2 

σ i 




chi-square fit / weighted least-squares fitting 

◮ Gaußverteilte Daten: 

68% der Messungen innerhalb 1σ vom wahren Wert 95% 

der Messungen innerhalb 2σ vom wahren Wert 99.7% der 

Messungen innerhalb 3σ vom wahren Wert 20σ: ein 

Meßwertvon 2 × 10 88 

◮ Zählen von Ergeignissen: Poissonstatistik 

◮ konvergiert für viele Ereignissen gegen Gauß 

◮ Aussreisser nach Gauß viel unwahrscheinlicher als nach 

Poisson 

χ 2 = 

N∑ 

i=1 

( ) 

yi − y (x i ; a 1 . . . a M ) 2 

σ i 




Lineare Regression 

Anpassen von N Messwerten (x i , y i ) an eine Gerade: 

Chi-square als merit Funktion 

y(x) = y(x; a, b) = a + bx 

χ 2 (a, b) = 

N∑ 

i=1 

( ) 

yi − a − bx 2 

i 

σ i 

Bei normalverteilten Messfehlern liefert diese merit Funktion 

die maximum likelyhood Parameter Schätzer für a und b. 





Chi-square minimieren: 

Abkürzungen: 

0 = ∂χ2 

∂a = −2 N ∑ 

i=1 

0 = ∂χ2 

∂b = −2 N ∑ 

i=1 

y i − a − bx i 

σ 2 i 

x i (y i − a − bx i ) 

σ 2 i 

S = 

N∑ 1 

σ 2 i=1 i 

S x = 

N∑ 

x i 

σ 2 i=1 i 

S y = 

N∑ 

y i 

σ 2 i=1 i 

S xx = 

N∑ 

i=1 

x 2 

i 

σ 2 i 

S xy = 

N∑ 

i=1 

x i y i 

σ 2 i 





Chi-square minimieren: 

Abkürzungen: 

0 = ∂χ2 

∂a = −2 N ∑ 

i=1 

0 = ∂χ2 

∂b = −2 N ∑ 

i=1 

y i − a − bx i 

σ 2 i 

x i (y i − a − bx i ) 

σ 2 i 

S = 

N∑ 1 

σ 2 i=1 i 

S x = 

N∑ 

x i 

σ 2 i=1 i 

S y = 

N∑ 

y i 

σ 2 i=1 i 

S xx = 

N∑ 

i=1 

x 2 

i 

σ 2 i 

S xy = 

N∑ 

i=1 

x i y i 

σ 2 i 





aS + bS x = S y 

aS x + bS xx = S xy 

Best fit Paramter: 

∆ = SS xx − (S x ) 2 

a = S xxS y − S x S xy 

∆ 

b = SS xy − S x S y 

∆ 




Güte des Fits / Fehlerfortpflanzung 

hier: 

σ 2 f = 

N∑ 

i=1 

σ 2 i 

( ∂f 

∂y i 

) 2 

∂a 

∂y i 

= S xx − S x x i 

σ 2 i 

∆ 

∂a 

∂y i 

= S x i 

− S x 

σ 2 i 

∆ 

Summe über Datenpunkte (Fehler der Schätzwerte): 

σ 2 a = S xx /∆ 

σ 2 b = S/∆ 




Fehler in a und b 

Fehler in a und b sind nicht mehr unabhängig: 

Cov(a, b) = −S x /∆ 

Pearsscher Korrelations Koeffizient: 

r ab = 

−S x 

√ 

SSxx 

r ab > 0: Fehler von a und b haben das gleiche Vorzeichen 

r ab < 0: Fehler von a und b sind anti-korreliert 




Rundungsfehler vermeiden 

t i = 1 ( 

x i − S ) 

x 

, i = 1, 2, . . . , N 

σ i S 

N∑ 

S tt = 

i=1 

t 2 

i 

b = 1 S tt N ∑ 

i=1 

t i y i 

σ i 

a = S y − SXb 

S 




Rundungsfehler vermeiden 

σ 2 a = 1 S 

( ) 

1 + S2 x 

SS tt 

σ 2 b = 1 S tt 

Cov(a, b) = − S x 

r ab = 

SS tt 

Cov(a, b) 

σ a σ b 




R 

β = 

∑ (xi − ¯x)(y i − ȳ) 

∑ (xi − ¯x) 2 

α = ȳ − β¯x 

∑ (xi − ¯x)(y i − ȳ) 

r = √∑ (xi − ¯x) 2 ∑ (y i − ȳ) 2

Statistische Methoden - Institut für Experimentelle und Angewandte ...

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?