Funzione di ripartizione empirica, stima di massima verosimiglianza ...
Funzione di ripartizione empirica, stima di massima verosimiglianza ...
Funzione di ripartizione empirica, stima di massima verosimiglianza ...
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Seminario <strong>di</strong> Statistica Matematica<br />
Alessia Sacco<br />
Diana Flaccadoro<br />
Università degli Stu<strong>di</strong> <strong>di</strong> Genova<br />
January 13, 2012<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
Funzionali statistici<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
Bibliografia<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong>(1)<br />
◮ Sia X1, X2, ..., Xn un campione i.i.d reale con funzione <strong>di</strong><br />
<strong>di</strong>stribuzione F0. La funzione <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong> è<br />
n ˆFn(x) i=1 =<br />
(Xi ≤ x)<br />
n<br />
◮<br />
Perciò<br />
c(x) :=<br />
(Xi ≤ x) ∼ Bern(F0(x))<br />
n<br />
(Xi ≤ x) ∼ Bin(n, F0(x))<br />
i=1<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong>(2)<br />
Theorem<br />
◮<br />
◮<br />
◮<br />
E( ˆ Fn(X )) = F0(x)<br />
V( ˆ Fn(X )) = F0(x)(1 − F0(x))<br />
n<br />
MSE = F0(x)(1 − F0(x))<br />
n<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Premesse(1)<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
◮ Siano ν e µ due misure sulla stessa σ-algebra. Si <strong>di</strong>ce che ν è<br />
assolutamente continua rispetto a µ (ν ≪ µ) se<br />
◮ Theorem (Radon-Nikodym)<br />
ν(A) = 0 ∀A t.c. µ(A) = 0<br />
Se ν è assolutamente continua rispetto a µ allora ∃ f misurabile su<br />
X a valori non negativi t.c.<br />
<br />
ν(A) = fdµ ∀A insieme<br />
f =: dν<br />
dµ<br />
Derivata <strong>di</strong> Radon-Nikodym.<br />
A<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Premesse(2)<br />
F = {FX (x) : FX (x) =<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
n<br />
F (xi), F funzione <strong>di</strong> <strong>ripartizione</strong> su R}<br />
i=1<br />
Sia P la classe <strong>di</strong> misure <strong>di</strong> probabilità corrispondenti a F e siano<br />
P1, P2 ∈ P; allora P1 è assolutamente continua rispetto a P1 + P2.<br />
Per il teorema <strong>di</strong> Radon-Nikodym risulta definita la funzione <strong>di</strong><br />
densità<br />
fP1+P2 (x; P1) =<br />
dP1<br />
d(P1 + P2) .<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
◮ ˆ P è detta <strong>stima</strong> <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata se,<br />
∀P ∈ P, si ha<br />
fˆ P+P (x oss ; ˆ P) ≥ fˆ P+P (x oss ; P).<br />
◮ Nel caso dominato tale definizione conduce alla <strong>stima</strong> <strong>di</strong><br />
<strong>massima</strong> <strong>verosimiglianza</strong> usuale: basta indentificare la misura<br />
dominante P1 + P2 con quella comune dominante e P ∈ P<br />
con il parametro θ.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
ˆFn <strong>stima</strong> <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata <strong>di</strong> F0(1)<br />
Scegliamo P e ˆ P in modo che assegnino probabilità positiva a x oss .<br />
Determinare ˆ P equivale a in<strong>di</strong>viduare la misura su R t.c.<br />
ˆP(x oss ) ≥ P(x oss ) ∀P ∈ P,<br />
dove, in termini <strong>di</strong> funzione <strong>di</strong> <strong>ripartizione</strong>,<br />
P(x) = PF (x) =<br />
n<br />
(F (xi) − F (x −<br />
i )).<br />
i=1<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Premesse<br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata<br />
Esempio<br />
ˆFn <strong>stima</strong> <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> generalizzata <strong>di</strong> F0(2)<br />
Poniamo F (xi) − F (x −<br />
i ) = wi. Basta quin<strong>di</strong> in<strong>di</strong>viduare il vettore<br />
pesi (w1, . . . , wn), con wi > 0 e n i=1 wi ≤ 1, che massimizza il<br />
prodotto<br />
n<br />
wi.<br />
i=1<br />
I pesi wi rappresentano le probabilità assegnate alle componenti <strong>di</strong><br />
x oss . Sfruttando la <strong>di</strong>suguaglianza tra me<strong>di</strong>a aritmetica e me<strong>di</strong>a<br />
geometrica si conclude che il massimo si raggiunge con la scelta<br />
ˆwi = n −1 ∀i = 1, . . . , n, cioè in corrispondenza della <strong>di</strong>stribuzione<br />
<strong>di</strong> probabilità con supporto <strong>di</strong>screto x oss ed equi<strong>di</strong>stribuita; la<br />
funzione <strong>di</strong> <strong>ripartizione</strong> corrispondente è proprio ˆ Fn.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Funzionali statistici lineari(1)<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
L’interesse dell’inferenza può non essere focalizzato sull’andamento<br />
globale <strong>di</strong> F0, ma essere ristretto a particolari aspetti <strong>di</strong> essa, in<br />
generale funzionali lineari<br />
<br />
T (F0) = g(x) dF0(x), con g(x) ∈ R.<br />
Se ˆ Fn è la <strong>stima</strong> <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> <strong>di</strong> F , è naturale<br />
<strong>stima</strong>re T (F ) con il funzionale statistico lineare<br />
Tn = T ( ˆ <br />
Fn) =<br />
g(x) d ˆ Fn(x) = 1<br />
n<br />
n<br />
g(xi).<br />
i=1<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Funzionali statistici lineari(2)<br />
Esempi:<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
◮ Se g(x) = x il funzionale T (F ) coincide con il valore atteso<br />
della <strong>di</strong>stribuzione F e T ( ˆ Fn) è la me<strong>di</strong>a campionaria ¯ Xn.<br />
◮ Se g(x) = (x ≤ x0) il funzionale lineare corrispondente è<br />
F (x0) e T ( ˆ Fn) = ˆ Fn(x0).<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
Funzionali statistici non lineari(1)<br />
Un generico <strong>stima</strong>tore <strong>di</strong> tipo M è definito come soluzione <strong>di</strong><br />
un’equazione <strong>di</strong> <strong>stima</strong> della forma<br />
n<br />
q(xi; θ) = 0,<br />
i=1<br />
con q(xi; θ) combinante con valori reali. Essa implicitamente<br />
definisce un funzionale statistico T ( ˆ Fn) soluzione in θ<br />
dell’equazione <br />
q(x; θ) d ˆ Fn(x) = 0.<br />
La statistica T ( ˆFn) è la <strong>stima</strong> del funzionale T (F ), soluzione in θ<br />
dell’equazione <br />
q(x; θ) dF (x) = 0.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Funzionali statistici non lineari(2)<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
◮ In<strong>di</strong>cato con l∗(θ; xi) = ∂<br />
∂θ ln f (xi, θ) il contributo alla score<br />
dell’ i-esima componente xi, ponendo q(x; θ) = l∗(θ; x) anche<br />
la <strong>stima</strong> <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong>, nei casi regolari e con<br />
campionamento casuale semplice, risulta un funzionale<br />
statistico.<br />
◮ Gli <strong>stima</strong>tori T ( ˆ Fn) risultano consistenti secondo Fisher:<br />
qualora la funzione <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong> ricostruisca<br />
esattamente la funzione <strong>di</strong> <strong>ripartizione</strong> F (variabile casuale<br />
<strong>di</strong>screta), allora la <strong>stima</strong> viene a coincidere con il parametro<br />
T (F ).<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Comportamento asintotico<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
◮ Il comportamento asintotico <strong>di</strong> un funzionale statistico lineare<br />
può essere dedotto in via <strong>di</strong>retta dal Teorema del limite<br />
centrale.<br />
◮ Nel caso <strong>di</strong> funzionali non lineari consideriamo una<br />
linearizzazione locale <strong>di</strong> T ( ˆ Fn) utilizzando derivata <strong>di</strong><br />
Gateaux, funzione <strong>di</strong> influenza e sviluppo <strong>di</strong> von Mises.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Derivata <strong>di</strong> Gateaux<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
Sia T un funzionale definito su F famiglia <strong>di</strong> funzioni <strong>di</strong><br />
<strong>ripartizione</strong> chiusa rispetto alle combinazioni lineari convesse. La<br />
derivata <strong>di</strong> Gateaux <strong>di</strong> T (F ) nel punto F0 è<br />
T ′<br />
F0 (F − F0) = lim<br />
ε→0 +<br />
T ((1 − ε)F0 + εF ) − T (F0)<br />
,<br />
ε<br />
purchè esista una funzione H(x; T , F0), in<strong>di</strong>pendente da F , t.c.<br />
T ′<br />
F0 (F − F0)<br />
<br />
= H(u; T , F0) d(F − F0)(u).<br />
H(u; T , F0) è definita a meno <strong>di</strong> una costante ad<strong>di</strong>tiva ed è<br />
usualmente normalizzata in modo da sod<strong>di</strong>sfare<br />
H(u; T , F0)dF0(u) = 0.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
<strong>Funzione</strong> <strong>di</strong> influenza(1)<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
Si può calcolare H(x; T , F0) ponendo, ad esempio, F = F D(x)<br />
funzione <strong>di</strong> <strong>ripartizione</strong> <strong>di</strong> una variabile casuale degenere in x:<br />
H(x; T , F0) = lim<br />
ε→0 +<br />
T ((1 − ε)F0 + εFD(x)) − T (F0)<br />
.<br />
ε<br />
Così definita H è detta funzione <strong>di</strong> influenza e viene in<strong>di</strong>cata con<br />
IF(x; T , F0).<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
<strong>Funzione</strong> <strong>di</strong> influenza(2)<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
IF rappresenta l’effetto prodotto sul funzionale T (F0) da una<br />
contaminazione infinitesimale nel punto x, effetto standar<strong>di</strong>zzato<br />
secondo la massa ε della contaminazione. Tale interpretazione fu<br />
messa in luce nell’ambito dello stu<strong>di</strong>o <strong>di</strong> <strong>stima</strong>tori robusti alla<br />
contaminazione; la robustezza si traduce nell’imposizione<br />
γ = sup<br />
x<br />
| IF(x; T , F0) |< ∞.<br />
L’in<strong>di</strong>ce γ è noto come gross-error sensitivity.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Sviluppo <strong>di</strong> von Mises<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
La linearizzazione locale <strong>di</strong> T ( ˆ Fn) si ottiene sviluppando<br />
T ((1 − ε)F0 + ε ˆ Fn) in serie <strong>di</strong> Taylor attorno a ε = 0. In<br />
corrispondenza a ε = 1 si ottiene lo sviluppo <strong>di</strong> von Mises<br />
T ( ˆ Fn) = T (F0) + T ′<br />
F0 ( ˆ Fn − F0) + R( ˆ Fn, F0)<br />
<br />
= T (F0) + IF(u; T , F0) d ˆ Fn(u) + R( ˆ Fn, F0),<br />
ove R( ˆ Fn, F0) è un termine <strong>di</strong> resto.<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Soluzione generale<br />
Funzionali statistici lineari<br />
Funzionali statistici non lineari<br />
Comportamento asintotico<br />
Si arriva dunque alla rappresentazione asintotica<br />
√ n(T ( ˆ Fn) − T (F0)) = 1<br />
√ n<br />
n<br />
IF(xi; T , F0) + √ nR( ˆ Fn, F0).<br />
Se √ nR( ˆ Fn, F0) = o(1) e 0 < E(IF(X ; T , F0)) 2 = σ2 T < +∞<br />
allora vale il risultato asintotico<br />
i=1<br />
√ n(T ( ˆ Fn) − T (F0)) L<br />
−→ N (0, σ 2 T ).<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica
In<strong>di</strong>ce<br />
<strong>Funzione</strong> <strong>di</strong> <strong>ripartizione</strong> <strong>empirica</strong><br />
Stima <strong>di</strong> <strong>massima</strong> <strong>verosimiglianza</strong> non parametrica<br />
Funzionali statistici<br />
Bibliografia<br />
Bibliografia<br />
◮ L. Pace e A. Salvan, Teoria della statistica<br />
◮ L. Wasserman. All of Statistics<br />
Alessia Sacco Diana Flaccadoro Seminario <strong>di</strong> Statistica Matematica