Funzione di ripartizione empirica, stima di massima verosimiglianza ...

Indice 

Funzione di ripartizione empirica 

Stima di massima verosimiglianza non parametrica 

Funzionali statistici 

Bibliografia 

Seminario di Statistica Matematica 

Alessia Sacco 

Diana Flaccadoro 

Università degli Studi di Genova 

January 13, 2012 

Alessia Sacco Diana Flaccadoro Seminario di Statistica Matematica





Bibliografia 



Premesse 

Stima di massima verosimiglianza generalizzata 

Esempio 


Funzionali statistici lineari 

Funzionali statistici non lineari 

Comportamento asintotico 

Bibliografia 






Bibliografia 

Funzione di ripartizione empirica(1) 

◮ Sia X1, X2, ..., Xn un campione i.i.d reale con funzione di 

distribuzione F0. La funzione di ripartizione empirica è 

n ˆFn(x) i=1 = 

(Xi ≤ x) 

n 

◮ 

Perciò 

c(x) := 

(Xi ≤ x) ∼ Bern(F0(x)) 

n 

(Xi ≤ x) ∼ Bin(n, F0(x)) 

i=1 






Bibliografia 

Funzione di ripartizione empirica(2) 

Theorem 

◮ 

◮ 

◮ 

E( ˆ Fn(X )) = F0(x) 

V( ˆ Fn(X )) = F0(x)(1 − F0(x)) 

n 

MSE = F0(x)(1 − F0(x)) 

n 






Bibliografia 

Premesse(1) 

Premesse 


Esempio 

◮ Siano ν e µ due misure sulla stessa σ-algebra. Si dice che ν è 

assolutamente continua rispetto a µ (ν ≪ µ) se 

◮ Theorem (Radon-Nikodym) 

ν(A) = 0 ∀A t.c. µ(A) = 0 

Se ν è assolutamente continua rispetto a µ allora ∃ f misurabile su 

X a valori non negativi t.c. 

 

ν(A) = fdµ ∀A insieme 

f =: dν 

dµ 

Derivata di Radon-Nikodym. 

A 






Bibliografia 

Premesse(2) 

F = {FX (x) : FX (x) = 

Premesse 


Esempio 

n 

F (xi), F funzione di ripartizione su R} 

i=1 

Sia P la classe di misure di probabilità corrispondenti a F e siano 

P1, P2 ∈ P; allora P1 è assolutamente continua rispetto a P1 + P2. 

Per il teorema di Radon-Nikodym risulta definita la funzione di 

densità 

fP1+P2 (x; P1) = 

dP1 

d(P1 + P2) . 






Bibliografia 

Premesse 


Esempio 


◮ ˆ P è detta stima di massima verosimiglianza generalizzata se, 

∀P ∈ P, si ha 

fˆ P+P (x oss ; ˆ P) ≥ fˆ P+P (x oss ; P). 

◮ Nel caso dominato tale definizione conduce alla stima di 

massima verosimiglianza usuale: basta indentificare la misura 

dominante P1 + P2 con quella comune dominante e P ∈ P 

con il parametro θ. 






Bibliografia 

Premesse 


Esempio 

ˆFn stima di massima verosimiglianza generalizzata di F0(1) 

Scegliamo P e ˆ P in modo che assegnino probabilità positiva a x oss . 

Determinare ˆ P equivale a individuare la misura su R t.c. 

ˆP(x oss ) ≥ P(x oss ) ∀P ∈ P, 

dove, in termini di funzione di ripartizione, 

P(x) = PF (x) = 

n 

(F (xi) − F (x − 

i )). 

i=1 






Bibliografia 

Premesse 


Esempio 

ˆFn stima di massima verosimiglianza generalizzata di F0(2) 

Poniamo F (xi) − F (x − 

i ) = wi. Basta quindi individuare il vettore 

pesi (w1, . . . , wn), con wi > 0 e n i=1 wi ≤ 1, che massimizza il 

prodotto 

n 

wi. 

i=1 

I pesi wi rappresentano le probabilità assegnate alle componenti di 

x oss . Sfruttando la disuguaglianza tra media aritmetica e media 

geometrica si conclude che il massimo si raggiunge con la scelta 

ˆwi = n −1 ∀i = 1, . . . , n, cioè in corrispondenza della distribuzione 

di probabilità con supporto discreto x oss ed equidistribuita; la 

funzione di ripartizione corrispondente è proprio ˆ Fn. 






Bibliografia 

Funzionali statistici lineari(1) 




L’interesse dell’inferenza può non essere focalizzato sull’andamento 

globale di F0, ma essere ristretto a particolari aspetti di essa, in 

generale funzionali lineari 

 

T (F0) = g(x) dF0(x), con g(x) ∈ R. 

Se ˆ Fn è la stima di massima verosimiglianza di F , è naturale 

stimare T (F ) con il funzionale statistico lineare 

Tn = T ( ˆ 

Fn) = 

g(x) d ˆ Fn(x) = 1 

n 

n 

g(xi). 

i=1 






Bibliografia 

Funzionali statistici lineari(2) 

Esempi: 




◮ Se g(x) = x il funzionale T (F ) coincide con il valore atteso 

della distribuzione F e T ( ˆ Fn) è la media campionaria ¯ Xn. 

◮ Se g(x) = (x ≤ x0) il funzionale lineare corrispondente è 

F (x0) e T ( ˆ Fn) = ˆ Fn(x0). 






Bibliografia 




Funzionali statistici non lineari(1) 

Un generico stimatore di tipo M è definito come soluzione di 

un’equazione di stima della forma 

n 

q(xi; θ) = 0, 

i=1 

con q(xi; θ) combinante con valori reali. Essa implicitamente 

definisce un funzionale statistico T ( ˆ Fn) soluzione in θ 

dell’equazione 

q(x; θ) d ˆ Fn(x) = 0. 

La statistica T ( ˆFn) è la stima del funzionale T (F ), soluzione in θ 

dell’equazione 

q(x; θ) dF (x) = 0. 






Bibliografia 

Funzionali statistici non lineari(2) 




◮ Indicato con l∗(θ; xi) = ∂ 

∂θ ln f (xi, θ) il contributo alla score 

dell’ i-esima componente xi, ponendo q(x; θ) = l∗(θ; x) anche 

la stima di massima verosimiglianza, nei casi regolari e con 

campionamento casuale semplice, risulta un funzionale 

statistico. 

◮ Gli stimatori T ( ˆ Fn) risultano consistenti secondo Fisher: 

qualora la funzione di ripartizione empirica ricostruisca 

esattamente la funzione di ripartizione F (variabile casuale 

discreta), allora la stima viene a coincidere con il parametro 

T (F ). 






Bibliografia 





◮ Il comportamento asintotico di un funzionale statistico lineare 

può essere dedotto in via diretta dal Teorema del limite 

centrale. 

◮ Nel caso di funzionali non lineari consideriamo una 

linearizzazione locale di T ( ˆ Fn) utilizzando derivata di 

Gateaux, funzione di influenza e sviluppo di von Mises. 






Bibliografia 

Derivata di Gateaux 




Sia T un funzionale definito su F famiglia di funzioni di 

ripartizione chiusa rispetto alle combinazioni lineari convesse. La 

derivata di Gateaux di T (F ) nel punto F0 è 

T ′ 

F0 (F − F0) = lim 

ε→0 + 

T ((1 − ε)F0 + εF ) − T (F0) 

, 

ε 

purchè esista una funzione H(x; T , F0), indipendente da F , t.c. 

T ′ 

F0 (F − F0) 

 

= H(u; T , F0) d(F − F0)(u). 

H(u; T , F0) è definita a meno di una costante additiva ed è 

usualmente normalizzata in modo da soddisfare 

H(u; T , F0)dF0(u) = 0. 






Bibliografia 

Funzione di influenza(1) 




Si può calcolare H(x; T , F0) ponendo, ad esempio, F = F D(x) 

funzione di ripartizione di una variabile casuale degenere in x: 

H(x; T , F0) = lim 

ε→0 + 

T ((1 − ε)F0 + εFD(x)) − T (F0) 

. 

ε 

Così definita H è detta funzione di influenza e viene indicata con 

IF(x; T , F0). 






Bibliografia 

Funzione di influenza(2) 




IF rappresenta l’effetto prodotto sul funzionale T (F0) da una 

contaminazione infinitesimale nel punto x, effetto standardizzato 

secondo la massa ε della contaminazione. Tale interpretazione fu 

messa in luce nell’ambito dello studio di stimatori robusti alla 

contaminazione; la robustezza si traduce nell’imposizione 

γ = sup 

x 

| IF(x; T , F0) |< ∞. 

L’indice γ è noto come gross-error sensitivity. 






Bibliografia 

Sviluppo di von Mises 




La linearizzazione locale di T ( ˆ Fn) si ottiene sviluppando 

T ((1 − ε)F0 + ε ˆ Fn) in serie di Taylor attorno a ε = 0. In 

corrispondenza a ε = 1 si ottiene lo sviluppo di von Mises 

T ( ˆ Fn) = T (F0) + T ′ 

F0 ( ˆ Fn − F0) + R( ˆ Fn, F0) 

 

= T (F0) + IF(u; T , F0) d ˆ Fn(u) + R( ˆ Fn, F0), 

ove R( ˆ Fn, F0) è un termine di resto. 






Bibliografia 

Soluzione generale 




Si arriva dunque alla rappresentazione asintotica 

√ n(T ( ˆ Fn) − T (F0)) = 1 

√ n 

n 

IF(xi; T , F0) + √ nR( ˆ Fn, F0). 

Se √ nR( ˆ Fn, F0) = o(1) e 0 < E(IF(X ; T , F0)) 2 = σ2 T < +∞ 

allora vale il risultato asintotico 

i=1 

√ n(T ( ˆ Fn) − T (F0)) L 

−→ N (0, σ 2 T ). 






Bibliografia 

Bibliografia 

◮ L. Pace e A. Salvan, Teoria della statistica 

◮ L. Wasserman. All of Statistics

Funzione di ripartizione empirica, stima di massima verosimiglianza ...

Create successful ePaper yourself

Delete template?

Save as template?