Noter til eksponentielle familier. Anden udgave. Version 9.2.2006.

2.5. ESTIMATION 15
2.5 Estimation
Jeg betragter i dette afsnit den fulde eksponentielle familie (2.11) med ξ ∈ Λ = {ξ|
c(ξ) < ∞}, og antager at fremstillingen er minimal. For den observerede værdi t =
t(x) er log likelihood funktionen
l(ξ) = l(ξ; t) = ξ · t − κ(ξ), ξ ∈ Λ. (2.20)
Sætning 2.18. Antag at den eksponentielle familie er regulær og på minimal form.
Da eksisterer der ˆξ = ˆξ(t) ∈ Λ, så at log likelihood funktionen (2.20) antager sin
maksimumsværdi i ˆξ, hvis og kun hvis t ∈ intCt. Da fra Sætning 2.9 l(ξ) er strengt
konkav, vil for t ∈ intCt estimatet ˆξ være entydigt bestemt og være løsning til ligningen
∂l(ξ)
∂ξ
= t − ∂κ(ξ)
∂ξ
= t − τ(ξ) = 0, (2.21)
d.v.s. ˆξ = τ −1 (t).
Bevis. Vi viser først, at t ∈ intCt medfører, at l(ξ) antager sit maksimum på Λ. Vi
bruger et modstrids bevis. Antag at l(ξn) er voksende, hvor ξn ∈ Λ og ξn går mod
randen af Λ. Hvis følgen ξn er begrænset, kan vi tage en delfølge {nk}, så at ξn → k
˜ξ /∈ Λ. Det følger af Lemma 2.17, at c(ξn ) → ∞ da c( ˜ξ) = ∞, og dermed fra (2.20),
k
at l(ξn ) → −∞, hvilket er en modstrid. Hvis i stedet følgen ξn er ubegrænset, kan vi
k
tage en delfølge på formen ξn = u k kek, hvor ek er en enhedsvektor i Rk med ek → e, og
uk → ∞. Så giver Fatou’s lemma
lim inf
k
e −l(ξn
)
k = lim inf e
k
ukek·(t(x)−t) ν(dx)
≥ lim inf e
k
ukek·(t(x)−t) ν(dx)
≥ ∞ · ν({x : e · (t(x) − t) > 0} = ∞,
hvor det sidste lighedstegn følger af, at t ∈ intCt. Altså har vi igen at l(ξn k ) → −∞, og
dermed en modstrid.
Vi skal nu vise, at hvis t /∈ intCt, så antager l(ξ) ikke sit maksimum på Λ. Vi vil
vise, at for ethvert ξ0 ∈ Λ findes der en retning e , så at når vi forlader ξ0 i e’s retning
vokser l(ξ). Da t /∈ intCt findes der en enhedsvektor e, så at
Derfor vil
ν({x|e · (t(x) − t)) > 0} = 0.
e −l(ξ0+λe)
=
e λe·(t(x)−t) e ξ0·(t(x)−t) ν(dx) (2.22)
være aftagende i λ > 0. Den strenge konkavitet af l(ξ) giver, at (2.22) er strengt aftagende,
og l(ξ) har derfor ikke maksimum i ξ0.
Bemærkning 2.19 Bemærk at Sætning 2.18 viser, at i en regulær familie på minimal
form, er
τ(Λ) = intCt, (2.23)
eftersom τ(ξ) = t medfører at l(·; t) har maksimum i ξ. Fra Observation 2.13 har vi
altså, at τ(·) er en en-til-en afbildning af Λ på intCt. Da τ fra Sætning 2.11 er uendelig
ofte differentiabel, gælder det samme for ˆξ(·) = τ −1 (·) : intCt → Λ.