Noter til eksponentielle familier. Anden udgave. Version 9.2.2006.

E T F Ø R S T E K U R S U S
I T E O R E T I S K S T A T I S T I K
J E N S L E D E T J E N S E N

Kapitel 2
Eksponentielle familier
2.1 Motivation
Eksponentielle familier er klasser af sandsynlighedsmål med „særligt pæne egenskaber“.
Det smarte er, at når først vi har vist (og det er ikke svært), at noget er en eksponentiel
familie, så ved vi, at en hel masse resultater er opfyldt. Lad os som et eksempel
betragte n uafhængige variable X1, . . . , Xn som er normalfordelte med middelværdi µ
og varians σ 2 . Hvis f (·) er en funktion fra R ind i R med den egenskab, at
E µ,σ 2 f ( ¯X) = 0 for alle µ ∈ R,
så kan vi slutte, at f er identisk lig med nul pånær på en nulmængde. Denne egenskab
kan måske nok synes lidt teknisk, men den kan hjælpe os til at vise andre egenskaber.
Det sædvanlige estimat for σ 2 er s 2 = ∑i(X i − ¯X) 2 /(n − 1). Dette estimat har den rigtige
middelværdi: Es 2 = σ 2 , og vi siger, at s 2 er middelværdiret. Man kan nu vise, at s 2
er det estimat, der har mindst mulig varians, blandt alle estimater der er middelværdirette.
For eksponentielle familier kan vi vise, at for visse hypoteser er der særligt attraktive
tests. I eksemplet ovenfor kan vi betragte et test for hypotesen µ = 0 mod alternativet
µ > 0. Det sædvanlige t-test forkaster hypotesen hvis t = ¯X/ √ s 2 /n er stor, og vi
kan vise at dette i en vis forstand er det bedste vi kan gøre.
De ovenstående eksempler viser, at der er god grund til at beskæftige sig med eksponentielle
familier. Et andet argument er, at nogle af de vigtigste klasser af fordelinger
faktisk er eksponentielle familier: Binomialfordelingerne, Poissonfordelingerne,
normalfordelingerne og Gammafordelingerne. Ydermere er disse fordelinger byggestene
for det der hedder Generaliserede Lineære Modeller som er et vigtigt redskab i
en statistikers værktøjskasse.
Definitionen på en eksponentiel familie vedrører hvordan data og parameter spiller
sammen. Lad som et eksempel P λ være poissonfordelingen med parameter λ og lad µ
være tællemålet. Så kan vi skrive tætheden som
dPλ λx
(x) =
dµ x! e−λ = e −λ · 1
x!
· exp{log(λ)x}.
Hvad jeg har fremhævet her, er at tætheden kan skrives som en funktion af parameteren,
ganget med en funktion af data, ganget med en eksponentialfunktion, hvor
5

6 KAPITEL 2. EKSPONENTIELLE FAMILIER
argumentet er en funktion af parameteren ganget med en funktion af data. Det er denne
struktur der nedenfor vil blive brugt i den generelle definition. Bemærk at den første
funktion af parameteren, lad os kalde den a(λ), er en normeringskonstant: eftersom vi
betragter en tæthed, vil denne integrere til 1, og dermed har vi
a(λ) ∑ x
2.2 Definition
1
exp{log(λ)x} = 1 ⇒ a(λ) =
x! ∑
x
1
x! exp{log(λ)x}
−1 .
Jeg vil betragte en klasse P = {Pθ|θ ∈ Θ} af sandsynlighedsmål på målrummet
(X , A, µ), hvor µ er et σ-endeligt mål. Familien P er parametriseret ved θ ∈ Θ, hvor
Θ ⊆ Rp , d.v.s at hvis θ1 = θ2 så vil Pθ1 = Pθ2 . Antag, at µ dominerer alle målene i
P, Pθ ≪ µ ∀θ ∈ Θ, og at der eksisterer en funktion φ = (φ1, . . . , φk) : Θ → Rk , en
målelig funktion t = (t1, . . . , tk) : X → Rk , og en målelig funktion b : X → R således
at
dPθ dµ (x) = a(θ)b(x)eφ(θ)·t(x) , ∀θ ∈ Θ. (2.1)
Hvis (2.1) er opfyldt, kaldes P en eksponentiel familie med kanonisk observator T = t(X)
og kanonisk parameter φ(θ). Bemærk, at i (2.1) er a(·) bestemt ved
a(θ) = b(x)e φ(θ)·t(x) −1 µ(dx)
og er derfor kun en funktion af θ gennem φ(θ). Det mindste k for hvilket en repræsentation
på formen (2.1) er mulig kaldes ordenen af familien. Hvis repræsentationen er
minimal, d.v.s. at k er ordenen af familien, kaldes T en minimal kanonisk observator og
ϕ en minimal kanonisk parameter.
Eksempel 2.1.
Jeg opskriver her to af de fordelinger I kender i forvejen på eksponentiel familieform.
Binomialfordelingen. Lad X være binomialfordelt med antalsparamter n og sandsynlighedsparameter
θ med 0 < θ < 1. Så er tætheden med hensyn til tællemålet µ
givet ved
dPθ (x) =
dµ
for x ∈ {0, . . . , n}.
n
x
θ x (1 − θ) n−x = (1 − θ) n
n
x
θ
exp log x ,
1 − θ
Normalfordelingen. Lad X være normalfordelt med middelværdi µ og varians σ 2
med (µ, σ 2 ) ∈ R × R+. Så er tætheden med hensyn til lebesguemålet m givet ved
dP (µ,σ 2 )
dm
(x) = exp{− 1
2σ 2 (x − µ) 2 }
√ 2πσ 2
= exp{− µ2
2σ 2 }
√ 2πσ 2
µ
exp
σ
2σ
1
x − x2
2 2
for x ∈ R. Bemærk, at i dette eksempel er b(x) = 1.
,

2.3. MINIMAL FREMSTILLING OG KONVEKS STØTTE 7
2.3 Minimal fremstilling og konveks støtte
Jeg skal i dette afsnit angive en metode til at afgøre, om en fremstilling er minimal, og
skal i denne forbindelse udtrykke mig „næsten sikkert“ mht. et mål. Jeg starter derfor
med følgende observation.
Observation 2.2 Lad ν være målet på X givet ved
dν
(x) = b(x), (2.2)
dµ
hvor b(x) er fra (2.1). Der gælder at alle målene i P er indbyrdes ækvivalente, og at de
er ækvivalente med ν, d.v.s. at alle disse mål har de samme nulmængder.
Bevis. Da
har vi, at
Pθ(A) =
A
a(θ)e φ(θ)·t(x)
b(x)µ(dx) =
A
a(θ)e φ(θ)·t(x) ν(dx),
dP θ
dν (x) = a(θ)eφ(θ)·t(x) . (2.3)
Vi har derfor, at hvis N er en nulmængde for ν er N også en nulmængde for P θ for alle
θ ∈ Θ. Da (2.3) er strengt positiv, gælder der at ν(B) > 0 ⇒ P θ(B) > 0. Hvis derfor N
er en nulmængde for P θ, følger det, at ν(N) = 0.
Jeg vil skrive „næsten sikkert mht. P“ som n.s.−P, og på grund af Observation 2.2
skrive n.s.−P hvormed menes, at den angivne relation er korrekt på nær en af de
fælles nulmængder for P θ og ν.
Bemærkning 2.3 Observation 2.2 viser, at hvis målene i en familie P ikke er ækvivalente,
så kan P ikke være en eksponentiel familie. Et eksempel på dette er familien af
uniforme fordelinger på intervallet [0, θ], θ > 0.
Lemma 2.4 Fremstillingen (2.1) er minimal, hvis og kun hvis (i) og (ii) nedenfor er
opfyldt:
(i) funktionerne 1, φ1, . . . , φ k på Θ er lineært uafhængige, d.v.s.
c0 + c1φ1(θ) + · · · + c kφ k(θ) = 0 ∀θ ∈ Θ ⇒ c0 = c1 = · · · = c k = 0, (2.4)
(ii) funktionerne 1, t1, . . . , t k på X er lineært uafhængige næsten sikker mht. P, d.v.s
c0 + c1t1(x) + · · · + c kt k(x) = 0 n.s. − P ⇒ c0 = c1 = · · · = c k = 0. (2.5)
Inden beviset kommenterer vi betingelserne (2.4) og (2.5).

8 KAPITEL 2. EKSPONENTIELLE FAMILIER
Bemærkning 2.5 Betingelsen (2.4) er ækvivalent med, at mængden
Λ0 = {ϕ(θ)|θ ∈ Θ}
ikke tilhører et affint underrum af R k .
Vi siger derfor, når (2.5) er opfyldt, at funktionerne φ1, . . . , φ k på Θ er affint uafhængige.
Tilsvarende for (2.5) men med tilføjelse af „næsten sikkert mht. P“.
Bevis. Jeg viser først, at hvis (i) eller (ii) ikke er opfyldt, så er repræsentationen ikke
minimal. Antag at (i) ikke er opfyldt. Der eksisterer altså en vektor c = 0, så at c0 + c ·
φ(θ) = 0 ∀θ ∈ θ. Lad os sige at ck = 0, så har vi, at φk(θ) = −1
c
{c0 + c1φ1(θ) + · · · +
k
ck−1φk−1(θ)}, og vi kan skrive (2.1) som
dP θ
dµ (x) = a(θ)b(x)e−c0t k(x)/c k exp
k−1
∑
1
φ i(θ)[t i(x) − c it k(x)/c k]
D.v.s. at vi har konstrueret en repræsentation af dimension k−1, og (2.1) er derfor ikke
minimal. På helt tilsvarende måde vises, at hvis (ii) ikke er opfyldt, så er (2.1) ikke
minimal.
Vi antager nu, at (i) og (ii) er opfyldt, og skal vise at fremstillingen (2.1) er minimal.
Vi bemærker først, at hvis θ0 ∈ Θ, så har vi fra (2.1) og Observation 2.2, at (se JHJ 3.19)
dPθ dPθ0 = a(θ)
a(θ0) exp[{φ(θ) − φ(θ0)} · t(x)]. (2.6)
Vi betragter nu endvidere en minimal repræsentation af dimension m, med kanonisk
parameter β(θ) og kanonisk observator u(x). Vi har altså
dPθ dPθ0 = ã(θ)
ã(θ0) exp[{β(θ) − β(θ0)} · u(x)], (2.7)
og skal vise at k = m. Fra (i) har vi, at vi kan vælge θ1, . . . , θk, så at k × k matricen
⎛
⎞∗
φ(θ1) − φ(θ0)
⎜
⎟
A = ⎝ . ⎠
φ(θk) − φ(θ0)
har fuld rang. Da (2.6) og (2.7) er tæthed for det samme mål, er de identiske n.s.−P, og
vi har for i = 1, . . . , k,
{φ(θ i) − φ(θ0)} · {t(x) − t(x0)} = {β(θ i) − β(θ0)} · {u(x) − u(x0)} n.s. − P.
Skrevet på matriksform gælder der, at
hvor B er m × k matricen
{t(x) − t(x0)}A = {u(x) − u(x0)}B n.s. − P, (2.8)
B =
⎛
⎜
⎝
β(θ1) − β(θ0)
.
β(θ k) − β(θ0)
⎞
⎟
⎠
∗
.

2.3. MINIMAL FREMSTILLING OG KONVEKS STØTTE 9
Da (2.7) er antaget minimal, har vi, at m ≤ k. Antag nu, at m < k, så eksisterer der
d ∈ R k , d = 0, så at Bd ∗ = 0. Da A har fuld rang, er c ∗ = Ad ∗ = 0, og (2.8) giver
{t(x) − t(x0)}c ∗ = {u(x) − u(x0)}Bd ∗ = 0 n.s. − P,
hvilket er i modstrid med (ii). Altså er m = k, og (2.1) er en minimal fremstilling.
Jeg vil nu diskutere betingelsen (2.5).
Definition 2.6 Støtten for en stokastisk variabel T, der lever i et metrisk rum, er
{t|P(kugle med centrum t og radius ɛ) > 0, ∀ɛ > 0}.
Specielt hvis T kun kan antage endelig mange værdier, så er støtten de punkter,
hvor der er positiv sandsynlighed. Hvis T ∈ R k siger vi, at koordinaterne i T er affint
uafhængige n.s. hvis støtten for T ikke er indeholdt i et affint underrum af R k . Dette
er ækvivalent med at sige, at der ikke findes c ∈ R k , c = 0, så at c · T er lig med en
konstant n.s. Men dette er netop betingelsen (2.5). Betingelsen er også ækvivalent med
at sige, at variansen af T, Var(T), er positiv definit. Lad os lige eftervise det sidste
udsagn:
c Var(T)c ∗ = 0 ⇐⇒ Var(c · T) = 0
⇐⇒ c · T = konstant n.s. ⇔ c = 0,
hvor den sidste ækvivalens er betingelsen (2.5). Bemærk, at for en eksponentiel familie
P giver Observation 2.2, at støtten for T er den samme uanset hvilket sandsynlighedsmål
P θ ∈ P vi betragter. Tilsvarende, hvis variansen for T er positiv definit under
P θ1 ∈ P, så er variansen positiv definit under alle P θ ∈ P.
Den lukkede konvekse støtte Ct for den eksponentielle familie P defineres som den
mindste lukkede konvekse mængde K ⊂ R k med P θ(t(X) ∈ K) = 1 for alle θ ∈ Θ,
eller ækvivalent hermed {x|t(x) /∈ K} er en P-nulmængde. I symboler kan vi skrive
Ct =
K∈K
K, (2.9)
hvor K er mængden af lukkede og konvekse mængder K med ν({x|t(x) /∈ K}) = 0.
Det indre af Ct betegnes int Ct. Hvis støtten for T er indeholdt i et affint underrum
af R k , vil vi i definitionen af Ct tage snit over mængder, der er indeholdt i et affint
underrum, og vi vil derfor have at int Ct = ∅. Med andre ord vil int Ct = ∅ medføre,
at støtten for T ikke er indeholdt i et affint underrum af R k , og dermed at betingelsen
(2.5) er opfyldt. Omvendt, hvis støtten for T ikke er indeholdt i et affint underrum af
R k kan vi finde k støttepunkter der udspænder R k , og dermed vil int Ct = ∅.
Vi kan samle vores diskussion ovenfor i:
Observation 2.7 Følgende betingelser er ækvivalente:
• Betingelsen (2.5);

10 KAPITEL 2. EKSPONENTIELLE FAMILIER
• Støtten for T er ikke indeholdt i et affint underrum af R k ;
• int Ct = ∅;
• Variansen Var(T) er positiv definit.
Eksempel 2.8 (Binomialfordelingen).
Lad X være binomialfordelt med antalsparamter n og sandsynlighedsparameter θ med
0 < θ < 1. Så er tætheden med hensyn til tællemålet µ givet ved
dPθ (x) = (1 − θ)n
dµ
n
x
exp
log
θ
1 − θ
Dette er en eksponentiel familie med t(x) = x og ϕ(θ) = log(θ/(1 − θ)). Repræsentationen
er af dimension 1, og vi vil nu vise at den er minimal. Støtten for T er
{0, 1, . . . , n} og denne tilhører ikke et affint underrum af R, det vil sige at (2.5) er op-
fyldt. Hvis
θ
c0 + c1 log = 0 ∀0 < θ < 1,
1 − θ
kan vi tage θ = 1/2 hvoraf følger at c0 = 0, og dernæst kan vi tage θ = 1/4 hvoraf
følger at c1 = 0. Det vil sige at (2.4) er opfyldt, og vi har vist at repræsentationen er
minimal. Dette eksempel er meget simpelt: hvis vi har en eksponentiel familie med en
repræsentation af dimension 1, vil repræsentationen altid være minimal så længe at
der er mindst to sandsynlighedsmål i familien (hvis ordenen af familien er nul vil der
kun være et sandsynlighedsmål i familien).
2.4 Laplace- og kumulanttransform
Laplacetransformen for T = t(X) under målet ν er
c(ξ) = exp(ξ · t(x))ν(dx) =
Rk exp(ξ · t)νT(dt) (2.10)
X
for ξ ∈ R k . Domænet for c(·) er Λ = {ξ ∈ R k |c(ξ) < ∞}. Lad os definere et sandsynlighedsmål
˜P ξ på X , for ξ ∈ Λ, ved
x
.
d ˜P ξ
dν (x) = c(ξ)−1 exp(ξ · t(x)). (2.11)
Så svarer P θ i (2.1) til ˜P φ(θ) her og a(θ) = c(φ(θ)) −1 . Klassen P er givet ved
P = { ˜P ξ|ξ ∈ Λ0}, Λ0 = {φ(θ)|θ ∈ Θ}.
Vi har altid at Λ0 ⊆ Λ. Hvis Λ0 = Λ kaldes familien P fuld, og hvis P er fuld og Λ er
åben, kaldes familien regulær.
Laplacetranformen for t(X) under ˜P ξ0 er
X
exp(ξ · t(x)) ˜P ξ0 (dx) =
X
exp((ξ + ξ0) · t(x))
ν(dx) =
c(ξ0)
c(ξ + ξ0)
. (2.12)
c(ξ0)

2.4. LAPLACE- OG KUMULANTTRANSFORM 11
Kumulanttransformen for t(X) under målet ν er defineret som
κ(ξ) = ln c(ξ).
Fra (2.12) har vi at kumulanttransformen af t(X) under ˜P ξ0 er
κ ξ0 (ξ) = κ(ξ + ξ0) − κ(ξ0).
Hvis κP er kumulanttransformen for t(X) under et sandsynlighedsmål P, kaldes de
afledede af κP taget i nul for t(X)s kumulanter. Bemærk, at for kumulanttransformen af
t(X) under ˜P ξ0 har vi
∂kκξ0 ∂
(0) =
∂ξi1 · · · ∂ξik kκ (ξ0)
∂ξi1 · · · ∂ξik Den første og anden kumulant er henholdsvis middelværdi og varians af t(X) under
P, se (2.17) og (2.18) nedenfor. For en en-dimensional variabel t(X) kaldes
κ (3)
P (0)
(κ ′′ ,
P
(0))3/2
for henholdsvis skævheden 1 og kurtosis 2
κ (4)
P (0)
(κ ′′
P
(0))2 ,
Fremover vil jeg skrive P ξ for ˜P ξ, selvom dette kan give forvirring i forhold til det
tidligere P θ. Vi lader E ξ betegne middelværdi med hensyn til sandsynlighedsmålet P ξ.
Desuden vil Λ blive omtalt som det fulde parameterområde for den eksponentielle
familie.
Sætning 2.9. Antag at t(·) opfylder (2.5). Det fulde parameterområde Λ = {ξ|c(ξ) <
∞} er konvekst, og κ er strengt konveks på Λ, d.v.s. at κ(αξ1 + (1 − α)ξ2) < ακ(ξ1) +
(1 − α)κ(ξ2) for alle ξ1, ξ2 ∈ Λ, ξ1 = ξ2, og alle 0 < α < 1.
Bevis. Lad ξ1, ξ2 ∈ Λ. Hölders ulighed (JHJ 3.11) giver
e (αξ1+(1−α)ξ2)·t(x) ν(dx) = {e ξ1·t(x) α ξ2·t(x) 1−α } {e } ν(dx)
e ξ α
1·t(x)
ν(dx)
≤
e ξ2·t(x) ν(dx)
1−α
= c(ξ1) α c(ξ2) 1−α < ∞, (2.13)
så at αξ1 + (1 − α)ξ2 ∈ Λ, d.v.s. Λ er konvekst. Tager vi logaritmen i ovenstående
ulighed, fås at κ(ξ) er en konveks funktion. Der gælder lighedstegn i Hölders ulighed,
hvis og kun hvis
e ξ 1·t(x) = Ke ξ2·t(x) n.s. − ν,
for en konstant K, og dette er ensbetydende med, at ξ1 = ξ2 ifølge (2.5).
1Skævheden er det tredje centrale moment divideret med variansen i 3/2. Med betegnelsen µi for
det tte centrale moment altså µ3/µ 3/2
2 .
2 Kurtosis en µ4/µ 2 2 − 3. Der er også en anden version af definitionen af kurtosis, nemlig µ4/µ 2 2 . Det
er den førstnævnte, der passer med udsagnet ovenfor om den fjerdeafledede af kumulantransformen.
Det er ligeledes den førstnævnte version, der er 0 for normalfordelingen.

12 KAPITEL 2. EKSPONENTIELLE FAMILIER
Sætning 2.10. Lad ξ ∈ Λ og antag, at ξ ± h ∈ Λ. Så gælder
E ξ|h · t(X)| n < ∞ ∀ n ∈ N.
Specielt gælder, at hvis ξ ∈ intΛ, så eksisterer alle momenter af t(X) under P ξ.
Bevis. Da |y| n /n! ≤ ey + e−y for alle y ∈ R, har vi
|h · t(x)| n e ξ·t(x)
ν(dx) ≤ n! e (ξ+h)·t(x)
ν(dx) +
e (ξ−h)·t(x)
ν(dx) < ∞.
Hvis ξ ∈ intΛ, vil ξ ± h ∈ Λ for alle små h. Derfor har vi, at E ξ|t j(X)| n < ∞ for alle
j = 1, . . . , k og alle n. Hölders ulighed giver så, at
E ξ |t1(X) n 1 · · · tk(X) n k| < ∞ for alle n1, . . . , n k. (2.14)
Sætning 2.11. Hvis ξ ∈ int Λ gælder der, at
∂ n c(ξ1, . . . , ξ k)
∂ξ a 1
1 . . . ∂ξa k
k
= c(ξ) E ξ{t1(X) a 1 · · · tk(X) a k}, (2.15)
hvor a1 + · · · + a k = n.
Bevis. Ifølge (2.14) eksisterer momenterne i (2.15). Påstanden i (2.15) kan vises ved
induktion i n: Lad kuglen med centrum i ξog radius ɛ0 være indeholdt i Λ. Antag, at
påstanden holder for alle a1, . . . , ak med a1 + · · · + ak = n og betragt situationen, hvor
vi vil ændre aj til aj + 1. Vi vil benytte, at
|e ɛt
ɛ
j − 1| =
tje ut
jdu ≤ ɛ|tj|(e ɛ0tj −ɛ0t
+ e j) ∀ |ɛ| < ɛ0. (2.16)
Så fås
0
∂ n+1 c(ξ1, . . . , ξ k)
∂ξ a1 1 . . . ∂ξa j+1
j
. . . ∂ξ ak k
= lim 1
∂nc(ξ1, . . . , ξj + ɛ, . . . , ξk) ɛ ∂ξ a1 1 . . . ∂ξa −
k
k
∂nc(ξ1, . . . , ξk) ∂ξ a1 1 . . . ∂ξa
k
k
= lim t1(x) a1 · · · tk(x) ake ξ·t(x) eɛtj(x) − 1
ν(dx)
ɛ
= lim
=
t1(x) a 1 · · · tj(x) a j+1 · · · tk(x) a k eξ·t(x)
c(ξ) ν(dx)c(ξ)
= c(ξ) E ξ{t1(X) a 1 · · · tj(X) a j+1 · · · tk(X) a k},
hvor det andet lighedstegn er induktionsantagelsen, og det tredje lighedstegn følger af
(2.16) og sætningen om domineret konvergens.

2.4. LAPLACE- OG KUMULANTTRANSFORM 13
Bemærkning 2.12 Bemærk, at Sætning 2.11 er et eksempel på, at vi må differentiere
ind under integraltegnet.
Benyttes Sætning 2.11 får vi følgende vigtige relationer for ξ ∈ intΛ,
τ(ξ) := Eξt(X) = ∂κ
(ξ) (2.17)
∂ξ
V(ξ) := Var ξ(t(X)) = ∂2 κ
∂ξ∂ξ
Desuden har vi fra Observation 2.7, at hvis t(·) opfylder (2.5), så er
∂τ
(ξ) = (ξ) (2.18)
∗ ∂ξ∗ Var ξ(t(X)) positiv definit for ξ ∈ intΛ. (2.19)
Observation 2.13 Antag at t(·) opfylder (2.5). Hvis ξ1, ξ2 ∈ intΛ og ξ1 = ξ2, så er
τ(ξ1) = τ(ξ2).
Bevis.
(ξ2 − ξ1) · {τ(ξ2) − τ(ξ1)} = (ξ2 − ξ1) ·
=
1
0
1
0
dτ(ξ1 + s(ξ2 − ξ1))
ds
ds
(ξ2 − ξ1)V(ξ1 + s(ξ2 − ξ1))(ξ2 − ξ1) ∗ ds > 0
ifølge (2.19).
Eksempel 2.14 (Normalfordelingen).
Lad X være normalfordelt med middelværdi µ og varians σ 2 med (µ, σ 2 ) ∈ R × R+.
Så er tætheden med hensyn til lebesguemålet m givet ved
dP (µ,σ2 )
(x) =
dm
1
√ 2πσ 2
µ2 µ
exp{− } exp
2σ2 σ
2σ
1
x − x2
2 2
for x ∈ R. Dette er en eksponentiel familie med t(x) = (x, x2 ) og ϕ(µ, σ2 ) = ( µ
σ2 , − 1
2σ2 ).
I dette tilfælde er
Λ0 = R × R−,
og da området har ikke tomt indre er (2.4) opfyldt. Støtten for T er
{(x, x 2 )|x ∈ R},
eftersom enhver kugle omkring (z, z 2 ) vil indeholde et interval af x-værdier, og dermed
have positiv sandsynlighed. Da støtten ikke er indeholdt i et affint underrum af
R 2 , er (2.5) opfyldt, og vi har vist, at repræsentationen er minimal. Vi vil nu undersøge,
om familien er fuld. Vi skal da undersøge, hvornår integralet
R
exp ξ1x + ξ2x 2 dx
er endeligt. Hvis ξ2 ≥ 0 vil integranten gå mod uendelig for x gående mod enten +∞
eller −∞ og integralet er ikke endeligt. Tilbage er området Λ0 og vi har derfor vist at
Λ = Λ0, det vil sige at familien er fuld. Da Λ også er åben er familien regulær.
,

14 KAPITEL 2. EKSPONENTIELLE FAMILIER
Laplacetransformen for T under lebesguemålet er
c(ξ) = exp{ξ1x + ξ2x
R
2 }dx
= exp − 1
4 ξ2 1 /ξ2
exp ξ2 x − 1
2 ξ1/(−ξ2)
2 dx
=
R
π/(−ξ2) exp{− 1
4 ξ2 1 /ξ2}.
Kumulanttransformen er derfor κ(ξ) = − 1 4 ξ2 1 /ξ2 − 1 2 log(−ξ2/π). Fra (2.17) får vi
EξX = −ξ1
, EξX 2ξ2
2 = ξ2 1
4ξ2 −
2
1
.
2ξ2
Med ξ = (ξ1, ξ2) = (µ/σ 2 , −1/(2σ 2 )) bliver formlerne
E (µ,σ 2 ) X = − µ(−2σ2 )
2σ 2 = µ, E (µ,σ 2 ) X2 = µ2 (4σ 4 )
4σ 4
−2σ2
−
2 = µ2 + σ 2 .
Det er sommetider muligt at vise, at en familie er fuld ved hjælp af følgende resultat.
Observation 2.15 Lad Λ0 være et åbent område i R k . Hvis der for ethvert punkt ξ1 på
randen af Λ0 gælder, at der eksisterer ξ0 ∈ Λ0, så at
c(ξ) → ∞,
for ξ → ξ1 langs liniestykket fra ξ0 til ξ1, så vil Λ0 = Λ.
Bevis. Vi vil vise, at c(ξ1) = ∞ for alle punkter ξ1 på randen af Λ0. Så følger det
fra sætning 2.9 at Λ ikke kan være større end Λ0 (hvis ˜ξ ∈ Λ \ Λ0 så vil der, da Λ
er konvekst, findes ξ1 ∈ Λ med ξ1 på randen af Λ0, men dette er en modstrid med
c(ξ1) = ∞). Vi laver et modstridsbevis. Antag at c(ξ1) < ∞. Så fra (2.13) har vi med
ξ = αξ1 + (1 − α)ξ0, 0 < α < 1,
c(ξ) ≤ c(ξ1) α c(ξ0) 1−α ≤ max{c(ξ1), c(ξ0)},
hvilket er en modstrid med, at c(ξ) → ∞. Altså er c(ξ1) = ∞.
Bemærkning 2.16 Observation 2.15 bruges på den måde, at for ξ ∈ Λ0 har vi, at ξ =
ϕ(θ) for et θ ∈ Θ og dermed
c(ξ) = a(θ) −1 .
Hvis derfor a(θ) går mod nul for θ gående mod randen af Θ, og Λ0 er åbent i R k , vil
familien være fuld.
Det næste lemma viser, at Observation 2.15 har en invers: hvis c(ξ) → ∞ for ξ
gående mod randen af Λ0, så vil familien ikke være fuld.
Lemma 2.17 Lad ξ /∈ Λ og lad ξn ∈ Λ med ξn → ξ for n → ∞. Så vil c(ξn) → ∞.
Bevis. Da exp{ξn · t(x)} ≥ 0, siger Fatou’s lemma (JHJ 3.5), at
∞ = c(ξ) = lim inf exp{ξn · t(x)}ν(dx)
n
≤ lim inf exp{ξn · t(x)}ν(dx)
n
= lim inf c(ξn),
n
hvilket viser resultatet.

2.5. ESTIMATION 15
2.5 Estimation
Jeg betragter i dette afsnit den fulde eksponentielle familie (2.11) med ξ ∈ Λ = {ξ|
c(ξ) < ∞}, og antager at fremstillingen er minimal. For den observerede værdi t =
t(x) er log likelihood funktionen
l(ξ) = l(ξ; t) = ξ · t − κ(ξ), ξ ∈ Λ. (2.20)
Sætning 2.18. Antag at den eksponentielle familie er regulær og på minimal form.
Da eksisterer der ˆξ = ˆξ(t) ∈ Λ, så at log likelihood funktionen (2.20) antager sin
maksimumsværdi i ˆξ, hvis og kun hvis t ∈ intCt. Da fra Sætning 2.9 l(ξ) er strengt
konkav, vil for t ∈ intCt estimatet ˆξ være entydigt bestemt og være løsning til ligningen
∂l(ξ)
∂ξ
= t − ∂κ(ξ)
∂ξ
= t − τ(ξ) = 0, (2.21)
d.v.s. ˆξ = τ −1 (t).
Bevis. Vi viser først, at t ∈ intCt medfører, at l(ξ) antager sit maksimum på Λ. Vi
bruger et modstrids bevis. Antag at l(ξn) er voksende, hvor ξn ∈ Λ og ξn går mod
randen af Λ. Hvis følgen ξn er begrænset, kan vi tage en delfølge {nk}, så at ξn → k
˜ξ /∈ Λ. Det følger af Lemma 2.17, at c(ξn ) → ∞ da c( ˜ξ) = ∞, og dermed fra (2.20),
k
at l(ξn ) → −∞, hvilket er en modstrid. Hvis i stedet følgen ξn er ubegrænset, kan vi
k
tage en delfølge på formen ξn = u k kek, hvor ek er en enhedsvektor i Rk med ek → e, og
uk → ∞. Så giver Fatou’s lemma
lim inf
k
e −l(ξn
)
k = lim inf e
k
ukek·(t(x)−t) ν(dx)
≥ lim inf e
k
ukek·(t(x)−t) ν(dx)
≥ ∞ · ν({x : e · (t(x) − t) > 0} = ∞,
hvor det sidste lighedstegn følger af, at t ∈ intCt. Altså har vi igen at l(ξn k ) → −∞, og
dermed en modstrid.
Vi skal nu vise, at hvis t /∈ intCt, så antager l(ξ) ikke sit maksimum på Λ. Vi vil
vise, at for ethvert ξ0 ∈ Λ findes der en retning e , så at når vi forlader ξ0 i e’s retning
vokser l(ξ). Da t /∈ intCt findes der en enhedsvektor e, så at
Derfor vil
ν({x|e · (t(x) − t)) > 0} = 0.
e −l(ξ0+λe)
=
e λe·(t(x)−t) e ξ0·(t(x)−t) ν(dx) (2.22)
være aftagende i λ > 0. Den strenge konkavitet af l(ξ) giver, at (2.22) er strengt aftagende,
og l(ξ) har derfor ikke maksimum i ξ0.
Bemærkning 2.19 Bemærk at Sætning 2.18 viser, at i en regulær familie på minimal
form, er
τ(Λ) = intCt, (2.23)
eftersom τ(ξ) = t medfører at l(·; t) har maksimum i ξ. Fra Observation 2.13 har vi
altså, at τ(·) er en en-til-en afbildning af Λ på intCt. Da τ fra Sætning 2.11 er uendelig
ofte differentiabel, gælder det samme for ˆξ(·) = τ −1 (·) : intCt → Λ.

16 KAPITEL 2. EKSPONENTIELLE FAMILIER
Den næste sætning angiver jeg uden bevis.
Sætning 2.20. For en fuld eksponentiel familie med minimal repræsentation (2.11)
gælder, at
(i) t ∈ intCt ⇒ l(ξ; t) har entydigt bestemt maksimumspunkt ˆξ(t),
(ii) t /∈ intCt ⇒ l(ξ; t) antager ikke sit supremum for ξ ∈ Λ ,
(iii) t ∈ τ(intΛ) ⊆ intCt ⇒ ˆξ(t) er den entydigt bestemte løsning til ligningen τ(ξ) =
t, med ξ ∈ intΛ.
Bemærkning 2.21 Hvis t ∈ intCt\τ(intΛ), så skal det entydigt bestemte ˆξ(t) findes på
randen af Λ. Et eksempel til belysning af situationen i Sætning 2.20 er tætheden
1
exp(−|x| + θx − κ(θ)),
1 + x4 hvor Ct er hele R og τ(int Λ) er et endeligt interval.
Jeg slutter dette afsnit med at se på situationen med n uafhængige og identisk fordelte
variable X1, . . . , Xn, hvor fordelingen tilhører den eksponentielle familie (2.11).
Den simultane tæthed er
dPn ξ
dνn (x1, . . . , xn) = c(ξ) −n
exp ξ ·
d.v.s. at vi har igen en eksponentiel familie af orden k idet :
n
∑
1
t(xi) ,
Observation 2.22 Hvis 1, t1(x), . . . , t k(x) er lineært uafhængige n.s.−ν, så er også 1,
∑ n 1 t1(x i), . . . , ∑ n 1 t k(x i) lineært uafhængige n.s.−ν n .
Bevis.
⇓
⇓
n
c0 + c1 ∑
1
t1(x i) + · · · + c k
n
∑
1
t k(x i) = 0 n.s. − ν n
∃ x2, . . . , xn så at der n.s-ν mht. x1 gælder:
n
n
c0 + c1 t1(xi) + · · · + ck tk(xi) + c1t1(x1) + · · · + cktk(x1) = 0
∑ 2
∑ 2
c k = · · · = c1 = c0 = 0.
Log likelihood funktionen er
ln(ξ) = ξ ·
n
∑
1
t(x i) − nκ(ξ) = nl(ξ; ¯t)
med ¯t = ∑ t(x i)/n, og hvor l(ξ; t) er givet i (2.19). Estimation baseret på x1, . . . , xn er
derfor som før med t erstattet af ¯t, og resultaterne fra Sætningerne 2.18 og 2.20 kan
bruges.

2.6. MARGINALE OG BETINGEDE FORDELINGER 17
Eksempel 2.23 (Normalfordelingen).
I eksempel 2.14 så vi at normalfordelingerne med middelværdi µ og varians σ 2 med
(µ, σ 2 ) ∈ R × R+ udgør en regulær eksponentiel familie. Den kanoniske observator er
t(x) = (x, x 2 ) og støtten for T er
Den konvekse støtte for T er derfor
{(x, y) ∈ R 2 |y = x 2 }.
Ct = {(x, y) ∈ R 2 |y ≥ x 2 }.
Da ethvert punkt (x, x 2 ) er på randen af Ct vil maksimum likelihood estimaterne for
(µ, σ 2 ) eller ξ = (µ/σ 2 , −1/(2σ 2 ) ikke eksistere når vi blot har én observation. Når vi
istedet har n > 1 observationer x1, . . . , xn eksisterer maksimum likelihood estimaterne
med sandsynlighed 1. Dette er fordi
1
n
n
∑
i=1
(x i, x 2 i
1
) =
n (x1, x 2 1
1 ) + · · · +
n (xn, x 2 n) ∈ int Ct
hvis der blot er to observationer der er forskellige. Udsagnet følger af at x → x 2 er en
strengt konveks kurve og derfor vil en konveks kombination af forskellige punkter på
denne kurve ikke ligge på kurven.
2.6 Marginale og betingede fordelinger
Vi betragter igen en fuld eksponentiel familie med minimal repræsentation (2.11). Lad
ξ = (ξ (1) , ξ (2) ) og t(x) = (t (1) (x), t (2) (x)) være en opsplitning i de første m og de sidste
(k − m) koordinater med 1 ≤ m < k. Hvad kan vi sige om de marginale fordelinger
for t (2) (X) og de betingede fordelinger af t (1) (X) givet t (2) (X)?
Observation 2.24 Der gælder generelt følgende formel for marginale tætheder
dQU
dQ
(u) = EP (X) | U = u .
dPU
dP
Bevis. Se afsnit 11.4.
Benyttes denne for den marginale tæthed for t (2) (X) fås
dPξT (2)
dPξ0T (2)
dPξ
(v) = Eξ0 dPξ0 = c(ξ0)
c(ξ) E
ξ0 exp
(X) | t (2)
(X) = v
(ξ (1) − ξ (1)
0 ) · t(1) (X)
| t (2)
(X) = v exp
(ξ (2) − ξ (2)
0
(2.24)
) · v .
Hvis vi ser på delklassen P0 = {P ξ|ξ ∈ Λ0} med Λ0 = {(ξ (1) , ξ (2) )|ξ (1) = ξ (1)
0 }, er
(2.24) på formen (2.1), og de marginale fordelinger af t (2) (X) udgør en ekponentiel
familie P 0T (2).

18 KAPITEL 2. EKSPONENTIELLE FAMILIER
Hvis P er fuld, er P 0T (2) også fuld, idet
exp[α · v]P ξ0T (2)(dv) = E ξ0 exp[α · t(2) (X)] = E ξ0 exp[0 · t(1) (X) + α · t (2) (X)]
som er endelig, hvis og kun hvis (0, α) = ξ − ξ0 for et eller andet ξ ∈ Λ, d.v.s. α = ξ (2) −
ξ0 (2) for ξ ∈ Λ, og vi får netop klassen P 0T (2). Hvis Λ er åben, er {α|ξ0 + (0, α) ∈ Λ} en
åben mængde i R k−m , d.v.s. hvis P er regulær, er P 0T (2) også regulær.
Vi vender os nu mod de betingede fordelinger.
Observation 2.25 Lad P og Q være to sandsynlighedsmål på (X , A) med Q ≪ P. Lad
(Y, B) være et andet målrum og lad t : X → Y være en målelig afbildning. Definer
f (x) = dQ
(x), g(t) =
dP
Så gælder der at Q(·|t) ≪ P(·|t) og
dQ(·|t)
(x) =
dP(·|t)
f (x)P(dx|t), D = {t|0 < g(t) < ∞}.
⎧
⎨
f (x)
g(t)
t ∈ D
⎩
1 t /∈ D.
Bemærk at PT({t|g(t) = ∞}) = 0 og dermed også QT({t|g(t) = ∞}) = 0. Desuden
har vi fra Observation 2.24 også at QT({t|g(t) = 0}) = 0. Vi har altså at QT(D c ) = 0.
Bevis. Se afsnit 11.4.
Eksempel 2.26.
Lad Q være fordelingen for (X1, . . . , Xn), hvor X-erne er uafhængige og
Q(X i = 1) = 1 − Q(X i = 0) = θ,
og lad P være den tilsvarende fordeling med θ = 1/2. Med U = X1 + · · · + Xn er
og
Fra Observation 2.25 får vi
dQ(·|U = u)
(x) =
dP(·|U = u)
dP
(x) =
d♯n
1
n ,
2
dQ
d♯ n (x) = θu (1 − θ) n−u ,
dQ
dP (x) = 2n θ u (1 − θ) n−u .
2 n θ u (1 − θ) n−u
EP(2 n θ u (1 − θ) n−u |U = u) =
2 n θ u (1 − θ) n−u
2 n θ u (1 − θ) n−u EP(1|U = u)
hvilket viser at den betingede fordeling af (X1, . . . , Xn) givet U = u er den samme
uanset værdien af θ.
= 1,

2.7. KOMPLETHED AF DEN MINIMALKANONISKE OBSERVATOR 19
For den betingede fordeling af X givet t (2) (X) = u får vi
dP ξ(·|t (2) (X) = u)
dP ξ0 (·|t(2) (X) = u) =
=
e (ξ−ξ0)·t(x)
E ξ0 (e(ξ−ξ0)·t(X) |t (2) (X) = u)
e (ξ(1) −ξ (1)
0 )·t(1) (x)
E ξ0 (e(ξ(1) −ξ (1)
0 )·t(1) (x) |t (2) (X) = u)
For en fast værdi af u udgør de betingede fordelinger således en eksponentiel familie.
Denne betingede familie er ikke nødvendigvis fuld, selvom P er fuld.
Ovenfor betragtede vi de første m og sidste k − m koordinater i ξ og t(x). Generelt
kan vi lade A2 være en k × (k − m) matrix af fuld rang k − m. Denne supplerer vi med
A1: k × m så at
A = (A1, A2)
er en invertibel k × k matriks. Da
ξ · t(x) = ξt(x) ∗ = [ξ A ∗−1 ][t(x)A] ∗ ,
kan vi opskrive P som en eksponentiel familie med minimal kanonisk observator
˜t(x) = t(x)A og minimal kanonisk parameter ˜ξ = ξA ∗−1 . Vi har derfor:
Sætning 2.27. Lad P være en regulær familie og lad A være som ovenfor. Så udgør
de marginale fordelinger for ˜t (2) (X) = t(X)A2 i delmodellen med ˜ξ (2) fast en regulær
eksponentiel familie.
Bemærkning 2.28 Hvis vi betragter en delmodel givet ved {P ξ|ξ ∈ ˜Λ}, hvor ˜Λ ⊂ Λ
er åben, vil det kanoniske parameterområde for de marginale fordelinger af t(X)A2
under ˜ξ (2) fast også være åben. Når det kanoniske parameterområde er åbent, taler vi
om en åben eksponentiel familie.
2.7 Komplethed af den minimalkanoniske observator
For en general klasse P af sandsynlighedsmål på målrummet (X , A), og en generel
observator t : (X , A) → (Y, B) med værdier i målrummet (Y, B), skal jeg nu definere
komplethed. Intuitivt skal vi formalisere, at klassen P er stor nok til, at en funktion er
entydigt fastlagt ud fra dens middelværdier under P, P ∈ P.
Definition 2.29 Observatoren T = t(X) siges at være komplet under P (henholdsvis
begrænset komplet) hvis der for enhver funktion f : (Y, B) → (R, B(R)) (henholdsvis
enhver begrænset funktion) med
EP f (T) = f (t(x))P(dx) = 0 ∀ P ∈ P,
gælder at
f (t(x)) = 0 n.s. − P for alle P ∈ P.

20 KAPITEL 2. EKSPONENTIELLE FAMILIER
Observation 2.30 Hvis T er komplet, så er T også begrænset komplet.
Observation 2.31 Hvis T er komplet, så er også ˜T = g(T) komplet, hvor g er en målelig
afbildning fra Y til ˜Y.
Bevis. Antag, at EP f ( ˜T) = EP f (g(T)) = 0 for alle P ∈ P. Heraf følger, at f (g(t(x))) =
f (˜t(x)) = 0 n.s.-P for alle P ∈ P.
Sætning 2.32. Lad P = {P ξ|ξ ∈ Λ0} være en eksponentiel familie på minimal form
dP ξ
dµ (x) = a(ξ)b(x)eξ·t(x) , x ∈ X , ξ ∈ Λ0 ⊆ R k .
Vi antager ikke her, at Λ0 er det fulde parameter område. Hvis intΛ0 = ∅, er T = t(X)
komplet under P = {P ξ|ξ ∈ Λ0}.
Bevis. Lad ξ0 ∈ Λ0 og lad f : R k → R opfylde
0 =
a(ξ)b(x)e ξ·t(x) f (t(x))µ(dx) = a(ξ)
a(ξ0)
e (ξ−ξ0)·t(x)
f (t(x))Pξ0 (dx), (2.25)
for alle ξ ∈ Λ0. Lad f + (t) = f (t)1( f (t) > 0) og f − (t) = − f (t)1( f (t) < 0), og definer
de to mål ν + og ν − på (R k , B(R k )) ved
dν +
dPξ0T (t) = f + (t) og dν−
(t) = f
dPξ0T − (t).
Disse to mål er endelige, idet f er P ξ-integrabel for alle ξ ∈ Λ0. Så viser (2.25), at
e (ξ−ξ0)·t
+
ν (dt) =
e (ξ−ξ0)·t ν − (dt) ∀ ξ ∈ Λ0.
Denne ligning siger, at Laplacetransformerne for de to mål ν + og ν − stemmer overens
på Λ0 − ξ0. Da int(Λ0 − ξ0) = ∅ følger det af JHJ, afsnit 4.19, at ν + = ν − . Dette giver
til gengæld, at
f + (t) = f − (t) n.s. − P ξ0T,
og dermed fra definitionen af f + og f − , at
Observationen 2.2 giver så, at
f (t) = 0 n.s. − P ξ0T.
f (t(x)) = 0 n.s. − P ξ for alle ξ ∈ Λ0.
Eksempel 2.33.
Lad X være binomialfordelt med antalsparameter n og sandsynlighedsparameter θ. Så
siger sætningen ovenfor, at hvis
E θ f (X) = 0 ∀ 0 < θ < 1,

2.8. OPGAVER 21
så vil der gælde, at f (0) = f (1) = · · · = f (n) = 0. Lad os vise dette direkte. Vi har
altså, at
θ x (1 − θ) n−x = 0
n
n
∑ f (x)
x
x=0
for alle θ. Lader vi nu θ → 0, forsvinder alle led i summen pånær det første, som bliver
f (0). Vi kan altså slutte, at f (0) = 0. Vi dividerer nu ligningen ovenfor med θ og lader
igen θ → 0. Dette giver os, at f (1) = 0, og sådan fortsætter vi, indtil vi har vist, at f er
identisk nul.
2.8 Opgaver
Opgave 2.1 Opskriv hver af familierne nedenfor på eksponentiel familieform. Angiv
støtten for den kanoniske observator T, den konvekse støtte Ct, samt variationsområdet
Λ0 for den kanoniske parameter og det fulde parameterområde Λ. Udregn desuden
middelværdi og varians for den kanoniske observator.
a) Binomialfordelingerne med antalsparameter n fast og sandsynlighedsparameter
0 < θ < 1.
b) Poissonfordelingerne med parameter λ > 0. Find i dette tilfælde også skævhed
og kurtosis af en poissonfordelt variabel.
c) Normalfordelingerne med middelværdi µ og varians σ 2 med (µ, σ 2 ) ∈ R × R+.
d) Gammafordelingerne med formparameter λ og invers skalaparameter β med
(λ, β) ∈ R 2 + .
Opgave 2.2 Find det fulde parameterområde Λ for den eksponentielle familie med
tætheder
dP ξ
dm (x) = a(ξ)b(x)eξx , x ∈ R,
i tilfældene
Her er m Lebesguemålet på R.
(i) b(x) = e −|x| og (ii) b(x) = e−|x|
.
1 + x2 Opgave 2.3 Betragt en eksponentiel familie på formen (2.1) med t(x) ∈ R k . Vis, at hvis
støtten for T er begrænset, og familien er ikke tom, så er det fulde parameterområde Λ
lig med R k .
Opgave 2.4 Denne opgave er en hjælp til jer, når I skal vise affin uafhængighed næsten
sikkert.
Lad (X , A, µ) være et metrisk målrum, hvor målet µ giver strengt positivt mål til
enhver åben kugle. Lad desuden t1, . . . , t k være kontinuerte funktioner fra X ind i R.
Vis, at hvis t1(·), . . . , t k(·) er affint uafhængige som funktioner på X , så er de også
affint uafhængige næsten sikkert med hensyn til µ.

22 KAPITEL 2. EKSPONENTIELLE FAMILIER
Vink: Lad (α0, . . . , α k) = 0. Så findes x0 ∈ X , så at α0 + α1t1(x0) + · · · + α kt k(x0) = 0.
Overvej, at
{x ∈ X |α0 + α1t1(x) + · · · + α kt k(x) = 0}
er en åben og ikke-tom mængde, og dermed har positivt µ-mål.
Opgave 2.5 Denne opgave viser, at den minimal kanoniske observator kan være komplet,
selv om det indre af det kanoniske paramterområde er tomt.
Lad X og Y være uafhængige og Poissonfordelte med EX = θ −1 og EY = exp(−θ),
hvor parameteren θ varierer i R+. Vis, at dette er en eksponentiel familie af orden 2
med kanonisk observator t(x, y) = (x, y) og kanonisk parameter (− ln θ, −θ). Vis, ved
direkte undersøgelser, at (X, Y) er komplet.
Vink: Hvis E θ f (X, Y) = 0 for alle θ, vis da først at f (0, 0) = 0 ved at lade θ → ∞,
dernæst f (k, 0) = 0 for alle k > 0, og endelig at f (k, l) = 0 for alle k > 0 og l > 0.
Opgave 2.6 Betragt en eksponentiel familie på minimal form
dP θ
dµ (x) = a(θ)b(x)eϕ(θ)·t(x) ,
hvor ϕ : Θ → R k og Θ er et åbent område i R k . Vis at
og
E θt(X) = τ(ϕ(θ)) =
V θt(X) =
∂(− ln a(θ))
∂θ
∂ϕ ∗
∂ϕ
∂θ∗ −1 ∂Eθt(X)
∂θ∗ .
Opgave 2.7 Lad (X1, Y1), (X2, Y2), . . . , (Xn, Yn) være n uafhængige observationer fra
den todimensionale normalfordeling med middelværdivektor (0, 0) og variansmatrix
1 ρ
ρ 1
∂θ
−1
hvor korrelationskoefficienten ρ har intervallet (−1, 1) som variationsområde.
1) Vis at den således fastlagte familie af fordelinger for samplet (X1, Y1), . . . , (Xn, Yn)
er eksponentiel, bestem ordenen af denne eksponentielle familie, og angiv en
minimal kanonisk observator og en minimal kanonisk parameter. Er familien
fuld?
2) Opstil likelihoodligningen for ρ.
Lad nu (X1, Y1), (X2, Y2), . . . , (Xn, Yn) være n uafhængige observationer fra den todimensionale
normalfordeling med middelværdivektor (0, 0) og variansmatrix
σ2 ρσ2
ρσ 2 σ 2
hvor korrelationskoefficienten ρ har intervallet (−1, 1) som variationsområde og σ 2 >
0.

2.8. OPGAVER 23
3) Vis, at dette er en fuld eksponentiel familie.
Opgave 2.8 Antag, at X−1 og X1 er uafhængige og Poissonfordelte med middelværdi
λ i = 1 2 eα+iβ , i = −1 og 1.
Lad P = {P (α,β) : (α, β) ∈ R 2 } betegne klassen af fordelinger for X = (X−1, X1).
1) Vis, at P er en regulær eksponentiel familie af orden 2.
2) Angiv definitionsområdet D for maximum likelihood estimatoren (ˆα, ˆβ) og vis,
at hvis x ∈ D, så er
ˆα(x) = ln 2
X−1X1
og
ˆβ(x) = ln
X1
X−1
3) Vis, at informationsfunktionen svarende til observationen (x−1, x1) er
4) Lad
j(α, β) =
e α cosh(β) e α sinh(β)
e α sinh(β) e α cosh(β)
.
.
τ = e α cosh(β) (= E (α,β)(X−1 + X1)).
Vis, at P kan parametriseres ved (τ, β) samt at variationsområdet for (τ, β) er
(0, ∞) × (−∞, ∞).
Opgave 2.9 (Den logaritmiske fordeling) Definer sandsynlighedsmålet Pθ, 0 < θ < 1, på
X = {1, 2, . . .} ved
dPθ θx
(x) = (− log(1 − θ))−1
d♯ x ,
hvor ♯ er tællemålet. Opskriv familien på eksponentiel familieform. Angiv støtten for
den kanoniske observator T, den konvekse støtte Ct, samt variationsområdet Λ0 for
den kanoniske parameter og det fulde parameterområde Λ. Udregn desuden middelværdi
og varians for den kanoniske observator.
Opgave 2.10 (Den negative binomialfordeling) Definer sandsynlighedsmålet P θ, 0 < θ <
1, på X = {0, 1, 2, . . .} ved
dPθ κ + x − 1
(x) =
d♯ x
θ x (1 − θ) κ ,
hvor ♯ er tællemålet og κ > 0 er en fast parameter. Opskriv familien på eksponentiel familieform.
Angiv støtten for den kanoniske observator T, den konvekse støtte Ct, samt
variationsområdet Λ0 for den kanoniske parameter og det fulde parameterområde Λ.
Udregn desuden middelværdi og varians for den kanoniske observator.

24 KAPITEL 2. EKSPONENTIELLE FAMILIER
Opgave 2.11 (Den inverse gauss fordeling) Definer sandsynlighedsmålet P (χ,ψ), (χ, ψ) ∈
R 2 + , på X = R+ ved
dP (χ, ψ)
(x) =
dm
√ χ exp( √ χψ)
√ 2πx 3
exp − χ
2x
ψx
− ,
2
hvor m er lebesguemålet. Opskriv familien på eksponentiel familieform. Angiv støtten
for den kanoniske observator T, den konvekse støtte Ct, samt variationsområdet
Λ0 for den kanoniske parameter og det fulde parameterområde Λ. Udregn desuden
middelværdi og varians for den kanoniske observator.

Kapitel 11
Notation og regneregler
Dette kapitel er tænkt som et opslagssted, for det meste med resultater i kender fra
tidligere kurser. I kan selv fylde på når i undervejs støder på nyttige formler.
11.1 notation
Det basale udfaldsrum hedder ofte X , og X er den stokastiske variabel svarende til
identitetsafbildningen på X .
Alle vektorer er rækkevektorer, og den transponerede vektor x ∗ er derfor en søjlevektor.
Hvis f er en afbildning fra R m ind i R k er
og
∂ f
(x) =
∂x∗ ∂ f ∗
(x) =
∂x
⎛
⎜
⎝
⎛
⎜
⎝
∂ f 1
∂x 1 (x) · · ·
∂ f 1
∂xm
.
(x) · · ·
∂ f 1
∂x 1 (x) · · ·
.
∂ f k
∂x 1 (x) · · ·
11.2 Transformationssætningen
∂ f k
∂x 1 (x)
.
∂ f k
∂xm (x)
∂ f 1
∂xm (x)
.
∂ f k
∂xm (x)
Lad X være en stokastisk variabel i Rk med tæthed f (·) m.h.t. Lebesguemålet, og lad
h(·) være en afbildning fra Rk ind i Rk . Vi definere Y = h(X) og ønsker at finde tætheden
g(·) for Y. Lad
J(x) =
∂h
∗
∂x (x)
,
hvor | · | er absolutværdien af determinanten. Antag at der eksisterer åbne disjunkte
mængder B1, . . . , Bm så at h er en entydig afbildning med J(x) > 0 på hver af B i,
135
⎞
⎟
⎠ ,
⎞
⎟
⎠ .

136 KAPITEL 11. NOTATION OG REGNEREGLER
i = 1, . . . , m, og at P(X ∈ ∪ iB i) = 1. Så gælder der
g(y) = ∑
x:h(x)=y
f (x)J(x) −1 .
Hvis h er en entydig afbildning på Rk , så at m = 1, får vi den mere velkendte formel
g(y) = f (x)J(x) −1
= f h −1
(y) J h −1 −1 (y) .
11.3 Betinget middelværdi
Lad det basale udfaldsrum være X med sigma-algebra A. Lad (Y, B) være et andet
målrum, og lad T = t(X) med t : X → Y en målelig afbildning. Den betingede
middelværdi E( f (X)|T), hvor f : X → R er en målelig afbildning, er en stokastisk
variabel, altså en funktion på X , E(X|Y) = E(X|Y)(x), som er σ(T)-målelig og som
opfylder at E(1B(T)E( f (X)|T)) = E(1B(t(X)) f (X)) for alle B ∈ B. Da E( f (X)|T) er
σ(T)-målelig eksisterer der ifølge JHJ 6.4 en funktion ϕ : Y → R så at
E( f (X)|T)(x) = ϕ(t(x))).
Vi betegner ϕ(t) med E( f (X)|t = t). Bemærk at E( f (X)|T = t) kun er bestemt op til
en PT nulmængde.
Hvis PT (·, ·) er en regulær betinget sandsynlighed givet T, så gælder der (se (11.1))
f (x)P T (dx|t)
X
er en betinget middelværdi givet T. Med andre ord: en udgave af E( f (X)|t = t) er
givet ved
E( f (X)|t = t) = f (x)P T (dx|t).
Dette læses som at den betingede middelværdi er middelværdien i den betingede fordeling.
Jeg minder om at vi har regnereglen
E( f (X, T)|T = t) = E( f (X, t)|T = t),
hvilket læses på den måde at højresiden er en version af venstresiden. Bemærk at vi
fra diskussionen tilsidst i afsnit 3.1 har at
f (x, t(x))P T
(dx|t) = f (x, t)P T (dx|t)
hvis Y er et metrisk rum med en tællelig taet delmængde og B er Borel sigma-algebraen.
11.4 Betingede tætheder
Vi gennemgår her et specialtilfæde af opgave 3.3. Lad (X, Y) have simultan tæthed
f (x, y) på R k+l og lad Y have marginal tæthed g(y), begge med hensyn til Lebesguemålet.
Så er den betingede tæthed af X givet Y = y
f (x|y) =
X
f (x, y)
g(y) .

11.4. BETINGEDE TÆTHEDER 137
Den regulære betingede sandsynlighed af (X, Y) givet Y i Definition 3.1 bliver i dette
tilfælde
P Y
(A|y) = f (x|y)dx.
x:(x,y)∈A
Bevis. Vi skal eftervise (iii) i Definition 3.1. Lad B være en Borelmængde i Rl og A en
Borelmængde i Rk+l . Så gælder der
f (x|y)dx g(y)dy
P
B
Y (A|y)PY(dy) =
B
=
=
B
x:(x,y)∈A
x:(x,y)∈A
A∩R k ×B
f (x, y)dxdy
f (x, y)dxdy = P(A ∩ {Y ∈ B}).
Følgende regneregel (JHJ 10.3) for betingede sandsynligheder er meget brugbar. For
en regulær betinget sandsynlighed PT (A|t) og vilkårlige målelige funktioner f : X →
R, g : Y →R har vi ligheden
g(t) f (x)P T
(dx|t) dPT(t) = g(t(x)) f (x)P(dx) = E{g(t(X)) f (X)}. (11.1)
Dette er en specialudgave af hvad JHJ kalder “useful rules". Andre udgaver er
ψ(x, t)P T (dx|t), (11.2)
og
ψ(x, t(x))P T (dx|t) =
E(ψ(X, T) =
Endvidere gælder der følgende rimelige resultat
ψ(x, t)P T (dx|t)PT(dt). (11.3)
P T (T = t|t) = 1 n.s. PT,
såfremt at mængden {(x, t(x)|x ∈ X } tilhører produkt σ-algebraen A ⊗ B.
Nu følger bevis for Observationerne 2.24 og 2.25.
Bevis (for Obsevation 2.24 (JHJ 10.11)). Lad u være en afbildning fra det basale udfaldsrum
(X , A) ind i (Y, B). Definer
g(u) = EP( dQ
dQ
(X)|U = u) =
dP dP (x)PU (dx|u).
Vi skal vise at g(u) er tætheden for QU mht PU. Lad B ∈ B. Så får vi
dQ
g(u)dPU(u) = 1B(u)
B
dP (x)PU
(dx|u) dPU(u)
= EP 1B(u(X)) dQ
dP (X)
= 1B(u(x)) dQ
(x)dP(x) = 1B(u(x))dQ(x)
dP
= QU(B).

138 KAPITEL 11. NOTATION OG REGNEREGLER
I det andet lighedstegn har vi brugt regneregelen (11.1) ovenfor, og i det næstsidste
lighedstegn har vi brugt en regneregel i afsnit 11.5.
Bevis (for Observation 2.25). Definer
f (x|t) =
f (x)
g(t)
t ∈ D
1 t /∈ D, og F(A|t) =
A f (x|t)PT (dx|t).
Vi vil vise at F(A|t) er en regulær betinget sandsynlighed for Q givet T. Undervejs
bruger vi at QT(D c ) = 0.
B
F(A|t)QT(dt) =
=
=
F(A|t) dQT
(t)PT(dt)
dPT
f (x|t)P
A
T
(dx|t)
g(t)PT(dt)
1B∩D(t) f (x)P T
(dx|t) PT(dt)
B∩D
B∩D
A
= EP {1B∩D(t(X))1A(X) f (X)}
= 1B∩D(t(x))1A(x) dQ
(x)P(dx) = 1B∩D(t(x))1A(x)Q(dx)
dP
= Q(A ∩ u −1 (B ∩ D)) = Q(A ∩ u −1 (B)),
som netop er definitionen på at F(A|t) er en regulær betinget sandsynlighed for Q
givet T. Jeg har brugt regneregelen (11.1) ovenfor i 4. lighedstegn og regneregel fra
afsnit 11.5 i næstsidste lighedstegn.
11.5 Regnereler for tætheder og integraler
1) µ ≪ ν ⇒ f (x)dµ(x) = f (x) dµ
dν (x)dν(x). (JHJ 3.17)
2) µ ≪ ν

11.6. ENTYDIGHED AF LAPLACETRANSFORMEN 139
Vi tager nu A = 1( f − g > 0). Så fås
1
( f − g)dµ = 0 ⇒ ( f − g)dµ = 0 ⇒ dµ = 0,
A
A ( f − g) A
dvs A er en µ-nulmængde. På tilsvarende vis ses at mængden hvor f − g < 0 er
en µ-nulmængde.
11.6 Entydighed af Laplacetransformen
Lad µ1 og µ2 være sandsynlighedsmål på R k med laplacetransformer
ϕ1(θ) =
exp(θ · x)µ1(dx) og ϕ2(θ) =
exp(θ · x)µ2(dx).
Hvis der eksisterer en åben mængde D ⊂ R k således at ϕ1 og ϕ2 begge er endelige på
D og
ϕ1(θ) = ϕ2(θ), θ ∈ D,
så er de to mål ens, µ1 = µ2.
Beviset baserer sig på at antagelsen medfører at
exp((θ + iv) · x)µ1(dx) =
exp((θ + iv) · x)µ2(dx), θ ∈ D, v ∈ R k .
For fast θ er dette karakteristiske funktioner i v, og vi kan derfor bruge entydighedssætningen
for karakteristiske funktioner.

Indeks
A
Affin uafhængighed . . . . . . . . . . . . . . . 8
Affin uafhængighed næsten sikkert . . . 21
B
Begrænset komplet . . . . . . . . . . . . . . . 19
Binomialfordelingen
som eksponentiel familie . . 6, 10, 21, 23
E
Eksponentiel familie
betingelse for minimalfremstilling . . . 7
binomialfordelingen . . . . . . . . 6, 10, 21
Den inverse gauss fordeling . . . . . . . 24
Den negative binomialfordeling . . . . 23
det fulde parameterområde . . . . . . . 11
fuld . . . . . . . . . . . . . . . . . . . . . . . . 10
gammafordelingen . . . . . . . . . . . . . 21
kanonisk observator . . . . . . . . . . . . . . 6
kanonisk parameter . . . . . . . . . . . . . . 6
kanonisk parameter observator . . . . . . 6
logaritmisk fordeling . . . . . . . . . . . . 23
minimal kanonisk observator . . . . . . . 6
normalfordelingen . . . . . . . . . . 6, 17, 21
normalfordelingen som frembragt eksponentiel
familie . . . . . . . . . . . . . . . . . 13
orden af . . . . . . . . . . . . . . . . . . . . . . 6
poissonfordelingen . . . . . . . . . . . 5, 21
regulær . . . . . . . . . . . . . . . . . . . . . . 10
åben . . . . . . . . . . . . . . . . . . . . . . . . 19
141
F
Forventet information . . . . . . . . . . . . . 60
G
Gammafordelingen
som eksponentiel familie . . . . . . . . . 21
I
Inverse gauss fordeling
som eksponentiel familie . . . . . . . . . 24
K
Komplet . . . . . . . . . . . . . . . . . . . . . . . 19
eksempel med binomialfordelingen . 20
Komplethed af observator under familie af
sandsynlighedsmål
Konveks støtte . . . . . . . . . . . . . . . . . . . 9
Kumulantransformen . . . . . . . . . . . . . 11
for t(X) under ν . . . . . . . . . . . . . . . . 11
for t(X) under ˜Pξ . . . . . . . . . . . . . . . 11
Kurtosis . . . . . . . . . . . . . . . . . . . . . . . 11
L
Laplacetransformen for T . . . . . . . . . . 10
Logaritmisk fordeling
som eksponentiel familie . . . . . . . . . 23
Lukket konveks støtte . . . . . . . . . . . . . . 9

142 INDEKS
N
Niveaukonstant test
også kaldet et similært test . . . . . . . . 89
Normalfordelingen
som eksponentiel familie . . . . . . 17, 21
som frembragt eksponentiel familie . 13
O
Observeret information . . . . . . . . . . . . 60
P
Poissonfordelingen
som eksponentiel familie . . . . . . . 5, 21
S
Scorefunktionen . . . . . . . . . . . . . . . . . 60
Similært test
det samme som niveaukonstant . . . . 89
Skævhed . . . . . . . . . . . . . . . . . . . . . . 11
Støtten for stokastisk variabel i metrisk
rum . . . . . . . . . . . . . . . . . . . . . . . . . . . 9