Stokastiikan luentoministe - Koppa

Stokastiikka
Dario Gasbarra
28. lokakuuta 2010
Sisältö
1 Esitiedot edellisistä todennäköisyys- ja mittateorian kursseista 1
2 Todennäköisyys äärettömissä tulo-avaruuksissa: satunnais-jonot
ja stokastiset prosessit 1
2.1 Kolmogorovin laajennuslause . . . . . . . . . . . . . . . . . . . 1
2.2 Tehtävät . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3 Mitanvaihto kaava odotusarvolle 7
3.1 Lebesguen hajotelma . . . . . . . . . . . . . . . . . . . . . . . . 9
3.2 Harjoitukset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4 Stokastinen konvergenssi 12
5 Satunnaismuuttujen L 1 (P ) konvergenssi. 14
6 L p (Ω) avaruudet 22
6.1 Epäyhtälöt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
7 Funktionaalianalyysin peruskäsitteiden pika-sanasto 27
8 Projektio L 2 (P ) avaruudessa 28
9 Ehdollinen odotusarvo 30
10 Ehdollinen odotusarvo Radon-Nykodim derivaattana 31
11 Mitä voidaan sanoa kun E P (|X|) = ∞ ? 32
12 Ehdollisen odotusarvon ominaisuudet 32
13 Säännöllinen ehdollinen todennäköisyys ja ytimet 33
14 Ehdollisen odotusarvon laskenta P -riippumattomuuden oletuksen
nojalla 34
15 Ehdollisen odotusarvon laskenta mitan-vaihdon avulla: Bayesin
kaava 35
15.1 Ehdollisen odotusarvon laskenta tuloavaruudessa . . . . . . . . . 37
1

16 Ehdollistaminen nollamittaisiin tapahtumiin: varoitus 39
17 Martingaalit 41
18 Doobin Martingaali-konvergenssi lause 44
18.1 Tasaisesti integroituvat martingaaalit . . . . . . . . . . . . . . . 46
18.2 Martingaalin takaperäinen konvergenssi . . . . . . . . . . . . . 47
19 Vaihdettavuus ja De Finettin lause 50
2

1 Esitiedot edellisistä todennäköisyys- ja mittateorian
kursseista
1. Charatheodoryn laajennus lause
2. Dynkinin lause todennäköisyyden laajennuksen yksikäsitteisyydestä
3. Odotusarvojen monotonisen konvergenssin lause
4. Tulo avaruudet, Fubinin lause ja riippumattomuus
5. Borel-Cantellin lemmat
6. Mitan-vaihto kaava odotusarvolle : Radon-Nykodim lause (todistetaan
myöhemmin täällä kurssilla)
2 Todennäköisyys äärettömissä tulo-avaruuksissa:
satunnais-jonot ja stokastiset prosessit
Jatkossa työskentelemme todennäköisyysavaruudessa (Ω, F, P ) joka on tarpeeksi
rikas sisältämään P -rippumattomien satunnaismuuttujen jonoja (X n (ω) : n ∈
N). Haluamme varmistaa ensin että selläinen on olemassa.
Esimerkiksi jono P -riippumattomia kolikon heittoja (X i (ω) : i ∈ N) joilla
P (X i = 1) = 1 − P (X i = 0) = p i .
Sille äärellinen tuloavaruus Ω n = {0, 1} n varustettuna tulomitalla P n :=
P 1 ⊗ · · · ⊗ P n ei riitä.
2.1 Kolmogorovin laajennuslause
Vaikka tässä kurssissa todennäköisyysmittojen jonon tulomitan olemassaolo tuloavaruudessa
riittäisi meille hyvin pitkälle,
todistamme saman tien Kolmogorovin laajennuslausetta, joka koskee mielivaltaisia
tuloavaruuksia, eikä rajoitu tulomittoihin.
Todistuksessa ei käytetä muuta kun Caratheodoryn laajennuslauseetta ja
pientä kompaktisuus-argumenttia.
Vaikka jatkossa me esitämme aina kun on mahdollista probabilistista todistusta,
tässä vaiheessa emme voi välttää kokonaan analyyttisia argumentteja.
Määritelmä 2.1. Todennäköisyysavaruudella (Ω, F) satunnaisprosessi on satunnaismuuttujen
perhe (X t : t ∈ T) jossa T on mielivaltainen indeksijoukko, ja
X t (ω) ∈ R d .
Esimerkiksi T ∈ {N, R + , Q + , Z, R, Q} voisi olla aikaparametri, diskreetti tai
jatkuva.
Määritelmä 2.2. Äärellisulotteisten todennäköisyysmittojen perhe R:ssa on
(
)
P t1,...,t n
: B(R n ) → [0, 1], n ∈ N, t 1 , . . . , t n ∈ T
on yhteensopiva , jos
1

1.
2.
( )
P t1,...,t n
(A 1 × · · · × A n ) = P tπ(1) ,...t Atπ(1) π(n) · · · × A tπ(n)
∀n ∈ N, A 1 , . . . A n ∈ B(R), t 1 , . . . , t n ∈ T, ∀ permutaatiolle π
P t1,...,t n
(A 1 × · · · × A n ) = P t1,...,t n,t n+1
(A 1 × · · · × A n × R)
Korostamme että seuraavassa lauseessa indeksijoukko T on mielivaltainen.
Teoreema 2.1. (Daniell-Kolmogorov,1933) Olkoon
(
P t : t ∈
∞⋃
)
T n
yhteensopiva perhe äärellisulotteisista todennäköisyysjakaumoista R:ssa, indeksijoukolla
T.
On olemassa yksikäsitteinen todennäköisyysmitta P tuloavaruudella Ω = R T
varustettuna tulo-topologian virittämällä sylinterien σ-algebralla σ(C),
jolla ∀n ∈ N, t 1 , . . . , t n ∈ N, B n ∈ B(R n ),
})
P
({ω ∈ R T : (ω t1 , . . . , ω tn ) ∈ B n = P t1,...,t n
(B n ) (2.1)
Sen lisäksi kanoniset kuvaukset ω ↦→ X t (ω) := ω t kun ω ∈ Ω = R T muodostuvat
stokastinen prosessi (X t (ω) : t ∈ T) jolla on annetut äärellis-ulotteiset
jakaumat
})
P
({ω : (X t1 (ω), . . . , X tn (ω)) ∈ B n = P t1,...,t n
(B n ) (2.2)
n=1
Todistus
Tuloavaruuden Ω = R T jäsenet ovat kuvaukset t ↦→ ω t ∈ R.
σ(C) on pienin σ-algebra jolla kaikille t ∈ T kanooniset kuvaukset
ω ↦→ X t (ω) = ω t
ovat (Ω, σ(C)) → (R, B(R)) mitallisia.
Määritellään algebra C joka sisältää sylinterit
}
C =
{ω ∈ R T : (ω t1 , . . . , ω tn ) ∈ B n
jossa n ∈ N, t 1 , . . . , t n ∈ N, B n ∈ B(R n ).
Kaava (2.1) määrittelee kuvauksen P : C → [0, 1].
Yhteensopivuuden oletuksesta seuraa että P(C) on hyvin määritelty, siis ei
riipu sylinterin C:n esityksestä.
Koska kahdelle sylintereille löytyy esityksiä yhteisellä indeksijoukolla, ja koska
äärellis-ulotteiset jakaumat ovat todennäköisyydet, ei ole vaikea osoittaa että
kuvaus P : C → [0, 1] on äärellisesti additiivinen.
2

Kun osoitamme että P on myös σ-additiivinen C algebrassa, Charatheodoryn
laajennuslause astuu voimaan ja P voidaan laajentaa yksikäsitteisesti σ-
additiiviseksi todennäköisyysmitaksi joka on määritelty σ-algebrassa σ(C).
Eli jää osoitettavaksi väite:
jos {C n : n ∈ N} ⊆ C on sylinterien jono jolla
C n ⊇ C n+1 ∀n, ja ⋂ n∈N
C n = ∅,
seuraa lim n→∞ P(C n ) = 0.
⋂
Vastaoletuksella C n ⊇ C n+1 ja P(C n ) ≥ ε ∀n jollekin ε > 0 , näytämme että
C n ≠ ∅.
n∈N
Valitsemalla sopivasti sylinterien esityksiä ja mahdollisesti toistaamalla sylintereita
jonossa, voidaan aina rakentaa indeksijonoa (t n ) ⊆ T ja sylinterijono
{D n : n ∈ N} jolla on esitys
}
D n =
{ω ∈ R T : (ω t1 , . . . , ω tn ) ∈ A n
jossa D n ⊇ D n+1 ∀n, A n ∈ B(R n ), A n × R ⊇ A n+1 ∀n, ja kaikille m ∈ N on
olemassa n jolla D n = C m .
Seuraa että P(D n ) ≥ ε > 0 ∀n ja
⋂
n∈N
C n = ⋂ n∈N
D n .
Koska P t1,...,t n
on todennäköisyysmitta R n :ssa ja siksi σ-additiivinen, ja A n
on Borel mitallinen, on olemassa suljettu joukko F n ⊆ A n (katso tehtävä 1) jolla
P t1,...,t n
(A n \ F n ) < ε2 −n .
Valitsemalla tarpeeksi suurta origo-keskeistä palloa B(0, r n ), löytyy myös kompakti
K n = ( F n ∩ B(0, r n ) ) ⊆ A n jolla edelleen
P t1,...,t n
(A n \ K n ) = P(D n \ G n ) < ε2 −n
jossa
}
G n :=
{ω ∈ R T : (ω t1 , . . . , ω tn ) ∈ K n
Koska nämä eivät välttämättä muodosta vähenevää jonoa, otamme leikkaukset
jossa
G ′ n =
n⋂
m=1
G m =
{
}
ω ∈ R T : (ω t1 , . . . , ω tn ) ∈ K n
′
K ′ n := K n ∩ (K n−1 × R) ∩ · · · ∩ (K 1 × R n−1 ) ⊆ K n
3

ovat kompakteja (kompakti ja sulijetun joukon leikkaus on kompakti).
Seuraa G ′ n ⊇ G ′ n+1 , ja (K′ n × R) ⊇ K ′ n+1 .
Tästä seuraa
P t1,...,t n
(K n) ′ = P(G ′ n) = P(D n ) − P(D n \ G ′ n) =
(
⋃ n )
P t1,...,t n
(A n ) − P t1,...,t n
A n \ (K m × R (m−n) )
m=1
(
⋃ n )
≥ P t1,...,t n
(A n ) − P t1,...,t n
(A m \ K m ) × R (m−n)
m=1
( koska A m × R (n−m) ⊇ A n kun n ≥ m )
(
⋃ n )
= P(D n ) − P D m \ G m
≥ P(D n ) −
m=1
n∑
P(D m \ G m ) ≥ ε −
m=1
n∑
ε2 −m > ε 2 > 0
jossa käytettiin vastaoletusta P(D n ) > ε.
Siksi ∀n, ∃(x (n)
1 . . . , x (n)
n ) ∈ K n ′ ≠ ∅.
Koska jono G ′ n ei kasva, seuraa että (x(n) 1 ) ⊆ K′ 1 ⊆ R
K 1 ′ on kompakti, siksi on olemassa suppeneva alijono x(n l)
1 → x ∗ 1 ∈ K 1 ′ .
Myös alijono (x (n l)
1 , x (n l)
2 ) ⊆ K 2 ′ , ja on olemassa suppeneva alijonon alijono
jolla on raja (x ∗ 1, x ∗ 2) ∈ K 2 ′ ⊆ R 2 .
Induktiivisesti löytyy jono (x ∗ n) jolla (x ∗ 1, . . . , x ∗ n) ∈ K n ′ ⊆ R n ∀n.
Joukot
{
}
D ∗ = ω ∈ R T : ω tn = x ∗ n ∀n ⊆ ⋂ G ′ n ⊆ ⋂ D n = ⋂ C n
n∈N n∈N n∈N
m=1
eivät ole tyhjiä □
Seuraavaksi näytämme että Kolmogoroviin lause on voimassa silloin kun
prosessi X t (ω) saa arvot hyvin yleisemmässa avaruudessa.
Määritelmä 2.3. Borelin avaruus (S, S) on todennäköisyys avaruus joka
on kuvattavissa mitallisen bijektion kautta (jolla on myös mitallinen käänteiskuvaus)
johonkin ([0, 1], B([0, 1]))-avaruuten mitaaliseen joukkoon.
Seuraus 2.1. Kolmogorovin laajennuslause soveltuu myös tuloavaruuteen S T
kun (S, S) on Borelin avaruus (esimerkiksi R d ), mielivaltaisella indeksijoukolla
T.
Todistus Olkoon f : S ↔ B ∈ B([0, 1]) mitallinen bijektio,
ja (P t1,...,t n
: n ∈ N, t i ∈ T) on yhteensopivien äärellisulotteinen jakaumien
perhe Borel avaruudessa S.
∀n ∈ N, B 1 , . . . , B n ∈ B([0, 1])
Q t1,...,t n
(B 1 × · · · × ∈ B n ) := P t1,...,t n
(f −1 (B 1 ) × · · · × f −1 (B n ))
4

jossa mitallisuudesta seuraa f −1 (B i ) ∈ S, määrittelee yhteensopiva äärellisulotteisten
todennäköisyysjakaumien perhe R:ssa, (koska n-ulotteiset suorakulmaiset
joukot muodostuvat Dynkinin d-luokan joka virittää koko tulo σ-algebra
B(R n ) ).
Kolmogorovin laajennuksen perusversio 2.1 soveltuu, on olemassa todennaköisyysmitta
P ja stokastinen prosessi (Y t (ω) : t ∈ T) kanonisessa avaruudessa
Ω = R T jolla
P(Y t1 (ω) ∈ B 1 , . . . , Y tn (ω) ∈ B n ) = Q t1,...,t n
(B 1 × · · · × B n )
= P t1,...,t n
(f −1 (B 1 ) × · · · × f −1 (B n ))
Seuraa tästä X t (ω) := f −1 (Y t (ω)), on stokastinen prosessi joka saa arvot Borel
avaruudessa (S, S) ja
P(X t1 (ω) ∈ S 1 , . . . , X tn (ω) ∈ S n ) = P(Y t1 (ω) ∈ f(S 1 ), . . . , Y tn (ω) ∈ f(S n ))
= Q t1,...,t n
(f(S 1 ) × · · · × f(S n )) = P t1,...,t n
(S 1 × · · · × S n ) □
Tehtävä 2.1. Separoituva metrinen avaruus (S, d) varustettuna Borelin σ-algebralla
(metrisen avaruuden avoimien joukkojen virittämä) on Borelin avaruus.
Todistuksen linja (ei viety loppuun asti) : Metrinen avaruus on separoituva
kun on olemassa numeroituva jono {y n } n∈N joka on tiheä S:ssa metrisen
topologian suhteen, eli ∀x ∈ S on olemassa alijono {y nk } k∈N jolla d(y nk , x) → 0.
Tämän alijonon kautta voidaan koodata jokaisen pisteen x ∈ S osoiteetta
yksikäsitteisesti binäärijonolla.
Kyseinen kuvaus voidaan rakentaa seuraavasti: olkoon
n k := argmin 1≤m

2.2 Tehtävät
1. Osoita: jos B ∈ B(R), ∀ε > 0 ja ∀P todennäköisyysmittoja avaruudessa
(R, B(R)), on olemassa olemassa avoin joukko U ja suljettu joukko F jolla
F ⊆ B ⊆ U, ja P (U \ F ) < ε.
Vihje Olkoon A kokoelma joukoista joilla on kyseinen ominaisuus. Osoita
että A on σ-algebra joka sisältää suljetut joukot, ja siksi sisältää kaikki
Borelin joukot. Käytä σ-additiivisuutta !
2. Olkoon (S, S) Borelin avaruus, ja K(x, dy) a todennäköisyys-ydin, joka on
kuvaus K : S × S :→ [0, 1], jolla
(a) ∀x ∈ S kuvaus A ↦→ K(x, A) on todennäköisyysmitta.
(b) ∀A ∈ S, kuvaus x ↦→ K(x, A) on mitallinen.
• Olkoon x ∈ S. Soveltakaa Kolmogorovin lajennuslausetta osoittamalla
että on olemassa todennäköisyysmitta P x jono avaruudessa
Ω = S N ja stokastinen prosessi (X t (ω) = ω t , t ∈ N) joilla kaikille
n, A 1 , . . . , A n ∈ S,
(
)
P x X 0 (ω) ∈ A 0 , X 1 (ω) ∈ A 1 , . . . , X n (ω) ∈ A n =
∫
1 A0 (x)
K(x n−1 , dx n )K(x n−2 , dx n−1 ) . . . K(x, dx 1 )
A 1×···×A n−1×A n
• Olkoon π(dx) todennäköisyysmitta (S, S). Osoite että on olemassa
todennäköisyysmitta P π jonojen avaruudessa Ω = S N ja satunnaismuuttujen
jono joilla (X t (ω) = ω t , t ∈ N) satises for all n,
A 0 , A 1 , . . . , A n ∈ S,
P π
(
X 0 (ω) ∈ A 0 , X 1 (ω) ∈ A 1 , . . . , X n (ω) ∈ A n
)
=
∫
A 0×A 1×···×A n−1×A n
K(x n−1 , dx n )K(x n−2 , dx n−1 ) . . . K(x 0 , dx 1 )π(dx 0 )
(X t (ω) : t ∈ N) kutsutaan Markovin prosessiksi alkujakaumalla π(dx)
ja siirtymäytimellä K(x, dy).
• Olkoon
K n (x, dy) := P x (X n ∈ dy), n ∈ N (2.3)
Osoita että K n (x, dy) n ∈ N ovat todennäköisyys-ytimiä jotka toteuttavat
Chapmanin-Kolmogorovin yhtälö: ∀m, n ∈ N
∫
K n+m (x, dy) = K n (x, dz)P m (z, dy) (2.4)
S
6

3 Mitanvaihto kaava odotusarvolle
Käytämme seuraavat pikanotaatioita silloin kun selvää että on kyse satunnaismuuttujasta
eikä tapahtumasta:
Olkoon X(ω) satunnaismuuttuja.
Jos X on F-mitallinen merkitään X ∈ F, tai X ∈ L 0 (Ω, F).
Jos X ∈ F ja X(ω) ≥ 0∀ω merkitään X ∈ F + .
Jos X ∈ F ja X(ω) ≥ 0 P -m.v. merkitään X ∈ L 0 +(Ω, F).
Kun
n∑
X(ω) = x i 1 Ai (ω)
i=1
jossa x i ∈ R ja A i ∈ F, sanotaan että X on yksinkertainen satunnaismuuttuja
ja merkitsemme X ∈ YF. Merkisten myös YF + = YF ∩ F + .
Todennäköisyys avaruudessa (Ω, F, P ), olkoon satunnaismuuttuja Z(ω) ≥ 0
P -melkein varmasti jolla 0 < E P (Z) < ∞, josta seuraa myös P ({ω : Z(ω) >
0}) > 0 .
Määritellään uusi todennäköisyysmitta Q : F → [0, 1]
Q(A) := E P (Z1 A )
E P (Z)
∀A ∈ F
Q on todennäköisyysmitta: Selvästi on additiivinen ja Q(Ω) = 1. Osoitamme
että on myös σ-additiivinen: kun A n ↑ Ω, (eli A n ⊆ A n+1 ja ⋃ n
A n = Ω), myös
Z(ω)1 An (ω) ↑ Z(ω) P -melkein varmasti. Monotonisen konvergenssin lauseesta
(??) seuraa
Q(A n )E P (Z) = E P
(
Z1An
)
↑ EP (Z) = Q(Ω)E P (Z) =⇒ Q(A n ) ↑ 1
Voidaan myös käyttää normalisoitua muuttujaa
˜Z(ω) :=
Z(ω)
E P (Z)
jolla E P ( ˜Z) = 1, ja kirjoittaa Q(A) = E P
( ˜Z1A
)
.
Teoreema 3.1. ∀A ∈ F P (A) = 0 =⇒ Q(A) = 0. Sanotaan että Q on
absoluuttisesti jatkuva P:n suhteen, ja merkitään Q ≪ P.
Tod. kun P (A) = 0 , Z(ω)1 A (ω) = 0 P -melkein varmasti.
Teoreema 3.2. Kun X ∈ F + , (eli X(ω) ≥ 0 P-m.v. ja F-mitallinen) ,
E Q (X) = E P (XZ)
E P (Z) ,
ja X ∈ L 1 (Ω, F, Q) jos ja vain jos (XZ) ∈ L 1 (Ω, F, P ).
Tod. Kun X(ω) ∈ YF + , väite seuraa suoraan määritelmästä ja odotusarvon
lineaarisuudesta. Kun X ∈ F + on olemassa jono {X n } ⊆ YF + jolle
0 ≤ X n (ω) ≤ X(ω) ∀ω. Soveltamalla Monotonisen konvergenssin lauseen kaksi
kertaa Q mitan alla ja P mitan alla, seuraa että E Q (X n ) ↑ E Q (X) ja
E Q (X n ) = E P (X n Z)
E P (Z)
↑ E P (XZ)
E P (Z)
□
7

Esimerkki 3.1. Ehdollinen todennäköisyys
Olkoon B ∈ F jolla P (B) > 0, ja suoritamme mitan vaihdon satunnaismuuttujalla
Z(ω) = P (B) −1 1 B (ω), saadaan
P (A|B) := E P (Z1 A ) = E P (1 A 1 B )
P (B)
=
P (A ∩ B)
P (B)
, A ∈ F
Kuvaus P ( · |B) : A ∈ F ↦→ P (A|B) ∈ [0, 1] on todennäköisyysmitta, joka
kutsutaan ehdolliseksi todennäköysyydeksi ehdolla B tapahtuman.
Hajotelmasta
P (A ∩ B) = P (B)P (A|B) = P (A)P (B|A)
on paljon hyötyä monimutkaisten tapahtumien todennäköisyyksien laskemisessa.
Satunnaismuuttujan X ∈ L 1 (P ) ehdollinen odotusarvo ehdolla B tapahtuman
on
E P (X|B) := E P (X1 B )
P (B)
Huomaamme että tässä vaiheessa ehto P (B) > 0 on välttämätön. Miten ehdollisen
odotusarvon käsite yleistyy P-nolla mittaisille tapahtumille B ? Vastaus
esitetään kurssin loppupuolella.
Olemme rakentaneet mitan Q ≪ P satunnaismuuttujan Z ∈ L 1 (P ) avulla.
Tämä tulos kääntyy toisinpäin, kun Q ≪ P on olemassa 0 ≤ Z(ω) ∈ L 1 (P )
jolle mitanvaihto kaava Q(A) = E P (Z1 A ) on voimassa.
Teoreema 3.3. (Radon-Nikodym lause) Todennäköisyysavaruudessa (Ω, F) olkoon
P, Q todennäköisyysmittoja (yleisemmin P voisi olla σ-äärellinen mitta),
joilla Q(A) = 0 aina kun A ∈ F ja P (A) = 0 (merkintä: Q F ≪ P). Silloin on
olemassa satunnaismuuttuja 0 ≤ Z(ω) ∈ L 1 (Ω, F, P ) jolle E P (Z) = 1 ja
Q(A) = E P (Z1 A )
∀A ∈ F
Z(ω) on yksikäsitteinen vailla P-nolla joukkoja. Merkitään
Z(ω) = dQ
dP (ω) ,
joka kutsutaan uskottavuus-osamääräksi (engl. likelihood ratio) tai Radon-Nikodym
derivaataksi.
R-N lause todistetaan kurssin loppupuolella martingaalien avulla.
Mitanvaihto-kaava saa muotoa
∫
∫
E Q (X) = X(ω)Q(dω) =
Ω
Ω
X(ω) dQ (ω) P (dω)
dP
Määritelmä 3.1. Todennäköisyysavaruudessa (Ω, F) todennäköisyysmitat P
ja P ′ ovat singulaarisia (merkintä: P ⊥ P ′ ), kun on olemassa A ∈ F jolla
P (A) = 0 ja P ′ (A) = 1.
8

Esimerkki 3.2. Todennäköisyys avaruudessa (Ω, F, P ) olkoon F = σ(X) jossa
X(ω) on standardi-gaussinen satunnaismuuttuja jolla E(X) = 0, E(X 2 ) = 1,
eli
P (X ∈ dx) = √ 1 exp ( − x2 )
dx
2π 2
Olkoon P ′ toinen todennäköisyysmitta jolla
Laskemme uskottavuusosamäärät
P ′ (X i ∈ dx) = √ 1 exp ( (x − µ)2 )
− dx
2π 2
Z ′ (ω) = dP ′
dP
(ω) ja Z(ω) =
dP dP ′ (ω) = 1
Z ′ (ω)
R-N lauseesta seuraa että Z ′ (ω) on σ(X) mitallinen, siksi on olemassa Borel
mitallinen kuvaus z : R → R + jolla Z ′ (ω) = z ′ (X(ω)) (tehtävä 1).
Silloin, kaikille Borel mitallisille funktioille f(x) ≥ 0
josta seuraa
∫
1
√
2π
R
f(x) exp ( −
= E P (f(X)z ′ (X)) = 1 √
2π
∫
Koska E P (Z ′ ) = 1, seuraa
3.1 Lebesguen hajotelma
(x − µ)2 )
dx = EP ′(f(X)) = E P (f(X)Z ′ )
2
R
z ′ (x) = exp ( µx − 1 2 µ2) ,
f(x)z ′ (x) exp ( − x2 )
dx
2
Z ′ (ω) = exp ( µX(ω) − 1 2 µ2)
E P
(
exp(µX)
)
= exp
(1
2 µ2)
Olkoon P, P ′ todennäköisyysmittoja todennäköisyysavaruudessa (Ω, F), joilla
ei välttämättä P ≪ P ′ tai P ′ ≪ P .
Q := 1 2 (P + P ′ ) on todennäköisyysmitta jolla selvästi P ≪ Q ja P ′ ≪ Q
σ-algebrassa F.
R-N lauseesta (3.3) seuraa että uskottavuusosamäärät
ζ(ω) := dP
dQ (ω) ja ζ′ (ω) := dP ′
dQ (ω) ,
ovat olemassa, ei-negatiivisiä ja F-mitallisia.
Huomataan että koska ∀ω
ζ(ω) + ζ ′ (ω) =
′
2dP
2dP
d(P + P ′ (ω) +
) d(P + P ′ ) (ω) = 2 d(P + P ′ )
d(P + P ′ ) (ω) = 2
9

ja ζ(ω) ≥ 0, ζ ′ (ω) ≥ 0 seuraa
ζ(ω) ≤ 2, ζ ′ (ω) ≤ 2 Q m.v., ja Q ( {ω : ζ(ω) = 0} ∩ {ω : ζ ′ (ω) = 0} ) = 0.
Määritellään ∀ω ∈ Ω
Z(ω) = dP ζ(ω)
(ω) :=
dP
′
ζ ′ (ω)
ja Z ′ (ω) = dP ′
jossa 0/0 saa mielivaltainen arvo, esimerkiksi 0.
Mitan-vaihto kaavan yleistys on
E P ′(X) = E P (XZ ′ ) + E P ′(X1(ζ = 0))
dP (ω) := ζ′ (ω)
ζ(ω) = 1
Z(ω)
kun X ∈ F + .
Todistus
) (
E P ′(X) = E P ′(
X{1(ζ > 0) + 1(ζ = 0)} = EQ Xζ ′ 1(ζ > 0) ) ( )
+ E P ′ X1(ζ = 0)
(
)
= E Q X ζ′
ζ ζ1(ζ > 0) )
+ E P ′(
X1(ζ = 0) = EQ (XZ ′ ( )
ζ) + E P ′ X1(ζ = 0)
jossa
Siis
= E P (XZ ′ ) + E P ′(
X1(ζ = 0)
)
= EP (XZ ′ ) + E P ⊥(X)
P ⊥ (dω) := 1(ζ(ω) = 0)P ′ (dω) ,
P ′ (dω) = Z ′ (ω)P (dω) + 1(ζ(ω) = 0)P ′ (dω) = Z ′ (ω)P (dω) + P ⊥ (dω)
P ja P ⊥ ovat singulaarisia, koska joukolle A := {ω : ζ(ω) = 0} pätee
P (A) = 0 ja P ⊥ (A) = P ⊥ (Ω)
Koska P ⊥ (Ω) + E P (Z ′ ) = P ′ (ζ = 0) + E P (Z ′ ) = 1, P ⊥ on todennäköisyysmitta
jos ja vain jos P ⊥ P ′ , (silloin P ⊥ = P ′ ). Myös E P (Z ′ ) ≤ 1 ja E P (Z ′ ) = 1 jos
ja vain jos P ′ ≪ P , silloin P ⊥ = 0.
3.2 Harjoitukset
1. Olkoon X(ω) satunnaismuuttuja todennäkösyysavaruudessa (Ω, F), ja olkoon
Z(ω) σ(X)-mitallinen satunnaismuuttujal.
Osoita että on olemassa Borel mitallinen kuvaus x ∈ R ↦→ z(x) ∈ R jolla
Z(ω) = z(X(ω)).
2. Todennäköisyys avaruudessa (Ω, F, P ) olkoon X 1 (ω), . . . , X n (ω) P -rippumattomia
ja samoin-jakautuneita standardi-gaussisia satunnaismuuttujat joilla
P (X i ∈ dx) = √ 1 exp ( − x2 )
dx i = 1, . . . , n
2π 2
Olkoon P ′ toinen todennäköisyysmitta jolla X 1 (ω), . . . , X n (ω) ovat P ′ -
rippumattomia ja gaussisia samoinjakautuneita, jossa
P ′ (X i ∈ dx) = √ 1 exp ( (x − µ)2 )
− dx i = 1, . . . , n
2π 2
10

Kun F = σ(X 1 , . . . , X n ) laske uskottavuusosamäärät
Z ′ (ω) = dP ′
dP
(ω) ja Z(ω) =
dP dP ′ (ω)
3. Todennäköisyys avaruudessa (Ω, F, P ), olkoon (X t (ω) : t ∈ N) R-arvoinen
Markov prosessi jolla on alkujakauma
ja siirtymäydin K(x, dy).
P (X 0 ∈ dx) = π(dx)
Olkoon P ′ toinen jakauma jonka suhteen (X t (ω) : t ∈ N) on myös Markov,
alkujakaumalla P ′ (X 0 ∈ dx) = π ′ (dx) ja siirtymäydimellä K ′ (x, dy).
Oleta: π ′ ≪ π ja ∀x ∈ R K ′ (x, ·) ≪ K(x, ·)
Kun F n = σ(X 1 , . . . , X n ), laske R-N derivaatta
Z n (ω) = dP ′∣ ∣
Fn
dP ∣ ∣
Fn
(ω)
jossa P ∣ Fn
on todennäiköisyys P rajoitettuna σ-algebraan F n , ja R-N
lause sovelletaan todennäköisyysavaruudessa (Ω, F n , P ), josta seuraa että
Z n (ω) pitää olla F n -mitallinen.
4. Olkoon X 0 (ω) ∈ N, P (X 0 (ω) = k) = π(k) k ∈ N, ja
X t (ω) =
X t−1(ω)
∑
k=0
Y t,k (ω) =
∞∑
1(k ≤ X t−1 (ω))Y t,k (ω)
k=0
jossa s.m. (X 0 , Y t,k (ω) : t, k ∈ N) ovat P -riippumattomia ja
P (Y t,i = k) = p(k) k ∈ N ∀t, i ∈ N
Prosessi (X t : t ∈ N) on diskreettiaikainen haarautumisprosessi, alkujakaumalla
π(k) ja jälkikasvun jakaumalla p(k).
• Osoita että (X t : t ∈ N) on Markov prosessi, siirtymäytimellä K(l, m) =
P (X t = m|X t−1 = l)
Olkoon P ′ toinen todennäköisyys jolla (X t ) on haarautumisprosessi alkujakaumalla
π ′ (k) ja jälkikasvun jakaumalla p ′ (k), siirtymäytimellä K ′ (l, m) =
P ′ (X t = m|X t−1 = l).
Oletamme
π(k) = 0 =⇒ π ′ (k) = 0 ja p(k) = 0 =⇒ p ′ (k) = 0
Olkoon F n = σ(X 1 , . . . , X n ).
• Laske R-N derivaatta
Z n (ω) = dP ′∣ ∣
Fn
dP ∣ ∣
Fn
(ω)
11

4 Stokastinen konvergenssi
Lemma 4.1. (Ensimmäinen Borel-Cantellin lemma).
∞∑
n=1
P (A n ) < ∞ =⇒ P ( ) (
lim sup A n = P {ω : ω ∈ An äärettömästi monille n:lle } ) = 0
n
Lemma 4.2. (Fatou lemma) Kun X n (ω) ≥ 0 P-melkein varmasti ∀n ∈ N,
( ) ( )
0 ≤ E P lim inf X n ≤ lim inf E P Xn
n
n
Tämä seuraa myös kun X n (ω) ≥ Z(ω) ∀n ∈ N P-melkein varmasti, jossa
E P (Z − ) < +∞.
Määritelmä 4.1. Olkoon X(ω), X n (ω), n ∈ N satunnaismuuttujat. Sanotaan
että jono (X n ) suppenee stokastisesti (tai todennäköisyyden mielessä) kohti X:aan,
( merkintä:X n
P
→ X) kun jokaiselle ε > 0
P ({ ω : |X n (ω) − X(ω)| ≥ ε }) → 0, kun n → ∞.
Stokastinen konvergenssi on heikompi kuin melkein varma konvergenssi:
Lause 4.1.
X.
1. Kun lim
n→∞ X n(ω) = X(ω) P-melkein varmasti, myös X n
P
2. Jos X n → X (stokastisesti), on olemassa deterministinen alijono {n(k) :
k ∈ N} jolla
lim X n(k)(ω) = X(ω) P-melkein varmasti,
k→∞
3. X n
P
→ X jos ja vain jos kaikille alijonoille {n(k)} on olemassa alijonon
(deterministinen) alijono {n(k l )} jolla X n(kl )(ω) → X(ω) P-melkein varmasti
kun l → ∞.
P
→
Tod. Voidaan olettaa että X(ω) = 0, muuten otetaan
X(ω).
˜X n (ω) = X n (ω) −
1. X n (ω) → 0 P -m.v. jos ja vain jos
( ⋂ ⋃ ⋂
)
P
{ω : |X k (ω)| < n −1 } = 1
n m k≥m
(
)
⇐⇒ ∀n ∈ N, P lim inf {ω : |X k(ω)| < n −1 } = 1
k
Fatou lemmasta ∀n
(
)
(
1 = P lim inf {ω : |X k(ω)| < n −1 } ≤ lim inf P
k k
(
)
⇐⇒ 0 = lim sup P {ω : |X k (ω)| > n −1 } = lim P
k
k
)
{ω : |X k (ω)| < n −1 }
(
{ω : |X k (ω)| > n −1 }
= 1
)
12

2. Stokastisesta konvergenssista seuraa että on olemassa jono k n jolla
(
)
P {ω : |X l (ω)| > n −1 } < 2 −n , ∀l ≥ k n
Koska
∞∑
n=1
(
)
P {ω : |X kn (ω)| > n −1 } <
∞∑
2 −n = 1 2 < ∞
n=1
Borel-Cantelli lemmasta (4.1) seuraa
(
)
0 = P lim sup{ω : |X kn (ω)| > n −1 }
(
n
)
≥ P lim sup{ω : |X kn (ω)| > N −1 }
n
= 0 ∀n ∈ N,
josta seuraa
( ⋂
)
1 = P lim inf{ω : |X kn (ω)| ≤ N −1 }
n
N
⇐⇒ X kn (ω) → 0 P -melkein varmasti.
3. Olkoon X(ω) = 0 ja tehdään vastaoletus että X n ei suppenisi stokastisesti
kohti nollaan: on olemassa ε > 0 ja jono n(k) ↑ ∞ kun k ↑ ∞ jolla
P (|X n(k) | > ε) ≥ ε > 0
∀k
Tästä tulee ristiriita koska oletetusti olisi olemassa alijono n(k l ) jolla
X n(kl )(ω) → 0 P -melkein varmasti ja siksi myös stokastisesti, siksi saadaan
ristiriita
0 < ε ≤ P (|X n(kl )| > ε) → 0 kun l → ∞ □
Esimerkki 4.1. Näytämme että stokastinen konvergenssi on aidosti heikompi
kuin melkein varmaa konvergenssia: Olkoon Ω = (0, 1] varustettu Borel σ-
algebralla F = B((0, 1]) tasaisella todennäköisyydella , siis P ((0, t]) = t, kun
t ∈ (0, 1].
Määritellään satunnaismuuttujen jono
X n,k (ω) = 1 (k2 −n ,(k+1)2 −n ](ω) k = 0, 1, . . . , (2 n − 1)
jossa indeksit voidaan järjestää seuraavaksi: (n, k) ≥ (m, h) jos ja vain jos
n > m tai n = m ja k ≥ h.
Seuraa että ∀ω ∈ (0, 1] kun (n, k) → ∞ järjsteyksen mukaisesti,
lim inf X n,k(ω) = 0 ≠ lim
n,k→∞
sup
n,k→∞
X n,k (ω) = 1, ja
P ({ω : X n,k > 1/2}) = P ((k2 −n , (k + 1)2 −n ]) = 2 −n → 0 kun n → ∞ .
Tehtävä 4.1. Etsi jonolle (X n,k (ω), n ∈ N, 0 ≤ k ≤ 2 n ) aliljono (X n(l),k(l) : l ∈
N) jolla X n(l),k(l) (ω) → 0 P-m.v. kun l → ∞.
13

Teoreema 4.1. Stokastinen konvergenssin topologia on metrinen.
P
X n → X ⇐⇒ d(X, Xn ) → 0, jossa
( )
|X − Y |
d(X, Y ) = d(X − Y, 0) = E P
1 + |X − Y |
( )
d(X, Y ) = d(X − Y, 0) = E P 1 ∧ |X − Y |
Olkoon X n
P
→ X = 0. ∀ε > 0,
|X n |
(1 + |X n |) ≤ |X n |
(1 + |X n |) 1(|X n| > ε) + ε1(|X n | ≤ ε) ≤ 1(|X n | > ε) + ε,
d(X n , 0) ≤ P (|X n | > ε) + ε < 2ε
kun n on tarpeeksi suuri.
Toisinpäin, koska kuvaus f(x) = x/(1 + x) on aidosti kasvava (f ′ (x) =
(1 + x) −2 ), ∀ε > 0,
ε
1 + ε 1(|X n| > ε) ≤ |X n|
1 + |X n | 1(|X n| > ε) ≤ |X n|
1 + |X n |
ε
1 + ε P (|X n| > ε) ≤ d(|X n |, 0) → 0 kun n → ∞
Näytämme että d(X, Y ) on etäisyys, se täyttää kolmion epäyhtälön:
|X − Y | |X − Z| + |Z − Y | |X − Z|
≤ ≤
1 + |X − Y | 1 + |X − Z| + |Z − Y | 1 + |X − Z| + |Z − Y |
1 + |Z − Y |
tai
kun otetaan odotusarvo seuraa d(X, Y ) ≤ d(X, Z) + d(Z, Y )
□
5 Satunnaismuuttujen L 1 (P ) konvergenssi.
Olkoon Ω = (0, 1] todennäköisyysavaruus joka on varustettu Borel σ-algebralla
F = B((0, 1]) ja todennäköisyydella P jolla P ((0, t]) = t, kun t ∈ (0, 1] (P on
tasainen jakauma),
ja satunnaismuuttujen jono
X n (ω) = n1 (0,n −1 ](ω), n ∈ N.
Koska X n (ω) = 0 kun ω > n −1 seuraa että ∀ω lim
n→∞ X n(ω) = 0.
Kuitenkin E P (X n ) = nP ((0, n −1 ]) = n n −1 = 1 ∀n. Väite
lim
n
E P (X n ) = E P (lim
n
X n )
yleisesti ei pidä paikansa ilman lisää oletuksia.
Määritelmä 5.1. Merkitään
L 0 (Ω, F, P ) = { R-arvoset satunnaismuuttujat todennäköisyysavaruudessa (Ω, F, P ) }
jossa tarvittaessa identioidaan X ja Y kun X(ω) = Y (ω) P-melkein varmasti.
14

jossa
Kun 0 < p < ∞,määritellään
L p = L p (Ω, F, P ) = { X ∈ L 0 (Ω, F, P ) jolla ‖ X ‖ p < ∞ }
‖ X ‖ p = { E P (|X| p ) } 1/p
Sanomme että X n
L p
→ X suppenee L p -normissa kun E P (|X n − X| p ) → 0 kun
n → ∞.
Määritellään myös
‖ X ‖ ∞ = P -esssup {|X(ω)|} := inf { y ∈ R : |X(ω)| ≤ y P-melkein varmasti }
L ∞ = L ∞ (Ω, F, P ) = { X ∈ L 0 (Ω, F, P ) jolla ‖ X ‖ ∞ < ∞ }
eli satunnaismuuttuja X(ω) ∈ L ∞ (P ) jos ja vain jos on olemassa deterministinen
K < ∞ jolle
|X(ω)| ≤ K
P-melkein varmasti.
eli s.m. on olennaisesti rajoitettu P-mitan suhteen.
Osoitamme (myöhemmin) että L p (Ω, F, P ) on Banachin avaruus (eli vektori
avaruus jolla on täydellinen normi) kaikille 0 < p ≤ +∞,
ja L 2 (Ω, F, P ) on Hilbertin avaruus skalaaritulolla 〈X, Y 〉 := E P (XY ).
Teoreema 5.1. Olkoon 0 < p ≤ ∞, ja lim n→∞ ‖ X n ‖ p = 0. Seuraa että
X n
P
→ 0.
Tod. Kun 0 < p < +∞, väite seuraa Chebychevin epäyhtälöstä : kun
ε > 0 ,
ε p P (|X n | > ε) ≤ E P (|X n | p ) → 0 kun n → ∞ .
Kun p = +∞, ∀K ∈ N ∃¯n jolla
P ( {ω : |X n (ω)| ≤ K −1 }) = 1
kun n ≥ ¯n
josta seuraa että
( ⋂ ⋃ ⋂ {
P
ω : |Xn (ω)| ≤ K −1}) = P ({ ω : X n (ω) → 0 }) = 1
K m n>m
siis X n → 0 P -melkein varmasti ja myös stokastisesti □
Huomautus: Koska
|E P (X) − E P (Y )| = |E P (X − Y )| = |E P ((X − Y ) + ) − E P ((X − Y ) − )|
≤ E P ((X − Y ) + ) + E P ((X − Y ) − ) = E P (|X − Y |)
kun X n
L 1 (P )
→
X seuraa E P (X n ) → E P (X).
15

Käsittelemme ensin L 1 -konvergenssia. Olemme huomanneet että ehdoista
X n (ω) → X(ω) P -melkein varmasti ja X, X n ∈ L 1 (P ) ei seuraa että E(X n ) →
L
E(X), eikä myöskään X 1
n → X.
Siihen tarvitaan sen lisäksi seuraava kompaktisuusehto:
Määritelmä 5.2. Olkoon satunnaismuuttujen kokoelma C ⊆ L 1 (Ω, F, P ).
Satunnaismuuttujen kokoelma C on tasaisesti integroituva P-mitan suhteen,
kun
∫
lim sup
(
E P |X|1(|X| > K)) = |X(ω)|P (dω) −→ 0 kun K → ∞
K→∞ X∈C
{ω:|X(ω)|>K}
Lemma 5.1. Aärellinen satunnaismuuttujen joukko C = {X 1 , X 2 , . . . , X M } ⊆
L 1 (Ω, F, P ), M ∈ N on tasaisesti integroituva, eli ∀ε > 0 on olemassa K jolla
(
sup E P |Xm |1(|X m | > K) ) < ε
1≤m≤M
Tod. harjoitustehtävä. Vihje: olkoon ensin M = 1, C = {X}, ja
X (n) (ω) := X(ω)1(|X(ω)| ≤ K)
|X (n) | ↑?X(ω| ja monotonisen konvergenssi lauseesta seuraa E P (|X (n) |) ↑ E P (|X|)
□
Lemma 5.2. X ∈ L 1 (Ω, F, P ), jos ja vain jos ∀ε > 0 on olemassa δ, jolla kun
A ∈ F,
Riittavuuden todistus. ∀ω,
P (A) < δ =⇒ E P
(
|X|1A
)
< ε
Y (K) (ω) := |X(ω)|1(|X(ω)| ≤ K) ↑ |X(ω)|
ja lauseesta (5.1) seuraa että
∫
E P (|X|) − E P (Y (K) ) =
{ω:|X(ω)|>K}
|X(ω)|P (dω) < ε
kun K on tarpeeksi suuri jotta P ({ω : |X(ω)| > K}) < δ. Tästä seuraa että
E P (|X|) ≤ E P (Y (K) ) + ε ≤ K + ε < ∞
Välttämättömyyden todistus. Tehdään vastaoletus: on olemassa ε > 0 ja
tapahtumien jono {A n : n ∈ N} ⊆ F jolla
P (A n ) < 2 −n =⇒ E P
(
|X|1An
)
≥ ε > 0
Olkoon A = lim sup A n . Koska
n
∑
P (A n ) ≤ ∑
n
n
2 −n = 1 < ∞
16

seuraa ensimmäisesta Borel Cantelli lemmasta (4.1) että P (A) = 0.
Olkoon B n = ⋃ A k . Määritelmästä seuraa A n ⊆ B n ↓ A, eli
k≥n
|X(ω)|1 An (ω) ≤ |X(ω)|1 Bn (ω) ↓ |X(ω)|1 A (ω)
∀ω
jossa kaikki ylläolevat satunnaismuuttujat ovat integroituvia koska X ∈ L 1 (P ).
Seuraa väitteen riittavuuden osasta että
koska P (A) = 0
0 < ε ≤ E P (|X|1 An ) ≤ E P (|X|1 Bn ) ↓ E P (|X|1 A ) = 0
□
Teoreema 5.2. ( L 1 (P )-konvergenssin karakterisaatio ) Olkoon satunnaismyuuttujat
{X n : n ∈ N} ⊆ L 1 (Ω, F, P ), n ∈ N ja X ∈ L 0 (Ω, F) Silloin
P
X n → X ja satunnaismuuttujen jono {Xn : n ∈ N} on tasaisesti integroituva,
L
jos ja vain jos X 1
n → X ∈ L 1 (P ), eli
P
Tod. Kun X n → X lauseesta (4.1) seuraa että on olemassa deterministinen
indeksien alijono n(k) jolle X n(k) (ω) → X(ω) P -melkein varmasti.
Soveltamaalla Fatoun lemmaa (4.2)
E P (|X|) = E P (lim inf
k
|X n(k) |) ≤ lim inf E P (|X n(k) |) < ∞
k
koska satunnaismuuttujat {X n : n ∈ N} ovat tasaisesti integroituvia, siis X ∈
L 1 (P ).
Olkoon K ∈ N ja määritellään kuvaus
⎧
⎨ K kun x > K
g (K) (x) = x kun |x| ≤ K
⎩
−K kun x < −K
ja satunnaismuuttujat X n
(K) (ω) = g (K) (X n (ω)), X (K) (ω) = g (K) (X(ω)). Lemmasta
(5.1 ) ja tasaisen integroituvuuden oletuksesta seuraa että ∀ε > 0 on
olemassa K jolla
koska
sup
n
≤ sup
n
E P (|X − X (K) |) < ε ja E P (|X n − X (K)
n |) < ε ∀n,
E P (|X n − X n
(K) |) = sup
n
∫
{ω:|X n(ω)|>K}
Osoitamme ensin että
{ ∫
|X(ω)|P (dω) − KP ( |X n | > K ) }
{ω:|X n(ω)|>K}
|X(ω)|P (dω) −→ 0 kun K → ∞ .
E P (|X (K) − X (K)
n |) → 0 kun K → ∞.
Koska |g (K) (x) − g (K) (y)| < |x − y|, seuraa X (K)
n
P ( |X n (K) − X (K) | > ε ) ε <
3 3K
17
P
→ X (K) . On olemassa ¯n jolla
kun n ≥ ¯n,

josta seuraa
(
(
E P (|X n (K) − X (K) |) = E P |X n (K) − X (K) | 1
(
(
))
+E P |X (K)
|X (K)
≤ 2K P
n − X (K) | 1
(
|X n (K) − X (K) | > ε 3
Kolmioepäyhtälön avulla, kun n ≥ ¯n
|X (K)
n − X (K) | ≤ ε 3
)
+ ε 3 ≤ 2K ε
3K + ε 3 = ε
n − X (K) | > ε 3
))
kun n ≥ ¯n
E P (|X n − X|) ≤ E P (|X n − X n
(K) |) + E P (|X n
(K) − X (K) |) + E P (|X (K) − X|) ≤ 3ε
Toisinpäin, kun E P (|X n − X|) → 0, seuraa (kts. lause 5.1) että X n
P
→ X.
Olkoon ε > 0, ja N ∈ N jolla
E P (|X − X n |) < ε 2
kun n ≥ N.
Lemmasta 5.2 ∃ δ > 0 jolla ∀A ∈ F jolla P (A) < δ seuraa
max
n≤N E P (|X n |1 A ) < ε ja E P (|X|1 A ) < ε 2
.
Koska E P (|X n |) ≤ E P (|X|) + E P (|X n − X|) jossa oletetusti E P (|X n − X|) → 0,
seuraa että on olemassa K > 0 jolla
Chebychevin epäyhtälöstä seuraa
Kun n ≥ N,
sup E P (|X n |) < Kδ < ∞ .
n
P (|X n | > K) ≤ K −1 E P (|X n |) < δ ∀n ∈ N .
E P
(
|Xn |1(|X n | > K) ) ≤ E P
(
|X|1(|Xn | > K) ) + E(|X − X n |) < ε
Kun n ≤ N myös P (|X n | > K) < δ ja
E P
(
|Xn |1(|X n | > K) ) < ε
eli tämä on voimassa kaikille n ∈ N kun K on tarpeeksi suuri, siis {X n : n ∈ N}
on tasaisesti integroituva □
Osoittaakseen jonon {X n } n∈N tasaisen integroituvuuden, riittää että on olemassa
Y ∈ L 1 (P ) joka dominoi koko jonon P -melkein varmasti:
Seuraus 5.1. (Dominoidun konvergenssin lause) Olkoon X n
P
→ X jossa |Xn (ω)| ≤
Y (ω) P-melkein varmasti jollekin 0 ≤ Y ∈ L 1 (Ω, F, P ). Silloin
|E P (X n ) − E P (X)| ≤ E P (|X n − X|) → 0 kun n → ∞
18

Voidaan osoittaa että tasainen integroituvuus vastaa kompaktisuuden ehtoa
L 1 (P ) avaruudessa varustettuna heikolla topologialla. Tämä ei päde vahvemmalle
L 1 -normin topologialle.
Teoreema 5.3. (Dunford-Pettisin lause) Satunnaismuuttujen joukko C ⊆ L 1 (Ω, F, P )
on tasaisesti integroituva P-mitan suhteen jos ja vain jos on pre-kompakti L 1 (P )
avaruuden heikossa topologiassa,
eli kaikille jonolle {X n : n ∈ N} ⊆ C on olemassa indeksien jono {n(k) : k ∈
N} ja s.m. X ∈ L 1 (P ) joille
lim E ( )
P (Xn(k) − X)1 A = 0 ∀A ∈ F
k→∞
Huomautus Tästä ei seura alijonon vahvempi L 1 -konvergenssi E P (|X n(k) −
X|) → 0.
On myös hyvää tietää seuraavan tasaisen integroituvuuten karakterisaation
Lause 5.1. C ⊆ L 1 (P ) on tasaisesti integroituva jos ja vain jos
sup E P (|X|) < ∞ ja ∀ε > 0
( )
∃ δ : P (A) < δ =⇒ sup E P |X|1A < ε
X∈C
X∈C
Tod. Harjoitustehtävä.
Huomautus 5.1. Kun C ⊆ L 1 (P ) on tasaisesti integroituva, seuraa että sup X∈C E P (|X|) <
∞. Kuitenkin pallo B 1 = {X ∈ L 1 (P ) : E P (|X|) ≤ 1} ei ole tasaisesti integroituva:
olkoon {A n : n ∈ N} ⊆ F jolle P (A n ) = n −1 , ja olkoon X n (ω) =
n 1 An (ω). Selvästi X n ∈ B 1 ∀n, ja kaikille K > 0
(
sup E P |Xn |1(|X n | > K) ) = sup E P (|X n |) = 1
n
n>K
Sovellus: odotusarvon derivointi parametrin suhteen
Lemma 5.3. Olkoon X i : (Ω i , F i ) → (R, B(R)) i = 1, 2 reaaliarvoisia satunnaismuuttujia
eri todennäköisyysavaruuksissa. Silloin tulo X(ω 1 , ω 2 ) = X 1 (ω 1 )X 2 (ω 2 )
on satunnaismuttuja tuloavaruudessa (Ω 1 × Ω 2 , F 1 ⊗ F 2 ).
Tod. Olkoon X i (ω i ) ≥ 0 ∀ω i ∈ Ω i , i = 1, 2
(yleisemmin voidaan ensin hajottaa X i = (X + i − X − i ) ). Kun t ≥ 0
{
(ω1 , ω 2 ) : X 1 (ω 1 )X 2 (ω 2 ) ≤ t } = ⋃ ({
ω 1 : X 1 (ω 1 ) ≤ t } {
})
∩ ω 2 : X 2 (ω 2 ) ≤ q
q
ja Dynkinin lemmasta (??) seuraa
0

• Kaikille t ∈ [a, b] kuvaus ω ↦→ Y (t, ω) on F-mitallinen.
Tästä seuraa
1. kuvaus (t, ω) ↦→ Y (t, ω) on (B([a, b]) ⊗ F) → B(R) mitallinen.
2. kuvaus t ↦→ E P (Y (t)) on jatkuva.
3. Olkoon
X(t, ω) :=
∫ t
a
Y (s, ω)ds, t ∈ [a, b].
Silloin kaikissa t ∈ (a, b) on olemassa jatkuva derivaatta
( )
d
dt E ( ) ( ) d
P X(t) = EP Y (t) = EP
dt X(t)
Tod. Määritellään tuloavaruudessa [a, b] × Ω satunnaismuuttujen jono
Y (N) (t, ω) =
(N−1)
∑
k=0
Y
(a + (b − a) k ) (
N , ω 1 a + (b − a) k N
)
+ 1)
< t ≤ a + (b − a)(k , N ∈ N
N
Lemma (5.3) nojalla seuraa Y (N) on (B([a, b]) ⊗ F)-mitallinen, ja jatkuvuudesta
seuraa
lim Y (N) (t, ω) = Y (t, ω) ∀ω ,
N↑∞
siksi Y (t, ω) on myös (B([a, b]) ⊗ F)-mitallinen.
Koska lim
s→t
Y s (ω) = Y t (ω) ja tasaisen integroituvuuden oletuksesta, seuraa
|E P (Y t ) − E P (Y s )| ≤ E P |Y t − Y s | → 0 kun s → t.
Koska {Y t : t ∈ [a, b]} on tasaisesti integroituva, seuraa
(
sup E P |Yt | ) < +∞
t∈[a,b]
ja siksi |Y (t, ω)| ∈ L 1( [a, b]×Ω, B([a, b])⊗F, dt⊗P (dω) ) . Fubinin lause soveltuu
E P (X t ) = E P
(∫ t
a
) ∫
Y (s)ds = Y (s, ω) ds ⊗ P (dω) =
[a,b]×Ω
∫ t
a
E P (Y (s))ds
ja koska kuvaus t ↦→ E P (Y (t)) on jatkuva, analyysin keskiarvon lauseesta
lim ∆−1{ E P (X t+∆ ) − E P (X t ) }
∆→0
∫ t+∆
= lim ∆ −1 E P (Y (s))ds = E P (Y (t))
∆→0
t
□
20

Esimerkki 5.1. Olkoon satunnaismuuttuja X(ω) ∈ R, jolle on olemassa a <
0 < b jolle m X (t) := E P (exp(tX)) < ∞, ∀t ∈ [a, b]. Olkoon a < −ε < 0 <
ε < b.
Koska x exp(εx) ≤ exp(bx) kun x ≥ x ′ joka on yhtälön x ′ /log(x ′ ) = (b − ε)
ratkaisu, seuraa
E P (X + exp(εX)) ≤ x ′ exp(εx ′ ) + E P (exp(bX)) < +∞
Vastaavasti, koska x exp(εx) ≤ exp(−ax) kun x ≥ x ′′ joka ratkaisee x ′′ /log(x ′′ ) =
−(a + ε) ,
E P (X − exp(−εX)) ≤ x ′′ exp(εx ′′ ) + E P (exp(−aX)) < +∞ .
Seuraa
{
|X(ω)| exp(tX(ω)) ≤ |X(ω)|
}
exp(εX(ω)) + exp(−εX(ω)) ∈ L 1 (P ) ∀t ∈ [−ε, ε]
ja kokoelma
{
}
X(ω) exp(tX(ω)) : t ∈ [−ε, ε] ⊆ L 1 (P )
on tasaisesti integroituva ,
( )
d
d
dt m X(t) = E P
dt exp(tX) ( )
= E P X exp(tX)
eritysesti kun t = 0
∀t ∈ (−ε, ε)
d
dt m X(0) = E P (X) .
Koska eskponentiaali funktio kasvaa polynoomien nopeammin, ∀n ∈ N seuraa
satunnaismuuttujien joukon
{
}
X n (ω) exp(tX(ω)) : t ∈ [−ε, ε] ⊆ L 1 (P )
tasainen integroituvuus, ja
d n
( )
d
n
dt n m X(t) = E P
dt n exp(tX) (
= E P X n exp(tX) ) ∀t ∈ (−ε, ε)
eritysesti kun t = 0
d n m X
dt n (0) = E (
P X
n ) .
Kuvaus m X (t) = E P
(
exp(tX)
) kutsutaan momentti-generoiva funktioksi.
Esimerkki 5.2. ( Esscherin muunnos.)
Olkoon Θ = {m X (t) = E P (exp(tX)) < ∞}. Kun t ∈ Θ määritellään mitanvaihtokaavan
kautta todennäköisyysmitta
P (t) (A) = E ( )
P exp(tX)1A
, ∀A ∈ F .
m X (t)
21

Kun on olemassa ε > 0 jolle [t − ε, t + ε] ⊆ Θ, seuraa
E P (t)(X n ) = E (
P X n exp(tX) )
= dn m X
m X (t) dx n (t) 1
m X (t) , erityisesti
E P (t)(X) = d dt log(m X(t))
Tod. Kuten tapauksessa t = 0.
6 L p (Ω) avaruudet
6.1 Epäyhtälöt
Määritelmä 6.1. Kuvaus g : R d → R on konveksi kun
g ( px + (1 − p)y ) ≤ pg(x) + (1 − p)g(y) ∀x, y ∈ R d , p ∈ [0, 1]
Lause 6.1. Olkoon g : R → R konveksi funktio. Silloin g on jatkuva, ja jokaisessa
pisteessä on olemassa derivaatat oikealta ja vasemmalta
∇g − g(r) − g(t)
(t) = lim
≤ ∇g + g(r) − g(t)
(t) = lim
r↑t r − t
r↓t r − t
ja ∇g ± (s) ≤ ∇g ± (t) kun s ≤ t.
Tod. kun t ≤ s ≤ r,
g(s) − g(t)
s − t
≤
g(r) − g(t)
r − t
koska kun p = (r − s)/(r − t) ∈ [0, 1], s = pt + (1 − p)r , konveksisuudesta
Tästä seuraa että jokaiselle t, jono
g(s) − g(r) ≤ ( g(t) − g(r) ) p
(g(t + n −1 ) − g(t))n
n ∈ N
ei kasva ja siksi monotoninen raja on olemassa. Koska oikea ja vasen derivaatat
∇ ± g(t) ovat olemassa, g(t) on jatkuva jokaisessa t ∈ R. Konveksisuudesta seuraa
myös
g(s) − g(t)
s − t
≤
g(r) − g(s)
r − s
kun t ≤ s ≤ r, siksi ∇ + g(t) ≤ ∇ − g(r) kun t < r
Huomautus 6.1. Koska derivaatat ovat ei-väheneviä,
1. Joukko
D :=
on korkeintaan numeroituva.
□
{
}
t : ∇ + g(t) > ∇ − g(t)
22

2. jokaiselle t ∈ R, δ ∈ [∇ − g(t), ∇ + g(t)]
g(s) = g(t) +
∫ s
t
∇ ± g(r)dr ≥ g(t) + (s − t)δ
∀s
Seuraa myös että g on konveksi jos ja vain jos on absoluttisesti jatkuva
Lebesgue mitan suhteen ja Radon-Nikodymin-derivaatta dg
dx
(x) on eivähenevä.
Lause 6.2. (Jensenin epäyhtälö) Olkoon X(ω) ∈ R satunnaismuuttuja jolla
E P (|X|) < ∞ ja g : R → R konveksikuvaus. Silloin
g ( E P (X) ) ≤ E P
(
g(X)
)
R. Koska g on konveksi, sen oikea ja vasen derivaatat pisteessa µ = E P (X)
ovat olemassa. Kaikille δ ∈ [∇ − g(µ), ∇ + g(µ)]
g(X(ω)) ≥ g(E P (X)) + δ { X(ω) − E P (X(ω)) }
ja väite seuraa ottaamalla odotusarvon □
Huomautus Huomataan että Jensenin epäyhtälö on voimassa myös silloin
kun integroidaan positiivisen mitan ν(dx) suhteen vaikka olisi ν(R) = +∞. Siis
kun g on konveksi,
∫
(∫ ) ∫
|x|ν(dx) < ∞ =⇒ g xν(dx) ≤ g(x)ν(dx)
R
R
R
mutta on mahdollista että
∫
∫
|x|ν(dx) = ∞ ja
R
R
|g(x)|ν(dx) < ∞
Lemma 6.1. Kun 1 ≤ p < r , L p (Ω, F, P ) ⊇ L r (Ω, F, P ).
Tod. Olkoon X ∈ L r (P ).
Kun r = ∞, |X(ω)| p ≤‖ X ‖ p ∞ P -melkein varmasti ja väite seuraa.
Kun r < ∞, olkoon
Y n (ω) = n ∧ |X(ω)| p ∈ L r/p (P ) .
Koska 0 ≤ Y n (ω) ≤ n seuraa Y n (ω) ∈ L 1 (P ).
Kuvaus g : R + → R + jolla x ↦→ g(x) = x r/p on konveksi. Jensenin epäyhtälöstä
seuraa:
E P (Yn
r/p ) ≥ E P (Y n ) r/p
Monotonisen konvergenssi lauseesta, koska 0 ≤ Y n (ω) ↑ |X(ω)| p ∀ω seuraa
E P (|X| r ) ≥ E P (|X| p ) r/p .
Emme olisi voineet soveltaa Jensenin epäyhtälöä suoraan satunnaismuuttujalle
|X(ω)| p koska apriori oli epäselvää kuuluuko L r/p (P ) avaruuteen. Siksi käytettiin
kätkettyja muuttujia {Y n } □
23

Huomautus 6.2. Tässä on olemmaista että P on todennäköisyysmitta tai äärellinen
mitta, koska silloin kun ν(Ω) = ∞ L ∞ (Ω, F, ν) ⊈ L 1 (Ω, F, ν), ja pelkään
kätkäisemällä ei saadan integroituvia satunnaismuuttujia.
Väite ei päde L p (Ω, F, ν) avaruuksille silloin kun ν(Ω) = ∞.
Kun ν(Ω) < ∞ määritellään P (A) = ν(A)/ν(Ω) josta seuraa
{ ∫
} 1/p { ∫
|X(ω)| p ν(dω) ≤ ν(Ω) (r−p)/(rp) |X(ω)| r ν(dω)
Ω
Ω
} 1/r
siis L p (Ω, F, ν) ⊇ L r (Ω, F, ν) myös tässä tapauksessa. Tämä epäyhtälö ei kerro
meille mitään kun ν(Ω) = ∞.
Lause 6.3. ( Cauchy Schwartzin epäyhtälö , p = 2 )
Olkoon X(ω), Y (ω) ∈ L 2 (Ω, F, P ) silloin
1. tulo (X(ω)Y (ω)) ∈ L 1 (Ω, F, P ) ja
‖ XY ‖ 1 = E P (|XY |) ≤ √ E P (X 2 ) √ E P (Y 2 ) =‖ X ‖ 2 ‖ Y ‖ 2
jossa yhtäsuuruisuus on voimassa jos ja vain jos Y (ω) = cX(ω) P m.v.
jollekin c ∈ R.
Kun E P (XY ) = 0 sanomme että satunnaismuuttujat ovat ortogonaaliisia.
2. Kolmion epäyhtälö on voimassa:
1. Tod. Olkoon
‖ X + Y ‖ 2 ≤‖ X ‖ 2 + ‖ Y ‖ 2
X n (ω) = n ∧ |X(ω)|,
Y n (ω) = n ∧ |Y (ω)|
koska 0 ≤ X n (ω), Y n (ω) ≤ n ∀ω, seuraa (X n (ω)Y n (ω)) ∈ L 1 (P ).
∀t ∈ R,
0 ≤
(
tX n (ω) + Y n (ω)) 2
= t 2 X n (ω) 2 + Y n (ω) 2 + 2tX n (ω)Y n (ω)
Ottaamalla odotusarvoa (joka on olemassa ainakin katkaistetuille satunnaismuuttujille),
seuraa että toisen asteen yhtälöllä
t 2 E P (X n ) 2 + 2tE P (X n Y n ) + E(Y 2 n ) = 0
on korkeintaan yksi reaaliratkaisu, josta seuraa
Koska
E P (X n Y n ) 2 − E(X 2 n)E(Y 2 n ) ≤ 0
0 ≤ |X n (ω)Y n (ω)| ↑ |X(ω)Y (ω)| ∀ω
seuraa monotonisen konvergenssin lauseesta
E P (|XY |) 2 − E(X 2 )E(Y 2 ) ≤ 0
24

2. Tod.
E P ((X + Y ) 2 ) = E P (X 2 ) + E P (Y 2 ) + 2E P (XY )
≤ E P (X 2 ) + E P (Y 2 ) + 2E P (|XY |)
≤ E P (X 2 ) + E P (Y 2 ) + 2 √ E P (X 2 ) √ { √EP
E P (Y 2 ) = (X 2 ) + √ 2
E P (Y )} 2 □
Lause 6.4. Seuraavat identiteettit ovat voimassa L 2 (P ) avaruudessa
• Kun X, Y ∈ L 2 (P ),
‖ X + Y ‖ 2 2 + ‖ X − Y ‖ 2 2= 2 ‖ X ‖ 2 2 +2 ‖ Y ‖ 2 2 (Suunnikkaan identiteetti)
•
E P (XY ) = 1 ‖ X + Y ‖
2
4(
2 − ‖ X − Y ‖ 2 )
2
(Polarisaation identiteetti)
Todistus: harjoitustehtävä.
Huomautus Voidaan myös osoittaa että kun normi ‖ x ‖ toteuttaa suunnikkaan
identiteetti, on olemassa skalaari tulo (x, y) jolla ‖ x ‖ 2 = (x, x).
Jensenin epäyhtälön avulla Cauchy-Schwarz epäyhtälö yleistyy L p (Ω, F, µ)
avaruuksiin, jossa 1 < p < ∞ ja µ on yleinen positiivinen mitta.
Huomataan myös että kun X ∈ L 1 (µ), Y ∈ L ∞ (µ) , koska |X(ω)Y (ω)| ≤
|X(ω)| ‖ Y ‖ ∞ seuraa suoraan että tulo (XY ) ∈ L 1 (µ).
Lause 6.5. Olkoon X ∈ L p (Ω, F, µ) ja Y ∈ L q (Ω, F, µ), 1 ≤ p 0 (muuten X(ω) = 0 P -m.v. ja epäyhtälö seuraa.
Määritellään satunnaismuuttuja
ja todennäköisyysmitta
Ỹ (ω) :=
Y (ω) 1(X(ω) > 0) ≥ 0
X(ω)
p−1
˜P (dω) = X(ω)p µ(dω)
‖ X ‖ Lp (µ)
25

Jensenin epäyhtälöstä
E eP (Ỹ )q ≤ E eP (Ỹ q )
kaikille q ≥ 1 erityisesti kun q = p/(p − 1)
{∫
Y (ω)
X(ω) p } q
1(X(ω) > 0)
Ω X(ω)
p−1
‖ X ‖ p µ(dω)
L p (µ)
∫ { } q
Y (ω)
≤
Ω X(ω) p−1 1(X(ω) > 0) X(ω) p
‖ X ‖ p µ(dω)
L p (µ)
{∫
} q
⇐⇒‖ X ‖ −pq
L p (µ)
Y (ω)X(ω)µ(dω)
Ω
∫
≤‖ X ‖ −p
L p (µ)
Y (ω) q X(ω) (q(p−1)−p) µ(dω)
jossa q(p − 1) − p = 0. Seuraa
∫
Ω
jossa (1 − 1/q)p = 1.
Ω
{∫
} 1/q
Y (ω)X(ω)µ(dω) ≤ Y (ω) q µ(dω) ‖ X ‖ (1−1/q)p
L p (µ)
Ω
Tod. (Minkowski) Huomataan ensin että ∀x, y ≥ 0,
(x + y) p ≤ ( 2 max(x, y) ) p
≤ 2 p (x p + y p ).
Siksi X, Y ∈ L p (Ω, F, µ), myös (X + Y ) ∈ L p (µ).
Seuraa Hölderin epäyhtälöstä
∫
∫
∫
|X + Y | p dµ ≤ |X||X + Y | p−1 dµ +
Tästä seuraa
Ω
jossa (1 − 1/q)p = 1
Ω
≤ ( ‖ X ‖ L p (µ) + ‖ Y ‖ L (µ)) ) ‖ |X + Y | p−1 ‖ p L q (µ)
= ( )
‖ X ‖ L p (µ) + ‖ Y ‖ L p (µ) (‖ X + Y ‖L p (µ)) p/q
‖ X + Y ‖ (1−1/q)p
L p (µ)
≤ ‖ X ‖ L p (µ) + ‖ Y ‖ L p (µ)
□
Lause 6.6. ∀1 ≤ p ≤ ∞, L p (Ω, F, P ) on täydellinen :
jos {X n (ω)} ∈ L p (Ω, F, P ) on Cauchy jono,
eli ∀ε > 0 ∃N ε jolle ‖ X n − X m ‖ Lp (P )< ε kun n, m ≥ N ε ,
on olemassa X(ω) ∈ L p (P ) jolle lim n↑∞ ‖ X n − X ‖ L p (P )
Ω
|Y ||X + Y | p−1 dµ
Tod. Tapaus jossa p = ∞ jää harjoitustehtäväksi.
Olkoon p < ∞ ja {X n } ⊆ L p Cauchy jono. On olemassa jono (k n ) jolla
‖ X r − X s ‖ p ≤ 2 −n
∀r, s ≥ k n
26

Kun p ≥ 1 ja r, s ≥ k n Jensenin epäyhtälöstä
Siksi asettamalla X k0 (ω) = 0,
E P (|X r − X s |) ≤ E P (|X r − X s | p ) 1/p ≤ 2 −n
X kn (ω) =
n∑
(X km (ω) − X km−1 (ω))
m=1
on teleskoppisen summan esitys jossa
E P
( ∞
∑
ja siksi P -melkein varmasti
ja sarja
m=1
)
|X km − X km−1 | < ∞
∞∑
|X km (ω) − X km−1 (ω)| < ∞
m=1
∞∑ (
Xkm (ω) − X km−1 (ω) )
m=1
suppenee absoluttisesti.
Jotta X(ω) olisi määritelty kaikille ω:lle, olkoon
X(ω) = lim sup X kn (ω).
n→∞
Seuraa että X(ω) on satunnaismuuttuja ja X kn (ω) → X(ω) P -melkein varmasti.
Kun r > k n ja ∀t > n
E P (|X r − X kt | p ) ≤ 2 −np
Fatou lemmasta, koska 0 ≤ |X r (ω) − X kt (ω)| p ,
E P (|X r − X| p ) = E P (lim inf
t
Tästä seuraa X ∈ L p ja X r
L p
→ X kun r → ∞ □
|X r − X kt | p ) ≤ lim inf E P (|X r − X kt | p ) ≤ 2 −np
t
7 Funktionaalianalyysin peruskäsitteiden pikasanasto
1. Topologinen avaruus: (E, T ) jossa topologia T ⊆ 2 E on kaikkien avointen
joukkojen kokoelma. Topologia an suljettu äärellisten leikkausten suhteen
ja mielivaltaisten yhdistelmien suhteen. Avoimen joukon komplementti sanotaan
suljetuksi.
Olkoon {x n : n ∈ N} ⊆ E. Sanotaan että x n → x topologiassa T jos
∀U ∈ T jolle x ∈ U, ∃ n U jolle x n ∈ U ∀n ≥ n U .
27

2. d : E × E → [0, +∞] on metriikka jos
• d(e, e ′ ) = 0 jos ja vain jos e = e ′
• d(e, e ′ ) = d(e ′ , e) (symmetrisyys)
• d(e, e ′′ ) ≤ d(e, e ′ ) + d(e ′ , e ′′ ) (kolmion epäyhtälö)
3. Topologinen avaruus (E, T ) on metrinen jos on olemassa metriikka (etäisyys)
d : E × E → [0, +∞], jonka suhteen avoimet pallot generoivat topologian
T :n, eli:
B(e, r) = {e ′ : d(e, e ′ ) < r} ∈ T ∀ e ∈ E, r > 0
ja kaikille x ∈ U, x ∈ E, U ∈ T on olemassa r > 0 jolle x ∈ B(e, r) ⊆ U.
Metrisessa avaruudessa, {x n : n ∈ N} ⊆ E on Cauchy jono kun ∀ε > 0
on olemassa n ε jolle d(x n , x m ) < ε kun n, m ≥ n ε .
Sanotaan että metrinen avaruus (E, d) on täydellinen jos kaikille Cauchy
jonoille {x n } on olemassa rajaarvo x ∈ E.
4. Olkoon E reaali-vektoriavaruus, eli kun λ ∈ R, x, y ∈ E, myös λx ∈ E,
(x + y) ∈ E.
Kuvaus ‖ · ‖: E → [0, +∞) on normi kun
i) ‖ x ‖= 0 ∈ R ⇐⇒ x = 0 ∈ E ii) ‖ λx ‖= |λ| ‖ x ‖
iii) ‖ x + y ‖≤‖ x ‖ + ‖ y ‖.
Kaikki normatut vektoriavaruudet ovat metriset, metriikalla d(x, y) :=‖
x − y ‖, joka generoi normi-konvergenssin topologian. Samalla avaruudella
voi olla useita käyttökelpoisia topologioita.
5. esi-Hilbertin avaruus on normi-avaruus jossa normi on peräisin skalaaritulosta
〈·, ·〉 jossa ‖ x ‖ 2 := 〈x, x〉. Reaaliarvoinen skalaaritulo on symmetrinen
〈x, y〉 = 〈y, x〉,
bilineaarinen 〈λx + λ ′ x ′ , y〉 = λ〈x, y〉 + λ ′ 〈x ′ , y〉, ja positiivinen 〈x, x〉 ≥ 0,
jolla 〈x, x〉 = 0 ⇐⇒ 0.
6. Täydellinen normiavaruus on Banachin avaruus ja täydellinen esi-Hilbertin
avaruus on Hilbertin avaruus.
8 Projektio L 2 (P ) avaruudessa
Lause 8.1. Olkoon H ⊆ L 2 (Ω, F, P ) aliavaruus joka on suljettu, eli jos
{X n } ⊆ H ja on olemassa X ∈ L 2 (P ) jolla ‖ X n − X ‖ L 2 (P )→ 0 , seuraa
että X ∈ L 2 (P ).
Kaikille X(ω) ∈ L 2 (Ω, F, P ) on olemassa ortogonaalinen projektio H-aliavaruuteen
Y (ω) = (Π H X)(ω) ∈ H jolla
•
E P ((X − Y ) 2 ) = ∆ := inf
W ∈H E P ((X − W ) 2 )
• E P ((X − Y )W ) = 0 ∀W ∈ H
28

Projektio Y on P-melkein varmasti yksikäsitteinen.
Huomautus 8.1. Muistetaan että euklidisessa avaruudessa R d on määritelty
vektoreiden skalaari tulo
d∑
d∑
〈X, Y 〉 R d = X(ω)Y (ω) = d · X(ω)Y (ω)P ({ω}) = E P (XY )d
ω=1
ω=1
jossa P (ω) = 1/d on tasainen todennäköisyys äärellisessä avaruudessa Ω =
{1, . . . , d}. Sanomme että vektorit X, Y ∈ R d ovat kohtisuoria (merkintä X ⊥ R d
Y ), kun 〈X, Y 〉 R d = 0.
Tämä geometrinen käsite yleistyy abstraktissa todennäköisyysavaruudessa
(Ω, F) kun varustetaan L 2 (Ω, F, P ) skalaaritulolla
∫
〈X, Y 〉 L 2 (P ) = E P (XY ) = X(ω)Y (ω)P (dω)
ja tulkitaan satunnais-muuttujat (X(ω) : ω ∈ Ω) ääretönulotteisinä vektoreina.
Satunnais-muuttujat X, Y ∈ L 2 (P ) ovat kohtisuoria (merkintä X ⊥ P Y ), kun
E P (XY ) = 0.
Tod. Koska 0 ∈ H, ∆ ≤ E P (|X| 2 ) < ∞, ja on olemassa jono (Y n : n ∈ N) ⊆
H jolla ‖ X − Y n ‖ 2 → ∆.
Olkoon ε > 0 ja ¯n jolla kun n ≥ ¯n
Suunnikkaan yhtälöstä seuraa
∆ ≤ E P ((X − Y n ) 2 ) < ∆ + ε
2 ‖ (Y m − Y n )/2 ‖ 2 2=‖ X − Y m ‖ 2 2 + ‖ X − Y n ‖ 2 2 −2 ‖ X − (Y m − Y n )/2 ‖ 2 2
jossa (Y n − Y m )/2 ∈ H, ja seuraa
Kun n, m ≥ ¯n
Ω
‖ X − (Y n − Y m )/2 ‖≥ ∆
2 ‖ (Y m − Y n )/2 ‖ 2 2≤ 2ε
Siksi (Y n ) ⊆ H on Cauchy jono L 2 (P ):ssa. Koska L 2 (P ) on täydellinen on
olemassa Y ∈ L 2 L
(P ) jolla Y 2
n → Y , ja koska H on suljettu aliavaruus seuraa
Y ∈ H.
Olkoon W ∈ H \ {0}. ∀t ∈ R, (Y + tW ) ∈ H
‖ X − Y ‖ 2 2≤‖ X − Y − tW ‖ 2 2=‖ (X − Y ) ‖ 2 2 +t 2 ‖ W ‖ 2 2 −2tE P ((X − Y )W )
⇐⇒ t 2 ‖ W ‖ 2 2 −2tE P ((X − Y )W ) ≥ 0 ∀t ≥ 0
josta seuraa E P ((X − Y )W ) = 0.
Jos Ỹ (ω) ∈ H on myös projektio, ottamalla W = (Y − Ỹ ) ∈ H
0 = E P (XW ) − E P (XW ) = E P (Y W ) − E P (Ỹ W ) = E P ((Y − Ỹ )W ) = E P ((Y − Ỹ )2 )
josta seuraa Y (ω) = Ỹ (ω) P -m.v. □
Lemma 8.1. L 2 -projektio on lineaarinen operaattori: kun X, Z ∈ L 2 (P ) ,a ∈ R
ja H on suljettu aliavaruus,
Π H (X + Z) = Π H X + Π H Z,
Π H (aX) = aΠ H (X)
29

9 Ehdollinen odotusarvo
Olkoon G ⊆ F ali-σ-algebra.
Silloin L p (Ω, G, P ) ⊆ L p (Ω, F, P ), ∀0 ≤ p ≤ ∞, ja kun p > 0, L p (Ω, G, P )
on suljettu aliavaruus.
Tod. Olkoon {X n : n ∈ N} ⊆ L p (Ω, G, P ) ja X ∈ L p (Ω, F, P ) joilla
E P (|X n − X| p P
) → 0, Seuraa että X =⇒ X n → X ja on olemassa alijono
jolla {n k } : X nk (ω) → X(ω) P m.v. . Olkoon ˜X(ω) := lim inf k X nk (ω) ∈
L p (Ω, G, P ). Seuraa että X n
L P
→ ˜X ja siksi X(ω) = ˜X(ω) P -m.v.
Kun X ∈ L 2 (Ω, F, P ) ja H = L 2 (Ω, G, P ) seuraa projektio lauseesta (8.1)
että on olemassa ortogonaalinen projektio
Y (ω) = E P (X|G)(ω) := ( Π L 2 (Ω,G,P )X ) (ω)
joka kutsutaan ehdolliseksi odotusarvoksi jolla
• Y ∈ L 2 (Ω, G, P )
• E P (XW ) = E P (Y W ) ∀W ∈ L 2 (Ω, G, P )
Lemma 9.1. Ehdollinen odotusarvo on positiivinen operaattori:
Olkoon 0 ≤ X(ω) ∈ L ∞ (Ω, F, P ), G ⊆ F ali-σ-algebra. Silloin
Y (ω) = E P (X|G)(ω) ≥ 0
P-m.v.
Tod. Koska L ∞ (P ) ⊆ L 2 (P ) ehdollinen odotusarvo Y (ω) on olemassa L 2 -
projektiona. Olkoon A = {ω : Y (ω) < 0} ∈ G. Koska 1 A (ω) ∈ L ∞ (P ) ⊆ L 2 (P ),
0 ≤ E P (X1 A ) = E P (Y 1 A ) = E P (Y 1(Y < 0)) = −E P (Y − ) ≤ 0
ja väite seuraa.
Ehdollisen odotusarvon määritelmä laajennetaan L 1 (Ω, F, P ) avaruuteen:
Teoreema 9.1. (Kolmogorovin määritelmä) Kun X ∈ L 1 (Ω, F, P ), ja G ⊆ F
on ali-σ-algebra, on olemassa ehdollinen odotusarvo Y (ω) = E P (X|G)(ω) ∈
L 1 (Ω, G, P ) jolla Y ∈ L 1 (Ω, G, P ) ja
E P (X1 A ) = E P (Y 1 A )
∀A ∈ G
Ehdollinen odotusarvo on P-m.v. yksikäsitteinen.
Tod. Voidaan olettaa että X(ω) ≥ 0 ∀ω, muuten käytämme ensin hajotelmaa
X(ω) = X(ω) + − X(ω) − ja sitten määrittelemme
E P (X + |G)(ω) = E P (X + |G)(ω) − E P (X − |G)(ω)
Olkoon 0 ≤ X n (ω) = X(ω) ∧ n ↑ X(ω) kun n ↑ ∞. Koska X n ∈ L ∞
seuraa että X n ∈ L 2 (Ω, F, P ) ja projektio lauseesta seuraa että on olemassa
Y n ∈ L 2 (Ω, G, P ) jolla
E P (X n 1 A ) = E P (Y n 1 A )
∀A ∈ G
30

Seuraa lemmasta (9.1) että Y n (ω) ≥ 0 P -m.v. Kun n ≥ m (X n (ω)−X m (ω)) ≥ 0
josta seuraa
(Y n (ω) − Y m (ω)) = E P (X n |G)(ω) − E P (X m |G)(ω) = E P (X n − X m |G)(ω) ≥ 0 P -m.v.
Olkoon Y (ω) = lim sup n Y n (ω). Seuraa että Y n (ω) ↑ Y (ω) P -m.v. ja monotonisen
konvergenssin lauseesta, ∀A ∈ G
E P (X1 A ) = lim
n↑∞
E P (X n 1 A ) = lim
n↑∞
E P (Y n 1 A ) = E P (Y 1 A )
Jos Ỹ (ω) ∈ L1 (Ω, G, P ) toteuttaa Kolmogorovin määritelmää, koska A =
{ω : Y (ω) > Ỹ (ω)} ∈ G,
0 ≤ E P ((Y − Ỹ )1 A) = E P (X1 A ) − E P (X1 A ) = 0
seuraa että Y (ω) ≤ Ỹ (ω) P -m.v., samoin seuraa että Y (ω) ≥ Ỹ (ω) ja siksi
Y (ω) = Ỹ (ω) P -m.v.
Tehtävä 9.1. Osoita että (9.1) pätee jos ja vain jos
E P (XW ) = E P (Y W ) ∀W ∈ L ∞ (Ω, G, P )
Tehtävä 9.2. Olkoon G = σ(A 1 , . . . , A n ) ⊆ F äärellisesti generoitu ali σ-
algebra, jossa {A 1 , . . . , A n } on Ω:n F-mitallinen ositus, A i ∈ F, ⋃ n
i=1 A i = Ω,
A i ∩ A j = ∅ kun i ≠ j.
Olkoon X(ω) ∈ L 1 (Ω, F, P ). Silloin
E P (X|G)(ω) =
n∑
i=1
E P (X1 Ai )
1 Ai (ω) :=
P (A i )
n∑
E P (X|A i )1 Ai (ω) (9.1)
jossa E P (X|A) = E P (X1 A )/P (A) on elementaarinen ehdollinen odotusarvo,
joka saa mielivaltainen arvo (esimerkiksi 0) silloin kun P (A) = 0. Osoita että
(9.1) toteuttaa Kolmogorovin ehdollilsen odotuarvon määritelmän.
Huom: Kolmogorovin ehdollinen odotusarvo σ-algebran ehdolla E P (X|G)(ω)
on satunnaismuuttuja, kun elementaarinen odotusarvo tapahtuman ehdolla E P (X|A)
on vakio joka on hyvin määritelty vain silloin kun P (A) > 0.
10 Ehdollinen odotusarvo Radon-Nykodim derivaattana
i=1
Olkoon X ∈ L 1 (Ω, F, P ) Määritellään merkkinen mitta
µ X (A) = E P (X1 A ) ∀A ∈ F
Huomataan että µ X (A) = 0 silloin kun A ∈ F ja P (A) = 0, eli µ ≪ P σ-
algebrassa F, ja X(ω) = dµ X
dP
(ω) on vastaava Radon-Nikodymin derivaatta.
Olkoon G ⊆ F ali σ-algebra. Erityisesti µ ≪ P σ-algebrassa G. Radon-
Nikodymin lauseesta seuraa että on olemassa R-N derivaatta
Y (ω) := dµ X| G
dP | G
(ω)
31

jossa Y (ω) ∈ L 1 (Ω, G, P ) joka toteuttaa mitanvaihtokaavaa
E P (X1 A ) = µ X (A) = E P (Y 1 A )
∀A ∈ G
Kolmogorovin määritelmästä seuraa että Y (ω) = E P (X|G)(ω).
Siis ehdollisen odotusarvon olemassa olo seuraa R-N lauseesta. Kuitenkin,
koska emme ole vielä todistaneet R-N lauseetta käytimme L 2 -projektiota.
11 Mitä voidaan sanoa kun E P (|X|) = ∞ ?
Olkoon 0 ≤ X(ω) ∈ L 0 (Ω, F, P ) mutta E P (X) = ∞. Myös tässä tapauksessa
monotonisen konvergenssilauseen kautta seuraa että on olemassa ehdollinen
odotusarvo Y (ω) = E P (X|G)(ω) ∈ [0, +∞] joka on G-mitallinen joka totetuttaa
∀A ∈ G.
E P (X1 A ) = E P (Y 1 A ) ∈ [0, +∞]
Toki Y (ω) voi saada myös arvoa +∞, joka tapauksessa E P (Y ) = E P (X) = ∞.
Yleisemmin olkoon X(ω) = (X(ω) + − X(ω) − ), jossa E P (|X|) = ∞. Silloin
ehdollinen odotusarvo
E P (X|G)(ω) := E P (X + |G)(ω) − E P (X + |G)(ω) ∈ [−∞, +∞]
on hyvin määritelty vain joukon
U := { ω : E P (X + |G)(ω) = E P (X − |G)(ω) = +∞ }
ulkopuolella. Kun käy hyvin joskus P (U) = 0.
12 Ehdollisen odotusarvon ominaisuudet
1. Monotoninen konvergenssi :
0 ≤ X n (ω) ↑ X(ω) =⇒ 0 ≤ E P (X n |G)(ω) ↑ E P (X|G)(ω) P m.v.
(
2. E P EP (X|G) ) = E P (X)
3. Kun H ⊆ G ⊆ F,
(
E P (X|H)(ω) = E P EP (X|G) ∣ ) H (ω) P m.v.
4. Jos Y ∈ L 1 (Ω, G, P ), ja X, (XY ) ∈ L 1 (Ω, F, P ), seuraa
E P (Y X|G)(ω) = Y (ω)E P (X|G)(ω)
5. jos σ-algebra H on P -riippumaton σ-algebrasta σ(X) ∨ G,
E P (X|G ∨ H) = E P (X|G)
Tod. ∀G ∈ G, H ∈ H, seuraa
( ) ( )
E P (X1 G 1 H ) = E P (X1 G )P (H) = E P EP (X|G)1 G P (H) = EP EP (X|G)1 G 1 H
ja väite seuraa koska G ∨ H = σ(G ∩ H : G ∈ G, H ∈ H).
32

13 Säännöllinen ehdollinen todennäköisyys ja ytimet
Tapahtuman A ∈ F ehdollinen todennäköisyys ehdolla G σ-algebra on luonnollisesti
P ( A ∣ ∣ G
)
(ω) = EP
(
1A
∣ ∣G
)
(ω)
joka on yksikäsitteinen modulo P -nolla mittaisia joukkoja. Koska ehdollinen
odotusarvo on ei-negatiivinen operaattori, seuraa P ( A ∣ ∣G ) (ω) ∈ [0, 1] P -melkein
varmasti.
Voidaanko sanoa että P -melkein varmasti, kuvaus A ↦→ P ( A ∣ ∣ G
)
(ω) ∈ [0, 1]
on todennäköisyysmitta ?
Olkoon {A n } ⊆ F tapatuhmien jono jolla A n ↓ ∅. Seuraa ehdollisen odotusarvon
monotonisen konvergenssin lauseesta että on olemassa joukko N jolla
P (N) = 0
P (A n |G)(ω) ↓ 0 ∀ω ∈ N c (13.1)
Tämä joukko voi toki riippua {A n } ⊆ F jonosta, ja kun yleisesti jonojen määrä
on ylinumeroituva, ei mikään takaa että löytyy sellainen P -nolla mittainen
joukko N jossa (13.1) pätee samaan aikaan kaikille tapahtumien jonoille joilla
A n ↓ ∅.
Siis ehdollinen todennäköisyys ei ole automaattisesti P -melkein varmasti σ-
additiivinen.
Määritelmä 13.1. Olkoon (Ω, F) ja (˜Ω, ˜F) todennäköisyysavaruudet.
Kuvaus K : Ω × ˜F → [0, 1] on (Ω, F) → (˜Ω, ˜F) todennäköisyys ydin kun
• kaikille kiinnitetyillle ω ∈ Ω kuvaus K(ω, ·) :
K(ω, Ã) on todennäköisyysmitta.
˜F → [0, 1] jossa à ↦→
• kaikille kiinnitetyillle tapahtumille à ∈ ˜F kuvaus K(·, Ã) : Ω → [0, 1] jossa
ω ↦→ K(ω, Ã) on F-mitallinen.
Määritelmä 13.2. Olkoon ˜Ω = Ω ja ˜F ⊆ F, G ⊆ F.
Ehdollisella todennäköisyydellä (Ã, ω) ↦→ P (Ã|G)(ω) jossa à ∈ ˜F on säännöllinen
versio jos on olemassa (Ω, G) → (˜Ω, ˜F) todennäköisyys-ydin K(ω, Ã),
joka on G-mitallinen ω:n suhteen, ja
∫
E P (X|G)(ω) = X(˜ω)K(ω, d˜ω)
eΩ
kaikille X ∈ L 1 (Ω, ˜F, P )
Huomautus 13.1. määritelmässä esintyy ali-σ algebra ˜F ⊆ F koska joskus
ehdollisen todennäköisyyden säännöllinen versio on olemassa vain jollekin pienelle
σ-algebralle eikä alkuperäiselle σ-algebralle F. Esimerkki: ˜F = σ(X) jossa
X on (F-mitallinen) reaali-arvoinen satunnaismuuttuja.
Määritelmä 13.3. Todennäköisyysavaruus (Ω, F) on Borel jos on olemassa
mitallinen bijektio f : (Ω, F) → [0, 1], B([0, 1]) jossa käänteiskuvaus f −1 on
myös mitallinen.
33

Teoreema 13.1. Olkoon (Ω, F, P ) todennäköisyyskolmikko.
Olkoon X : (Ω, F) → (Ω ′ , F ′ ) mitallinen kuvaus, jossa (Ω ′ , F ′ ) on Borelin
avaruus, ja G ⊆ F ali σ-algebra
On olemassa (Ω, G) → (Ω ′ , F ′ ) todennäköisyys ydin K(·, ·) joka on ehdollisen
todennäköisyyden säännöllinen versio: P melkein varmasti,
P (X ∈ D|G)(ω) := E P (1(X ∈ D)|G)(ω) = K(ω, D) kaikille D ∈ F ′
Todistus sivutetaan, katso Kallenbergin kirjasta Foundations of Modern Probability,
Thm 6.3, 6.4.
Huomautus 13.2. Meidän onneksi (R d , B(R d )) on Borel avaruus, siis satunnaisvektorin
ehdollisella todennäköisyydella on aina säännöllinen versio.
14 Ehdollisen odotusarvon laskenta P -riippumattomuuden
oletuksen nojalla
Lause 14.1. Todennäköisyysavaruudella (Ω, F), olkoon G ⊆ F ali σ-algebra,
Y (ω) G-mitallinen satunnaismuuttuja, joka saa arvot mitallisessa avaruudessa
(S, S), ja olkoon X(ω) ∈ ( ˜S, ˜S) riippumaton G σ-algebrasta.
Olkoon f : ( ˜S × S) → R rajoitettu ja Borel-mitallinen kuvaus.
Silloin ehdollisella odotusarvolla on integraali-esitys
( ∣ ) ( ) ∣ ∫
E P f(X, Y ) ∣G (ω) = EP f(X, y) ∣∣y=Y = f(x, Y (ω))P X (dx) (14.1)
(ω)
jossa P X (B) = P ({ω : X(ω) ∈ B}).
Tod. Olkoon
V := { f : ( ˜S × S) → R Borel mitalliset ja rajoitetut funktiot joille pätee 14.1 }
Osoitamme ensi että V on monotoninen luokka. Ehdollisen odotusarvon määritelmästä
seuraa 14.1 on voimassa funktiolle f(x, y) jos ja vain jos ∀G ∈ G
∫ {∫
}
( )
E P f(X, Y )1G = f(x, Y (ω))P X (dx) 1 G (ω)P (dω)
Ω
eS
Selvästi V on vektori avaruus koska odotusarvo on lineaarinen. Jos {f n (x, y) :
n ∈ N} ⊆ V ja 0 ≤ f n (x, y) ↑ f(x, y) jossa f(x, y) on rajoitettu, seuraa monotonisen
konvergenssin lauseesta että f(x, y) ∈ V .
Monotonisen luokan lauseesta seuraa että jos I ⊆ V on π-luokka, V sisältää
kaikki rajoitettu σ(I) mitalliset funktiot. Väite on osoitettu kun näytämme
että 14.1 pätee funktiolle f(x, y) = 1 B (x)1 D (y): ∀G ∈ G riippumattomuudesta
seuraa
( )
E P 1B (X)1 D (Y )1 G = PX (B)P ({Y ∈ D} ∩ G)
∫ {∫
}
= 1 B (X(˜ω))P (d˜ω) 1 D (Y (ω))1 G (ω)P (dω) =
Ω Ω
∫ {∫
}
1 B (X(˜ω))1 D (Y (ω))P (d˜ω) 1 G (ω)P (dω) =
Ω Ω
∫ {∫
f ( X(˜ω), Y (ω) ) }
P (d˜ω) 1 G (ω)P (dω)
Ω Ω
34
eS

joka tarkoittaa 1 B (x)1 D (y) ∈ V □.
15 Ehdollisen odotusarvon laskenta mitan-vaihdon
avulla: Bayesin kaava
Lemma 15.1. Ehdollinen odotusarvon on itse-adjungoitu operaattori, eli kun
X ∈ L 1 (Ω, F, P ) , G ⊆ F on ali σ-algebra, ∀A ∈ F
E P
(
X EP (1 A |G) ) = E P
(
EP (X|G) E P (1 A |G) ) = E P
(
EP (X|G) 1 A
)
Tod. Suoraan ehdollisen odotusarvon ominaisuuksista.
Olemme esittäneet kaksi tapausta jossa osaamme laskea ehdollisia odotusarvoja:
silloin kun σ-algebralla G on numeroituva määrä atomeja, ja riippumattomuuden
nojalla lauseessa 14.1.
Yleisemmin voidaan joskus paluattaa ehdollisen odotusarvon laskeminen
lauseen 14.1 tilanteeseen mitan-vaihdon avulla. Ensin esitämme mitanvaihtokaavan
ehdolliselle odotusarvolle:
Teoreema 15.1. (Abstrakti Bayesin kaava). Todennäköisyysavaruudella (Ω, F),
olkoon G ⊆ F ja P F ≪ Q todennäköisyysmitat joilla Q(A) = 0 =⇒ P (A) = 0
kun A ∈ F.
Radon-Nikodym lauseesta seuraa että on olemassa Radon-Nikodym derivaatta
eli satunnaismuuttuja
0 ≤ Z(ω) := dP
dQ (ω) ∈ L1 (Ω, F, Q)
jolle odotusarvon mitanvaihtokaava on voimassa:
E P (X) = E Q (XZ) ∀X ∈ L 1 (Ω, F, P )
Silloin ehdolliselle odotusarvolle pätee Bayesin kaava:
( ∣
E P X G ) (ω) = E ( ∣ )
Q XZ∣G (ω)
( ∣ )
E Q Z∣G ∈ L 1 (Ω, G, P )
(ω)
Tod. Olkoon G ∈ G. Mitanvaihto kaavasta odotusarvolle ja ehdollisen odotusarvon
määritelmästä seuraa
( ) ( ) (
E P X1G = EQ ZX1G = EQ EQ (ZX1 G |G) ) ( )
= E Q EQ (ZX|G)1 G
= E Q
(
EQ (Z|G)
E Q (Z|G) E Q(ZX|G)1 G
)
= E Q
(
Z E Q(ZX|G)
E Q (Z|G) 1 G
)
( )
EQ (ZX|G)
= E P
E Q (Z|G) 1 G
□
Esimerkki 15.1. (Perinteinen Bayesin kaava) Todennäköisyysavaruudella (Ω, F),
olkoon ja X(ω) ∈ R d , Y (ω) ∈ R m satunnaismuuttujia joilla F = σ(X, Y ),
G = σ(Y ).
Olkoon P F ≪ Q todennäköisyysmitat joilla X Q ⊥⊥ Y ja olkoon
0 ≤ Z(ω) := z(X(ω), Y (ω)) = dP
dQ (ω) ∈ L1 (Ω, F, Q)
35

jollakin Borel-mitallisilla funktiolla z(x, y) ≥ 0. Olkoon f(x, y) rajoitettu Borelmitallinen
kuvaus. Bayesin kaavasta
( ∣
( ∣ )
E P f(X, Y ) ∣G
E Q f(X, Y )Z G ) (ω)
(ω) = ( ∣ )
E Q Z∣G (ω)
∫
f(X(˜ω), Y (ω)) z(X(˜ω), Y (ω))P (d˜ω)
Ω
= ∫
z(X(˜ω), Y (ω))P (d˜ω)
Ω
∫
= f(X(˜ω), Y (ω))K(ω, d˜ω) jossa
Ω
K(ω, d˜ω) =
z(X(˜ω), Y (ω))
∫Ω z(X(ω′ ), Y (ω))P (dω ′ ) P (d˜ω)
on ehdollisen todennäköisyyden ydin. Voidaan myös integroida suoraan R d avaruudessa
jossa X(ω) saa arvoja:
∫
∫
( ∣ )
E P f(X, Y ) ∣G
f(x, Y (ω))z(x, Y (ω))P (ω) =
R d X (dx)
∫
= f(x, Y (ω))k(Y (ω), dx)
z(x, Y (ω))P
R d X (dx)
R d
jossa
k(y, dx) =
z(x, y)
∫R d z(x ′ , y)P X (dx ′ ) P X(dx)
Kun satunnaisvektorin (X, Y ) jakaumalla on tiheysfunktio (d + m)-ulotteisen
Lebesgue mitan suhteen, siis P (X ∈ dx, Y ∈ dy) = p X,Y (x, y)dxdy, Fubini
lauseesta seuraa että silloin myös marginaalijakaumilla P X ja P Y on tiheydet,
∫
P (X ∈ dx) = p X (x)dx = p X,Y (x, y)dy
R
∫
m
P (Y ∈ dy) = p Y (y)dy = p X,Y (x, y)dx
R d
ja voidaan valita todennäköisyysavaruudeksi Ω = R d × R m todennäköisyysmitoilla
Q X,Y (dx, dy) := (P X ⊗ P Y )(dx, dy) = p X (x)p Y (y)dxdy, P X,Y (dx, dy) = p X,Y (y)dxdy
Oletuksesta P X,Y ≪ (P X ⊗ P Y ), seuraa että Radon Nykodim derivaatta on
dP X,Y
dP X,Y
(x, y) =
dQ X,Y d(P X ⊗ P Y ) (x, y) = z(x, y) = p X,Y (x, y)
p X (x)p Y (y)
Voidaan silloin kirjoittaa ehdollisen todennäköisyyden ytimen tiheysfunktioiden
avulla
z(x, y)
k(y, dx) = ∫
z(x
R ′ , y)P d X (dx ′ ) P X(dx) = p X,Y (x, y)
dx = p X|Y (x|y)dx
p Y (y)
jossa viimeinen yhtälö on ehdollisen tiheysfunktion määritelmä. Perinteinen
Bayesin kaava on
p X|Y (x|y) = p X,Y (x, y)
p Y (y)
= p X(x)p Y |X (y|x)
p Y (y)
.
36

15.1 Ehdollisen odotusarvon laskenta tuloavaruudessa
Olkoon (Ω, F, P ) todennäköisyyskolmikko ja H ⊆ F, G ⊆ F.
Tuloavaruudessa (Ω × Ω) varustettuna tulo σ-algebralla H ⊗ G määritellään
Dynkinin laajennuslauseen kautta todennäköisyysmitta P jolla
P(H × G) = P (H ∩ G)
∀H ∈ H, G ∈ G
Lause 15.1. Olkoon X(ω, ω ′ ) ∈ L 1 (Ω × Ω, H ⊗ G, P).
Silloin
∫∫
∫
X(ω, ω ′ )P(dω × dω ′ ) = X(ω, ω)P (dω) (15.1)
Ω×Ω
Tod. Kun X(ω, ω ′ ) = 1 H (ω)1 G (ω ′ ) jossa H ∈ H ja G ∈ G, väite seuraa
suoraan P:n määritelmästä. Olkoon
V := { X(ω, ω ′ ) : rajoitetut ja H ⊗ G-mitalliset s.m. joilla (15.1) on voimassa }
Selvästi V on vektori avaruus, ja monotonisen konvergenssin lauseesta seuraa että
V on monotoninen luokka. Koska V sisältää satunnaismuuttujat 1 H (ω)1 G (ω ′ )
jossa H ∈ H ja G ∈ G , monotonisen luokan lauseesta seuraa sisältää myös kaikki
rajoitetut H ⊗ G-mitalliset satunnaismuuttujat.
Yleisemmin kun X on ei-rajoitettu ja H ⊗ G-mitallinen voidaan ensin hajottaa
X = (X + − X − ) ∈ L 1 (Ω × Ω, H ⊗ G, P ⊗2 ) satunnais-muuttujen jonolla
X n = (X + ∧ n) − (X − ∧ n), ja käytää monotonisen konvergenssin lausetta erikseen
positiivisille ja negatiivisille puolille □
Esimerkki 15.2. Olkoon ξ(ω), η(ω) ∈ R satunnaismuuttujat H = σ(ξ), G =
σ(η) ja
f : (R × R) → R + Borel-mitallinen kuvaus. Silloin
∫
∫∫
f(ξ(ω), η(ω))P (dω) = f(ξ(ω), η(ω ′ ))P(dω, dω ′ )
Ω
Ω×Ω
Oletamme nyt että σ-algebrat H ja G ovat P -riippumattomia eli
P (H ∩ G) = P (H)P (G) kun H ∈ H ja G ∈ G
Silloin P = P ⊗ P = P ⊗2 eli
Ω
P(H × G) = P (H ∩ G) = P (H)P (G)
∀H ∈ H, G ∈ G
Tästä esityksestä seuraa suoraan että kun G ∈ G,
∫
∫∫
E P (X1 G ) = X(ω, ω)1 G (ω)P (dω) = X(ω, ω ′ )1 G (ω ′ )P ⊗2 (dω, dω ′ )
Ω
∫ {∫
}
= X(ω, ω ′ )P (dω) 1 G (ω ′ )P (dω ′ )
Ω Ω
Ω×Ω
ehdollisen odotusarvon määritelmästä seuraa
∫
E P (X|G)(ω ′ ) = X(ω, ω ′ )P (dω)
Ω
37

joka vastaa kaavan (14.1)
Yleisemmin, kun σ-algebrat H ja G eivät ole riippumattomia P -mitan suhteen,
oletamme että P ≪ P ⊗2 tulo σ-algebrassa (H ⊗ G).
Seuraa Radon-Nikodymin lauseesta että on olemassa (H ⊗ G)-mitallinen
Radon-Nikodymin derivaatta
0 ≤ Z(ω, ω ′ ) := dP
dP ⊗2 (ω, ω′ ) ∈ L 1 (Ω × Ω, H ⊗ G, P ⊗2 )
jolla mitan vaihdon kaava on voimassa kaikille X ∈ L 1 (Ω × Ω, H ⊗ G, P)
∫∫
∫∫
X(ω, ω ′ )P(dω, dω ′ ) = X(ω, ω ′ )Z(ω, ω ′ )P ⊗2 (dω, dω ′ ) =
jossa
Ω×Ω
∫
Ω
Ω×Ω
(∫
) ∫
X(ω, ω ′ )Z(ω, ω ′ )P (dω) P (dω ′ ) =
Ω
Ω
X(ω, ω)Z(ω, ω)P (dω)
Kun G ∈ G saadaan
∫
X(ω, ω)1 G (ω)P (dω) =
Ω
∫∫
∫ (∫
)
X(ω, ω ′ )1 G (ω ′ )P(dω, dω ′ ) = X(ω, ω ′ )Z(ω, ω ′ )P (dω) 1 G (ω ′ )P (dω ′ ) =
Ω×Ω
∫ (∫
)
Z(ω, ω ′ )P (dω)
Ω Ω
Y (ω ′ )1 G (ω ′ )P (dω ′ )
Ω Ω
Y (ω ′ ) := Y (ω, ω ′ ) :=
on {∅, Ω} ⊗ G-mitallinen.
Ω×Ω
∫
Ω X(ω, ω′ )Z(ω, ω ′ )P (dω)
∫
Ω Z(ω, ω′ )P (dω)
∫∫
∫∫
= Z(ω, ω ′ )Y (ω ′ )1 G (ω ′ )P ⊗2 (dω × dω ′ ) = Y (ω ′ )1 G (ω ′ )P(dω, dω ′ )
∫
=
Ω
Y (ω ′ )1 G (ω ′ )P (dω ′ )
Ω×Ω
Ehdollisen odotusarvon määritelmästä seuraa Y (ω ′ ) = E P (X|G)(ω ′ ).
Huomataan että myös
∫
X(ω, ω ′ )Z(ω, ω ′ )P (dω)
Ω
toteuttaa Kolmogorovin ehdollisen odotusarvon määritelmän
Tämä ei tuo ristiriitaa koska tässä tapauksessa
∫
Z(ω, ω ′ )P (dω) ≡ 1
Ω
38

koska
Samoin,
P(Ω × G) = P ⊗2 (Ω × G) = P (G) ∀G ∈ G
∫ (∫
)
⇐⇒ P (G) = Z(ω, ω ′ )P (dω) 1 G (ω ′ )P (dω ′ ) ∀G ∈ G
Ω Ω
∫
Ω
Z(ω, ω ′ )P (dω ′ ) ≡ 1
Huomautus 15.1. Tässä kappaleessa yleistettiin lause 14.1 ja esimerkki 15.1
tilanteeseen jossa H ja G ovat yleisiä ali-σ-algebrat eikä välttämättä satunnaisvektoreiden
virittämiä.
16 Ehdollistaminen nollamittaisiin tapahtumiin:
varoitus
Olkoon X(ω), Y (ω) riippumattomia standardi gaussisia satunnaismuuttujia,
E P (X) = E P (Y ) = 0, E P (X 2 ) = E P (Y 2 ) = 1 . Olkoon
W (ω) = (X(ω) − Y (ω)),
Z(ω) = 1(Y (ω) ≠ 0) X(ω)
Y (ω)
Olkoon N = {ω : Y (ω) = 0}.
Selvästi P (N) = 0 ja
N c ∩ {ω : X(ω) = Y (ω)} = N c ∩ {ω : W (ω) = 0} = N c ∩ {ω : Z(ω) = 1}
Olkoon f : R → R rajoitettu Borel mitallinen kuvaus.
∫∫
f(x)δ 0 (x − y)p X (x)p Y (y)dxdy
R×R
i) E P (f(X)|{X = Y }) = ∫∫
δ 0 (x − y)p X (x)p Y (y)dxdy
R×R
∫
ii) E P (f(X)|W = 0) = f(x)p X|W (x|0)dx
R
∫
iii) E P (f(X)|Z = 1) = f(x)p X|Z (x|1)dx
eivät ole valttämättä samasuuruisia. Näytämme että i) = ii) ≠ iii).
R
39

i) Perustuu tulkintaan
( ∣ )
E P (f(X)|{X = Y }) := lim E P f(X) ∣{|X − Y | < ε}
ε↓0
( )
∫ ∫
( )
x+ε
E P f(X)1{|X − Y | < ε}
x−ε p Y (y)dy f(x)p X (x)dx
R
= lim
= lim ( )
ε↓0 P (|X − Y | < ε)
ε↓0 ∫ ∫ x+ε
x−ε p Y (y)dy p X (x)dx
R
(
∫
lim (2ε) ∫ )
−1 x+ε
R ε↓0
x−ε p Y (y)dy f(x)p X (x)dx
= (
∫
lim (2ε) ∫ )
−1 x+ε
R ε↓0
x−ε p Y (y)dy p X (x)dx
∫
∫∫
f(x)p Y (x)p X (x)dx f(x)δ 0 (x − y)p X (x)p Y (y)dxdy
R
R×R
= ∫
= ∫∫
p Y (x)p X (x)dx δ 0 (x − y)p X (x)p Y (y)dxdy
R
R×R
Tässä δ 0 on Diracin delta distribuutio jolla on ominaisuus
∫
∫
g(x)δ 0 (x)dx = g(0) = g(x)F (dx)
R
kaikille jatkuville funktioille g, ja F (x) = 1(x ≥ 0). Diracin δ on porrasfunktion
F :n derivaatta distribution mielessä.
Lasketaan:
i)
∫
R×R f(x)δ 0(x − y)p X (x)p Y (y)dxdy
∫
R×R δ 0(x − y)p X (x)p Y (y)dxdy
∫
1
√ f(x)e −x2 dx
π
R
=
R
∫
R f(x)p X(x)p Y (x)dx
∫
R p X(x)p Y (x)dx
=
∫
R f(x)e−x2 dx
∫
dx
R e−x2
=
ii) Bayesin kaavasta
p X|W (x, w) = p X(x)p W |X (x, w)
= p X(x)p W |X (x, w)
=
p W (w)
p W (w)
1
√ exp(− 1 1
2π 2 x2 ) √ exp(− 1 ( 1
2π 2 (w − x)2 ) √ exp(− 1 4π 4 w2 )
) −1
koska p W |X (w|x) = p Y (w −x) ja W on gaussinen ja E(W ) = E(X)−E(Y ) = 0,
E(W 2 ) = E(X 2 ) + E(Y 2 ), siis
p W |X (w|x) = √ 1 exp ( (w − x)2 )
− 2π 2
joka on gaussisen jakauman N (x, 1) tiheysfunktio.
Tästä seuraa
∫
f(x)p X|W (x|0)dx = √ 1 ∫
f(x)e −x2 dx
π
joka täsmää i) arvon kanssa.
R
R
40

Kuitenkin
p Z|X (z|x) = p Y (x/z)
dy
∣ dz ∣ = √ 1 exp ( − x2 ) |x|
2π 2z 2 z 2
muuttujan vaihdolla z = x/y , ja
∫
p Z (z) =
R
= 1 ∫ ∞
z 2 2π 2
= 1
z 2 2π
0
∫ ∞
0
p Z|X (z|x)p X (x)dx = 1 ∫
z 2 |x| exp ( − x2
2π R 2 (1 + z−2 ) ) dx
r 1/2 exp ( − r 2 (1 + z−2 ) ) r −1/2
dr
2
exp ( − r 2 (1 + z−2 ) ) dr = 1
z 2 2π
2
(1 + z −2 ) = 1
(1 + z 2 )π
muuttujan vaihdolla r = x 2 . Täman jakauman nimi on Student-t vapausasteella
1.
Tästä seuraa Bayesin kaavalla
p X|Z (x|z) = p X(x)p Z|X (x|z)
p Z (z)
= (1 + z2 )|x|
2
=
exp ( − x2
2 (1 + z−2 ) )
Kun z = 1 saadaan p X|Z (x|1) = |x| exp(−x 2 ) ja
∫
E P (f(X)|Z = 1) =
R
∫
f(x)p X|Z (x|1)dx =
√1
2π
exp(−x 2 1
/2) √
2π
exp ( )
− x2 |x|
2z 2 z 2
(1 + z 2 ) −1 π −1
R
f(x)|x| exp(−x 2 )dx
joka on eri kuin integraalien i) ii) arvo.
Eri nolla mittaisilla tapahtumilla voi olla eri esityksiä eri satunaaismuuttujen
avulla, ja vastaavien ehdollisten odotusarvojen pistettäiset arvot saattaavat
olla eriläisiä. Tämä ei ole ristiriidassa todennäköisyysteorian kanssa koska aina
voidaan vaihtaa ehdollisen odotusarvon arvot pistettäin nolla mittaisissa joukoissa.
17 Martingaalit
Määritelmä 17.1. Olkoon (Ω, F) todennäköisyysavaruus, ja T = N, R + , Z, R, Q, Q + , . . .
aikaindeksien joukko.
Filtraatio F = (F t : t ∈ T) on σ-algebroiden kokoelma, joka on ajan suhteen
ei-vähenevä:
F s ⊆ F t ⊆ F
∀0 ≤ s ≤ t
Määritelmä 17.2. Stokastinen prosessi (X t (ω) : t ∈ T) on sopiva (tai adaptoitu)
ltration F:n suhteen, kun X t (ω) on F t -mitallinen ∀t ∈ T.
Määritelmä 17.3. Diskreetti ajassa, eli kun T ⊆ Z, stokastinen prosessi (X t (ω) :
t ∈ T) on ennustettava ltration F:n suhteen, kun X t (ω) on F t−1 -mitallinen
∀t ∈ T.
41

Määritelmä 17.4. Sanotaan että prosessi X = (X t : t ∈ T) on (ali,yli)-
martingaali ltraation F:n suhteen kun
1. (X t ) on F-sopiva
2. X t ∈ L 1 (Ω, F t , P ) ∀t ∈ T,
3.
E P (M t |F s ) = M s ∀s ≤ t,
vastaavasti ≤ ylimartingaalin tapauksessa ja ≥ alimartingaalin tapauksessa.
Huomataan että martingaalin ominaisuus riippuu sekä todennäköisyysmitasta
että ltraatiosta. Ylimartingaali on ajan-suhteen keskimäärin ei-kasvava,
alimartingaali on keskimäärin ei-vähenevä, martingaali on sekä ylimartingaali
että alimartingaali.
Lemma 17.1. Diskreetti ajassa (T ⊆ Z), määritelmässä 17.4 ominaisuus (3)
seuraa kaikille s ≤ t kun
E P (M t |F t−1 ) = M t−1
∀t
Tod. Induktiolla, kun t = s,
E P (M t |F s ) = E P (M s |F s ) = M s
Muuten voidaan käyttää induktiota r = (t−s):n suhteen, olettamalla että lemma
on voimassa kaikille arvoille t, s joilla (t − s) < r, kun (t − s) = r seuraa
E P (M t |F s ) = E P (E P (M t |F s+1 )|F s )
= E P (M s+1 |F s ) = M s
Samoin voidaan tarkistaa myös ali- ja yli- martingaalin epäyhtälöitä.
Esimerkki 17.1. Olkoon (X t : t ∈ N) ⊆ L 1 (P ) riippumattomien satunnaismuuttujen
jono jolla E(X t ) = µ ∈ R, ja olkoon F t = F X t := σ(X 1 , X 2 , . . . , X t )
S t = (X 1 + · · · + X t ) on F-alimartingaali kun µ > 0 , ja F-ylimartingaali
kun µ > 0, ja F-martingaali kun µ = 0.
Esimerkki 17.2. Olkoon (X t : t ∈ N) riippumattomien satunnaismuuttujen
jono jolla X t (ω) ≥ 0 P-m.v. ja E(X t ) = µ ∈ [0, +∞), ja olkoon F t =
σ(X 1 , X 2 , . . . , X t )
Silloin tuloprosessi M t = (X 1 X 2 . . . X t ) on F-alimartingaali kun µ > 1 , ja
F-ylimartingaali kun µ < 1, ja F-martingaali kun µ = 1.
Esimerkki 17.3. Olkoon X t (ω) ∈ R d t ∈ N, diskreetti aikainen Markovin ketju
alkujakaumalla π(dx) ja siirtymäytimellä K(x, dy).
Olkoon F t = Ft X = σ(X 0 , X 1 , . . . , X t ).
Määritellään operaattori
∫
(Kf)(x) := f(y)K(y, dx) = E x (f(X 1 )) = E P (f(X t )|X t−1 = x)
R d
42

Osoita että
M t (f) =
t∑
(f(X s ) − (Kf)(X s−1 ))
s=1
on F-martingaali kun f(x) on rajoitettu ja Borel mitallinen.
Teleskoppisen summan esityksestä,
f(X t ) = f(X 0 ) +
f(X 0 ) +
t∑
(f(X s ) − f(X s−1 ) =
s=1
t∑
(f(X s ) − Kf(X s−1 ) +
s=1
= f(X 0 ) + M t (f) + A t (f)
t∑
((Kf)(X s−1 ) − f(X s−1 ))
saadaan Doobin hajotelma jossa A t (f) on ennustettava prosessi
Lause 17.1. Olkoon (X t ) martingaali ja (Y t ) ennustettava prosessi ltraation
(F t : t ∈ N) suhteen.
Määritellään martingaalimuunnos tai aika-diskreetti stokastinen integraali
M t =
s=1
t∑
Y s (X s − X s−1 ) =
s=1
t∑
Y s ∆X s
s=1
Kun E(|Y s ∆M s |) < ∞ ∀s ∈ N, (M t ) on martingaali.
Tod. Määritelmästä seuraa että M t on F-sopiva ja integroituvuus ehto seuraa
kolmio epäyhtälöstä. Tarkistamme että martingaali-ominaisuus on voimassa:
E P (M t − M t−1 |F t−1 ) = E P (Y t (X t − X t−1 )|F t−1 ) = Y t E P (X t − X t−1 |F t−1 ) = 0
jossa käytettiin integrandin (Y t ):n F-ennustettavuutta.
Integroituuvus voidaan tärkistää Hölderin epäyhtälöllä
E(|Y s ∆M s |) ≤‖ Y s ‖ Lp ‖ ∆M s ‖ Lq
kun p, q ∈ [1, +∞] ovat konjugaatti-eksponentteja joilla p −1 + q −1 = 1.
Vedonlyönti-tulkinta Oletamme että hetkellä (t − 1) on mahdollisuus ostaa
tai myydä arpajaisia hinnalla X t−1 . Hetkellä t arpajaisen arvo on X t , satunnaisvoittolla
∆X t = (X t − X t−1 ) (negatiivinen voitto tulkitaan on tappioksi).
Tässä Y t (ω) on vedonlyonti strategia, ennustettava siinä mielessä että on F t−1 -
mitallinen kun ∆X t on F t -mitallinen, siis kun lyödään vetoa ei tiedetä mitä
tapahtuu seuraavaksi. M t on pelajan pääoma ja
M t − M 0 =
t∑
Y s ∆X s
on pelajan voitto. Reilussa pelissa E P (∆X t |F t−1 ) = 0 ja arpajaisen arvoprosessi
on martingaali. Lause 17.1 kertoo että niin kauan kun integroituvuus-ehdot ovat
voimassa ja pelistrategia on ennustettava, pelajan voitto-prosessi on martingaali.
Kun X t on ylimartingaali (kuten roulette-pelissä), ja ennustettava pelistrategia
on rajoitettu ja ei-negatiivinen, voittoprosessi on edelleen ylimartingaali.
s=1
43

Määritelmä 17.5. Satunnais-hetki τ(ω) ∈ T = N on (F t )-pysähdyshetki kun
{ω : τ(ω) ≤ t} ∈ F t ∀t ∈ N
18 Doobin Martingaali-konvergenssi lause
Martingaali (M t : t ∈ N) joka on rajoitettu L 1 (P ) normissa, suppenee P -melkein
varmasti kun t → +∞.
Teoreema 18.1. (Doob)
Olkoon (X t : t ∈ N) ylimartingaali jolla sup E P (Xt − ) < ∞,
t∈N
( tässä x − = max(−x, 0)).
Silloin
sup E P (|X t |) < ∞
t∈N
lim X t(ω) = X ∞ (ω)
t→∞
P-m.v.
jossa X ∞ (ω) ∈ L 1 (Ω)
Huomautus : vaikka X ∞ (ω) ∈ L 1 (Ω), ilman tasaisen integroituvuuden
ehtoa, konvergenssi L 1 (P )-mielessä ei seura.
Tod. Koska X t on ylimartingaali, ∀t ∈ N
joten
sup
t
E(X + t ) ≤ E(X 0 ) + E(X − t )
E(X t + ) ≤ E(X 0 ) + sup E(Xt − )
t
jossa E(|X 0 |) < ∞, siksi (X t ) t∈N on rajoitettu L 1 (P ) avaruudessa.
Olkoon a < b, ja määritellän pysähdyshetkien jono
(ensimmäinen a tason alituksen hetki)
σ 0 (ω) = inf { s ∈ N : X s (ω) < a}
τ i (ω) = inf { s > σ i (ω) : X s (ω) ≥ b},
σ i (ω) = inf { s > τ i−1 (ω) : X s (ω) < a}, i ≥ 1
joilla 0 ≤ σ i < τ i < σ i+1 < . . . Nämä ovat pysähdyshetkiä, koska ∀t ∈ N
tapahtumat
{ω : σ i (ω) ≤ t} ja {ω : τ i (ω) ≤ t}
riippuvat ainoastaan prosessin polusta (X 1 (ω), . . . , X t (ω)), ja siksi ovat F t -
mitallisia.
Määritellään sijoitusstrategia
{ 1 t ∈ (σi , τ
C t (ω) =
i ] joillekin i ∈ N
0 t ∈ (τ i , σ i+1 ]
44

Koska τ i ja σ i ovat pysähdyshetkiä, kaikille t ∈ N
{C t = 1} = ⋃ i∈N
{t ∈ (σ i , τ i ]} = ⋃ i∈N{σ i ≤ (t − 1)} ∩ {τ i ≤ (t − 1)} c ∈ F t−1
Koska C t (ω) ∈ {0, 1} on ei-negatiivinen ja rajoitettu ennustettava prosessi,
seuraa että martinagaali muunnos
Y t (ω) =
t∑
C s (ω)∆X s
s=1
on myös ylimartingaali, erityisesti E(Y t ) ≤ E(Y 0 ) = 0.
Koska
Y t ≥ (b − a)U [a,b] ([0, t]) − (X t − a) −
ja koska E(Y t ) ≤ E(Y 0 ) = 0, seuraa Doobin ylitysten-epäyhtälö (upcrossinginequality)
(
E P U[a,b] ([0, t]) ) 1
≤
(b − a) E (
P (Xt − a) −)
Koska U [a,b] ([0, t]) on ei-vähenevä, ∀ω on olemassa
U [a,b] ([0, ∞), ω) := lim
t→∞
U [a,b] ([0, t]) ∈ N ∪ {+∞}
(X t − a) − = max(a − X t , 0) ≤ |a| + X − t
seuraa monotonisen konvergenssin lauseesta
E P
(
U[a,b] ([0, ∞)) ) = lim
t→∞
E P
(
U[a,b] ([0, t]) ) ≤
(
1
(b − a)
|a| + sup E P (Xt − )
t∈N
Erityisesti U [a,b] ([0, ∞), ω) < ∞ P -melkein varmasti.
Olkoon
N = { ω : lim inf X t(ω) ≨ lim sup X t (ω) }
t→∞ t→∞
= ⋃ {
ω : lim inf X t(ω) ≤ a < b ≤ lim sup X t (ω) }
t→∞ t→∞
a

Seuraus 18.2. Kun X t on ei-negatiivinen ylimartingaali, on olemassa P-melkein
varmasti raja-arvo X ∞ (ω) := lim X t (ω) ≥ 0 jolla E P (X ∞ |F t )(ω) ≤ X t (ω)
t→∞
∀t < ∞.
Tod. Doobin martingaalikonvergenssilause soveltuu koska X − t (ω) ≡ 0. Fatou
lemmasta ehdolliselle odotusarvolle
E P (X ∞ |F t ) = E P (lim inf X u |F t )
u
≤ lim inf E P (X u |F t ) ≤ X t
u
(X t ) on ylimartingaali laajennetulla indeksijoukolla N ∪ {+∞} □
18.1 Tasaisesti integroituvat martingaaalit
Lause 18.1. Olkoon satunnaismuuttuja X(ω) ∈ L 1 (Ω, F, P ). Kokoelma
{
EP (X|G)(ω) : G ⊆ F ali σ-algebra }
on tasaisesti integroituva.
Tod. Koska {X} ⊆∈ L 1 (P ) on tasaisesti integroituva, ∀ε > 0 ∃δ > 0 jolla
E P (|X|1 A ) < ε kun P (A) < δ.
Olkoon Y (ω) = E P (X|G)(ω), seuraa että E P (|Y |) ≤ E P (|X|) < ∞
KP (|Y | > K) ≤ E P (|Y |) ≤ E P (|X|)
josta seuraa P (|Y | > K) < δ kun K > E P (|X|)δ −1 , ja
ε ≥ E P (|X|1(|Y | > K)) = E P
(
EP (|X||G)1(|Y | > K|) )
≥ E P
(
|Y |1(|Y | > K)
)
on voimassa samaan aikaan kaikille ali σ-algebroille G ⊆ F.
Seuraus 18.3. Olkoon satunnaismuuttuja X(ω) ∈ L 1 (Ω, F, P ), ja F = (F t :
t ∈ T) ltraatio. Silloin
M t (ω) = E P (X|F t )(ω)
t ∈ T
on tasaisesti integroituva martingaali.
Teoreema 18.2. • F-martingaali (M t : t ∈ N) on tasaisesti integroituva
jos ja vain jos on olemassa satunnaismuuttuja M ∞ (ω) ∈ L 1 (Ω, F ∞ , P )
jossa F ∞ := ∨ t∈N F t ja
M t (ω) → M ∞ (ω) P-melkein varmasti ja L 1 (P ) mielessä.
• Kun F-martingaali (M t : t ∈ N) on ei-negatiivinen, erityisesti se on
ei-negatiivinen ylimartingaali, seuraa laueseesta 18.2 että on olemassa
M ∞ (ω) ∈ L 1 (P ) jolla M t (ω) → M ∞ (ω) P-melkein varmasti ja E P (M ∞ |F t )(ω) ≤
M t (ω) ∀t ∈ N.
Silloin (M t : t ∈ N) on tasaisesti integroituva ja M t (ω) = E P (M ∞ |F t )(ω)
jos ja vain jos E P (M 0 ) = E P (M ∞ ).
46

Tod. Koska (M t : t ∈ N) on rajoitettu L 1 (P ):ssa koska on tasaisesti integroituva
ja
sup
t
(
E P (|M t |) ≤ K + sup E P |Xt |1(|X t | > K) ) < ∞.
t∈N
Doobin martingaali konvergenssi lause soveltuu
lim M t(ω) = M ∞ (ω)
t→∞
P -m.v.
jossa määritellään ∀ω
M ∞ (ω) := lim inf
t→∞ M t(ω)
L 1 (P ) konvergenssin karakterisaatiosta seuraa että M t
L 1 (P )
→ M ∞ .
Olkoon A ∈ F t , koska (M t (ω)1 A (ω) : t ∈ N) on tasaisesti integroituva,
seuraa kun ∀u ≥ t
E P (M t 1 A ) = E P (M u 1 A ) → E P (M ∞ 1 A ) kun u ↑ ∞
∀A ∈ F t
joka tarkoittaa E P (M ∞ |F t )(ω) = M t (ω).
Kun (M t ) on ei-negatiivinen martingaali, seuraa että
M t − E P (M ∞ |F t ) ≥ 0
jos
0 = E P (M t ) − E P (M ∞ ) = E P
(
Mt − E P (M ∞ |F t ) )
seuraa että
M t = E P (M ∞ |F t )
ja se on tasaisesti integroituva.
Huomautus (M t : t ∈ N) on tasaisesti integroituva martingaali, jos ja vain
jos (M t ) on martingaali laajennetussa aikaindeksijoukolla N ∪ {+∞}.
Esimerkki 18.1. Olkoon X t (ω) ≥ 0 ja P-riippumattomia, joilla E P (X t ) = 1
∀t ∈ N. Silloin M t (ω) = X 1 (ω)X 2 (ω) . . . X t (ω) on F-martingaali jossa F t =
σ(X 1 , . . . , X t ).
Koska M t on ei-negatiivinen ylimartingaali, seuraa että P-melkein varmasti
lim t→∞ M t (ω) = M ∞ (ω) ∈ L 1 (p), ja M t (ω) ≥ E P (M ∞ |F t )(ω).
Jos (M t : t ∈ N) on tasaisesti integroituva, seuraa M t (ω) = E P (M ∞ |F t )(ω).
18.2 Martingaalin takaperäinen konvergenssi
Olkoon (F t : t ∈ −N) ltraatio. Kun −∞ ≤ s ≤ t ≤ 0
F ⊇ F t ⊇ F s ⊇ F −∞ := ⋂
jossa F −∞ on häntä σ-algebra .
t∈−N
F t
47

Teoreema 18.3. (Doobin martingaalin takaperäinen konvergenssilause) Olkoon
(X t : t ∈ −N) alimartingaali ltraatiossa (F t : t ∈ −N).
Tarkastellaan mitä tapahtuu kun t ↓ (−∞) ja informaatio pienenee.
1. P-melkein varmasti on olemassa raja-arvo
2. Kun
X −∞ (ω) =
seuraa että X −∞ (ω) ∈ L 1 (P ).
lim X t(ω) ∈ [−∞, ∞)
t→−∞
sup E(Xt − ) < +∞
t≤0
3. Kun (X t : t ∈ −N) on martingaali, koska X t = E P (X 0 |F t ) ∀t ∈ −N se on
on tasaisesti integroituva ja
X −∞ (ω) = E(X 0 |F −∞ )(ω)
eli martingaalin ominaisuus on voimassa lajennetussa aika-indeksi joukossa
{−∞} ∪ Z.
Tod. Olkoon U (a,b) ([t, 0]) prosessin (X t ):n (a, b)-ylitysten määrä aikavälissä
[t, 0], jossa a < b ∈ R, t ∈ −N.
Olkoon C t (ω) ∈ {0, 1} sama ennustettava pelistrategia kuten Doobin etuperäisessa
martingaalikonvergenssilauseessa, ja
Y u − Y t =
u∑
r=t+1
C r ∆X r t ≤ u ≤ 0
on ylimartingaali aikaparemetrilla u ∈ {t, t + 1, . . . , 0}. Kun t < u = 0
Y 0 (ω) − Y t (ω) ≥ U (a,b) ([t, 0], ω) − (Y 0 (ω) − a) −
E(Y 0 − Y t ) ≤ 0 koska (Y t ) on alimartingaali, josta seuraa
E P (U [a,b] ([t, 0])) ≤ E P ((X 0 − a) − )
(b − a)
ja kuten etuperäisessa martingaalikonvergenssilauseessa
≤ (|a| + E P (|X 0 |)
(b − a)
X −∞ (ω) := lim sup X t (ω) = lim inf X t(ω)
t→−∞
t→−∞
P -m.v.
Kun X t on martingaali, on tasaisesti integroituva ja siitä seuraa konvergenssi
L 1 (P ) mielessä.
Alimartingaalin tapauksessa, koska X t ≤ E(X 0 |F t ) kun t < 0, seuraa
ja Fatou lemmasta seuraa
X + t ≤ E(X 0 |F t ) + ≤ E(X + 0 |F t)
E(|X −∞ |) ≤ lim inf
t
≤ E P (|X 0 |) + sup E P (Xt − )
t
E P (X t + ) + lim inf E P (Xt − )
t
48

Olkoon A ∈ F −∞ ⊆ F t ∀t ∈ −N. Koska ( X t = E P (X 0 |F t ) : t ∈ −N ) on tasaisesti
integroituva martingaali, L 1 (P )-konvergenssin karakterisaation nojalla
voidaan ottaa raja-arvoa odotusarvon sisään kun tarkistamme ehdollisen odotusarvon
määritelmää, eli
E P (X 0 1 A ) = E P (X t 1 A ) → E P (X ∞ 1 A )
∀A ∈ F −∞
joka tarkoittaa X −∞ = E P (X t |F −∞ ).
Teoreema 18.4. (Kolmogorovin 0 − 1 laki) Olkoon (X t : t ∈ N) satunnaismuuttujen
jono ja
T −t := σ(X u : u ≥ t), T −∞ := ⋂ t∈N
T −t (18.1)
T −∞ kutustaan jonon häntä σ-algebraksi.
Kun (X t : t ∈ N) ovat P-riippumattomia, T −∞ on P-triviaali, eli ∀A ∈ T ,
P (A) ∈ {0, 1}
Tod. Olkoon A ∈ T −∞ . Koska A ∈ T −t ∀t, seuraa A ⊥⊥ (X 1 , . . . , X t )∀n, eli
A ⊥⊥ (X t : t ∈ N).
Koska A ∈ T −∞ ⊆ σ(X t : t ∈ N), seuraa että A on P -riippumaton itsestään,
eli
josta seuraa P (A) ∈ {0, 1} □
P (A) = P (A ∩ A) = P (A)P (A)
Teoreema 18.5. ( Kolmogorovin vahva suurten lukujen laki)
Olkoon (X t (ω) : t ∈ N) riippumattomia ja samoin jakautuneita satunnaismuuttujia
jossa X 1 ∈ L 1 (P ), ja olkoon
Silloin
S t (ω) = X 1 (ω) + · · · + X t (ω)
lim
t→∞ t−1 S t (ω) = E P (X 1 )
P-melkein varmasti ja L 1 (P ):n mielessä.
Tod.
Olkoon (F −t : t ∈ N) ltraatio jossa kun t ≤ 0
ja martingaali (M −t : t ∈ N) jossa
F −t = σ(S t , S t+1 , . . . ),
M −t = E P (X 1 |F −t )
Huomataan että σ-algebran F −t :n sisältämä informaatio vähenee kun t ↑ ∞.
Symmetrisyyden nojalla satunnaisparit (S t , X r ) ja (S t , X 1 ) ovat samoin jakautuneita
kun 1 ≤ r ≤ t, ja P -riippumattomuusesta seuraa kun t ≥ 0
M −t := E P (X 1 |F −t ) = E P (X 1 |S t , S t+1 , S t+2 , . . . )
= E P (X 1 |S t , X t+1 , X t+2 . . . ) = E P (X 1 |σ(S t )) = E P (X r |σ(S t )) ∀1 ≤ r ≤ t
49

eli
S t = E P (X 1 + · · · + X t |σ(S t )) =
t∑
E P (X r |σ(S t )) = tE P (X 1 |σ(S − ))
r=1
ja M −t (ω) = S t (ω)/t kun t ≥ 0. Doobin takaperäisestä martingaali-konvergenssi
lausesta seuraa P -melkein varmasti ja L 1 (P ) mielessä on olemassa rajaarvo
jossa
M −∞ (ω) = lim
t→∞
t −1 S t (ω) = M −∞ (ω)
P m.v.
M −∞ (ω) := lim inf
t→∞ t−1 S t (ω) ∀ω
Huomataan myös että ∀ω ∈ Ω, ∀n ∈ N
lim inf
t→∞
= 0 + lim inf
t→∞
1
t S 1
t(ω) = lim inf
t→∞ t
1
t
t∑
i=(n+1)
n∑
i=1
X i (ω)
X i (ω) + lim inf
t→∞
1
t
t∑
i=(n+1)
X i (ω)
on T −n = σ(X n , X n+1 , . . . )-mitallinen ∀n, on mitallinen häntä σ-algebran T −∞
suhteen (18.1), koska (X t ) t∈N ovat P -riippumattomia Kolmogorovin 0 − 1 lemmasta
seuraa että M −∞ (ω) on P -triviaali:
P (t ≤ M −∞ ) ∈ {0, 1} ∀t ja P (M −∞ < ∞) = 1, siitä seuraa että on olemassa
c ∈ R jolla P (M −∞ = c) = 1.
Siis P -melkein varmasti ja L 1 (P ) mielessä
Ottaamalla odotusarvoa seuraa
1
t S t(ω) → c = E P (X 1 |F −∞ )(ω)
c = E P (M −∞ ) = E P
(
EP (X 1 |F −∞ ) ) = E P (X 1 ).
Huomautus Symmetriasta seuraasi että t −1 S t (ω) = E P (X 1 |σ(S t ))(ω),
ja sen konvergenssi P -melkein varmasti ja L 1 (P ) mielessä seurasi taperäisestä
martingaali-konvergenssi lauseesta. Riippumattomuuden tarvittiin osoittamaan
E P (X 1 |σ(S t ))(ω) = E P (X 1 |σ(S t , S t+1 , S t+2 . . . ))(ω)
ja että raja-arvo on P -triviaali. Kun luovutaan rippumattomuudesta, raja-arvo
on satunnainen. Siihen pohjautuu De Finettin lause. Bruno De Finetti (1906-
1985) oli italialainen matematiikko, taloustieteilijä ja loso.
19 Vaihdettavuus ja De Finettin lause
Määritelmä 19.1. Satunnaisjono (X t ) t∈N joka saa arvot todennäköisyysavaruudessa
(S, S) on äärettömästi vaihdettavissa (engl. innitely exchangeable)
kun ∀n, t 1 , . . . , t n ∈ N ja indeksien {1, . . . , n} permutaatio π, satunnaisvektorit
(X t1 , . . . , X tn ) ja (X tπ(1) , . . . , X tπ(n) ) ovat samoin jakautuneita P mitan suhteen.
50

Huomataan että kun jono (X t ) t∈N saa arvot R:ssa, kuuten riippumattomien
ja samoin jakautuneiden satunnaismuuttujen tapauksessa
M −t (ω) = t −1 S t (ω) := E(X 1 |T −t ),
t ∈ N
on martingaali jolla on martingaali jolla on raja-arvo P -melkein varmasti ja
L 1 (P ):mielessä kun t → ∞
M −∞ (ω) = E(X 1 |T −∞ )(ω)
Häntä σ-algebra T −∞ ei tarvitse olla triviaali ja M −∞ (ω) on aidosti satunnainen.
Määritelmä 19.2. Satunnaismuuttujat (X t (ω) : t ∈ N) jotka saavat arvoja
todennäköisyysavaruudessa (S, S) ovat ehdollisesti riippumattomia ja samoin
jakautuneita ehdolla σ-algebraa G kun ∀n, t 1 , . . . , t n , A 1 . . . A n ∈ S.
n∏
P (X t1 ∈ A 1 , . . . , X tn ∈ A n |G)(ω) = P (X 1 ∈ A i |G)(ω)
i=1
P m.v
Ottaamalla ehdollisen odotusarvon odotusarvoa, seuraa että ehdollisesti riippumattomia
ja samoin jakautuneita satunnaismuuttujat ovat äärettömästi vaihdettavissa.
Teoreema 19.1. (De Finetti) Olkoon (S, S) Borelin avaruus. Kun satunnaisjono
(X t (ω) : t ∈ N) ⊆ S on äärettömästi vaihdettavissa P:n suhteen toinen
implikaatio on myös voimassa, satunnaismuuttujat ovat ehdollisesti riippumattomia
ja samoin jakautuneita ehdolla häntä-σ-algebraa T −∞ joka tullaan määrittelemään.
Proof Olkoon
t∑
µ t (dx; ω) = t −1 1(X i (ω) ∈ dx)
i=1
satunnaismuuttujen (X 1 , . . . , X t ) empiirinen mitta joka virittää σ-algebran σ(µ t ) =
σ{µ t (A) : A ∈ S} ⊆ F.
Huomataan että σ(µ t ) ⊆ σ(X 1 , . . . , X t ), ja kun t > 1 se on aidosti pienempi
koska empiirinen mitta sisältää satunnaismuuttujen arvot mutta unohtaa niiden
järjestyksen.
Määritellään vähenevä σ-algebroiden jono
T −t := ∨ k≥t
σ(µ k ), T −∞ = ⋂ t∈N
T −t , on häntä-σ-algebra .
Olkoon k ∈ N ja f(x 1 , . . . , x k ) : S k → R rajoitettu ja mitallinen funktio.
Kun t ≥ k laskemme symmetrian avulla E P (f(X 1 , . . . , X k )|T −t )(ω).
Olkoon 1 ≤ k ≤ t ja määritellään satunnaistodennäköisyysmitta
µ ◦k
t : S ⊗k → [0, 1]
joka on säännöllinen versio satunnaisvektorin (X 1 , . . . , X k ) ehdollisesta jakaumasta
ehdolla σ(µ t ) (joka on olemassa koska (S, S) on Borelin avaruus).
51

Symmetriasta seuraa
E P (f(X 1 , . . . , X k )|σ(µ t ))(ω)
∫
= µ ◦k
t (f; ω) := f(x)µ ◦k
t (dx; ω) = 1 ∑
f(X π(1) (ω), . . . , X π(k) (ω))
S t!
k π
(t − k)! ∑
= f(X i1 , X i2 , . . . , X ik )
t!
1≤i 1,...,i k ≤t eriläisiä
jossa summa otetaan yli {1, . . . , t} joukon permutaatioita π.
Huomataan että µ ◦k (dx; ω) on σ(µ t )-mitallinen, koska rippuu vain arvoista
{X 1 (ω), . . . , X t (ω)} eikä niiden järjesyksestä. Huomataan myös että µ ◦k
t (dx) ei
ole tulo mitta, koska summassa ei ole toistuvien indeksien termeja.
Huomataan myös että kun k = 1
µ ◦1
t (A) = µ t (A) = 1 t
t∑
1(X k ∈ A)
k=1
on otoksen (X 1 (ω), . . . , X t (ω)):n empiirinen mitta.
Kun k ≤ t vaihdettavuuden nojalla kaikille {1, . . . , t} joukon permutaatiolle
π (X 1 , . . . , X k , µ t ) ja (X π(1) , . . . , X π(k) , µ t ) ovat samoin jakutuneita, josta seuraa
E P (f(X 1 , . . . , X k |σ(µ t ))(ω) = E P (f(X π(1) , . . . , X π(k) )|σ(µ t ))(ω)
Kun summataan permutaatioiden π:n yli ja jaetaan niiden määrällä saadaan
Osoitamme seuraavaksi
µ ◦k
t (f; ω) = E P (f(X 1 , . . . , X k )|σ(µ t ))(ω)
E P (f(X 1 , . . . , X k )|σ(T −t ))(ω) = E P (f(X 1 , . . . , X k )|σ(µ t ))(ω)
Huomaamme myös että
T −t = σ(µ t , µ t+1 , µ t+2 , . . . ) = σ(µ t , X t+1 , X t+2 , . . . )
koska empiiriset mitat µ t (dx; ω) ja µ t+1 (dx; ω) määrävät X t+1 (ω) yhtälössä
(µ t+1 − µ t )(dx) = 1 (
)
1(X t+1 ∈ dx) − µ t (dx)
t + 1
Then from innite exchangeability it follows that in law, for m ∈ N
(X 1 , X 2 , . . . , X n , X n+1 , X n+2 , . . . X n+m )
L
= (X π(1) , X π(2) , . . . , X π(n) , X n+1 , X n+2 , . . . X n+m )
for any permutation π of {1, . . . , n}.
Esimerkki 19.1. (X 1 , . . . , X n ) ja (X n+1 , X n+2 , . . . ) ovat ehdollisesti riippumattomia
ehdolla σ(µ n ),
52

R. Huomataan ensin että satunnaismuuttuja W (ω) on σ(µ n ) mitaalinen jos
ja vain jos W (ω) = g(X 1 , . . . , X n ) jossa g on mitallinen ja symmetrinen, eli
g(x 1 , . . . , x m ) = g(x π(1) , . . . , x π(m) ) ∀π permutaatiolle .
Oletaamme myös että g on rajoitettu.
Olkoon myös Y (ω) rajoitettu ja σ(X n+1 , X n+2 , . . . )-mitallinen, ja f(x 1 , . . . , x n )
rajoitettu S ⊗n mitallinen, (ei välttämättä symmetrinen) Jonon äärettömästä
vaihdettavuudesta seuraa ∀n ∈ N ja kaikille {1, . . . , n} indeksien permutaatioille
π, jonot
(X 1 , X 2 , . . . X n , X n+1 , X n+1 , . . . ) L = (X π(1) , X π(2) , . . . X π(n) , X n+1 , X n+1 , . . . )
ovat samoin jakautuneita P-mitan suhteen
E P (Y W f(X 1 , . . . , X n ))E P (Y g(X 1 , . . . , X n ) f(X 1 , . . . , X n ))
= E P (Y g(X π(1) , . . . , X π(n) ) f(X π(1) , . . . , X π(n) ))
( koska jono on vaihdettavissa )
= E P (Y g(X 1 , . . . , X n ) f(X π(1) , . . . , X π(n) )) = E P (Y W f(X π(1) , . . . , X π(n) ))
( koska g on symmetrinen )
= 1 ∑
(
(
E P Y W f(X π(1) , . . . , X π(n) )) = E P Y W 1 ∑
)
f(X π(1) , . . . , X π(n) )
n!
n!
π
= E P
(
Y W µ
◦n
n (f) )
Ehdollinen odotusarvon määritelmästä seuraa että
E P
(
f(X1 , . . . , X n ) ∣ ∣ σ(µn , X n+1 , X n+2 , . . . ) ) (ω) = µ ◦n
n (f; ω) = E P
(
f(X1 , . . . , X n ) ∣ ∣ σ(µn ) ) (ω)
eli (X 1 , . . . , X n ) ja (X n+1 , X n+2 , . . . ) ovat ehdollisesti P-rippumattomia ehdolla
σ(µ n ).
Toisin sanoen, T −n ei sisällä informatioota jono ensimmäisten n-arvojen
järjesyksestä.
Koska M (k)
−t (f) := µ ◦k
t (f) on martingaali ltratiossa (T −t : t ∈ N), Doobin
takaperäisestä martingaalikonvergenssi lauseesta seuraa että kun t → ∞, on
olemassa rajaarvo M −∞(f) (k) P -melkein varmasti ja L 1 (P ):ssa.
Koska (X 1 , . . . , X k ) saa arvot Borel avaruudessa, ehdollisella todennäköisyydellä
P ((X 1 , . . . , X k ) ∈ A|T −∞ )(ω),
A ∈ S ⊗k
on säännöllinen versio,
eli T −∞ -mitallinen todennäköisyysydin µ ◦k
∞(dx; ω) on (S 1 × · · · × S k ) jolla
P -melkein varmasti kaikille rajoitetuille ja mitalliseille funktioille
M (k)
−∞(f; ω) = E P (f(X 1 , . . . , X k )|σ(T −∞ ))(ω)
∫
= f(x 1 , . . . , x k )µ ◦k
∞(dx 1 , . . . dx k ; ω)
S 1,...,S k
Kun k = 1 merkitään µ ∞ = µ ◦1
∞ , jossa
1
t∑
∫
lim f(X i (ω)) = f(x)µ ∞ (dx, ω)
t→∞ t
i=1
S
π
P -m.v.
53

Esimerkki 19.2. Koska (S, S) on Borelin avaruus, on olemassa mitallinen
inijektio f : (S, S) → ([0, 1], B([0, 1])) jolla on mitallinen käänteiskuvaus f −1 .
Tästä seuraa että kun A ⊆ S, A ∈ S jos ja vain jos f(A) on Borelin joukko.
Koska
σ { (a, b] : 0 ≤ a < b ≤ 1, a, b ∈ Q } = B([0, 1])
seuraa että myös S on numeroituvasti generoitu, koska
S = σ { f −1 ((a, b] ∩ f(S)) : 0 ≤ a < b ≤ 1, a, b ∈ Q } = σ { A(l) : l ∈ N }
A priori tiedetään että ∀A ∈ S, ∃N A ⊆ Ω jolla P (N A ) = 0 ja
µ t (A; ω) → µ ∞ (A; ω) ∀ω ∉ N A
Koska P (N ) = 0 jossa N = ⋃ N A(l) , seuraa että
l∈N
µ t (A l ; ω) → µ ∞ (A l ; ω) ∀l ∈ N ∀ω ∉ N
ja koska σ{A l : l ∈ N} = S seuraa että ∀A ∈ S
µ t (A; ω) → µ ∞ (A; ω) ∀A ∈ S ∀ω ∉ N (19.1)
Samoin löytyy nolla mittainen joukko Ñ ⊆ Ω jolla ∀k ∈ N, ∀{A i} ⊆ S
µ ◦k
t (A 1 × · · · × A k ; ω) → µ ◦k
∞(A 1 × · · · × A k ; ω) ∀ω ∉ Ñ (19.2)
P -melkein varmasti äärellisulotteisten jakaumien kokoelma
{
}
µ ◦k
∞(dx 1 , . . . dx k ; ω) : k ∈ N
on yhteensopiva (tarkista!), ja Kolmogorovin laajennuslauseesta 2.1 seuraa että
on olemssa satunnaismitta ν ∞ ( · ; ω) jonojen (x k : k ∈ N) ⊆ S avaruudessa
jolla ∀k, A 1 , . . . , A k ∈ S
P ( X 1 ∈ A 1 , . . . X k ∈ A k |T −∞ )(ω) =
µ ◦k
({ } )
∞(A 1 × · · · × A k ; ω) = ν ∞ (xl : l ∈ N) : x 1 ∈ A 1 , . . . , x k ∈ A k ; ω
Näytän että P -melkein varmasti ν ∞ (·; ω) on satunnaismitan kopioiden ääretön
tulomitta, eli ∀k
P ( X 1 ∈ A 1 , . . . X k ∈ A k |T −∞ )(ω) =
k∏
P (X 1 ∈ A i |T −∞ )(ω)
Olkoon µ ⊗k
t k-kertainen tulomitta empiirisestä mitasta µ t . Kun f(x 1 , . . . , x k )
rajoitettu ja Borel mitallinen,
∑
µ ⊗k
t (f) = t −k f(X i1 , . . . , X ik )
1≤i 1,...,i k ≤t
i=1
54

joka sisältää myös termeja joissa on toistettuja indekseja. Silloin
(µ ◦k
t
µ ◦k
t (f)
− µ ⊗k
t
(
1 −
)(f) = µ ◦k
t
t!
t k (t − k)!
(f) − µ ⊗k
t (f) =
)
∑
+ t −k
1≤i 1,...i k ≤t: ∃l≠m i l =i m
f(X i1 , . . . , X ik )
jossa ensimmäisessä osassa on termeja ilman toistettuja indekseja ja toisessa
osassa kaikissa termeissä vähintään yksi satunnaismuuttuja on toistettu. Silloin
∀k ∈ N,ω ∈ Ω,
|µ ◦k
t
(f; ω) − µ ⊗k
t
(f; ω)|
k−1
∏ (t − l)
≤‖ f ‖ ∞
(1 −
t
l=0
( ) k
+ t
)t −k k−1 → 0 kun t → ∞
2
jossa ‖ f ‖ ∞ = sup x∈S |f(x)| ja arvio ei riipu ω:sta
Kaikille A 1 , A 2 · · · ∈ S, ∀k P -melkein varmasti kun t → ∞
ja kun k = 1
µ ◦k
t (A 1 × A 2 × · · · × A k ) → µ ◦k
∞(A 1 × A 2 × · · · × A k )
kovergenssi seuraa myös tulomitoille
µ ⊗k
t (A 1 × A 2 × · · · × A k ) =
Kolmio epäyhtälöstä
|µ ◦k
−∞(f) − µ ⊗k
−∞(f)|
≤ |µ ◦k
−∞(f) − µ ◦k
t
P -m.v. kun t → ∞, ja
µ ◦1
t (A i ) → µ ∞ (A i ),
k∏
i=1
(f)| + |µ ◦k
t
µ ◦1
t (A i ) →
k∏
i=1
(f) − µ ⊗k
t
µ ∞ (A i ) = µ ⊗k
∞ (A 1 × A 2 × · · · × A k ).
(f)| + |µ ⊗k
t (f) − µ ⊗k
∞ (f)| → 0
µ ◦k
∞(f; ω) = µ ⊗k
∞ (f; ω)
P -a.s
kaikille rajoitetuille mitallisille f(x 1 , . . . , x k ). Se tarkoittaa Kolmogorovin laajennus
ν ∞ on tulomitta jonojen avaruudessa S N . Rajoitetuille mitalliselle funktiolle
g 1 , . . . , g k : S → R
E P (g 1 (X 1 ) . . . g k (X k )|T −∞ )(ω) =
Ottaamalla odotusarvoa seuraa
E P (g 1 (X 1 ) . . . g k (X k ))
(∫
) ∫
= E P g i (x)µ ∞ (dx) =
S
k∏
{∫
i=1
M(S)
S
{
∏ k ∫
i=1
}
g i (x)µ ∞ (dx, ω)
S
}
g i (x)µ(dx) Q(dµ)
55

jossa Q on satunnaismitan µ ∞ (dx; ω) jakauman avaruudessa
M(S) = { todennäköisyys mittoja ν : S → [0, 1] }
Toisin sanoen, permutaatio-symmetrinen (eli äärettömasti vaihdettavissa)
satunnaismuuttujen jono joka saa arvot Borelin avaruudessa, on riippumattomien
ja samoin jakautuneiden jonojen sekoitus □
Esimerkki 19.3. De Finetti todisti ensin lauseensa yksinkertaisimmissa tapauksessa,
binaarijonoille, jossa S = {0, 1}. Silloin M(S) = [0, 1].
Olkoon S t (ω) = (X 1 (ω) + · · · + X t (ω)).
Jos kolikkoheittojenjono on äärettömästi vaihdettavissa P-mitan suhteen,
raja-arvo ϑ(ω) :=
lim t −1 S t (ω) ∈ [0, 1] on olemassa P-melkein varmasti ja
t→∞
L 1 (P ):ssa .
Olkoon Q(dθ) = P ({ω : ϑ(ω) ∈ dθ}). Kun ehdollistetaan σ-algebraan σ(ϑ),
kolikonheitot ovat ehdollisesti riippumattomia ja Bernoulli jakautuneita, samalla
satunnais-todennäköisyysparametrilla ϑ(ω) ∈ [0, 1]. Raja-arvon todennäköisyysmitta
Q(dθ) tulkitaan prioritodennäköisyydeksi parametrille ϑ. Silloin ∀k,
(x i ) i∈N ⊆ {0, 1},
P ( X 1 = x 1 , . . . , X k = x k ) =
∫ 1
0
θ S k
(1 − θ) (k−S k) Q(dθ)
∫ 1
0
{ k
∏
i=1
}
P (X 1 = x i |ϑ = θ) Q(dθ)
Q(B) = P ({ ω : lim
t→∞
t −1 S t (ω) ∈ B }) , B ∈ B([0, 1])
De Finettin lause on avain Bayeslaiseen päättelyyn.
56