2. Bayesin päätösteoria

Oulun yliopisto, Hahmontunnistus ja neuroverkot (521497S), TS
25 / 99
Odotusarvo vektorista saadaan ottamalla odotusarvo vektorin komponenteista erikseen:
= ε[ xi ]
m i
Kovarianssimatriisin elementti σij edustaa komponenttien xi ja xj välistä kovarianssia
ja määritellään seuraavasti:
σij = ε[ ( xi – mi) ( xj – mj) ]
Kovarianssimatriisi on aina symmetrinen ja positiivinen semidefiniitti (eli determinantti
nolla tai positiivinen). Determinantti on nolla esimerkiksi silloin, kun osa
piirrevektorin komponenteista ovat identtisiä tai korreloivat täydellisesti keskenään.
Jos komponentit x i ja x j ovat tilastollisesti riippumattomia (statistically independent),
elementti σ ij = 0. Mutta ei välttämättä toisinpäin, sillä kovarianssianalyysissä
arvioidaan lineaarista riippumattomuutta, ja riippuvuuksiahan on olemassa epälineaarisiakin!
Diagonaalielementit σ ii = σ i 2 ovat komponenttien xi varianssit. Alla esimerkki 2ulotteisen
piirrevektorijoukon kovarianssimatriisista:
S
2
σ11 σ12 σ1 σ12
= = =
σ21 σ 2
22 σ21 σ2 2
σ1 σ12
2
σ12 σ2 Monimuuttujaisen normaalijakauman määrittelee siis d+d(d+1)/2 parametria, eli
odotusarvovektori ja kovarianssimatriisin riippumattomat elementit.
Esimerkiksi diskreetin muuttujan x tapauksessa lasketaan näitä suureita vastaavat
otoskeskiarvo ja otoskovarianssimatriisi seuraavasti:
N
1
x = --- x
N ∑ i
i = 1
S
1
--- ( x
N i – x)
( xi – x)
t
N
=
∑
i = 1