2. Bayesin päätösteoria

2. Bayesin päätösteoria 

2.1. Johdanto 

Oulun yliopisto, Hahmontunnistus ja neuroverkot (521497S), TS 

13 / 99 

Bayesin päätösteorian (Bayesian decision theory) avulla on mahdollista johtaa optimaalisia 

tilastollisia luokittelijoita. Perustuu todennäköisyyslaskentaan ja olettaa 

tarvittavat todennäköisyydet tunnetuiksi. 

Merkitään asiaintilaa (state of nature) symbolilla ω 

• kalanlajittelun esimerkissä tarkoittaa tarkasteltavan kalan lajia: ω = ω 1, kun kala 

on meriahven ja ω = ω 2 , kun kala on lohi 

• koska asiaintila on niin ennustamaton, tulkitaan ω muuttujaksi, joka täytyy 

kuvailla probabilistisesti 

Asiaintila ω on tässä diskreettiarvoinen, koska sillä on vain kaksi tilaa. Sen tiloihin 

liittyy a priori todennnäköisyydet P(ω j), jotka kuvastavat tilojen suhteellisia esiintymiskertoja 

populaatiossa: 

• P(ω 1 ): meriahvenien suhteellinen osuus saaliskaloissa 

• P(ω 2 ): lohien suhteellinen osuus saaliskaloissa 

• jos muita tiloja ei ole, P(ω 1 ) + P(ω 2 ) = 1 

Mikäli luokittelijalla ei ole muuta tietoa kaloista kuin a priori todennäköisyydet, 

päätössääntö on yksinkertainen: 

• päätä ω 1 jos P(ω 1 ) > P(ω 2 ), muutoin päätä ω 2 

Tavallisesti käytettävissä on muutakin tietoa, nimittäin aiemmin mainittuja kohteita 

luonnehtivia piirteitä. Olkoon x kalan kirkkautta kuvaava jatkuva-arvoinen satunnaismuuttuja, 

jonka jakauma p( x ω) 

riippuu asiaintilasta. Jakaumaa kutsutaan luokkaehdolliseksi 

todennäköisyystiheysfunktioksi (class-conditional probability 

density function): satunnaismuuttujan x tiheysfunktio oletuksella että asiaintila on 

ω. Tällöin tiheysfunktioiden p( x ω1) ja p( x ω2) välinen ero kuvastaa näiden kalalajien 

kirkkauseroja populaatiossa (kuva alla):


14 / 99 

Tiheysfunktioita voidaan käyttää hyväksi luokittelussa Bayesin kaavan avulla. 

Tämän johtamiseksi kirjoitetaan ensin yhteistodennäköisyystiheys (joint probability 

density) sille, että hahmo kuuluu luokkaan ω j JA sillä on piirteen arvo x: 

p( ωj, x) 

= P( ωj x)p 

( x) 

= p( x ωj)P ( ωj) Tästä saadaan kuuluisa Bayesin kaava (Bayes formula): 

P( ωj x) 

p( x ωj)P ( ωj) = --------------------------------- = 

p( x) 

Tämä voidaan ilmaista sanallisesti seuraavasti: 

p( x ωj)P ( ωj) -------------------------------------------- 

2 

i = 1 

p( x ωi)P ( ωi) • “likelihood” : uskottavuus 

• a priori todennäköisyydestä lasketaan siis a posteriori todennäköisyys 

∑ 

likelihood × prior 

posterior = 

----------------------------------------evidence


15 / 99 

A posteriori todennäköisyys P( ωj x) 

kuvastaa todennäköisyyttä, että asiaintila on 

ω j , kun piirrearvo x on havaittu. 

Tiheysfunktiota p( x ω) 

kutsutaan uskottavuusfunktioksi (likelihood function). Se 

kuvastaa asiaintilan ωj uskottavuutta suhteessa mittausarvoon x siten, että mitä 

suurempi funktion arvo on piirreavaruuden pisteessä x, sitä uskottavammin asiaintila 

on ωj . 

Nimittäjässä esiintyvä termi p(x) on lähinnä skaalaustekijä, jolla varmistetaan se, 

että posteriori-todennäköisyydet summautuvat arvoon 1 kaikkialla piirreavaruudessa. 

Se kuvastaa muuttujan x tiheyttä yli koko populaation. 

Tästä saadaan Bayesin päätössääntö (Bayes decision rule): 

Ekvivalentti päätössääntö: 

Päätä ω1 jos P( ω1 x) 

> P( ω2 x) 

, muutoin päätä ω2 Päätä ω1 jos p( x ω1)P ( ω1) > 

p( x ω2)P ( ω2) , muutoin päätä ω2


16 / 99 

Bayesin päätössääntö minimoi luokitteluvirheen keskimääräisen todennäköisyyden, 

mikä nähdään seuraavasti: 

Virheen keskimääräinen todennäköisyys saadaan lausekkeesta: 

∞ 

∞ 

∫ 

P( virhe) 

= P( virhe, x) 

dx 

= 

– ∞ 

P( virhe x)p 

( x) 

dx 

Tämä saa pienimmän arvonsa, kun P( virhe x) 

saa pienimmän arvonsa kaikissa 

kohdissa x. 

Yleisesti ottaen, kun havaitaan piirrearvo x, virheellisen luokittelupäätöksen todennäköisyys 

on: 

P( virhe x) 

= 

Noudatettaessa Bayesin päätössääntöä pätee jokaisessa pisteessä x: 

⎧ 

⎨ 

Siispä virheen keskimääräinen todennäköisyys saa pienimmän mahdollisen arvonsa 

käytettäessä Bayesin päätössääntöä! M.O.T. 

Mikään muu päätössääntö ei voi alittaa Bayesin luokitteluvirhettä. Mikäli siis 

todennäköisyydet tunnetaan (priorit ja jakaumat), kannattaa käyttää Bayesin 

päätössääntöön perustuvaa luokittelijaa. Muut luokittelijat tuottavat korkeintaan 

yhtä hyviä tuloksia, todennäköisesti huonompia. Käytännön vaikeus on tietysti 

määrätä todennäköisyydet tarkasti. 

∫ 

– ∞ 

P( ω1 x), 

kun päätetään ω2 ⎩P( 

ω2 x), 

kun päätetään ω1 P( virhe x) 

= 

min[ P( ω1 x) 

, P( ω2 x) 

]

2.2. Bayesin päätösteoria - jatkuva-arvoiset piirremuuttujat 


17 / 99 

Yleistetään edellisen kappaleen tulokset: 

• sallitaan useita piirteitä 

• d-ulotteinen piirrevektori (satunnaismuuttuja) x piirreavaruudessa Rd • sallitaan useita asiaintiloja 

• { ω1 , ... , ωc} • sallitaan muitakin toimintoja (action) kuin päätöksenteko asiaintilasta (kuten 

kieltäytyminen päätöksenteosta, mikäli hahmon luokka ei näytä selvältä) 

• { α1 , ... , αa} • käyttämällä virheen todennäköisyyttä yleisempää kustannusfunktiota (cost function) 

• kustannusfunktio λ( αi ωj) ilmaisee kuinka suuri kustannus syntyy 

tekemällä toiminto α i asiaintilassa ω j 

Bayesin kaava on samaa muotoa kuin aiemmin: 

Oletetaan nyt, että havaitaan piirrevektori x ja halutaan tehdä sen perusteella toiminto 

α i . Tähän toiminnon tekemiseen liittyvän kustannuksen odotusarvo on: 

Päätösteoreettisessa terminologiassa kustannuksen odotusarvoa (expected loss) kutsutaan 

riskiksi (risk), ja suuretta R( αi x) 

kutsutaan ehdolliseksi riskiksi (condi- 

tional risk). 

P( ωj x) 

Bayesin päätösproseduuri: 

p( x ωj)P ( ωj) = --------------------------------- = 

p( x) 

c 

∑ 

p( x ωj)P ( ωj) -------------------------------------------c 

i = 1 

p( x ωi)P ( ωi) Valitse se toiminto αi , jota vastaava ehdollinen riski R( αi x) 

on pienin 

∑ 

R( αi x) 

= λ( αi ωj)P ( ωj x) 

j = 1

Bayesin päätössääntö tuottaa optimaalisen suorituskyvyn, mikä nähdään 

seuraavasti: 


18 / 99 

Ongelmana on löytää kokonaisriskin minimoiva päätössääntö. Yleinen 

päätössääntö on funktio α(x), joka kertoo mikä toiminto αi ∈ { α1 , ... , αc} tulee valita 

kunkin tapauksen x kohdalla. Kokonaisriski on tiettyyn päätössääntöön liittyvä 

kustannuksen odotusarvo: 

R = R( α( x) 

) = R( α( x) 

, x) 

dx 

= 

Kun α(x) päätyy valintaan αi siten, että R( αi x) 

on pienin kaikilla x, ylläoleva 

lauseke saa pienimmän arvonsa. M.O.T. 

Pienintä kokonaisriskiä kutsutaan Bayesin riskiksi (Bayes risk) R*, joka on samalla 

pienin saavutettavissa oleva riski. 

Tarkastellaan 2-luokkaista erikoistapausta: 

jossa on yksinkertaistettu merkintöjä käyttämällä λ ij = 

Valitaan siis α1 , jos R( α1 x) 

< R( α2 x) 

, eli jos: 

∫ 

∫R( 

α( x) 

x)p 

( x) 

dx 

R( α1 x) 

= λ11P( ω1 x) 

+ λ12P( ω2 x) 

R( α2 x) 

= λ21P( ω1 x) 

+ λ22P( ω2 x) 

λ( αi ωj) ( λ21– λ11)P ( ω1 x) 

> ( λ12– λ22)P ( ω2 x) 

eli 

( λ21– λ11)p ( x ω1)P ( ω1) > ( λ12– λ22)p ( x ω2)P ( ω2) eli 

p( x ω1) ( λ12– λ22) -----------------------------------------p( x ω2) ( λ21– λ11) P ω ( 2) 

> 

-------------- 

P( ω1) Alinta muotoa kutsutaan likelihood ratio -suureeksi ja sen käyttöä päätössääntönä 

LR-testiksi, jossa verrataan kahden uskottavuusfunktion suhdetta kynnysarvoon.


19 / 99 

Johdetaan aiemmin esitelty minimivirheluokittelija (minimum-error-rate classifier): 

Toiminto α i olkoon nyt hahmon luokittelu luokkaan ω i . Oikean ja väärän luokittelun 

kustannukset olkoon 0-1-kustannusfunktion mukaiset: 

Oikealla päätöksellä ei siis ole kustannuksia, ja kaikki väärät päätökset maksavat 

saman verran. Tätä kustannusfunktiota vastaava ehdollinen riski on nyt: 

Päätössääntö: 

eli: 

eli: 

Valitse α i , jos 



λ( αi ωj) 0 i = j 

1 i ≠ j 

Alla kuva, jossa piirretty LR-suhde edellisen kuvan esimerkille: 

= 

⎧ 

⎨ 

⎩ 

R( αi x) 

c 

= ∑ λ( αi ωj)P ( ωj x) 

= ∑ P( ωj x) 

= 1 – P( ωi x) 

j = 1 

j ≠ i 

R( αi x) 

< R( αj x) 

kaikilla j ≠ i 

1– P( 

ωi x) 

< 1– P( 

ωj x) 


P( ωi x) 

> 

P( ωj x) 

kaikilla j ≠ i

2.3. Luokittelijat, diskriminanttifunktiot ja päätöspinnat 


20 / 99 

Luokittelijat voidaan esittää monella tavalla yhden suosituimmista ollessa diskriminanttifunktiot 

g i(x), i=1,...,c. Suomeksi voidaan käyttää nimeä erottelufunktiot. 

Jokaiselle luokalle siis suunnitellaan oma diskriminanttifunktio. Luokittelija sijoittaa 

piirrevektorin x omaavan hahmon luokkaan ω i, jos: 

gi( x) 

> gj( x) 


eli suurimman lukuarvon tuottavan funktion luokkaan. 

Riskin minimointiin perustuvalle Bayesin luokittelijalle voidaan valita: 

gi (x) = - R( αi x) 

, jolloin suurimman diskriminanttifunktion arvo vastaa pienintä ehdollista riskiä. 

Minimivirheeseen perustuvalle Bayesin luokittelijalle voidaan valita: 

gi (x) = P( ωi x) 

, jolloin suurimman diskriminanttifunktion arvo vastaa suurinta a posteriori todennäköisyyttä


21 / 99 

Diskriminanttifunktiota voidaan muokata vaikuttamatta päätössääntöön. Esimerkiksi, 

toimivasta d-funktiosta g i(x) saadaan uusi muunnoksella f(g i(x)), jossa f() 

on monotonisesti kasvava funktio. 

Eräitä suosittuja diskriminanttifunktioita ovat: 

gi( x) 

= P( ωi x) 

= 

p( x ωi)P ( ωi) -------------------------------------------c 

p( x ωj)P ( ωj) Päätössäännön tarkoitus on jakaa piirreavaruus päätösalueisiin (decision regions) 

R1 ,...,Rc . Mikäli siis gi( x) 

> 

gj( x) 

kaikilla j ≠ i , niin piirevektori x kuuluu 

päätösalueeseen R i , ja päätössääntö luokittelee hahmon luokkaan ω i . 

Päätösalueita erottaa toisistaan päätöspinnat (decision boundary): 

∑ 

gi( x) 

= 

j = 1 

p( x ωi)P ( ωi) gi( x) 

= ln p( x ωi) + ln P( ωi)

Kaksiluokkaisessa tapauksessa luokittelijaa kutsutaan Englanniksi dichotomizer, 

joka tulee jakamisesta kahteen osaan. Kahden diskriminanttifunktion sijasta 

käytetään yhtä, joka määritellään seuraavasti: 

Päätössääntö on: 

Usein käytetään seuraavia funktioita: 

g( x) 

= g1( x) 

– g2( x) 

Päätä ω1 , jos g( x) 

> 0 , muutoin päätä ω2 g( x) 

= P( ω1 x) 

– P( ω2 x) 

g( x) 

ln p x ω ( 1) 

------------------- ln 

p( x ω2) P ω ( 1) 

= 

+ -------------- 

P( ω2) Oulun yliopisto, Hahmontunnistus ja neuroverkot (521497S), TS 

22 / 99

2.4. Normaalijakauma 


23 / 99 

Bayesin luokittelijan rakenteen määrittelee ehdolliset tiheysfunktiot p( x ωi) ja prioritodennäköisyydet 

P(ωi). Eniten tutkittu tiheysfunktiomuoto on normaalijakauma 

(normal density, Gaussian), koska sen analyyttinen käsiteltävyys on hyvä ja koska 

se sopii hyvin mallintamaan usein esiintyvää signaaliin summautunutta kohinaa. 

Ensialkuun palautetaan mieleen skalaariarvoisen funktion f(x) tilastollisen odotusarvon 

(expected value) määritelmä, kun x on jatkuva-arvoinen muuttuja: 

∞ 

ε[ f( x) 

] ≡ f( x)p 

( x) 

dx 

Diskreetin muuttujan x ∈ D tapauksessa odotusarvo lasketaan kaavalla: 

Huomaa, että jatkuva muuttujan x tapauksessa käytetään todennäköisyystiheysfunktiota 

p(x) (pienellä p:llä), kun diskreetin muuttujan x tapauksessa käytetään 

todennäköisyysjakaumaa (todennäköisyysmassaa) P(x) (isolla P:llä). 

Jatkuva-arvoisen skalaarimuuttujan x normaalijakauma eli Gaussin jakauma: 

Muuttujan x odotusarvo ja neliöllisen poikkeaman odotusarvo eli varianssi: 

∞ 

∫ 

– ∞ 

ε[ f( x) 

] = f( x)P 

( x) 

p( x) 

= 

∑ 

x ∈ D 

1 

– -- ⎛----------- x – µ ⎞ 

--------------e 

1 2⎝ 

σ ⎠ 

2πσ 

2 

µ ≡ ε[ x ] = xp( x) 

dx 

∫ 

– ∞ 

σ 2 ε ( x – µ ) 2 ≡ [ ] ( x – µ ) 2 = 

p( x) 

dx 

∞ 

∫ 

– ∞

Usein merkitään p( x) 

N µ σ , katso kuva alla: 

2 

∼ ( , ) 

2.4.1. Piirrevektorin tiheysfunktio 

Monimuuttujainen (multivariate) normaalijakauma p( x) 

∼ N( m, Σ) 

: 

p( x) 

1 

d 2 

( 2π) 

⁄ 1 2 

Σ ⁄ 

1 

– -- ( x – m) 

2 

-----------------------------------e 

t Σ 1 – ( x – m) 

, jossa m on x:n d-ulotteinen odotusarvovektori (mean vector), ja Σ on dxd- 


= 

24 / 99 

kokoinen kovarianssimatriisi (covariance matrix), Σ ja Σ ovat kovarianssimatriisin 

determinantti ja käänteismatriisi, yläindeksi t tarkoittaa transpoosia. 

1 – 

∞ 

m ≡ ε[ x ] = xp( x) 

dx 

∫ 

– ∞ 

Σ ε ( x – m) 

( x – m) 

t ≡ [ 

] ( x – m) 

( x – m) 

t = 

p( x) 

dx 

∞ 

∫ 

– ∞


25 / 99 

Odotusarvo vektorista saadaan ottamalla odotusarvo vektorin komponenteista erikseen: 

= ε[ xi ] 

m i 

Kovarianssimatriisin elementti σij edustaa komponenttien xi ja xj välistä kovarianssia 

ja määritellään seuraavasti: 

σij = ε[ ( xi – mi) ( xj – mj) ] 

Kovarianssimatriisi on aina symmetrinen ja positiivinen semidefiniitti (eli determinantti 

nolla tai positiivinen). Determinantti on nolla esimerkiksi silloin, kun osa 

piirrevektorin komponenteista ovat identtisiä tai korreloivat täydellisesti keskenään. 

Jos komponentit x i ja x j ovat tilastollisesti riippumattomia (statistically independent), 

elementti σ ij = 0. Mutta ei välttämättä toisinpäin, sillä kovarianssianalyysissä 

arvioidaan lineaarista riippumattomuutta, ja riippuvuuksiahan on olemassa epälineaarisiakin! 

Diagonaalielementit σ ii = σ i 2 ovat komponenttien xi varianssit. Alla esimerkki 2ulotteisen 

piirrevektorijoukon kovarianssimatriisista: 

S 

2 

σ11 σ12 σ1 σ12 

= = = 

σ21 σ 2 

22 σ21 σ2 2 

σ1 σ12 

2 

σ12 σ2 Monimuuttujaisen normaalijakauman määrittelee siis d+d(d+1)/2 parametria, eli 

odotusarvovektori ja kovarianssimatriisin riippumattomat elementit. 

Esimerkiksi diskreetin muuttujan x tapauksessa lasketaan näitä suureita vastaavat 

otoskeskiarvo ja otoskovarianssimatriisi seuraavasti: 

N 

1 

x = --- x 

N ∑ i 

i = 1 

S 

1 

--- ( x 

N i – x) 

( xi – x) 

t 

N 

= 

∑ 

i = 1

Alla kuva 2-ulotteisesta Gaussin jakaumasta. 

Jakauma on vino, koska esimerkkitapauksessa piirteet x 1 ja x 2 korreloivat positiivisesti 

(esimerkiksi kalan pituus ja paino). Ellipsit kuvastavat pisteitä, joissa 


r 2 

( x – m) 

t Σ 1 – = ( x – m) 

= 

vakio 

26 / 99 

Suuretta r kutsutaan Mahalanobis-etäisyydeksi piirrevektorin x ja luokan jakauman 

odotusarvon m välillä. (Kuvassa odotusarvoa m merkitään symbolilla µ.) Sitä 

käytetään usein luokittelijoissa mitattaessa sitä kuinka etäällä/lähellä hahmo on eri 

luokkia, tähän palataan pian. 

Ellipsien akselit voidaan haluttaessa laskea ominaisarvoanalyysin kautta. 

Tyypillisesti kuvat piirretään siten, että sisin ellipsi on yhden keskihajonnan (standard 

deviation) etäisyydellä keskipisteestä, seuraava kahden keskihajonnan, jne.

2.5. Diskriminanttifunktioita normaalijakaumalle 

Käytettäessä diskriminanttifunktiona aiemmin esitettyä muotoa 


27 / 99 

normaalijakautuneen satunnaismuuttujan x tapauksessa p( x ωi) ∼ N( mi, Σi) ja: 

gi( x) 

= 

Tarkastellaan seuraavaksi eräitä usein käytännössä esiintyviä erikoistapauksia. 

2.5.1. Tapaus Σ i = σ 2 I 

gi( x) 

= ln p( x ωi) + ln P( ωi) 1 

-- ( x – m 

2 i) 

t – 1 d 

– Σi ( x – mi) 

-- ln 2π 

2 

1 

– – -- ln Σ 

2 i 

ln P( ωi) Tässä tapauksessa kaikkien luokkien kovarianssimatriisi on identtinen ja on 

yksikkömatriisin muotoinen päädiagonaalielementin saadessa arvon σ 2 . Esim.: 

Σ 

= 

σ 2 0 

0 σ 2 

Näin käy jos piirrevektorin komponentit eli piirteet ovat tilastollisesti lineaarisesti 

riippumattomia ja jokaisen piirteen varianssi on sama σ 2 . Geometrisesti tulkittuna 

tämä tarkoittaa ympyrämäisesti samalla tavalla jakautuneita luokkia, jotka sijaitsevat 

piirreavaruuden kohdissa m i. 

+

Tällöin 


Σ i 

σ 2d 

= ja Σ 1 – 1 

σ 2 

= ----- I 

28 / 99 

Koska 2. ja 3. termi diskriminanttifunktiossa ovat riippumattomia luokasta, ne eivät 

vaikuta erottelukykyyn ja voidaan siten jättää pois. Saadaan siis: 

gi( x) 

= 

2 

x – mi 2σ 2 

– ---------------------- + ln P( ωi) Ensimmäisen termin osoittajassa esiintyvä lauseke on pisteiden x ja mi välinen 

Euklidinen etäisyys: 

2 

x – mi ( x – mi) t ( x – mi) ( xj – mij) 2 

d 

= = 

x 2 

x 

x-m i 

m i 

∑ 

j = 1 

x 1


29 / 99 

Edellä esitettyä diskriminanttifunktiota voidaan muokata edelleen laskemalla etäisyyslauseke 

auki, jolloin saadaan: 

gi( x) 

= 

1 

2σ 2 

– -------- x t t t 

[ x – 2mix + mi mi] 

+ ln P( ωi) Termi x t x on sama kaikille luokille, joten se voidaan jättää pois. Merkitään nyt: 

1 

wi σ 

Tällöin saadaan muoto, jota kutsutaan lineaariseksi diskriminanttifunktioksi: 

2 

1 

= ----- mi ja wi0 2σ 2 

t 

= – -------- mi mi + ln P( ωi) t 

gi( x) 

= wix + wi0 

Lineaarista diskriminanttifunktiota käyttävää luokittelijaa kutsutaan lineaariseksi 

koneeksi (linear machine). Voidaan osoittaa, että lineaarisella koneella luokkia erottelevina 

päätöspintoina toimivat hypertasot, jotka voidaan laskea suoraviivaisesti 

jokaisen luokkaparin i-j välille asettamalla g i (x)=g j (x): 

w i 

gi( x) 

– gj( x) 

= 0 

t t 

x + wi0 – wjx – wj0 = 0 

1 

----- ( mi – mj) t 1 t 

x --------m 

1 t 

– imi 

+ ln P( ωi) + --------m jmj 

– ln P( ωj) = 0 

σ 2 

( mi – mj) t x 


2σ 2 


Yhtälö ( mi – mj) edustaa pisteen x0 kautta kulkevaa hypertasoa L, 

joka on kohtisuorassa luokkien i ja j keskipisteitä yhdistävää janaa mi-mj vastaan. 

t ( x – x0) = 

0 

2σ 2 

1 t t 

– -- ( m 

2 imi 

– mj mj) 

σ 2 ln P ω ( i) 

+ ------------- = 0 

P( ωj) 1 

-- ( m 

2 i – mj) t 

mi – mj – 

( mi + mj) -------------------------σ 

2 

mi – mj 2 ln P ω ( i) 

+ ------------- = 0 

P( ωj) 1 

-- ( m 

2 i – mj) t ( mi – mj) – 

( mi + mj) t 

-------------------------σ 

2 

mi – mj 2 ln P ω ( i) 

+ ------------- ( m 

P( ωj) i – mj) = 0 

( mi – mj) t 1 

x – -- ( m 

2 i + mj) -------------------------ln 

2 

mi – mj P ω ⎧ ( i) 

⎫ 

⎨ + 

------------- ( m 

P( ωj) i – mj) ⎬ 

⎩ ⎭ 

σ 2 

( mi – mj) t ( x – x0) = 0 

2 

= 

0


30 / 99

Mikäli prioritodennäköisyydet ovat yhtäsuuret P(ω i)=P(ω j), lausekkeista nähdään 

että x0 = 

1 

-- ( m 

2 i + mj) eli hypertaso kulkee luokkakeskipisteiden puolivälistä. 

Mikäli P( ωi) > P( ωj) , leikkauspiste x0 siirtyy poispäin luokasta ωi . Alla olevassa 

piirroksessa uusi leikkauspiste on x’ 0 ja ε>0 tulee lausekkeesta: 

x 2 


ε 

m i 

= 

x 0 

σ 2 

--------------------------ln 

2 

mi – mj P ω ( i) 

------------- 

P( ωj) m i-m j 

x’ 0 

−ε(m i -m j ) 

31 / 99 

Mikäli priorit ovat samat kaikille luokille, diskriminanttifunktiota voidaan yksinkertaistaa 

edelleen poistamalla vastaavat termit. Lisäksi voidaan poistaa luokasta 

riippumattomat σ-termit, joten päätössäännöksi saadaan: 

Tätä kutsutaan minimietäisyysluokittelijaksi (minimum distance classifier), jota 

käytetään monissa sovelluksissa. Tämän luvun perusteella nähdään mitä matemaattisia 

oletuksia on oltava voimassa, jotta päätössääntö toimisi optimaalisesti. 

m j 

Päätä ωi mikäli x – mi < 

x – mj ∀j 

≠ i 

L 

L’ 

x 1


32 / 99 

2.5.2. Tapaus Σ i = Σ 

Luokkien kovarianssimatriisit ovat identtiset, mutta muutoin mielivaltaiset. Geometrisen 

tulkinnan mukaan luokkien muodot on piirreavaruudessa ovat samanlaiset, 

mutta ne sijaitsevat eri paikoissa m i. Koska osa diskriminanttifunktion termeistä on 

jälleen luokasta riippumattomia, saadaan yksinkertaistamisen jälkeen: 

gi( x) 

= 

1 

-- ( x – m 

2 i) 

t Σ 1 – – ( x – mi) – ln P( ωi) Mikäli luokkien priorit ovat samat, saadaan päätössäännöksi yksinkertaistamisen 

jälkeen: 

Päätä ωi mikäli ( x – mi) t Σ 1 – ( x – mi) ( x – mj) t Σ 1 – < 

( x – mj) ∀j 

≠ i 

Etäisyysmittana käytetään tässä Mahalanobis-etäisyyttä, joka siis huomioi luokkaellipsien 

kiertymisen piirreavaruudessa. Alla olevassa kuvassa esiintyvät luokan 

jakauman muotoa kuvastavan ellipsin kaksi pistettä ovat yhtä etäällä luokan keskipisteestä 

tämän metriikan mukaan! 

x 2 

x 1

Vastaavalla tavalla kuin edellisessä kappaleessa diskriminanttifunktiosta voidaan 

jättää pois luokasta riippumattomia termejä ja muuntaa se lineaariseen muotoon: 

, jossa 

wi Σ 1 – = mi ja wi0 t 

gi( x) 

= wix + wi0 

Päätöspinnat ovat siis jälleen hypertasoja, mutta nyt tasot eivät ole yleisesti ottaen 

kohtisuorassa luokkien keskipisteitä yhdistäviä janoja vastaan. Tasojen yhtälöt 

voidaan johtaa vastaavalla tavalla kuin edellä. 


1 t – 1 

= 

– -- m 

2 iΣ 

mi + ln P( ωi) 33 / 99


34 / 99 

2.5.3. Tapaus Σi = mielivaltainen 

Kullakin luokalla on mielivaltainen kovarianssimatriisi, joten alkuperäisestä diskriminanttifunktiosta 

voidaan pudottaa pois vain termi (d/2)ln 2π . Pienen manipulaation 

jälkeen saadaan kvadraattinen (neliöllinen) muoto: 

gi( x) 

x t t 

= Wix + wix 

+ wi0 

, jossa 

W i 

1 – 1 – 1 

– --Σ 

1 t – 1 

= 

2 i , wi = Σi mi ja w -- 

1 

i0 = 

– m 

2 iΣi 

mi – -- ln Σ 

2 i + ln P( ωi) Kaksiluokkaisessa ongelmassa päätöspinnat ovat hyperkvadreja (hyperquadrics): 

• hypertasot 

• hypertasoparit 

• hyperpallot 

• hyperellipsoidit 

• hyperparaboloidit 

• hyperhyperboloidit 

Jopa 1-ulotteisessa tapauksessa päätösalueet saattavat jakaantua moneen osaan: 

Seuraavilla sivuilla on esitetty lisää esimerkkejä päätöspinnoista.


35 / 99


36 / 99

Allaolevassa kuvassa pyritään erottelemaan neljä Gaussista luokkaa toisistaan: 


37 / 99 

Luokittelija tekee päätöksen jakaumien muodot huomioiden. Alla olevassa kuvassa 

keskellä oleva piste x kuuluu luokkaan ω 2 , vaikka se on lähempänä luokan ω 1 

keskipistettä! Minimietäisyysluokittelija sijoittaisi hahmon siis luokkaan ω 1 . 

x 2 

ω 1 

ω 2 

x 1

2.6. Virheen todennäköisyydestä 


38 / 99 

Tarkastellaan kaksiluokkaista tapausta, jossa luokittelijalle on opetettu päätöspinta. 

Koska luokkajakaumat ovat yleensä osittain päällekkäiset, tapahtuu ajoittain luokitteluvirhe: 

• piirrevektori x kuuluu päätösalueeseen R 1 , vaikka hahmo kuuluu luokkaan ω 2 

• piirrevektori x kuuluu päätösalueeseen R 2, vaikka hahmo kuuluu luokkaan ω 1 

Virheen todennäköisyys saadaan seuraavasti: 

P( virhe) 

= P( x ∈ R2, ω1) + P( x ∈ R1, ω2) = 

= 

P( x ∈ R2 ω1)P ( ω1) + P( x ∈ R1 ω2)P ( ω2) ∫ 

R2 p( x ω1)P ( ω1) dx 

p( x ω2)P ( ω2) dx 

Tulosta havainnollistetaan seuraavassa kuvassa. Päätöspinta on tässä pelkkä kynnys 

x* ja se on selvästi asetettu epäoptimaaliseen kohtaan; Bayesin valinta on x B . 

Kuvankin mukaan Bayesin päätössääntö johtaa pienimpään luokitteluvirheeseen, 

koska virhettä edustava pinta-ala on pienin mahdollinen. 

+ 

∫ 

R1


39 / 99 

Moniluokkaisessa tapauksessa on helpompaa laskea oikean luokittelun todennäköisyys: 

P( oikein) 

= P( x ∈ Ri, ωi) = 

= 

i = 1 

c 

Bayesin luokittelija maksimoi tämän todennäköisyyden valitsemalla päätösalueet 

siten, että integroitava lauseke on suurin mahdollinen kaikilla x. Tämän johdosta 

virheen todennäköisyys on pienin mahdollinen: P(virhe)=1-P(oikein) . 

c 

∑ 

∑ 

i = 1 

c 

∑ 

i = 1 

P( x ∈ Ri ωi) P ( ωi) ∫ 

Ri p( x ωi)P ( ωi) dx

2.7. Spesifisyys, sensitiivisyys, testin ennustearvo, ROC-käyrät 


40 / 99 

Kaksiluokkaisessa ongelmassa on usein hyödyllistä tarkastella spesifisyyttä ja sensitiivisyyttä, 

jotka kuvastavat luokittelijan kykyä erotella luokat toisistaan. Tarkastellaan 

esimerkkinä hiihtäjien doping-testausta, jossa tavoitteena on erottaa 

dopingia käyttäneet. Seuraava nelikenttä kuvastaa minkä verran hiihtäjiä luokittelija 

on luokitellut oikein ja väärin: 

Sensitiivisyys: 

Spesifisyys: 

Test 

positive 

Test 

negative 

Sensitivity 

Specificity 

Positiivisen testin ennustearvo: 

Negatiivisen testin ennustearvo: 

Doping 

present 

Predictive value of positive test 

True 

positives 

False 

negatives 

Predictive value of negative test = 

= 

= 

Doping 

absent 

False 

positives 

True 

negatives 

---------------------------------------------------------------------------- 

True positives 

True positives + False negatives 

True negatives 

---------------------------------------------------------------------------- 

True negatives + False positives 

= 

--------------------------------------------------------------------------- 

True positives 

True positives + False positives 

----------------------------------------------------------------------------- 

True negatives 

True negatives + False negatives


41 / 99 

Voidaan käyttää myös seuraavia nimikkeitä kentille: 

• oikea hälytys (hit): true positives, TP 

• väärä hälytys (false alarm): false positives, FP 

• väärä hylkäys (miss): false negatives, FN 

• oikea hylkäys (correct rejection): true negatives, TN 

Tarkastellaan tilannetta, jossa käytetään vain yhtä piirrettä. Oletetaan, että jakaumat 

ovat osittain päällekkäiset kuten kuvassa (esittää tutkapulssin ilmaisemista vastaanotetun 

signaalin amplitudimittauksella): 

TN 

FN 

Kuvaan on piirretty päälle edellä esitetyn nelikentän mukaiset merkinnät (TP, FP, 

TN, FN), joille on näin saatu geometriset tulkinnat. Kun kynnysarvo x* 

(päätöspinta) on kiinnitetty, sensitiivisyys ja spesifisyys saadaan laskettua helposti 

luokittelutuloksista kun tapausten luokat tunnetaan. 

Luokkien erottuvuuden mittana voidaan käyttää suuretta: 

d' 

µ 2 – µ 1 

= 

-------------------σ 

, joka ilmaisee Gaussisesti jakautuneiden luokkien keskipisteiden välisen etäisyyden 

(yhteisen) keskihajonnan monikertana. Mitä suurempi d’ on, sitä paremmin 

luokat erottuvat toisistaan ja luokittelija suoriutuu hyvällä suorituskyvyllä. 

TP 

FP


42 / 99 

Jos oletetaan tietyllä etäisyydellä d’ sijaitsevat jakaumat ja muutellaan luokittelijan 

kynnysarvoa x* systemaattisesti, saadaan jokaisella asetuksella (aineisto läpiajamalla) 

yksi sensitiivisyys-spesifisyys-lukupari. Nämä lukuparit voidaan esittää 

koordinaattipisteinä koordinaatistossa, jossa vaaka-akselina on väärien hälytysten 

todennäköisyys (1-Spesifisyys) ja pystyakselina oikean hälytyksen todennäköisyys 

(Sensitiivisyys): 

Sensitiivisyys 

1-Spesifisyys 

Jokaisella d’-suureen arvolla saadaan erillinen käyrä, ROC-käyrä. Jos d’=0, jakaumat 

ovat täysin päällekkäisiä ja erottuvuus huonoin. Erottuvuus on sitä parempi, 

mitä lähempää käyrä menee vasenta ylänurkkaa. Tutkaesimerkissämme valittu x*kynnysarvo 

on johtanut osumaan täplän osoittamaan kohtaan. Vaihtelemalla kynnysarvoa, 

täplä liikkuisi pitkin käyrää d’=3.

Kuvasta tehdään tärkeä havainto: 

Jakaumien ollessa kiinnitetyt, kun sensitiivisyys kasvaa suureksi niin spesifisyys 

pienenee huomattavasti, ja päinvastoin. 

Mitä tämä tarkoittaa tutkasignaalin ilmaisussa? 

Jakaumien ollessa monimutkaiset ROC-käyrä on monimutkaisempi: 

2.8. Bayesin päätösteoria diskreeteille muuttujille 


43 / 99 

Useissa sovelluksissa piirteet ovat kokonaislukumuuttujia, jotka voivat saada arvot 

v 1 ,...,v m . Todennäköisyystiheysfunktioista tulee singulaarisia ja integraalimerkinnät 

joudutaan vaihtamaan summamerkintöihin. Esimerkiksi Bayesin kaava saa 

muodon: 

P( ωj x) 

P( x ωj)P ( ωj) P( x ωj)P ( ωj) = --------------------------------- = 

-------------------------------------------- 

P( x) 

c 

i = 1 

P( x ωi)P ( ωi) Ehdollisen riskin määritelmä ei muutu, joten toiminnon α valinta saadaan kaavasta: 

∑

α* = arg min R( ωi x) 

i 

Suurimpaan posterioritodennäköisyyteen perustuvan päätössäännön muoto ei 

myöskään muutu, eikä aiemmin esiteltyjen diskriminanttifunktioiden muodot. 

2.9. Bayesin verkot 

Kaikissa sovelluksissa tietämyksemme ratkaistavasta ongelmasta ei sisällä tietoa 

piirteiden jakaumista, vaan osassa tiedetään jotain piirteiden välisistä riippuvuuksista 

tai riippumattomuuksista. Bayesin verkot (Bayesian networks) on kehitetty 

mallintamaan tällaista tietoa ja tekemään sen perusteella tilastollista päättelyä. 

Muita nimikkeitä ovat Bayesin uskomusverkot (Bayesian belief networks), 

kausaaliverkot (causal neworks) ja uskomusverkot (belief networks). 


44 / 99 

Mikäli kahdelle satunnaismuuttujalle x ja y pätee: p(x, y) = p(x)p(y), näiden muuttujien 

sanotaan olevan tilastollisesti riippumattomia. Samoin jonkin piirrevektorin 

komponentit voivat olla tilastollisesti riippumattomia. Alla olevassa kuvassa on 

esitetty 3-ulotteisten piirrevektorien avulla erään luokan sijoittuminen piirreavaruuteen. 

Muuttujat x 1 ja x 3 ovat toisistaan tilastollisesti riippumattomia, mutta muut 

eivät. Mistä tämä nähdään? 

Bayesin verkot ovat suunnattuja syklittömiä verkkoja, joka sisältää solmuja ja niitä 

yhdistäviä suunnattuja linkkejä. Linkit esittävät muuttujien välisiä riippuvuussuhteita, 

kuten syy-seuraus-suhteita. Verkot voivat toimia myös moniulotteisten jatkuvien 

jakaumien esitystapana, mutta käytännössä niitä on eniten sovellettu 

diskreettien todennäköisyysmassojen esittämiseen. 

Kukin solmu A, B,... esittää yhtä ongelman muuttujaa. Kullakin diskreetillä muuttujalla 

voi olla useita eri tiloja, joita merkitään pienellä kirjaimella vastaavasti ai, bj,... alaindeksin merkitessä tiettyä tilaa. Esimerkiksi A voi merkitä binäärisen kytkimen 

tilaa: a1 = ‘on’ ja a2 = ‘off’, jolloin vaikkapa P(a1 )=0,739 ja P(a2 )=0,261. 

Todennäköisyydet summautuvat ykköseksi kaikissa muuttujissa. Alla olevassa 

kuvassa solmusta A solmuun C kulkeva linkki esittää ehdollisia todennäköisyyksiä 

P( ci aj) , joka tiiviimmin ilmaistaan muodossa P( c a) 

, jossa a ja c ovat muut- 

tujien A ja C tilat koottuina vektoreiksi: a [ a1, …, an] . 

T ja c [ c1, …, cm] T 

= 

=


45 / 99 

Bayesin päättelyn avulla voidaan verkkoa hyödyntäen laskea kunkin muuttujan eri 

arvojen todennäköisyydet. Itse asiassa, mikä tahansa useasta muuttujasta koostuvan 

yhdistelmän todennäköisyys (yhteistodennäköisyys, joint probability) on mahdollista 

laskea verkosta. Todennäköisyyksien laskennassa huomioidaan verkon 

ilmoittamat riippuvuudet, jolloin päästään yksinkertaistamaan (ja nopeuttamaan) 

laskentaa merkittävästi. Tarkastellaan ensin yksittäisen muuttujan arvojen 

todennnäköisyyksien laskemista esimerkkien avulla. 

Ennen esimerkkejä kolme tärkeää seikkaa: 

1) Marginalisointi, jossa todennäköisyyksiä summataan määrättyjen muuttujien

P(a) P(b|a) P(c|b) P(d|c) 

A B 

kaikkien vaihtoehtojen ylitse. Alla esiintyvissä merkinnöissä esiintyy kaksin- ja 

kolminkertaisia summauslausekkeita, esimerkiksi: 

2) Bayesin kaava, eli: 

C D 


P(f|e) 

F 

P(e) 

E 

H 

P(h|f,g) 

Figure 2.25. Vasemmalla lineaarinen ketju, oikealla silmukka. 

∑ 

a, b, c 

P( a, b, c) 

↔ 

∑∑∑ 

P( a, b) 

= 

P( a)P 

( b a) 

a 

b 

c 

P( a, b, c) 

G 

P(g|e) 

46 / 99

3) Vakiotermien siirtäminen summalausekkeen vasemmalle puolelle nopeuttaa 

laskentaa. 


47 / 99 

Seuraavaksi havainnollistetaan verkon muuttujien todennäköisyyksien laskemista. 

Vasemman puoleiselle verkolle voidaan laskea esimerkiksi P(d): 

= 

= 

P( d) 

= P( a, b, c, d) 

a, b, c 

Huomaa, että viimeisellä rivillä kyseessä on sisäkkäiset silmukat. Entä kuinka lasketaan 

P(b) samalle verkolle? Aivan vastaavalla tavalla: 

Vastaavasti oikeanpuoleiselle silmukkarakenteelle voidaan laskea esimerkiksi P(h): 

Entä kuinka lasketaan P(g) samalle verkolle? 

= 

∑ 

a, b, c 

= 

∑ 

c 

= 

∑ 

a, b, c 

Edellä olevissa lausekkeissa viimeisen muodon johtaminen edelliseltä riviltä 

vaikuttaa vain laskennan määrään. 

∑ 

∑ P( a)P 

( b, c, d a) 

a, b, c 

P( a)P 

b a 

P( a)P 

b a 

∑ 

a, b, c 

( )P( c, d a, b) 

( )P( c a, b)P 

( d a, b, c) 

P( a)P 

( b a)P 

( c b)P 

( d c) 

∑ 

∑ 

P( d c) 

P( c b) 

P( b a)P 

( a) 

b 

a

= 

= 

= 

∑ 

P( b) 

= P( a, b, c, d) 

a, c, d 

∑ P( a)P 

( b, c, d a) 

a, c, d 


= 

∑ 

a, c, d 

= 

∑ 

c 

= 

∑ 

a, c, d 

P( a)P 

b a 

P( a)P 

b a 

∑ 

a, c, d 

P( c b) 

( )P( c, d a, b) 

( )P( c a, b)P 

( d a, b, c) 

P( a)P 

( b a)P 

( c b)P 

( d c) 

∑ 

d 

P( d c) 

P( b a)P 

( a) 

48 / 99 

Edellä laskettiin tiettyjien muuttujien arvojen todennäköisyyksiä, kun verkon 

muiden muuttujien arvoja ei tunnettu. Tällöin laskelmissa tuli käydä kaikki mahdolliset 

muuttujien arvot läpi ja laskea näiden vaihtoehtojen todennäköisyyksillä painotettu 

tulos. 

Seuraavaksi havainnollistetaan Bayesin verkon käyttämistä tiettyjen muuttujien 

posteriotodennäköisyyksien laskemisessa, kun eräiden muuttujien arvot tunnetaan. 

Käytännön sovelluksissa muuttujien arvot saadaan esimerkiksi muista sovelluksista 

syötteinä tai vaikkapa mittaamalla ohjattavan toimilaitteen sensoreilla. Tätä ulkoista 

informaatiota voidaan kutsua todisteaineistoksi (evidence) toimintaympäristön 

tilasta. 

Merkitään muuttujajoukon X a posteriori todennäköisyyttä symbolilla P( X e) 

. 

Muuttuja e merkitsee muuttujajoukkoon X muista verkon osista saatavaa todistu- 

∑ 

⎛ ⎞ ⎛ ⎞ 

⎜∑ P( b a)P 

( a) 

⎟ ⎜ P( c b) 

⎝ ⎠ ∑ ∑P( 

d c) 

⎟ 

⎝ ⎠ 

a 

c d 

a

= 

= 

∑ 

P( h) 

= P( e, f, g, h) 

e, f, g 

∑ P( e)P 

( f, g, h e) 

e, f, g 

saineistoa siitä missä tilassa X on. Voidaankin määritellä, että uskomus (belief) 

tarkoittaa ehdollista todennäköisyyttä P( X e) 

että muuttujajoukko X on tietyssä 

tilassa, kun verkon sisältämä todennäköisyystieto tunnetaan. Ajatuksena on hyödyntää 

päättelyssä ulkoisen informaation lisäksi kaikki verkon sisältämä todennäköisyystieto 

linkkien esittämän riippuvuustiedon mukaisesti minkä tahansa 

muuttujan posteriorien laskemiseksi. 


= 

∑ 

e, f, g 

= 

= 

∑ 

e, f, g 

∑ 

e, f, g 

∑ 

f, g 

P( e)P 

f e 

P( e)P 

f e 

( )P( g, h e, f) 

( )P( g e, f)P 

( h e, f, g) 

P( e)P 

( f e)P 

g e 

P( h f, g) 

∑ 

e 

( )P( h f, g) 

P( e)P 

( f e)P 

( g e) 

49 / 99 

Tyypillisesti halutaan laskea tietyn muuttujan todennäköisin tila; esimerkiksi onko 

saaliskala todennäköisemmin lohi vai meriahven, kun vuodenaika, kalastuspaikkakunta 

ja muita mittaustietoja on käytettävissä. Oleellisessa roolissa on 

Bayesin kaavasta saatava lauseke: 

P( X e) 

P( X, e) 

= 

----------------- = αP( X, e) 

P( e) 

Tämä posterioritodennäköisyyden lauseke lasketaan jokaiselle muuttujan X tilalle 

erikseen, minkä jälkeen suurin todennäköisyysarvo määrää todennäköisimmän

= 

P( g) 

= P( e, f, g, h) 

e, f, h 


= 

∑ 

e, f, h 

= 

= 

= 

∑ 

e, f, h 

∑ 

e, f, h 

∑ 

f, h 

50 / 99 

tilan. Termiä α 

voidaan laskea aivan lopuksi; lausekkeen käyttöä havainnollistetaan 

seuraavaksi. 

Esimerkki: Kalalajin päätteleminen Bayesin verkon avulla 

Kuvatkoon alla esitetty kaavio käytettävää Bayesin verkkoa: 

Seuraavat taulukot kuvaavat asiantuntijan asettamia todennäköisyyksiä: 

∑ 

∑ P( e)P 

( f, g, h e) 

e, f, h 

P( e)P 

f e 

P( e)P 

f e 

( )P( g, h e, f) 

( )P( g e, f)P( 

h e, f, g) 

P( e)P 

( f e)P 

g e 

P( h f, g) 

∑ 

e 

( )P( h f, g) 

P( e)P 

( f e)P 

( g e)

a 1 = talvi 

a 2 = kevät 

a 3 = kesä 

a 4 = syksy 

c 1 = kirkas 

c 2 = keskink. 

c 3 = tumma 

P(a) P(b) 

A 

aika 

B 

paikka 

P(x a) P(x b) 

X 

laji 

P(c x) P(d x) 

C 

kirkkaus 

P(a i ) 0,25 0,25 0,25 0,25 

P(b i) 0,6 0,4 

P(c i|x 1) 0,6 0,2 0,2 

P(c i |x 2 ) 0,2 0,3 0,5 

P(d i |x 1 ) 0,3 0,7 

P(d i |x 2 ) 0,6 0,4 

D 

pituus 


b 1 = Pohjois-Atlantti 

b 2 = Etelä-Atlantti 

x 1 = lohi 

x 2 = meriahven 

d 1 = pitkä 

d 2 = lyhyt 

i,j P(x 1|a i,b j) P(x 2|a i,b j) 

1,1 0,5 0,5 

1,2 0,7 0,3 

2,1 0,6 0,4 

2,2 0,8 0,2 

3,1 0,4 0,6 

3,2 0,1 0,9 

4,1 0,2 0,8 

4,2 0,3 0,7 

51 / 99 

Käytetään nyt esiteltyä Bayesin verkkoa päättelemään kalalaji. (Päätelmiä voitaisiin 

tehdä mistä tahansa muustakin verkon muuttujasta.) Kirjoitetaan ensin verkon


52 / 99 

muuttujien tilastollisten riippuvuuksien mukainen yhteistodennäköisyyden lauseke: 

P( a, b, x, c, d) 

= P( a)P 

( b a)P 

( x a, b)P 

( c a, b, x)P 

( d a, b, x, c) 

Kerätään todistusaineistoa kullekin muuttujalle olettaen että muuttujat ovat tilastollisesti 

riippumattomia: 

• kala on väriltään vaalea (c 1) 

• kala on saalistettu Etelä-Atlantilta (b 2 ) 

• ei tiedetä mihin vuodenaikaan kala on saatu 

• pituustietoa ei ole käytettävissä. 

Millä todennäköisyydellä kala on lohi? 

= 

P( a)P 

( b)P 

( x a, b)P 

( c x)P 

( d x) 

Millä todennäköisyydellä kala on meriahven? 

= 

P( x1 c1, b2) = 

∑ 

= 

= 

P( x1, c1, b2) ------------------------------ = αP( x 

P( c1, b2) 1, c1, b2) ∑ 

α P( x1, a, b2, c1, d) 

a, d 

α P( a)P 

( b2)P ( x1 a, b2)P ( c1 x1)P ( d x1) a, d 

⎛ ⎞ 

αP( b2)P ( c1 x1) ⎜∑ P( a)P 

( x1 a, b2) ⎟ 

⎝ ⎠ 

a 

P( x2 c1, b2) = 

= 

α( 0, 114) 

⎛ ⎞ 

⎜∑ P( d x1) ⎟ 

⎝ ⎠ 

d 

P( x2, c1, b2) ------------------------------ = αP( x 

P( c1, b2) 2, c1, b2) = 

α( 0, 066) 

Kala on joko lohi tai meriahven, joten posteriorit summautuvat arvoon 1. Tästä

saadaan, että α=1/0,18 , P(x 1|c 1,b 2)=0,63 ja P(x 2|c 1,b 2)=0,27. 


53 / 99 

Saaliskala on siis todennäköisemmin lohi! Esimerkki loppuu. 

Mikäli ei tiedetä mitään ongelmaa kuvaavien muuttujien tilastollisista riippuvuuksista, 

voidaan käyttää esimerkiksi Naiivia Bayesin verkkoa (Naive Bayes network). 

Tällöin muuttujat oletetaan ehdollisesti riippumattomiksi ja verkon rakenne on erityisen 

yksinkertainen: 

Kuvassa juurimuuttuja (solmu) X on muuttuja, jonka suhteen tilastollisen riippumattomuuden 

oletus tehdään. X voi olla esimerkiksi luokkamuuttuja, jonka avulla 

(A/B/C/D)-muuttujien edustama hahmo pyritään tunnistamaan. Päättely perustuu 

posterioritodennäköisyyksien laskentaan kuten edellä. 

Mikäli riippumattomuusoletus pitää paikkansa sovelluksessa, kyseessä on minimivirheluokittelija. 

Naiivia Bayes-verkkoa on käytetty suurella menestyksellä 

monissa käytännön sovelluksissa. 

Toinen vaihtoehto on käyttää algoritmeja, jotka pyrkivät rakentamaan verkon 

automaattisesti opetusaineiston perusteella tarkastelemalla muuttujien välisiä riippuvuuksia. 

X 

A B C D 

P( x a, b, c, d) 

= 

αP( x)P 

( a x)P 

( b x)P 

( c x)P 

( d x)

2. Bayesin päätösteoria

Create successful ePaper yourself

Delete template?

Save as template?