TILASTOLLINEN KOKEIDEN SUUNNITTELU JA OTANTA

TILASTOLLINEN
KOKEIDEN
SUUNNITTELU
JA OTANTA
Keijo Ruohonen
2000

Sisältö
1 I REGRESSIO
1 1.1 Regressiomalli
2 1.2 Mallin estimointi ja käyttö
7 1.3 Varianssianalyysi (ANOVA)
12 1.4 Mallin epäsopivuuden testaus toistokokein
16 1.5 Datan affiinimuunnokset. Ortogonaalisuus ja kiertosymmetrisyys
22 1.6 Esimerkki ortogonaalisesta 1. kertaluvun suunnittelusta: Simplex-koe, Plackett–Burman-koe
25 1.7 2 k -kokeet: Katsaus
27 1.8 Toisen kertaluvun regressiomalli
31 1.9 Ortogonalisoituvia toisen kertaluvun malleja: 3 k -kokeet, CCD-kokeet
34 II VASTEEN OPTIMOINTI
34 2.1 Yleistä
34 2.2 Regressiomenetelmä
39 2.3 Nelder–Mead-algoritmi
40 III KVALITATIIVISET FAKTORIT
40 3.1 Yksisuuntainen ANOVA
44 3.1.1 Parametrien estimointi
45 3.1.2 Hypoteesien testaus. Kontrastit
47 3.1.3 Yhdistettyjä testejä
51 3.1.4 Mallin riittävyys
55 3.2 Monisuuntainen ANOVA
55 3.2.1 Satunnaistetut lohkot
63 3.2.2 Roomalaiset neliöt
71 IV MONEN MUUTTUJAN PIENOTANTA
71 4.1 Satunnaisotanta
75 4.2 Ositettu otanta
83 4.3 Yksiasteinen otanta. Systemaattinen otanta
87 LIITE A: Matriisilaskentaa
91 LIITE B: Multinormaalijakauma
92 Kirjallisuutta
93 Hakemisto
i

Esipuhe
Tämä moniste on tarkoitettu TTKK:n kurssin ”73164 Tilastollinen kokeiden suunnittelu” perusmateriaaliksi.
Pääsisältönään se esittelee kvantitatiivisen kokeiden suunnittelun perusteet modernin
vastepintaformalismin avulla käsiteltynä. Esityksen pohjana on paljolti kirja KHURI &
CORNELL. Myös useita suunnittelukaavioita on esillä esimerkinomaisesti. (Lisää niitä löytyy
mainitusta kirjasta ja muusta kirjallisuudesta.)
Monisteessa käsitellään myös kvalitatiivista kokeiden suunnittelua, pohjana paljolti kirja
MONTGOMERY. Koska tämän aihepiirin merkitys on nähdäkseni vähenemässä, varsinkin tekniikassa,
on kyseessä lähinnä vain katsaus.
Niin teoria kuin menetelmätkin esitetään kauttaaltaan matriisiformalismin avulla, jolloin ne
ovat suoraan kokeiltavissa ja sovellettavissa esimerkiksi Matlab-ohjelmistoa käyttäen. (Koeajot
menetelmistä esitetään monisteessa kuitenkin Systat-ohjelmistolla tehtyinä ja Matlab-ajot
jäävät esimerkkeihin ja harjoituksiin.) Esityksen esikuvana on ollut ekonometrian klassikon
JOHNSTONin tyylikäs matriisimuotoinen esitys. Todettakoon, että matriisi- ja lineaarialgebraformalismi
on ollut tilastollisten monimuuttujamenetelmien ”pelastus”. Ilman sitä asian esitys
on huomattavan kankeaa, kuten alan vanhemmista oppikirjoistakin voi havaita (esimerkkinä
vaikka GUENTHER).
Monisteen lopussa on tiivis esitys monen muuttujan pienotantamenetelmistä matriisimuodossa.
Sitä ei ehdittäne käymään kurssilla läpi. Alan kirjallisuudessa ei tällaista esitystä juuri ole
(erinäisiä artikkeleita ja raportteja lukuunottamatta), vaikka otanta nykyisin on usein ”moniulotteista”.
Vanhat klassikotkin (kuten esimerkiksi COCHRAN) käsittelevät vain yhden muuttujan
otantaa.
Liitteinä on annettu eräitä matriisilaskentaa ja multinormaalijakaumaa koskevia tuloksia.
Esitietona tilastomatematiikan peruskurssit sekä insinöörimatematiikan suorittaneille myös kurssi
73109 Matriisilaskenta 1 ovat kuitenkin tarpeen.
Keijo Ruohonen
ii

Luku 1
REGRESSIO
1.1 Regressiomalli
(Kertaa kurssilta Tilastomatematiikka tai Laaja matematiikka 4.)
Mallinnustilanteessa suure y riippuu suureista x1,...,xk tunnetun tai tuntemattoman funktion
Φ kautta, ts.
y =Φ(x1,...,xk).
y on tällöin ns. vaste eli selitettävä muuttuja ja x1,...,xk ovat ns. faktoreita eli selittäviä muuttujia.
Faktoreiden arvoja kutsutaan tasoiksi. Φ on ns. todellinen vastefunktio.
Φ on yleensä tuntematon tai sitten niin mutkikas, ettei sitä voida sellaisenaan käyttää. Niinpä
Φ:n tilalle otetaan sitä approksimoiva funktio, jossa esiintyy parametrejä, esimerkiksi monen
muuttujan polynomi, jonka kertoimet ovat parametrejä.
Approksimoitaessa malli ei enää ole tarkka. Lisäksi käytännössä esiintyy mittaus- ym. virheitä.
Jos Φ:tä approksimoiva funktio on f, niin malli on muotoa
y = f(x1,...,xk)+ɛ,
missä ɛ on virhetermi. Tilastollisessa regressiossa ɛ katsotaan satunnaismuuttujaksi, jolla on
N(0,σ 2 )-jakauma. (Odotusarvo on 0, sillä systemaattinen virhe voidaan sisällyttää funktioon
f(x1,...,xk).)
Jos siis esimerkiksi f on ensimmäisen asteen polynomi, on malli muotoa
y = β0 + β1x1 + ···+ βkxk + ɛ.
missä β0,β1,...,βk ovat parametrit. Kyseessä on ensimmäisen kertaluvun regressiomalli. Jos
merkitään
⎛ ⎞
1
⎜ x1
⎟
x = ⎜ ⎟
⎝ . ⎠
ja
⎛ ⎞
β0
⎜ β1
⎟
β = ⎜ ⎟
⎝ . ⎠ ,
voidaan tällainen 1. kertaluvun regressiomalli kirjoittaa muotoon
xk
y = x T β + ɛ.
Yleisesti d:nnen kertaluvun regressiomalli on muotoa y = p(x1,...,xk) +ɛ oleva malli,
missä p on muuttujien x1,...,xk d:nnen asteen polynomi, jonka kertoimet ovat parametrejä.
Polynomin p ei tarvitse sisältää kaikkia mahdollisia termejä. Itse asiassa polynomiaalinen
regressio voidaan palauttaa 1. kertaluvun regressioksi seuraavalla tempulla:
1
βk

LUKU 1. REGRESSIO 2
1. Otetaan kutakin polynomissa p esiintyvää korkeampaa kuin ensimmäisen asteen termiä,
esimerkiksi termiä β133x1x 2 3,kohti uusi muuttuja z133.
2. Kirjoitetaan z133:n arvoksi x1x 2 3:n arvo.
3. Valitaan z133:n kertoimeksi eli parametriksi β133.
Tällainen malli on lineaarinen, ts. parametriensä lineaariyhdelmä + virhetermi.
1.2 Mallin estimointi ja käyttö
(Kertaa kurssilta Tilastomatematiikka tai Laaja matematiikka 4.)
Malli saadaan käyttöön, kun ensin on saatu kokeiden tuloksena tietty määrä faktorien arvoyhdelmiä
ja niitä vastaavat vasteen arvot. Tällaisen kerätyn datan avulla voidaan mallia käyttää
a) vasteen arvon ennustamiseen sellaisille faktorien arvoyhdelmille, joita vastaavia kokeita
ei ole tehty. Tätä varten estimoidaan datan avulla mallin parametrit.
b) erilaisten faktoreita koskevien hypoteesien testaamiseen. Esimerkiksi 1. kertaluvun regressiossa
hypoteesi β1 =0tarkoittaisi sitä, että faktorilla x1 ei ole vaikutusta vasteeseen.
c) virheen ɛ varianssin estimointiin.
d) antamaan tietoa siitä minkälaista uutta dataa on kerättävä, esimerkiksi vasteen maksimiarvon
löytämiseksi. Jne.
Jos data on jo kerätty tai siihen ei muuten voida vaikuttaa, ei kokeiden suunnittelua tarvita.
Muussa tapauksessa, erityisesti jos datan keruu on kallista, vaarallista tai muuten hankalaa, tarvitaan
kokeiden suunnittelua. Kokeiden suunnittelun tarkoituksena on mahdollisimman pienen
datan avulla saada sovelletuksi mallia halutulla tavalla.
Katsotaan lähemmin parametrien estimointiin, ennustamiseen ja σ 2 :n estimointiin liittyviä
käsitteitä. Tarkastellaan tässä 1. kertaluvun mallia, joihin siis polynomiaalisetkin mallit voidaan
palauttaa.
Tavallisin estimointitapa on pienimmän neliösumman keino. Se on kätevintä esittää matriisiformalismin
avulla. Datana on kerätty N kappaletta faktorien arvoyhdelmiä sekä niitä vastaavat
vasteen arvot:
faktorit vaste
x11,...,x1k
y1
x21,...,x2k y2
... ...
xN1,...,xNk yN
Näistä muodostetaan ns. datamatriisi X sekä vastevektori y:
⎛
1
⎜ 1
X = ⎜
⎝ .
x11
x21
.
x12
x22
.
···
···
...
x1k
x2k
.
⎞
⎟
⎠
,
⎛
⎜
y = ⎜
⎝
1 xN1 xN2 ··· xNk
Pienimmän neliösumman keinossa valitaan parametrit β siten, että
y − Xβ 2 =(y − Xβ) T (y − Xβ)
y1
y2
.
yN
⎞
⎟
⎠ .

LUKU 1. REGRESSIO 3
minimoituu. Gradientti β:n suhteen on −2X T (y − Xβ) ja merkitsemällä se nollavektoriksi
saadaan lineaarinen yhtälöryhmä
X T Xβ = X T y,
josta ratkaistaan β:
β =(X T X) −1 X T y =merk. b =
Tällöin tietysti oletetaan, että XT X on ei-singuläärinen ja erityisesti että N ≥ k +1. XT X ja
(XT X) −1 ovat symmetrisiä matriiseja.
Koska 1. kertaluvun malli on muotoa y = xT β + ɛ, liittyvät vastevektori ja datamatriisi
toisiinsa yhtälöllä
⎛ ⎞
⎜
y = Xβ + ɛ , ɛ = ⎜
⎝
missä ɛ on satunnaisvektori. Satunnaismuuttujat ɛ1,ɛ2,...,ɛN ovat riippumattomia (sillä kokeet
suoritetaan toisistaan riippumattomasti) ja niillä on kullakin N(0,σ 2 )-jakauma. Satunnaisvektorilla
ɛ on siis N(0,σ 2 IN)-multinormaalijakauma. Koska ɛ on satunnaisvektori, niin samoin
on y = Xβ + ɛ sekä edelleen
⎛
⎜
⎝
ɛ1
ɛ2
.
ɛN
b0
b1
.
bk
⎟
⎠ ,
⎞
⎟
⎠ .
b =(X T X) −1 X T y =(X T X) −1 X T (Xβ + ɛ) =β +(X T X) −1 X T ɛ.
Huomautus. Vaikka ɛ:n komponentit ovat riippumattomia satunnaismuuttujia, eivät b:n komponentit
sitä yleisesti ole. Välittömästi todetaan nimittäin, että
ja
E(b) =E(β +(X T X) −1 X T ɛ)=β +(X T X) −1 X T E(ɛ) =β
V (b) =V (β +(X T X) −1 X T ɛ)=(X T X) −1 X T V (ɛ)X(X T X) −1 = σ 2 (X T X) −1 .
Siispä b:llä on N(β,σ 2 (X T X) −1 )-multinormaalijakauma ja sen komponentit ovat riippumattomat
tarkalleen silloin, kun X T X on lävistäjämatriisi (jolloin myös (X T X) −1 on lävistäjämatriisi).
Kun b on saatu, voidaan muita faktorien tasoja x ′ vastaava vasteen arvo ennustaa 1 :
ˆy =(x ′ ) T b.
b on satunnaisvektori, joten ˆy on satunnaismuuttuja. Edelleen
ja
E(ˆy) =(x ′ ) T E(b) =(x ′ ) T β
V (ˆy) =(x ′ ) T V (b)x ′ = σ 2 (x ′ ) T (X T X) −1 x ′ .
1 2 ′ T Ennustuksessa on usein mukana myös N(0,σ )-jakautunut virhetermi ɛ, jolloin ˆy =(x ) b + ɛ ja V (ˆy) =
σ2 (1+(x ′ ) T (XT X) −1x ′ ).

LUKU 1. REGRESSIO 4
Erityisesti voidaan ”ennustaa” datamatriisissa esiintyviä faktorien arvoyhdelmiä vastaavat vasteet:
ˆy = Xb = X(X T X) −1 X T y.
Erotus y − ˆy =merk. r on ns. residuaalivektori, datan avulla lausuttuna
r = y − ˆy =(IN − X(X T X) −1 X T )y.
Ideaalisesti r:ssä on vain ”kohinaa” eli ɛ:n vaikutus. Residuaalivektorin pituuden neliö
r 2 = r T r =(y− Xb) T (y − Xb) =merk. SSE
on ns. residuaalin neliösumma. Sen avulla saadaan σ2 :n estimaatti (olettaen, että N>k+1):
s 2 SSE
=
N − k − 1 .
Jos merkitään
⎛
⎞
(X T X) −1 =
⎜
⎝
c00 c01 ··· c0k
c10 c11 ··· c1k
.
.
...
ck0 ck1 ··· ckk
niin V (bi) =σ 2 cii. Näin ollen V (bi):n estimaatiksi käy s 2 cii. Käytetyin normaalisuusoletuksin
suureilla
bi − βi
√ s 2 cii
=merk. ti
on t-jakaumat N − k − 1 vapausasteella (jälleen oletetaan, että N > k +1). Tätä käyttäen
voidaan testata parametriä βi koskeva hypoteesi H0 : βi =0tai H0 : βi ≥ 0 tai H0 : βi ≤ 0.
Kaksipuolisen testin tapauksessa vastahypoteesi on H1 : βi = 0, yksipuoliselle testille se on
H1 : βi < 0 tai H1 : βi > 0.
H 1 : β i ≠ 0
-t α/2
H 1 : β i < 0
-t α
H 1 : β i > 0
.
⎟
⎠ ,
t-jakauman tiheysfunktio
t α/2
t-jakauman tiheysfunktio
t-jakauman tiheysfunktio
t α

LUKU 1. REGRESSIO 5
Kun testin merkitsevyys (eli I tyypin virheen todennäköisyys)
α = P (ti osuu varjostetulle alueelle, kun H0 on tosi)
on valittu ja etsitty vastaava taulukkopiste tα/2 tai tα,hyväksytään H0, jos ti ei osu varjostetulle
alueelle, muuten ei (ks. edellisellä sivulla oleva kuva).
Jos X T X ei ole lävistäjämatriisi, ovat b:n komponentit riippuvia ja yllä olevat testit ovat
myös riippuvia. Tällöin halutun yhtaikaisen merkitsevyyden saamiseksi voidaan käyttää esimerkiksi
Bonferronin epäyhtälöä. Jos taas X T X on lävistäjämatriisi, ovat bi:t riippumattomia
ja samoin niitä koskevat testit.
Kaiken yllä olevan ja paljon muutakin tekevät nykyiset kehittyneemmät tilasto-ohjelmistot
(esimerkiksi Systat, JMP, SAS, SPlus, Statistica ja SPSS) automaattisesti. Myös Matlabia on
helppo käyttää.
Ajetaan data
x1 x2 y
0.3 1 5.63
0.3 1 6.42
0.7 1 1.38
0.7 1 1.94
0.3 5 11.57
0.3 5 12.16
0.7 5 5.72
0.7 5 4.69
0.3 9 12.68
0.3 9 13.31
0.7 9 8.28
0.7 9 7.73
Systatilla. Huomaa, että samaa faktorien tasoyhdelmää on aina käytetty kahdesti. Tätä voidaan
käyttää mallin sopivuuden testauksessa, josta lisää myöhemmin. Malli on toista kertalukua:
Käskyillä
>USE ’rotta.sys’
VARIABLES IN SYSTAT FILE ARE:
X1 X2 Y
>model y=constant+x1+x2+x1*x2+x2*x2
>estimate
saadaan tulostus
y = β0 + β1x1 + β2x2 + β12x1x2 + β22x 2 2 + ɛ.
DEP VAR: Y N: 12 MULTIPLE R: .989 SQUARED MULTIPLE R: .977
ADJUSTED SQUARED MULTIPLE R: .965 STANDARD ERROR OF ESTIMATE: 0.769
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 8.428 1.172 0.000 . 7.190 0.000
X1 -12.369 2.031 -0.633 0.2990654 -6.092 0.000
X2 1.782 0.347 1.489 0.0384615 5.140 0.001
X1*
X2 -0.195 0.340 -0.101 0.1042345 -0.574 0.584
X2*
X2 -0.085 0.029 -0.731 0.0506329 -2.895 0.023

LUKU 1. REGRESSIO 6
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
REGRESSION 179.293 4 44.823 75.729 0.000
RESIDUAL 4.143 7 0.592
Lisäämällä listaan käsky
>print long
saadaan täydellisempi tulostus
EIGENVALUES OF UNIT SCALED X’X
1 2 3 4 5
CONDITION INDICES
VARIANCE PROPORTIONS
4.352 0.477 0.145 0.019 0.007
1 2 3 4 5
1.000 3.021 5.478 14.967 25.093
1 2 3 4 5
CONSTANT 0.002 0.018 0.076 0.239 0.665
X1 0.002 0.029 0.037 0.626 0.306
X2 0.001 0.002 0.006 0.020 0.971
X1 0.002 0.003 0.127 0.533 0.335
X2 0.001 0.014 0.007 0.355 0.623
DEP VAR: Y N: 12 MULTIPLE R: .989 SQUARED MULTIPLE R: .977
ADJUSTED SQUARED MULTIPLE R: .965 STANDARD ERROR OF ESTIMATE: 0.769
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 8.428 1.172 0.000 . 7.190 0.000
X1 -12.369 2.031 -0.633 0.2990654 -6.092 0.000
X2 1.782 0.347 1.489 0.0384615 5.140 0.001
X1*
X2 -0.195 0.340 -0.101 0.1042345 -0.574 0.584
X2*
X2 -0.085 0.029 -0.731 0.0506329 -2.895 0.023
CORRELATION MATRIX OF REGRESSION COEFFICIENTS
CONSTANT X1 X2 X1 X2
CONSTANT 1.000
X1 -0.866 1.000
X2 -0.718 0.410 1.000
X1 0.725 -0.837 -0.490 1.000
X2 0.360 0.000 -0.849 -0.000 1.000
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
REGRESSION 179.293 4 44.823 75.729 0.000
RESIDUAL 4.143 7 0.592
Huomautus. Tarkasti laskettaessa kannattaa käyttää datamatriisin singulääriarvohajotelmaa
(SVD) X = Q1ΣQ T 2 , sillä sen lasku on usein numeerisesti stabiilimpi kuin yhtälöryhmän ratkaisu
tai käänteismatriisin (X T X) −1 lasku (ks. kurssi Matriisilaskenta 1). Onhan nimittäin
(X T X) −1 = Q2(Σ T Σ) −1 Q T 2 ja b = Q2Σ + Q T 1 y = X + y. SVD:n saa Matlabissa käyttöönsä
komennolla [Q1,S,Q2]=svd(X).Huomaa myös operaatio pinv.

LUKU 1. REGRESSIO 7
1.3 Varianssianalyysi (ANOVA)
Varianssianalyysiä käyttäen voidaan testata ns. lineaarisia hypoteeseja, ts. muotoa
H0 : Aβ = d
olevia hypoteeseja, missä A on q × (k +1)-matriisi, jonka rivirangi on täysi, ts. sen rivit ovat
lineaarisesti riippumattomat, ja d on q-vektori. Vielä oletetaan, että qk+1).
Todistus. (Tämä vaatii kurssin Laaja tilastomatematiikka tietoja.) Ensinnäkin b ja r ovat riippumattomia.
Näin ollen ovat myös (Ab − d) T (A(X T X) −1 A T ) −1 (Ab − d) ja SSE = r T r
riippumattomat. Edelleen suureella 1
σ 2 SSE on χ 2 -jakauma N −k −1 vapausasteella. Vielä pitää
näyttää, että 1
σ 2 (Ab − d) T (A(X T X) −1 A T ) −1 (Ab − d):llä on χ 2 -jakauma q vapausasteella,
kun H0 on tosi.
Koska b:llä on N(β,σ 2 (X T X) −1 )-jakauma, on Ab−d:llä N(Aβ−d,σ 2 A(X T X) −1 A T )jakauma
eli N(0q,σ 2 A(X T X) −1 A T )-jakauma. Selvästi A(X T X) −1 A T on symmetrinen ja
positiivisemidefiniitti. Koska A:lla on täysi rivirangi ja X T X on ei-singuläärinen, on myös
A(X T X) −1 A T ei-singuläärinen ja siis positiividefiniitti. Schurin lauseen mukaan se voidaan
kirjoittaa muotoon A(X T X) −1 A T = QΛQ T , missä Q on ortogonaalimatriisi ja Λ on lävistäjämatriisi,
jonka lävistäjällä ovat A(X T X) −1 A T :n (positiiviset) ominaisarvot. Näin ollen on
(A(X T X) −1 A T ) −1 :llä neliöjuuri Q √ Λ −1 Q T =merk. B, missä lävistäjämatriisi √ Λ −1 saadaan
Λ −1 :stä ottamalla sen lävistäjäalkioista neliöjuuret. Ilmeisesti B on symmetrinen ei-singuläärinen
matriisi. Nyt B(Ab − d) on N(0q,σ 2 BB −2 B T )-jakautunut eli N(0q,σ 2 Iq)-jakautunut.
Suureella
1
σ 2 (Ab − d)T (A(X T X) −1 A T ) −1 (Ab − d) = 1
σ 2 (B(Ab − d))T B(Ab − d)
on näin ollen χ 2 (q)-jakauma.
Hypoteesin testaaminen sujuu tavalliseen tapaan. Merkitsevyys α kiinnitetään. Jos testisuure
osuu varjostetulle häntäalueelle (ks. alla oleva kuva), hylätään H0.Mitä ”huonommin” H0 pitää
paikkansa, sitä suurempi pyrkii Ab − d ja F-testisuure olemaan.
F-jakauman tiheysfunktio
2 Jos q =1,voidaan muodostaa vastaava t-testisuure ja testi voisi olla toispuolinenkin.
F α

LUKU 1. REGRESSIO 8
Testataan edellä olleelle datalle muutamia hypoteesejä Systatilla. Käytetään vaihteen vuoksi
uutta 3. kertaluvun mallia
Käskyillä
y = β0 + β1x1 + β2x2 + β12x1x2 + β22x 2 2 + β122x1x 2 2 + ɛ.
>model y=constant+x1+x2+x1*x2+x2*x2+x1*x2*x2
>estimate
>hypothesis
>effect x1*x2*x2
>test
saadaan tulostus
DEP VAR: Y N: 12 MULTIPLE R: .996 SQUARED MULTIPLE R: .992
ADJUSTED SQUARED MULTIPLE R: .985 STANDARD ERROR OF ESTIMATE: 0.504
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 6.208 1.033 0.000 . 6.011 0.001
X1 -7.929 1.918 -0.406 0.1437798 -4.134 0.006
X2 3.331 0.533 2.783 0.0069838 6.251 0.001
X1*
X2 -3.293 0.990 -1.704 0.0052777 -3.328 0.016
X2*
X2 -0.240 0.052 -2.059 0.0069838 -4.625 0.004
X1*
X2*
X2 0.310 0.096 1.538 0.0060405 3.213 0.018
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
REGRESSION 181.913 5 36.383 143.328 0.000
RESIDUAL 1.523 6 0.254
_______________________________________________________________________________
TEST FOR EFFECT CALLED:
BY
BY
TEST OF HYPOTHESIS
X1
X2
X2
SOURCE SS DF MS F P
HYPOTHESIS 2.620 1 2.620 10.322 0.018
ERROR 1.523 6 0.254
Sama tulos saadaan syöttämällä A =(0, 0, 0, 0, 0, 1). d:tä ei tarvitse syöttää, sillä sen oletusarvo
on 0. Lisätään jonoon käskyt
>hypothesis
>amatrix
>0 0 0 0 0 1
>test
jolloin saadaan tulostus

LUKU 1. REGRESSIO 9
HYPOTHESIS.
A MATRIX
TEST OF HYPOTHESIS
1 2 3 4 5
0.000 0.000 0.000 0.000 0.000
6
1.000
SOURCE SS DF MS F P
HYPOTHESIS 2.620 1 2.620 10.322 0.018
ERROR 1.523 6 0.254
Komento print long antaa vähän enemmän tulostusta:
HYPOTHESIS.
A MATRIX
1 2 3 4 5
0.000 0.000 0.000 0.000 0.000
6
1.000
NULL HYPOTHESIS CONTRAST AB
0.310
-1
INVERSE CONTRAST A(X’X) A’
TEST OF HYPOTHESIS
0.037
SOURCE SS DF MS F P
HYPOTHESIS 2.620 1 2.620 10.322 0.018
ERROR 1.523 6 0.254
Hypoteesi H0 hylätään merkitsevyystasolla α =0.02, mutta ei aivan tasolla α =0.01. Selittäjä
x1x 2 2 saa olla mukana. Katsotaan vielä hypoteesia H0 : β1 = −12,β2 =2sivun 6 mallille,
jolloin
Käskyt
>hypothesis
>amatrix
>0 1 0 0 0
>0 0 1 0 0
>dmatrix
>-12
>2
>test
antavat tulostuksen
A =
0 1 0 0 0
0 0 1 0 0
ja d =
−12
2
.

LUKU 1. REGRESSIO 10
HYPOTHESIS.
A MATRIX
D MATRIX
TEST OF HYPOTHESIS
1 2 3 4 5
1 0.000 1.000 0.000 0.000 0.000
2 0.000 0.000 1.000 0.000 0.000
1 -12.000
2 2.000
SOURCE SS DF MS F P
HYPOTHESIS 0.238 2 0.119 0.201 0.823
ERROR 4.143 7 0.592
Hypoteesia H0 ei tässä voi hylätä.
Yksinkertaisin valinta A-matriisiksi on (0,...,0, 1, 0,...,0), missä 1 on i:s alkio. Hypoteesi
H0 : Aβ = βi =0testaa silloin faktorin xi tarpeellisuutta mallissa. Tällöin
ja testisuure on
bi(A(X T X) −1 A T ) −1 bi = b 2 i c −1
ii
b 2 i (N − k − 1)
ciiSSE
= b2 i
s 2 cii
eli sivulla 4 olevan t-testisuureen ti neliö. Testi on siis sama kuin mainittu t-testi kaksipuolisena!
Yleensäkin, jos q =1,onH0 muotoa a T β = d ja testisuureeksi voidaan ottaa N − k − 1
vapausasteella t-jakautunut suure
a T b − d
s 2 a T (X T X) −1 a .
Tällöin voi myös tehdä kaksipuolisia testejä (H0 : a T β ≤ d tai H0 : a T β ≥ d).
Koko mallin käyttökelpoisuutta puolestaan testaa hypoteesi
H0 : β1 = ···= βk =0.
Jos tätä H0:aa ei hylätä, ovat käytetyt faktorit huonoja selittäjiä, ts. koko malli voitaisiin yhtä
hyvin korvata vakiolla + kohinalla (eli mallilla y = β0+ɛ). Vastaava A-matriisi on
0k Ik ja
d = 0k.Tehdään datamatriisissa ja b-vektorissa samanlainen ositus:
X = 1N D
ja b = .
b0
b ′
(Matriisi D on muuten ns. suunnittelumatriisi 3 , jota tarvitaan vielä jatkossa.) Tässä 1N on
N-vektori, jonka kaikki alkiot ovat ykkösiä. Silloin Ab = b ′ ja
X T
T 1N X =
DT
1N D
N
=
D
T 1ND T 1N DT D
3 Toisinaan käytetään kuitenkin matriisista X nimeä suunnittelumatriisi!
.

LUKU 1. REGRESSIO 11
Edelleen tällöin
(Ab − d) T (A(X T X) −1 A T ) −1 (Ab − d) =(b ′ ) T (A(X T X) −1 A T ) −1 b ′ =merk. SSR,
ns. regression neliösumma.
Tunnetun lohkomatriisien kääntökaavan 4 mukaan (X T X) −1 :n oikea alalohko eli siis
A(X T X) −1 A T on
Matriisi MN = IN − 1
D T D − D T 1N
1
N 1T −1 ND =(D T MND) −1 .
N JN on ns. keskitysmatriisi. Sillä kertominen vähentää datavektorista sen
keskiarvon. (Matriisi JN = 1N1T N taas on N × N-matriisi, jonka kaikki alkiot ovat ykkösiä.)
Koska ilmiselvästi MN1N = 0N,niin
SSR =(b ′ ) T D T MNDb ′ =(b01N + Db ′ ) T MN(b01N + Db ′ )=(Xb) T MNXb = ˆy T MN ˆy.
Koska edelleen
X T r = X T (y − Xb) =X T y − X T X(X T X) −1 X T y = 0k+1,
niin 1T Nr =0(tarkastellaan vain X:n ensimmäistä saraketta) ja ˆyT r = bT XT r =0. Näin ollen
r T MN ˆy = r T
IN − 1
N 1N1 T
N ˆy = r T ˆy − 1
N rT 1N1 T N ˆy =0
ja
r T MNr = r T
IN − 1
N 1N1 T
N r = r T r − 1
N rT 1N1 T Nr T = r T r = SSE.
Ns. kokonaisneliösumma
y T MNy =merk. SST
on näin hajotettavissa residuaalin neliösumman ja regression neliösumman summaksi:
SST = y T MNy =(r + ˆy) T MN(r + ˆy) =r T MNr + ˆy T MN ˆy = SSE + SSR.
Neliösummiin liittyvät ns. vapausasteet on annettu alla olevassa taulukossa.
SSX vapausasteet
SSE N − k − 1
SSR k
SST N − 1
4 U V
Kääntökaava on seuraavanlainen. Jos matriisi
W Z
ja, on ei-singuläärinen, niin sen käänteismatriisi on
−1 −1 −1
U + U VYWU −1 −U VY
−YWU −1
Y
, missä U ja Z ovat ei-singuläärisiä neliömatriise-
missä Y =(Z − WU −1 V) −1 . Kaava johdetaan kirjoittamalla käänteismatriisi määräämättömään lohkomuotoon
R
T
S
Y
ja ratkaisemalla lohkot. Matriisin Z − WU −1 V ei-singuläärisyys vastaa muuten 2 × 2-matriisin
kääntyvyyden tuttua determinanttiehtoa.
,

LUKU 1. REGRESSIO 12
Jakamalla neliösumma vapausasteellaan saadaan aina vastaava keskineliö:
MSE =
SSE
N − k − 1
, MSR = SSR
k
, MST = SST
N − 1
(residuaalin keskineliö, regression keskineliö ja kokonaiskeskineliö).
Hypoteesin H0 : β1 = ··· = βk = 0 testisuure on näin ollen MSR/MSE ja sillä on
Lauseen 1.1 mukaan F-jakauma vapausastein k ja N − k − 1. Vastahypoteesi on
H1 : “ainakin yksi parametreistä β1,...,βk on = 0”.
H0:n hylkääminen merkitsee, että ainakin yhdellä faktorilla on merkittävää vaikutusta vasteeseen.
Varianssianalyysitaulu (jollaisen ohjelmistot yleensä tulostavat) sisältää kaiken tämän:
variaation lähde vapausasteet neliösummat keskineliöt F merkitsevyys
regressio
residuaali
kokonaisvariaatio
k
N − k − 1
N − 1
SSR
SSE
SST
MSR
MSE
MST
Neliösummista saadaan myös ns. determinaatiokerroin eli selitysaste
MSR
MSE
pienin α:n
arvo, jolla
H0 hylätään
SSR
SST =merk. R 2 .
Tulkinta: R2 ilmoittaa kuinka suuren suhteellisen osan vastevektorin otosvarianssista regressio
selittää. R2 :n neliöjuuri
SSR
SST =merk. R
on ns. yhteiskorrelaatiokerroin. Jotkut käyttävät mieluummin ns. korjattua determinaatiokerrointa
1 − MSE
MST =merk. R 2 A =1− (1 − R 2 N − 1
)
N − k − 1 .
Tulkinta: R2 A ilmoittaa kuinka paljon suhteellisesti V (ɛ):n estimoidusta arvosta voidaan poistaa
sovittamalla jokin muu kuin H0:n mukainen malli y = β0 + ɛ verrattuna siihen V (ɛ):n estimoituun
arvoon (= MST), joka ko. mallin avulla saadaan. Tilasto-ohjelmistot tulostavat yleensä
myös nämä kertoimet.
1.4 Mallin epäsopivuuden testaus toistokokein
Regressiomallin epäsopivuus tarkoittaa sitä, että lisäämällä uusia faktoreita tai entisistä faktoreista
muodostettuja uusia (korkeampiasteisia) faktoreita residuaalia voidaan ”pienentää”.
Huomautus. Mallin riittävyys, johon palataan yksisuuntaisen ANOVAn yhteydessä myöhemmin,
puolestaan tarkoittaa sitä, että mallin yhteydessä sovitut oletukset (riippumattomuudet,
normaalisuus, varianssien samuus, jne.) pitävät paikkansa.
Jos siis malli
y = x T β + ɛ
on epäsopiva, tarkoittaa se sitä, että jokin laajennettu malli
y = x T β + z T γ + ɛ ′ ,

LUKU 1. REGRESSIO 13
missä z =(z1,...,zℓ) T on uusien tai entisistä kertomalla tai muuten saatujen faktorien muodostama
vektori ja γ =(γ1,...,γℓ) T on uusi parametrivektori, on ”parempi”.
Huomaa, että sovitettaessa jälkimmäinen malli pienimmän neliösumman keinolla vastevektoriin
y ja datamatriisiin
X Z ,
missä X on aikaisempi datamatriisi ja Z uusia faktoreita vastaavista sarakkeista muodostettu
”jatke”, eivät parametrit β saa (välttämättä) samoja arvoja kuin sovitettaessa alkuperäistä mallia.
Tämä johtuu siitä, että uudet selittävät faktorit voivat selittää samoja tekijöitä kuin vanhat
faktorit.
Se mitä uudet faktorit selittävät ja vanhat eivät, on erotusdatassa
Z − ˆ Z,
missä ˆ Z saadaan ennustamalla Z:n sarakkeet vanhaa mallia käyttäen. Ennusteen laskukaavaa
käyttäen 5
ˆZ = X(X T X) −1 X T Z.
Hypoteesi, jonka mukaan malli ei ole tarkasteltujen uusien faktorien kannalta epäsopiva, on
näin ollen
H0 :(Z− ˆ Z)γ = 0N.
Vastahypoteesi on tietysti H1 :(Z− ˆ Z)γ = 0N.
Yllä olevan hypoteesin testaus, jossa tarkastellaan mallin sopivuutta tiettyjen kiinteiden
uusien faktorien kannalta, voidaan ajatella toteutettavaksi A-matriisilla
T −1 T O Z − X(X X) X Z .
Sillä ei tosin ole täyttä rivirangia ja rivejäkin on liikaa, mutta sen sarakerangi on ℓ, muutenhan
matriisissa X Z on lineaarisesti riippuvia sarakkeita. Testi on näin ollen sama kuin
hypoteesille H0 : γ = 0ℓ ja helppo toteuttaa. Jos halutaan testata, kuten alun perin haluttiin, onko
mallia yleensä ottaen mahdollista parantaa, pitää verrata virhetermin aiheuttamaa varianssia
vasteen selittämättä jääneen osan aiheuttamaan varianssiin. Jos jälkimmäinen on ”huomattavasti”
suurempi, on mahdollista uusia faktoreita käyttäen parantaa mallin sopivuutta.
Testisuure tällaiselle testaukselle saadaan, jos mukana on toistokokeita, ts. datamatriisissa
on samoja rivejä. Oletetaan, että datamatriisissa X on erilaisia rivejä m kappaletta. Huomaa,
että m ≥ k +1, muuten X T X on singuläärinen. Kootaan mainitut erilaiset rivit m × (k +1)matriisiksi
X1. Silloin voidaan kirjoittaa
X = TX1
sopivasti valitulle N × m-matriisille T. Huomaa, että T:llä on täysi sarakerangi, ts. sen sarakkeet
ovat lineaarisesti riippumattomat, ja että T1m = 1N. Itse asiassa T saadaan identiteettimatriisista
Im toistamalla sen rivejä sopivasti.
Laajin mahdollinen malli, joksi alkuperäinen malli voidaan täydentää, saadaan, kun lisätään
X:ään suurin mahdollinen määrä aikaisemmista lineaarisesti riippumattomia sarakkeita säilyttäen
toistetut rivit. Tällaiseen malliin ei nimittäin voida lisätä yhtäkään uutta selittäjää, joka ei,
toistokokeiden puitteissa, riippuisi lineaarisesti aikaisemmista. Täydennetään X1 ensin m × mmatriisiksi
lisäämällä siihen m − k − 1 aikaisemmista lineaarisesti riippumatonta saraketta:
X1 Z1 =merk. X2.
5 Matriisia (X T X) −1 X T Z kutsutaan ns. aliasmatriisiksi.

LUKU 1. REGRESSIO 14
X:n täydennys on sen jälkeen N × m-matriisi
TX2 = TX1 TZ1
= X
Z =merk. X3,
missä Z = TZ1.
Alkuperäisestä datamallista (Malli I)
y = Xβ + ɛ
saadaan näin laajennettu datamalli (Malli II)
β
y = X3 + ɛ = Xβ + Zγ + ɛ
γ
Mallista II saatu ennustevektori on
ˆyII = X3(X T 3 X3) −1 X T 3 y = TX2(X T 2 T T TX2) −1 X T 2 T T y = T(T T T) −1 T T y,
joka ei riipu Z1:stä, ts. siitä, miten X1 täydennetään! Näin ollen saatava testi ei myöskään
riipu mallin laajennustavasta, kunhan toistojen rakenne (eli T) säilytetään. Mallista II saatava
residuaali on
rII =(IN − T(T T T) −1 T T )y
ja tämän residuaalin neliösumma on
ns. puhtaan virheen neliösumma.
Yritetään selittää Mallin I residuaalivektori
r T IIrII =merk. SSPE,
r =(IN − X(X T X) −1 X T )y
Mallin II avulla. Jos tämä onnistuu tarpeeksi hyvin, ei Malli I ole sopiva, vaan se voidaan täydentää
sopivammaksi. Merkitään lyhyyden vuoksi
P = IN − X(X T X) −1 X T
ja R = IN − T(T T T) −1 T T .
Silloin todetaan helpolla laskulla, että P ja R ovat symmetrisiä idempotentteja matriiseja ja että
RP = PR = R , PX = O , RX = O , RZ = O,
rank(P) =trace(P) =N − k − 1,
rank(R) =trace(R) =N − m
(ks. kurssit Laaja matematiikka 4 ja Matriisilaskenta 1). Selitettäessä Mallin II avulla Mallin I
residuaalia r on selittämättä jäävä residuaali Rr = RPy = Ry, jonka neliösumma on nimenomaan
SSPE. Kokonaisneliösumma on puolestaan rT r eli Mallin I residuaalin neliösumma
SSE. Edelleen regression neliösumma tässä selitysyrityksessä on
SSE − SSPE =merk. SSLOF,
ns. epäsopivuuden neliösumma. Matriisimuodossa
SSLOF = y T (P − R)y.

LUKU 1. REGRESSIO 15
Matriisi P − R on symmetrinen idempotentti matriisi, jonka rangi on
trace(P − R) =trace(P) − trace(R) =m − k − 1,
kuten helposti voidaan todeta. SSPE vastaa sitä osaa residuaalivarianssista, joka johtuu virhetermistä.
Siihen ei voida vaikuttaa mallilla, olipa tämä kuinka hyvä tahansa. SSLOF vastaa taas
sitä osaa residuaalivarianssista, joka johtuu mallin huonosta selittävyydestä eli epäsopivuudesta.
Mutta: Residuaali r ei ole oikeaa vasteen tyyppiä, sillä sillä on singuläärinen normaalijakauma
(ts. P on singuläärinen). Näin ollen saatujen neliösummien jakaumat ja vapausasteet
sekä niihin perustuva ANOVA katsotaan erikseen. Huomaa kuitenkin, että SSPE on Mallin II
residuaalin neliösumma, joten sillä on χ 2 -jakauma N − m vapausasteella.
Lause 1.2. Jos hypoteesi H0 : PZγ = 0N on tosi Mallille II, niin suureella
SSLOF(N − m)
SSPE(m − k − 1)
on F-jakauma vapausastein m − k − 1 ja N − m (olettaen tietysti, että m>k+1).
Todistus. (Tässä tarvitaan kurssin Laaja tilastomatematiikka tietoja.) Pitää näyttää, että SSLOF
ja SSPE ovat riippumattomasti χ 2 -jakautuneet vapausastein m − k − 1 ja N − m, vastaavasti.
Hypoteesin H0 voimassaollessa
(P − R)y =(P − R)(Xβ + Zγ + ɛ) =(P − R)ɛ
ja
Ry = R(Xβ + Zγ + ɛ) =Rɛ.
Koska P − R ja R ovat symmetrisiä idempotentteja matriiseja, R(P − R) =ON ja ɛ:lla on
N(0N,σ2IN)-multinormaalijakauma, on lause oikea.
Lauseessa esiintyvä Z on tietysti se laajin mahdollinen, jolla alkuperäistä datamatriisia X täydennetään.
Vastahypoteesi on H1 : PZγ = 0N.
SSPE:llä on siis vapausasteita N − m ja SSLOF:llä m − k − 1. Vastaavat keskineliöt ovat
näin ollen
SSPE
N − m =merk.
SSLOF
MSPE ja
m − k − 1 =merk. MSLOF
(puhtaan virheen keskineliö ja epäsopivuuden keskineliö). Varianssianalyysitaulu on siten
variaation lähde vapausasteet neliösummat keskineliöt F merkitsevyys
epäsopivuus
puhdas virhe
residuaali
m − k − 1
N − m
N − k − 1
SSLOF
SSPE
SSE
MSLOF
MSPE
MSE
MSLOF
MSPE
pienin α:n
arvo, jolla
H0 hylätään
Jos hypoteesia H0 ei hyväksytä, voidaan mallia parantaa täydentämällä sitä sopivilla faktoreilla.
Huomaa, että jos erityisesti täydentävät faktorit ovat entisistä laskien saatuja korkean
asteen faktoreita, niin edellä esitetty toistettujen rivien säilyminen täydennettäessä on automaattista.
Näin ollen esitetty testi on erityisen sopiva juuri tällaista täydennystä ajatellen. Jos mallia
päätetään täydentää, ei tietystikään mukaan välttämättä kannata ottaa ”kaikkia mahdollisia” lisäselittäjiä,
vaan vain sopivasti valitut lisäfaktorit. Ohjelmistot tarjoavatkin korkeampiasteisten
faktorien osalta monia (puoli)automaattisia lisäys- ja valintamenetelmiä (ns. askeltava regressio).

LUKU 1. REGRESSIO 16
Huomautus. Eräät ohjelmistot suorittavat epäsopivuustestin automaattisesti, jos toistokokeita
esiintyy. Matlabia käytettäessä matriisin T kokoaminen on helppoa, varsinkin jos toistoja on
kullekin toistetulle tasoyhdelmälle yhtä monta (kuten esimerkiksi sivulla 5 olevalle datalle).
Huomautus. Epäsopivuustesti voidaan tehdä muutenkin kuin toistokokeita käyttäen. Matriisista
T:kin käytettiin nimittäin vain sen ominaisuuksia
(i) T:llä on täysi sarakerangi (jotta T T T olisi ei-singuläärinen) ja
(ii) hajotelmassa X = TX1 on X1:llä täysi sarakerangi k +1(jotta se voidaan täydentää
ei-singulääriseksi m × m-matriisiksi X2).
Mikä tahansa matriisi, joka toteuttaa nämä ehdot, kelpaisi periaatteessa T:n tilalle. Tällöin
ei kyseessä olisi välttämättä enää koetoistoihin perustuva testi. Itse asiassa, jos käytetäänkin
hajotelmaa X =(TS)(S −1 X1),missä S on ei-singuläärinen m × m-matriisi, niin
IN − TS(S T T T TS) −1 S T T T = IN − T(T T T) −1 T T = R.
Siis esitetty epäsopivuustesti riippuu T:stä vain sen sarakeavaruuden S kautta! Valitsemalla
S eri tavoin saadaan erilaisia epäsopivuustestejä, tosin näin saadut testit ovat yleensä heikompia
kuin toistoihin perustuvat. Ks. myös CHRISTENSEN ja artikkeliviite JOGLEKAR, G.&
SCHUENMEYER, J.H. & LARICCIA, V.: Lack-of-Fit Testing When Replicates Are Not Available.
The American Statistician 43 (–89), 135–143.
1.5 Datan affiinimuunnokset. Ortogonaalisuus ja kiertosymmetrisyys
Jos X on N × (k +1)-datamatriisi ja L on ei-singuläärinen (k +1)× (k +1)-matriisi, jonka
ensimmäinen sarake on (1, 0,...,0) T , niin XL on myös N × (k +1)-datamatriisi, joka sisältää
saman informaation kuin X. Tällainen muunnos on datan affiinimuunnos. L on siis muotoa
T
1 ℓ
L =
0k K
missä ℓ on k-vektori ja K on ei-singuläärinen k × k-matriisi.
Koska
y = Xβ + ɛ = XLL −1 β + ɛ,
on uutta datamatriisia XL vastaava parametrivektori L −1 β =merk. γ. Edelleen pienimmän neliösumman
keinon antama parametrivektorin γ estimaatti on
g =((XL) T XL) −1 (XL) T y = L −1 (X T X) −1 (L T ) −1 L T X T y = L −1 b
ja ”uusi” ennustevektori on XLg = Xb = ˆy eli sama kuin ”vanha”. Näin ollen myöskin
residuaali pysyy datan affiinimuunnoksessa samana ja itse asiassa kaikki neliösummat SSE,
SST ja SSR sekä vastaavat keskineliöt. Mallin merkitsevyys ei siis muutu. Myöskin lineaarisen
hypoteesin ALγ = d testaus antaa saman tuloksen kuin hypoteesin Aβ = d testaus, sillä
(Ab − d) T (A(XT X) −1AT ) −1 (Ab − d)
=(ALg − d) T (AL((XL) T XL) −1 (AL) T ) −1 (ALg − d).

LUKU 1. REGRESSIO 17
Koko ANOVA tuottaa näin ollen aina saman tuloksen, riippumatta siitä tehdäänkö dataan jokin
affiinimuunnos vai ei. Toisaalta
V (g) =σ 2 ((XL) T XL) −1 = σ 2 L −1 (X T X) −1 (L T ) −1
voi hyvinkin olla ”edullisempaa” muotoa kuin V (b), ts.g:n komponenttien välillä voi olla vähemmän
korrelaatiota kuin b:n komponenttien välillä ja niiden varianssit voivat olla pienempiä
kuin b:n komponenttien varianssit.
Huomautus. Jos mallissa on mukana ensimmäisen asteen faktoreista muodostettuja korkeampiasteisia
faktoreita, tehdään usein affiinimuunnos vain datan ensimmäisen asteen osaan ja lasketaan
näin saaduista ”uusista” faktoreista malliin mukaan korkeampiasteisia faktoreita. Affiinimuunnokset
nimittäin useimmiten liittyvät vain perusfaktorien arvojen muuntamiseen. Toisaalta,
jos malli sisältää kaikki korkeampiasteiset termit haluttuun astelukuun asti, voidaan
myös vastaava ”uusi” malli saada aikaisemmasta affiinimuunnoksella, kuten on helposti todettavissa.
Tavallinen ensimmäisen kertaluvun mallin datan affiinimuunnos on skaalaus, jota vastaava
matriisi K on lävistäjämatriisi, missä lävistäjäalkiot p1,...,pk ovat nollasta eroavia. Tällaista
lävistäjämatriisia merkitään ⌈p⌋:llä, missä p =(p1,...,pk) T . Selittäjä xi korvautuu skaalauksessa
selittäjällä pixi + ℓi, missä ℓi on ℓ:n i:s alkio. Skaalauksen tarkoituksena on, paitsi vaihtaa
selittävien muuttujien asteikot ”sopivammiksi”, muuntaa keinotekoisesti selittävät muuttujat
tyypillisten arvojensa suhteen samaan asemaan. Tyypillisten arvojen kokoero saattaa nimittäin
alunperin olla monia dekadeja, mikä aiheuttaa mm. numeerista epätarkkuutta laskuissa. Tällöin
suoritetaan ensin skaalaus ja vasta sitten mallin sovitus. Skaalausmatriisi on helposti koottavissa
Matlabin operaatioilla:
»p=[0.3 2.9 0.001 -3.4 0.8]
p =
0.3000 2.9000 0.0010 -3.4000 0.8000
»l=[-1.2 3.0 -4.5 34.0 0]
l =
-1.2000 3.0000 -4.5000 34.0000 0
»L=[1 l;zeros(5,1) diag(p)]
L =
1.0000 -1.2000 3.0000 -4.5000 34.0000 0
0 0.3000 0 0 0 0
0 0 2.9000 0 0 0
0 0 0 0.0010 0 0
0 0 0 0 3.4000 0
0 0 0 0 0 0.8000
Erityinen skaalauksen muoto on datan standardointi, jossa valitaan
pi =
1
1
N
(xji − xi)
N − 1
2
j=1
ja ℓi = −xipi,
ts. pi on xi:n otoshajonnan inverssi ja ℓi on xi:n otosvariaatiokertoimen vastaluku (xi on tietysti
xi:n otoskeskiarvo). Jälleen p ja ℓ saadaan koottua helposti Matlabilla:

LUKU 1. REGRESSIO 18
»p=1 ./std(D);
»l=-p.*mean(D);
D on siis suunnittelumatriisi, joka saadaan X:stä: X = 1N D .
Jos data on kunkin faktorin osalta tasavälistä, käytetään usein koodausta, joka myös on eräs
skaalauksen muoto. Tällöin
pi =
2
max(x1i,...,xNi) − min(x1i,...,xNi)
ja ℓi = −xipi,
ts. erona standardointiin on, että pi on nyt xi:n otosvaihteluvälin puolikkaan eikä xi:n otoshajonnan
inverssi. Myös koodaus on helposti tehtävissä Matlabilla:
»p=2 ./(max(D)-min(D));
»l=-p.*mean(D);
Lähinnä koodausta käytetään tilanteessa, missä kullakin faktorilla on kaksi tasoa tai kolme tasavälistä
tasoa, jotka esiintyvät tasapainoisesti eli siten, että kunkin faktorin xi otoskeskiarvo
on sen tasojen vaihtelukeskipisteessä
min(x1i,...,xNi)+max(x1i,...,xNi)
,
2
sillä tällöin koodatut arvot ovat 0, ±1. Jos tasoja on enemmän tai data ei ole tasapainoista, on
koodaus korvattava mutkikkaammalla operaatiolla.
Edellä sivulla 5 oleva tasavälinen ja tasapainoinen data standardoituna ja koodattuna on
annettu alla olevassa taulussa.
standardointi koodaus
x1
x2
−0.957 −1.173
−0.957 −1.173
0.957 −1.173
0.957 −1.173
−0.957 0
−0.957 0
0.957 0
0.957 0
−0.957 1.173
−0.957 1.173
0.957 1.173
0.957 1.173
x1 x2
−1 −1
−1 −1
1 −1
1 −1
−1 0
−1 0
1 0
1 0
−1 1
−1 1
1 1
1 1
Ajetaan vielä sekä standardoitu että koodattu data Systatilla muodostaen korkeamman asteen
faktorit muunnetusta datasta. Käskyt
>USE ’rotta.sys’
SYSTAT FILE VARIABLES AVAILABLE TO YOU ARE:
X1 X2 Y
>save rottastd.sys
>standardize x1,x2
>run
standardoivat ja käskyt

LUKU 1. REGRESSIO 19
>EDIT ’Tilastomatematiikka:TKS data:rotta.sys’
>LET x1=2*(x1-0.5)/0.4
>LET x2=2*(x2-5)/8
>SAVE ’Tilastomatematiikka:TKS data:rottakood.sys’
koodaavat datan uudeksi dataksi. Malli on sama kuin sivulla 5 oleva. Käytetään pitkää tulostusta,
jotta saadaan mukaan parametrien korrelaatiot. Ajetaan ensin standardoitu data:
EIGENVALUES OF UNIT SCALED X’X
CONDITION INDICES
VARIANCE PROPORTIONS
1 2 3 4 5
1.816 1.000 1.000 1.000 0.184
1 2 3 4 5
1.000 1.348 1.348 1.348 3.146
1 2 3 4 5
CONSTANT 0.092 0.000 0.000 0.000 0.908
X1 0.000 0.001 0.214 0.785 0.000
X2 0.000 0.999 0.000 0.001 0.000
X1 0.000 0.000 0.786 0.214 0.000
X2 0.092 0.000 0.000 0.000 0.908
DEP VAR: Y N: 12 MULTIPLE R: .989 SQUARED MULTIPLE R: .977
ADJUSTED SQUARED MULTIPLE R: .965 STANDARD ERROR OF ESTIMATE: 0.769
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 8.535 0.385 0.000 . 22.188 0.000
X1 -2.788 0.232 -0.683 .100E+01 -12.018 0.000
X2 2.839 0.232 0.695 .100E+01 12.238 0.000
X1*
X2 -0.139 0.242 -0.033 .100E+01 -0.574 0.584
X2*
X2 -0.992 0.343 -0.164 .100E+01 -2.895 0.023
CORRELATION MATRIX OF REGRESSION COEFFICIENTS
CONSTANT X1 X2 X1 X2
CONSTANT 1.000
X1 0.000 1.000
X2 0.000 0.000 1.000
X1 0.000 0.000 0.000 1.000
X2 -0.816 0.000 -0.000 -0.000 1.000
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
REGRESSION 179.293 4 44.823 75.729 0.000
RESIDUAL 4.143 7 0.592
Verrattaessa aikaisempaan sivulla 6 olevaan tulostukseen havaitaan nyt X T X:n ominaisarvojen
tasaisempi rakenne ja parametrien suurempi korreloimattomuus. ANOVA tuottaa saman
tuloksen kuin aikaisemminkin. Ajetaan sitten koodattu data. Tulokset ovat paljolti samantapaiset
kuin standardoidulle datalle:
EIGENVALUES OF UNIT SCALED X’X
1 2 3 4 5
1.816 1.000 1.000 1.000 0.184

LUKU 1. REGRESSIO 20
CONDITION INDICES
VARIANCE PROPORTIONS
1 2 3 4 5
1.000 1.348 1.348 1.348 3.146
1 2 3 4 5
CONSTANT 0.092 0.000 0.000 0.000 0.908
X1 0.000 0.770 0.030 0.200 0.000
X2 0.000 0.038 0.962 0.000 0.000
X1 0.000 0.192 0.008 0.800 0.000
X2 0.092 0.000 0.000 0.000 0.908
DEP VAR: Y N: 12 MULTIPLE R: .989 SQUARED MULTIPLE R: .977
ADJUSTED SQUARED MULTIPLE R: .965 STANDARD ERROR OF ESTIMATE: 0.769
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 8.535 0.385 0.000 . 22.188 0.000
X1 -2.669 0.222 -0.683 .100E+01 -12.018 0.000
X2 3.329 0.272 0.695 .100E+01 12.238 0.000
X1*
X2 -0.156 0.272 -0.033 .100E+01 -0.574 0.584
X2*
X2 -1.364 0.471 -0.164 .100E+01 -2.895 0.023
CORRELATION MATRIX OF REGRESSION COEFFICIENTS
CONSTANT X1 X2 X1 X2
CONSTANT 1.000
X1 0.000 1.000
X2 0.000 -0.000 1.000
X1 0.000 -0.000 0.000 1.000
X2 -0.816 -0.000 0.000 -0.000 1.000
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
REGRESSION 179.293 4 44.823 75.729 0.000
RESIDUAL 4.143 7 0.592
Suunnittelun sanotaan olevan ortogonaalinen, jos X T X on lävistäjämatriisi, ts. silloin kun
faktoreita vastaavat sarakkeet ovat kohtisuorassa toisiaan vastaan (ja myös vektoria 1N vastaan).
Lause 1.3. Suunnittelu on ortogonaalinen täsmälleen silloin, kun
(i) D:n sarakesummat ovat nollia, ts. 1 T N D = 0T k ja
(ii) D T D on lävistäjämatriisi.
(Tässä D on jälleen suunnittelumatriisi, X = 1N D .)
Todistus. Ilmeisesti
X T X =
1 T N
D T
1 T N D =
on lävistäjämatriisi tarkalleen silloin, kun (i) ja (ii) toteutuvat.
N 1 T N D
D T 1N D T D
Ortogonaalista suunnittelua käytettäessä V (b) =σ 2 (X T X) −1 on lävistäjämatriisi, ts. parametriestimaatit
b0,...,bk ovat riippumattomat. Edelleen tällöin käänteismatriisin (X T X) −1
laskeminen on helppoa ja tarkkaa.

LUKU 1. REGRESSIO 21
Suunnittelun sanotaan olevan kiertosymmetrinen, jos matriisi X T X säilyy samana, kun dataan
tehdään mielivaltainen ortogonaalinen muunnos, ts. X T X on ”koordinaatistosta riippuma-
ton”. Ortogonaalinen muunnos on sama kuin muotoa
Q =
1 0 T k
0k K
oleva affiinimuunnos, missä K on k × k-ortogonaalimatriisi.
Lause 1.4. Suunnittelu on kiertosymmetrinen täsmälleen silloin, kun
(i) D:n sarakesummat ovat nollia, ts. 1 T N D = 0T k ja
(ii) D T D on muotoa λIk, missä λ on vakio.
Todistus. (Tässä tarvittaneen kurssin Matriisilaskenta 1 tietoja.) Oletetaan, että suunnittelu on
kiertosymmetrinen. Sovelletaan mielivaltaista ortogonaalimuunnosta:
(XQ) T XQ = Q T X T
T 1 0k XQ =
0k KT
T 1N DT
1N D 1 0T
k
0k K
T 1 0k =
0k KT
T N 1ND DT 1N DT
T 1 0k D 0k K
N 1
=
T ND KT DT 1N KT DT
T 1 0k D 0k K
N 1
=
T NDK KT DT 1N KT DT
.
DK
Jotta tämä olisi
X T
T N 1ND X =
DT 1N DT
,
D
on oltava
K T D T 1N = D T 1N ja K T D T DK = D T D,
olipa K mikä tahansa ortogonaalimatriisi. Mutta, jotta kaikki ortogonaalimuunnokset pitäisivät
DT 1N:n samana, pitää sen olla = 0k,ts. (i) pätee.
Toisaalta DT D on symmetrinen matriisi, joten se on diagonalisoitavissa ortogonaalimuunnoksella.
Näin ollen DT D:n on oltava valmiiksi lävistäjämatriisi. Silloin taas DT D:n lävistäjäalkiot
voidaan permutoida mielivaltaiseen järjestykseen ortogonaalimuunnoksella. Näin ollen
lävistäjäalkioiden on oltava samoja. Siispä myös (ii) pätee.
Selvästi suunnittelu on kiertosymmetrinen, jos (i) ja (ii) pätevät.
Kiertosymmetrisessä suunnittelussa ei ole mahdollista ”parantaa” mallia siirtymällä ”uusiin
koordinaatteihin”, ts. esimerkiksi V (b) pysyy samana. Malli ei voi tällöin myöskään ”huonon-
tuakaan”. Erityisesti ennusteen varianssi
V (ˆy) =σ 2 (x ′ ) T (X T X) −1 x ′ = σ 2
1
N
1 ′
+ (x
λ
1) 2 + ···(x ′ k) 2
riippuu vain datavektorin x ′ =(1,x ′ 1,...,x ′ k )T pituudesta. 6
Lauseista 1.3 ja 1.4 seuraa, että jokainen kiertosymmetrinen suunnittelu on myös ortogonaalinen,
mutta ei kääntäen. Tärkeä ortogonaalisten/kiertosymmetristen suunnittelujen ominaisuus
on se, että niistä faktoreita poistamalla eli typistämällä saadut suunnittelut ovat myös ortogonaalisia/kiertosymmetrisiä.
(Tämä seuraa varsin suoraan yo. lauseista.)
6 Tästä itse asiassa tulee nimi ”kiertosymmetrinen”, datan rotaatio ei muuta ennusteen varianssia.

LUKU 1. REGRESSIO 22
1.6 Esimerkki ortogonaalisesta 1. kertaluvun suunnittelusta:
Simplex-koe, Plackett–Burman-koe
Simplex-koe on ortogonaalinen 1. kertaluvun malliin perustuva koe, jonka datamatriisi X =
1k+1 D on (k +1)×(k +1)-matriisi ja suunnittelumatriisi muodostuu säännöllisen origokeskisen
k+1-simpleksin kärkien koordinaateista R k :ssa. Esimerkiksi R 2 :ssa tällainen simpleksi
on tasasivuinen origokeskinen kolmio (ks. alla oleva kuvio). (Yleisesti R k :n simpleksi on sen
k +1-kärkinen monitahokas.)
a
a
y
a
x
x
a
z
a
a
y
x
a
a
z
a
y
keskipiste
Sama tasasivuinen kolmio syntyy R 3 :een leikattaessa ensimmäistä oktanttia tasolla
x + y + z = a √ 2 .
Rotaatiolla saadaan kolmio yz-tason suuntaiseksi, jolloin sen kärkien ensimmäiset koordinaatit
ovat samat. Kolmion kärjet origoon yhdistävät janat ovat edelleen kohtisuorassa toisiaan vastaan
(ortogonaalisuus). Kolmion keskipiste on x-akselilla.
Lause 1.3 ja yllä oleva päättely antavat seuraavan idean kahden faktorin simplex-kokeen
suunnitteluun:
1. Etsitään ortogonaalinen 3×3-matriisi V, jonka ensimmäisen sarakkeen alkiot ovat samoja
(= 1/ √ 3).
2. Valitaan X = √ 3V.
V löytyy esimerkiksi muodostamalla matriisin
⎛
1 0
⎞
0
W = ⎝ 1 1 0 ⎠
1 0 1
QR-hajotelma W = QR, missä Q on ortogonaalimatriisi ja R on yläkolmiomatriisi (ks. kurssi
Matriisilaskenta 1). Valitaan V = ±Q.
Sama idea toimii yleisestikin:
1. Muodostetaan (k +1)× (k +1)-matriisin
⎛
1
⎜ 1
W = ⎜
⎝ .
0
1
.
0
0
.
···
···
...
⎞
0
0 ⎟
. ⎠
1 0 0 ··· 1
QR-hajotelma W = QR.

LUKU 1. REGRESSIO 23
2. Valitaan X = ± √ k +1Q.
(W:n tilalle kelpaavat tietysti muutkin ei-singulääriset matriisit, joiden ensimmäinen sarake on
1k+1.)
Käytännössä laskenta sujuu vaikkapa Matlabilla. Otetaan esimerkkinä tapaus k =3:
»I=eye(4);W=[ones(4,1) I(:,2:4)]
W =
1 0 0 0
1 1 0 0
1 0 1 0
1 0 0 1
»[Q,R]=qr(W)
Q =
R =
-0.5000 0.2887 0.4082 -0.7071
-0.5000 -0.8660 0 0.0000
-0.5000 0.2887 -0.8165 0
-0.5000 0.2887 0.4082 0.7071
-2.0000 -0.5000 -0.5000 -0.5000
0 -0.8660 0.2887 0.2887
0 0 -0.8165 0.4082
0 0 0 0.7071
»X=2*(-Q)
X =
1.0000 -0.5774 -0.8165 1.4142
1.0000 1.7321 0 -0.0000
1.0000 -0.5774 1.6330 0
1.0000 -0.5774 -0.8165 -1.4142
Tällä tavoin saatu suunnittelu on lisäksi myös kiertosymmetrinen, sillä X T X =(k +1)Ik+1
(Lause 1.4). Koska N = k +1,eivät simplex-kokeille tule suoraan käyttöön σ 2 , t-testit eikä
myöskään ANOVA. Esimerkiksi Systatin tulostus yo. datalla tehdylle kokeelle on seuraava:
käskyt
>USE ’simplex.sys’
VARIABLES IN SYSTAT FILE ARE:
X1 X2 X3 Y
>model y=constant+x1+x2+x3
>estimate
ja tulostus
DEP VAR: Y N: 4 MULTIPLE R: 1.000 SQUARED MULTIPLE R: 1.000
VARIABLE COEFFICIENT STD ERROR STD COEF TOLERANCE T P(2 TAIL)
CONSTANT 1.068 0.000 . . . .
X1 0.538 0.000 . .100E+01 . .
X2 -0.420 0.000 . .100E+01 . .
X3 0.071 0.000 . .100E+01 . .
ANOVA ei tulostu ja mallin sopivuus on täydellinen. Tulostuksen antina ovat saadut parametriestimaatit.
Mutta tietysti suunnittelua voidaan tarvittaessa typistää, ts. ottaa mukaan vain tarvittava
määrä faktoreita. Kuten edellä todettiin, tämä ei poista ortogonaalisuutta eikä kiertosymmetrisyyttä.

LUKU 1. REGRESSIO 24
Huomautus. Jos simplex-data ei ole ”reaalimaailman” koetta ajatellen oikeantyyppistä, voidaan
se muuntaa sopivalle asteikolle skaalauksella. Koe suoritetaan skaalatulla datalla, mutta
mallina käytetään (typistetyn) simplex-datan mallia, josta haluttaessa voidaan päästä skaalauksella
”reaalimaailmaan”.
Erikoistapaus simplex-kokeesta on ns. Plackett–Burman-koe. Datamatriisi on tällöin (mahdollisen
koodauksen jälkeen) alkioista ±1 koostuva (k +1)× (k +1)-matriisi X, joka toteuttaa
ehdon
X T X =(k +1)Ik+1.
Tällaista ±1-matriisia X kutsutaan yleisesti Hadamardin matriisiksi. 7 Hadamardin m × mmatriisilla
H on seuraavat ominaisuudet:
(i) H:n sarakesummat ensimmäistä saraketta lukuunottamatta ovat =0, ts. sarakkeissa on
yhtä monta +1:tä ja −1:tä.
(ii) Joko m =2tai sitten m on neljällä jaollinen luku.
(iii) H:n kahden rivin välinen etäisyys on aina √ 2m.Tästä ja kohdasta (i) seuraa, että Plackett–
Burman-koe on simplex-koe, koska rivin ensimmäinen alkio on 1.
Nämä ominaisuudet ovat kutakuinkin helposti todettavissa (jätetään lukijalle).
Hadamardin matriisien konstruktio tapahtuu käyttäen ns. äärellisiä kuntia (ks. kurssi Algebra
1 tai Koodausteoria). JOHN selostaa konstruktiota lähemmin. Jo saaduista Hadamardin
matriiseista saa uusia isompia ns. Kronecker-tuloa käyttämällä. Yleisesti n1 × m1-matriisin
⎛
⎞
A =
⎜
⎝
a11 ··· a1m1
.
. ..
an1 ··· an1m1
ja n2 × m2-matriisin B Kronecker-tulo on n1n2 × m1m2-matriisi
⎛
⎞
A =
⎜
⎝
a11B ··· a1m1B
.
. .. .
an1B ··· an1m1B
.
⎟
⎠
⎟
⎠ =merk. A ⊗ B
(lohkomuoto). Lohkomatriisien kertolaskukaavasta seuraa melko välittömästi, että mikäli matriisitulot
AC ja BD ovat määritellyt, niin
(A ⊗ B)(C ⊗ D) =(AC) ⊗ (BD),
ja lohkomatriisin transponointikaavasta puolestaan, että (A ⊗ B) T = A T ⊗ B T . Jos nyt
m1 × m1-matriisi H1 ja m2 × m2-matriisi H2 ovat Hadamardin matriiseja, niin samoin on
niiden Kronecker-tulo H1 ⊗ H2, sillä
(H1 ⊗ H2) T (H1 ⊗ H2) =(H T 1 ⊗ H T 2 )(H1 ⊗ H2) =(H T 1 H1) ⊗ (H T 2 H2)
=(m1Im1) ⊗ (m2Im2) =m1m2Im1m2
ja H1 ⊗ H2:n ensimmäinen sarake on Im1m2. Matlabilla tällainen konstruktio sujuu helposti:
7 Varsinaisesti Hadamardin matriisi määritellään niin, että sen ensimmäisen sarakkeen ei tarvitse olla 1. Toisaalta
jokainen Hadamardin matriisi voidaan saattaa tällaiseksi kertomalla sen rivejä sopivasti −1:llä. Tämä säilyttää
Hadamard-ominaisuuden, kuten voi helposti todeta. Tällaiselle yleiselle Hadamardin matriisille ominaisuus (i)
ei välttämättä pidä paikkaansa. Hadamardin matriisi on standardimuodossa, jos sen ensimmäinen sarake on 1 ja
ensimmäinen rivi 1 T .

LUKU 1. REGRESSIO 25
»H1=[1 1;1 -1]
H1 =
1 1
1 -1
»H2=kron(H1,H1)
H2 =
1 1 1 1
1 -1 1 -1
1 1 -1 -1
1 -1 -1 1
»H=kron(H1,H2)
H =
1 1 1 1 1 1 1 1
1 -1 1 -1 1 -1 1 -1
1 1 -1 -1 1 1 -1 -1
1 -1 -1 1 1 -1 -1 1
1 1 1 1 -1 -1 -1 -1
1 -1 1 -1 -1 1 -1 1
1 1 -1 -1 -1 -1 1 1
1 -1 -1 1 -1 1 1 -1
1.7 2 k -kokeet: Katsaus
2 k -kokeella tarkoitetaan koetta, jossa (k +1)× N-datamatriisin X sarakkeissa (ensimmäistä
saraketta lukuunottamatta) esiintyy vain kahta eri tason arvoa. Koodauksen jälkeen ne ovat 1
ja −1. Jatkossa oletetaankin koodaus valmiiksi suoritetuksi. Plackett–Burman-kokeet ovat siis
2 k -kokeita.
Malli on tällöin
y = β0 +
k
βixi +
βijxixj + ···+
i=1
1≤i

LUKU 1. REGRESSIO 26
⎛
⎜
X = ⎜
⎝
1 −1 −1 −1
1 −1 −1 1
1 −1 1 −1
1 −1 1 1
1 1 −1 −1
1 1 −1 1
1 1 1 −1
1 1 1 1
Ensimmäisen kertaluvun täydellinen 2 k -koe on näin ollen aina kiertosymmetrinen, sillä ilmeisesti
X T X =2 k Ik+1 (Lause 1.4).
Täydellisessä 2 k -kokeessa on useinkin käytännön kannalta liian monta faktoria. Ns. osittaisissa
2 k -kokeissa faktorien määrää karsitaan (ja datamatriisin rivilukua pienennetään) aivan
omalla tavallaan kieltämällä tietyt faktorit. Faktorin kielto tarkoittaa sitä, että sen arvo kiinnitetään
±1:ksi. Jos kielletään faktorit z1,...,zm, onkiellettävä myös kaikki näistä keskenään
kertomalla saadut faktorit, sillä näiden arvot tulevat myös kiinnitetyksi. Kiellettyjen termien
sanotaan sekoittuvan vakiotermiin. (Vakiotermiä itseään ei toki voida kieltää!)
Kielletyt faktorit ovat yleensä korkeampaa kertalukua ja selittävät ensimmäisen kertaluvun
faktorien ns. yhdysvaikutuksia. Kiellettäessä faktoreita päätetään samalla, etteivät tietyt yhdysvaikutukset
ole tarkastelun kannalta tärkeitä. Jos siis tapauksessa k =5päätetään kieltää faktorit
x1x2 , x3x4 ja x2x3x5,
on myös kiellettävä
x1x2 · x3x4 = x1x2x3x4,
x1x2 · x2x3x5 = x1x3x5,
x3x4 · x2x3x5 = x2x4x5,
⎞
⎟ .
⎟
⎠
x1x2 · x3x4 · x2x3x5 = x1x4x5.
Alinta kertalukua olevan kielletyn termin aste on ns. kokeen resoluutio.
Kun faktorit z1,...,zm on kielletty, ts. niiden arvot kiinnitetty, jätetään datamatriisiin vain
ne rivit, jotka toteuttavat nämä kiinnitykset. Itse malliin ei oteta mukaan kiellettyjä faktoreita.
Toisaalta kiinnitykset samaistavat tiettyjä faktoreita merkkiä vaille ja näistä otetaan mukaan
malliin vain yksi, jottei datamatriisiin tule lineaarisesti riippuvia sarakkeita. Tällaisia faktoreita
kutsutaan toistensa aliaksiksi. Esimerkiksi yo. kiinnitysten puitteissa malliin ei saa ottaa mukaan
molempia faktoreita x1 ja x2,sillä
x1 =(±x1x2)x1 = ±x2,
missä merkki ± valitaan siten, että ±x1x2 =1.
Sitä kiellettyjen faktoreiden arvojen kiinnitystä, joka antaa kullekin niistä arvon 1, kutsutaan
pääositukseksi. Jos esimerkiksi tapauksessa k =5kielletään faktorit
x1x2x3 , x3x4x5 ja x1x2x4x5
pääosituksessa, saadaan seuraava ns. aliastaulu

LUKU 1. REGRESSIO 27
mallin faktori
1
x1
x2
x3
x4
x5
x1x4
x1x5
sekoittuvat aliakset
x1x2x3 x3x4x5 x1x2x4x5
x2x3 x1x3x4x5 x2x4x5
x1x3 x2x3x4x5 x1x4x5
x1x2 x4x5 x1x2x3x4x5
x1x2x3x4 x3x5 x1x2x5
x1x2x3x5 x3x4 x1x2x4
x2x3x4 x1x3x5 x2x5
x2x3x5 x1x3x4 x2x4
Ks. JOHN ja KHURI &CORNELL ja MYERS &MONTGOMERY.
1.8 Toisen kertaluvun regressiomalli
Täydellinen toisen kertaluvun malli on muotoa
y = β0 +
k
βixi +
βijxixj + ɛ.
i=1
1≤i≤j≤k
Faktoreita on 1+2k + k
kappaletta. Sovitaan faktoreiden järjestykseksi
2
1,x1,...,xk,x 2 1,...,x 2 k,x1x2,...,x1xk,x2x3,...,xk−1xk
ja muodostetaan datamatriisin X sarakkeet tässä järjestyksessä.
Merkitään (kuten aikaisemminkin) X = 1N D ,missä D on suunnittelumatriisi, ja
1
x = .
d
Merkitään edelleen
(yläkolmiomatriisi) ja
Silloin
ja vastaavasti
Siispä myös
⎛
B ′ ⎜
= ⎜
⎝
β11 β12 ··· β1k
⎞
0
.
β22
.
···
. ..
β2k
⎟
. ⎠
0 0 ··· βkk
B = 1
2 (B′ +(B ′ ) T )
d T B ′ d = trace(d T B ′ d)=trace(B ′ dd T )=
βijxixj
ja malli voidaan kirjoittaa matriisimuotoon
d T (B ′ ) T d =
βijxixj.
1≤i≤j≤k
d T Bd =
1≤i≤j≤k
βijxixj
y = x T β + d T Bd + ɛ.
1≤i≤j≤k

LUKU 1. REGRESSIO 28
Myöskin ennuste
ˆy = b0 +
k
bix ′ i +
i=1
1≤i≤j≤k
bijx ′ ix ′ j
voidaan kirjoittaa samalla tavoin matriisimuotoon: matriisit E ′ ja E saadaan ottamalla B ′ :ssa ja
B:ssä βij:n paikalle bij, kirjoitetaan
ja
x ′ =
1
d ′
ˆy =(x ′ ) T b +(d ′ ) T Ed ′ .
Täydellinen toisen kertaluvun malli ei sellaisenaan käy ortogonaaliseen kokeeseen, sillä
(Lause 1.3) neliöfaktorien sarakesummat ovat positiivisia. Toisaalta mainitut neliöfaktorit voidaan
korvata uusilla muotoa
x 2 i + pixi + qi =merk. Pi(xi)
olevilla faktoreilla, missä kertoimet pi ja qi valitaan siten, että
N
Pi(xji) =0 ja
j=1
N
j=1
Pi(xji)xji =0,
ts. polynomit 1, x ja Pi(x) ovat (käytetyn datan suhteen) ortogonaaliset.
Tätä varten oletetaan ensin, että faktorit x1,...,xk ovat valmiiksi standardoituja niin, että
N
xji =0 ja
j=1
N
x 2 ji = N.
Huomaa, että tämä ei ole aivan sama kuin edellä oleva standardointi, vaan tässä käytetty hajonta
on
N 1
(xji − xi)
N
2 .
Muodostetaan kertoimille pi ja qi yhtälöt
0= N j=1 (x2ji + pixji + qi) =N + Nqi
0= N j=1 (x3ji + pix2 ji + qixji) = N j=1 x3ji + Npi
j=1
j=1
ja ratkaistaan ne:
pi = − 1
N
N j=1 x3 qi = −1.
ji
Merkitään nyt matriisissa 1
N DT D faktoreita vastaavien D:n sarakkeiden pistetuloista saatavia
alkioita seuraavasti:
xi
xixj
faktorit
xj
xm
xixj xmxn
··· ···
alkio
[ij] =[ji]=···
[ijm] =[jim]=···
[ijmn] =[imjn] =···
···

LUKU 1. REGRESSIO 29
Siis [iii] =−pi, [ii] =1, [ij] = N
ℓ=1 xℓixℓj, jne. Uusi malli, jossa x 2 i :n tilalla on Pi(xi), on
y = γ0 +
k
i=1
γixi +
k
γiiPi(xi)+
γijxixj + ɛ.
i=1
Verrattaessa aikaisempaan malliin havaitaan, että
⎧
⎪⎨ γ0 −
⎪⎩
k i=1 γii = β0
γi + piγii = βi eli
γij = βij
1≤i

LUKU 1. REGRESSIO 30
missä
Y = λ2(2Ik + Jk) − λ 2 −1 1Jk ,
edellyttäen tietysti, että ko. käänteismatriisi on olemassa. Käyttäen tunnettua muotoa Ik + cJk
olevan matriisin kääntökaavaa9 todetaankin, että
Y = 1
λ
Ik +
2λ2
2 1 − λ2
(k +2)λ2− kλ2
Jk .
1
Lasketaan sitten ennusteen ˆy varianssi. Datavektori x ′ täydennetään muiden kuin ensimmäisen
kertaluvun faktorien osalta, jolloin saadaan vektori
⎛
1
⎜
z = ⎜ d
⎝
′
⎞
⎟
⎠ ,
missä z1:ssä ovat d ′ :n komponenttien neliöt ja z2:ssa niiden sekatulot. Tutkittava varianssi on
V (ˆy) =σ 2 z T (X T X) −1 z. Nyt helppo lohkokertolasku osoittaa, että
N
σ2 V (ˆy) =1+λ211 T k Y1k − 2λ1z T 1 Y1k + 1
z1
z2
(d
λ1
′ ) T d ′ + z T 1 Yz1 + 1
λ2
Selvästi Y1k muotoa c1k jollekin vakiolle c ja zT 1 Y1k = cd ′ 2 .Toisaalta
z T 2 z2 =
joten sopivalle vakiolle d
z T 1 Yz1 + 1
z T 2 z2 = z T 1
λ2
(x
1≤i

LUKU 1. REGRESSIO 31
1.9 Ortogonalisoituvia toisen kertaluvun malleja: 3 k -kokeet,
CCD-kokeet
3 k -kokeessa faktoreilla on kullakin kolme tasoyhdelmää datamatriisissa,
koodauksen jälkeen −1, 0 ja 1. Täydellisessä 3 k -kokeessa ovat mukana
kaikki 3 k eri tasoyhdelmää, kukin kerran. Ohessa on erään täydellisen 3 2 -
kokeen datamatriisin ensimmäisen kertaluvun osuus.
Myös osittaisia 3 k -kokeita voidaan konstruoida samaan tapaan kuin
osittaisia 2 k -kokeita, mutta tämä on huomattavasti hankalampaa (ks.
MONTGOMERY tai JOHN).
3 k -kokeella voidaan sovittaa täydellinen toisen kertaluvun malli ja se
voidaan lisäksi ortogonalisoida. Kiertosymmetristä koetta näin ei kuitenkaan
saada. Lisäämällä yo. datamatriisiin toisen kertaluvun osuus saadaan
datamatriisi
⎛
⎜
⎝
1 −1 −1 1 1 1
1 −1 0 1 0 0
1 −1 1 1 1 −1
1 0 −1 0 1 0
1 0 0 0 0 0
1 0 1 0 1 0
1 1 −1 1 1 −1
1 1 0 1 0 0
1 1 1 1 1 1
⎞
⎟ .
⎟
⎠
Standardoinnin jälkeen datamatriisi on
⎛
1
⎜
⎝
− √ 1.5 − √ 1 −
1.5 1.5 1.5 1.5
√ 1
1.5
−
0 1.5 0 0
√ 1.5 √ 1 0
1.5
−
1.5 1.5 −1.5
√ 1
1
0
0
1.5
0
0
0
1.5
0
0
0
√ 1
1.5 0 1.5 0
√ 1.5 − √ 1
1.5 1.5 1.5 −1.5
√ 1
1.5 0 1.5 0 0
√ 1.5 √ 1.5 1.5 1.5
⎞
⎟
⎠
1.5
josta saadaan
1
9 XT X =
⎛
⎜
⎝
1 0 0 1 1 0
0 1 0 0 0 0
0 0 1 0 0 0
1 0 0 1.5 1 0
1 0 0 1 1.5 0
0 0 0 0 0 1
=merk. X,
⎞
⎟ .
⎟
⎠
⎛
⎜
⎝
1 −1 −1
1 −1 0
1 −1 1
1 0 −1
1 0 0
1 0 1
1 1 −1
1 1 0
1 1 1
Koe onnäin ollen ortogonalisoitavissa, mutta ei ainakaan Lauseen 1.5 avulla todettavissa kiertosymmetriseksi
(eikä siis itse asiassa ole kiertosymmetrinen, ks. edellisen sivun Huomautus).
CCD-kokeen 10 datamatriisi muodostetaan kolmesta osasta:
10 ”CCD”=”central composite design”
⎞
⎟
⎠

LUKU 1. REGRESSIO 32
1. Faktoriaaliosa koostuu 2 k -kokeesta, jonka faktoritasot koodataan ±1:ksi. Ensimmäisen
kertaluvun osuus faktoriaaliosasta on muotoa 1f F , missä F on f × k-matriisi.
2. Aksiaaliosa saadaan pisteistä, jotka ovat Rk :n akseleilla etäisyydellä α origosta. Ensimmäisen
kertaluvun osuus aksiaaliosasta on muotoa
1k αIk
.
1k −αIk
α on CCD-kokeen parametri.
3. Keskusosa koostuu n0 koetoistosta origossa. Ensimmäisen kertaluvun osuus keskusosasta
on muotoa 1n0 O .
Ilmeisesti N = f +2k + n0 ja ensimmäisen kertaluvun osuus datamatriisista on
⎛
⎞
⎜
⎝
1f
1k
F
αIk
1k −αIk
O
1n0
Esimerkki. Valitaan k =2, f =4, α = √ 2 ja n0 =1. Silloin datamatriisin ensimmäisen
kertaluvun osuus on
faktoriaaliosa
aksiaaliosa
⎧ ⎛
⎪⎨ ⎜
⎪⎩ ⎜
⎧ ⎜
⎪⎨ ⎜
⎪⎩ ⎜
⎝
1
1
1
1
1
−1
−1
1
1
−1
1
−1
1
keskusosa →
√ 1
2
0
0
√ 1 −
2
√ 1
2
0
0
− √ 2
⎞
⎟
⎠
1 0 0
Faktoriaaliosa valitaan siten, että se on keskitetty, ts.
F T 1f = 0k.
(Täydellisen tai osittaisen 2k-kokeen muodostavalle faktoriaaliosalle tämä toteutuu automaattisesti.)
Tällöin koko ensimmäisen kertaluvun data on keskitetty. Standardoitaessa sarakkeiden
yhteinen otosvarianssi on
s 2 = 1
N (f +2α2 ).
Standardoitu ensimmäisen kertaluvun datamatriisi on näin
⎛
⎞
⎜
⎝
1f
1
sF 1k
α
s Ik
1k − α
s Ik
1n0
Lasketaan mukaan toisen kertaluvun sarakkeet, jolloin saadaan varsinainen datamatriisi
⎛
⎞
1f
1
sF 1k
α
s Ik
1k − α
s Ik
O
⎟
⎠ .
⎟
⎠ .
1
s2 1f1T k
α2 s2 Ik
α2 s2 Ik
1
s 2 F ′
⎜
X = ⎜
⎝
O
O
1n0 O O O
⎟
⎠ ,

LUKU 1. REGRESSIO 33
missä F ′ on faktorien sekatuloista muodostuva osuus (f × g-matriisi). Jotta voitaisiin yleensä
ottaen päästä ortogonalisoituviin ja/tai kiertosymmetrisiin CCD-kokeisiin, pitää faktoriaaliosa
valita siten, että (aikaisemmin mainitun ehdon F T 1f = 0k lisäksi)
F T F = fIk , (F ′ ) T 1f = 0g , (F ′ ) T F ′ = fIg ja (F ′ ) T F = O.
(Jälleen täydellisen tai osittaisen 2 k -kokeen muodostavalle faktoriaaliosalle tämä on automaattista.)
Helppo lasku osoittaa, että tällöin
⎛
X T ⎜
X = ⎜
⎝
N 0 T k
0k
f
s2 1k +2α2 s2 1k
Koeonnyt ortogonalisoitavissa, jos
f
s2 1T k +2α2 s2 1T k 0T g
f
s2 Ik +2α2 s2 Ik O OT ⎛
⎜
= N ⎜
⎝
0g
1 0
O O
T k 1T k 0T 0k Ik O
g
OT 1k O fJk+2α4Ik s2 (f+2α2 ) OT ⎞
⎟
⎠
0g O O
.
f
s 2 (f +2α 2 ) =
O
fIg
s 2 (f+2α 2 )
fN
(f +2α2 =1 eli α =
) 2
f
s 4 Jk +2 α4
s 4 Ik O T
f
s 4 Ig
1
fN − f
2
ja kiertosymmetrinen, jos α = 4√ f. Sekä kiertosymmetrisen että ortogonalisoituvan kokeen
aikaansaamiseksi on näin ollen valittava
α = 4 f ja n0 =4− 2k +4 f
(olettaen, että f on neliö). Edellä olevan esimerkin CCD-koe on siis kiertosymmetrinen, mutta
ei ortogonalisoituva.
Keskusosan koetoistoja käyttäen voidaan testata mallin epäsopivuutta.
Huomautus. Monessa tapauksessa CCD-kokeen tapaiset ”paloista kootut” kokeet ovat osoittautuneet
hajontojensa puolesta paremmiksi kuin täydelliset tai muuten ”samantapaisista” tasoyhdelmistä
muodostetut kokeet. Tunnettuja ovat esimerkiksi DeBaunin kokeilut, joissa 3 3 -kokeita
verrattiin eräisiin osista koottuihin kokeisiin (ks. KHURI &CORNELL, alkuperäisviite on
DEBAUN, R.M.: Response Surface Designs for Three Factors at Three Levels. Technometrics
1 (–59), 1–8).
⎞
⎟
⎠

Luku 2
VASTEEN OPTIMOINTI
2.1 Yleistä
Vasteen optimoinnilla tarkoitetaan sellaisen faktorien tasoyhdelmän löytämistä, jolla vaste saa
maksimi- tai minimiarvon (ks. edellinen luku). Kyseessä on enemmän tai vähemmän lokaalinen
ääriarvo, sillä mallin käyttöalue on luonnollisesti rajoitettu, toisinaan hyvinkin pieni. Käyttöalue
saattaa myös rajoittaa niin voimakkaasti, että kyseessä onkin itse asiassa ehdollinen optimointitehtävä.
Vasteen optimointi liittyy likeisesti yleisiin optimointitehtäviin, ks. kurssi Matemaattinen
optimointiteoria 1.
2.2 Regressiomenetelmä
Vasteen optimointi voidaan suorittaa sovittamalla ensimmäisen ja toisen kertaluvun malleja
edellisessä luvussa esitetyllä tavalla. Menettely on seuraava:
Ivaihe: gradienttimenetelmä
1. Valitaan jokin lähtödata X0 = 1N0
taan ensimmäisen kertaluvun malli
D0
sekä suoritetaan vastaavat kokeet ja sovite-
y = x T β + ɛ.
Mukana voi olla koetoistoja mallin epäsopivuuden testaamiseksi.
2. Testataan (mahdollisten) koetoistojen avulla mallin epäsopivuus. Jos malli osoittautuu
epäsopivaksi, siirrytään suoraan II vaiheeseen.
3. Suoritetaan ANOVA. Jos malli ei osoittaudu merkitseväksi, siirrytään suoraan II vaiheeseen.
4. Muussa tapauksessa käytetään estimoituja parametrejä b seuraavalla tavalla. Etsitään
suunta, johon vaste mallin mukaan kasvaa nopeimmin (maksimointi) tai vähenee nopeimmin
(minimointi), ns. viettosuunta. Tämä suunta on luonnollisesti gradientin
⎛ ⎞
grad(x T ⎜
b)= ⎜
⎝
34
b1
b2
.
bk
⎟
⎠

LUKU 2. VASTEEN OPTIMOINTI 35
suunta tai sille vastakkainen suunta, merkitään suuntaa n:llä (yksikkövektori). Etsitään
datan keskipiste
1
D
N0
T 0 1N0 =merk. x0.
5. Valitaan jokin askelpituus ∆0 ja kokeita suorittamalla etsitään vasteet pisteissä
x0 +∆0n , x0 +2∆0n ,...,
kunnes vaste ei enää merkittävästi kasva (maksimointi) tai vähene (minimointi). Olkoon
tällainen piste
x0 + i∆0n =merk. x1.
6. Valitaan uusi datamatriisi X1 =
1
1N1 D1 siten, että N1 DT1 1N1 = x1, jatoistetaan
kohtien 1.–5. menettely.
7. Tällä tavalla jatkaen joko
(a) tullaan ”ulos” kohdista 2. tai 3. tai
(b) tullaan käyttöalueen reunalle tai
(c) vaste ei enää olennaisesti kasva (maksimointi) tai vähene (minimointi).
(a):sta ja (c):stä siirrytään II vaiheeseen. (b):ssä joudutaan tyytymään löytyneisiin vasteisiin.
II vaihe: ääriarvotarkastelu
1. Valitaan sellainen datamatriisi X = 1N D ,että 1
N DT 1N = xj, missä xj on I vaiheessa
viimeksi saatu datan keskipiste. Usein voidaan käyttää I vaiheen dataa joko sellaisenaan
tai täydentäen.
2. Sovitetaan täydellinen toisen kertaluvun malli
y = x T β + d T Bd + ɛ.
3. Testataan (mahdollisten) koetoistojen avulla mallin epäsopivuus. Jos malli osoittautuu
epäsopivaksi, joudutaan tyytymään löytyneisiin vasteen arvoihin.
4. Suoritetaan ANOVA. Jos malli ei osoittaudu merkitseväksi, joudutaan tyytymään löytyneisiin
vasteen arvoihin.
5. Muussa tapauksessa käytetään estimoitua mallia
ääriarvojen etsintään.
6. Muodostetaan
ja merkitään se = 0k:ksi.
y = x T b + d T Ed
grad(x T b + d T Ed) =
⎛
⎜
⎝
b1
b2
.
bk
⎞
⎟
⎠ +2Ed

LUKU 2. VASTEEN OPTIMOINTI 36
7. Jos E on singuläärinen, siirrytään III vaiheeseen.
8. Muussa tapauksessa etsitään kriittinen piste
⎛
− 1
2 E−1
b1
⎜
⎝ .
b2
bk
⎞
⎟
⎠ =merk. ξ.
9. Etsitään E:n ominaisarvot λ1,...,λk. Koska E on symmetrinen matriisi, sen ominaisarvotovatreaaliset.
9.1 Jos λ1,...,λk > 0, E on positiividefiniitti ja ξ on minimipiste, jossa saavutetaan
minimaalinen vaste.
9.2 Jos λ1,...,λk < 0, E on negatiividefiniitti ja ξ on maksimipiste, jossa saavutetaan
maksimaalinen vaste.
9.3 Jos jokin λi on > 0 ja jokin toinen λj on < 0, ξ on satulapiste. Tällöin siirrytään III
vaiheeseen.
Ohessa on Maplen piirtämänä tyypilliset esimerkit tapauksista 9.2 ja 9.3, kun k =2. Mukana
on myös tasa-arvokäyrästöt. Ensin 9.2:
4
3
2
1
0
–1
–0.5
x2
0
0.5
1
1
–1
–0.5
0
x1
0.5
0.8
0.6
x2
0.4
0.2
–1–0.8 –0.4 0.2 0.4 0.6 0.8 1
–0.2 x1
–0.4
–0.6
–0.8
1
–1

LUKU 2. VASTEEN OPTIMOINTI 37
ja sitten 9.3:
1
0
–1
–2
–3
–1
–0.5
x2
00.5
1
1
–1
–0.5
0
0.5
x1
0.6
x2
0.4
0.2
–1–0.8 –0.4 0.2 0.4 0.6 0.8 1
–0.2 x1
Useampiulotteisissa avaruuksissa satulapisteitä on useammanlaisia. Itse asiassa todellinen
vaste voi hyvinkin olla niin mutkikas, ettei sitä voida kovin tarkasti kuvata toisen kertaluvun
mallilla. Lokaalisia maksimi/minimipisteitäkin voi olla useampia. Satulapiste saattaa tällöin hyvinkin
olla merkki siitä, että lokaalisia ääriarvopisteitä on todella useita.
III vaihe: kanonisointi
1. Tähän vaiheeseen tultaessa on saatu toisen kertaluvun estimoitu malli y = x T b + d T Ed,
missä E on singuläärinen tai/ja sillä on sekä negatiivisia että positiivisia ominaisarvoja.
Esimerkkeinä tapauksista, joissa E on singuläärinen, ovat Maplen piirtämät kaksi estimoitua
vastepintaa tasa-arvokäyrästöineen: ”harju” ja ”nouseva harju” (kuvat seuraavalla
sivulla).
2. Etsitään (vaikkapa Matlabin [Q,L]=schur(E)-komennolla) E:n Schurin hajotelma:
E = QΛQ T ,
missä Q on ortogonaalimatriisi ja Λ = ⌈(λ1,...,λk) T ⌋. Huomaa, että Q:n sarakkeet
q1,...,qk ovat (järjestyksessä) ominaisarvoihin λ1,...,λk liittyviä ominaisvektoreita.
3. Kirjoitetaan estimoitu malli muotoon
Merkitään
y = x T
1 0 T k
0k Q T
1 0 T k
0k Q
x = u ,
1 0 T k
0k Q T
1 0 T k
0k Q T
0.8
–0.4
–0.6
–0.8
1
–1
b + d T QΛQ T d.
b = g ja Q T d = e,

LUKU 2. VASTEEN OPTIMOINTI 38
4
3.5
3
–1
–0.6
–0.2
x2
0
4.5
4
3.5
3
0.4
0.8
1
2.5
–1
–0.5
x2
0
0.5
1
–1
–0.6
–0.2
0
x1
0.4
0.8
1
1
–1
–0.5
0
x1
0.5
jolloin malli on ns. kanonista muotoa
y = u T g + e T Λe eli y = g0 +
0.8
0.6
x2
0.4
0.2
–0.8 –0.4 0.2 0.4 0.6 0.8
–0.2 x1
–0.4
–0.6
–0.8
1
–1
0.8
0.6
x2
0.4
0.2
–1–0.8 –0.4 0.2 0.4 0.6 0.8 1
–0.2 x1
k
i=1
–0.4
–0.6
–0.8
1
–1
(giui + λiu 2 i ).

LUKU 2. VASTEEN OPTIMOINTI 39
4. Lasketaan
tai
ja merkitään
u ′ = Q T xj (ks. II vaiheen kohta 1.)
u ′ = Q T ξ (ks. II vaiheen kohdat 8. ja 9.3)
u ′ =
⎛
⎜
⎝
5. Maksimoitaessa etsitään sellainen indeksi i, että giui+λiu 2 i kasvaa nopeimmin lähdettäessä
pisteestä ui = u ′ i jompaankumpaan suuntaan. (Yleensä kyseessä on suurin positiivinen
λi.) Ko. suunta vastaa e-vektoria
⎛
⎜
⎝
0.
0
±1
0.
0
⎞
u ′ 1
.
u ′ k
⎞
⎟
⎠ .
⎟
⎟←
i:s komponentti
⎟
⎠
eli d-vektoria ±qi. Ellei kyseistä indeksiä löydy (kuten käy esimerkiksi eo. ”harjulle”),
joudutaan tyytymään saatuihin vasteen arvoihin.
6. Minimoitaessa etsitään vastaavasti indeksi i, jolle giui + λiu 2 i vähenee nopeimmin lähdettäessä
u ′ i:sta jompaankumpaan suuntaan.
7. Optimaalisen tasoyhdelmän etsintää jatketaan siirtymällä xj:stä tai ξ:stä (ks. kohta 4.)
edellisissä kohdissa mainittuihin suuntiin jonkin matkaa (jotta ”päästään pois tasaiselta”)
ja sitten palataan I vaiheeseen.
Kaiken kaikkiaan etsintää jatketaan, kunnes saadut maksimi/minimiarvot eivät enää oleellisesti
parane tai se joudutaan lopettamaan.
Huomautus. Erityisen edullista on käyttää I vaiheessa kiertosymmetrisiä kokeita, joille ennusteen
varianssi on suunnasta riippumaton.
2.3 Nelder–Mead-algoritmi
Eräät optimointialgoritmit sopivat vasteen optimointiin myös ilman varsinaista regressiomallin
sovitusta. Hyvin käyttökelpoinen tällainen algoritmi on ns. Nelder–Mead-algoritmi, ks. KHURI
&CORNELL tai kurssi Matemaattinen optimointiteoria 1. Matlabin operaatio fmins käyttää
Nelder–Mead-algoritmia.

Luku 3
KVALITATIIVISET FAKTORIT
3.1 Yksisuuntainen ANOVA
Kvalitatiivisen faktorin tasot eivät (välttämättä) vastaa minkään suureen numeerisia arvoja. Tasojen
vaikutus vasteeseen sen sijaan on numeerista. Tasoja kutsutaan käsittelyiksi.
Tarkastellaan ensin yhden faktorin tapausta, ns. yksisuuntaista ANOVAa. Merkitään1 kyseisen
yhden faktorin (kvalitatiivisia) tasoja numeroin 1,...,a.Kullekin tasolle i suoritetaan ni
koetta. Malli on
yij = τi + ɛij (i =1,...,a; j =1,...,ni),
missä
yij = vaste i:nnen tason j:nnessä kokeessa,
ɛij = virhe i:nnen tason j:nnessä kokeessa,
τi = i:nnen tason vaikutus vasteeseen.
Virheet ɛij ovat riippumattomia N(0,σ 2 )-jakautuneita satunnaismuuttujia. τi:t ja σ 2 ovat tuntemattomia.
sekä
Merkitään
⎛
τ =
⎜
⎝
τ1
.
τa
⎞
⎛
⎟ ⎜
⎠ , yi = ⎝
yi1
.
yini
⎞
⎛
⎟ ⎜
⎠ , y = ⎝
y1
.
ya
⎞
⎛
⎟ ⎜
⎠ , ɛi = ⎝
ɛi1
.
ɛini
⎞
⎛
⎟ ⎜
⎠ , ɛ = ⎝
yi• = y T i 1ni , yi• = 1
yi•
ni
, y•• = y T 1N , y•• = 1
N y••,
missä N = n1 + ···+ na. Merkitään edelleen
⎛
⎞ ⎛
⎞
Mres =
⎜
⎝
Mn1
...
O
O Mna
⎟ ⎜
⎠ ja T = ⎝
(ks. keskitysmatriisi sivulla 11 ja vrt. T sivulla 13) sekä
⎛ ⎞
n =
⎜
⎝
1n1
...
O
O 1na
1 Tämä on erityisen hyvä merkintä, jos kyseessä on intervalliasteikko, jossa numerot antavat järjestyksen ja
hyvässä tapauksessa myös jonkinlaisen skaalan. Mutta tässä ei oleteta numeroille muuta kuin merkinnällinen rooli.
40
n1
.
na
⎟
⎠ .
ɛ1
.
ɛa
⎟
⎠
⎞
⎟
⎠ ,

LUKU 3. KVALITATIIVISET FAKTORIT 41
(Huomaa, että Mres ja T ovat helposti koottavissa Matlabin operaatioilla.) Keskitysmatriisin
ominaisuudet ”periytyvät” Mres:lle , ts. se on symmetrinen ja idempotentti. Seuraavat tulokset
ovat lisäksi todettavissa helpolla laskulla:
(i) MNMres = Mres
(ii) T T T = ⌈n⌋
(iii) T T 1N = n
(iv) ⌈n⌋ −1 n = 1a
(v) MresT = O
(vi) Mres1N = 0N
(vii) T1a = 1N
⎛
(viii) T T y =
⎜
⎝
(ix) ⌈n⌋ −1 y• =
y1•
.
ya•
⎛
⎜
⎝
⎞
⎟
⎠ =merk. y•
y 1•
.
ya• ⎞
⎟
⎠ =merk. y •
Malli on nyt vektorimuodossa
y = Tτ + ɛ.
Ilmeinen τi:n estimaatti on yi•, joka ”vastaa” regression b0 + b1x1:tä. Silloin residuaali on
ja residuaalin neliösumma on
r = Mresy
SSE = r T r = y T Mresy =
Kokonaisneliösumma puolestaan on
SST = y T MNy =
a ni
y 2 ij −
i=1
j=1
a
i=1
a ni
y 2 ij − Ny 2 ••
i=1
j=1
ja näiden neliösummien erotus on käsittelyjen neliösumma
SSTR = SST − SSE = y T Mtry =
niy 2 i•.
a
niy 2 i• − Ny 2 ••,
missä Mtr = MN − Mres.Vastaavat vapausasteet ja keskineliöt saadaan alla olevasta taulusta.
i=1
SSX vapausasteet MSX
SST
SSTR
SSE
N − 1
a − 1
N − a
MST = SST
N − 1
MSTR = SSTR
a − 1
MSE = SSE
N − a
(kokonaiskeskineliö)
(käsittelyjen keskineliö)
(residuaalin keskineliö)
Näistä MSE on harhaton σ 2 :n estimaatti, sillä 1
ni−1 yT i Mni yi on i:nnen tason vasteiden otosvarianssi
ja sen odotusarvo on σ 2 , jolloin
E(y T Mresy) =
a
E(y T i Mniyi) =
i=1
a
(ni − 1)σ 2 =(n− a)σ 2 .
i=1

LUKU 3. KVALITATIIVISET FAKTORIT 42
Lause 3.1. Jos τ on muotoa µ1a, missä µ on vakio, niin osamäärällä
MSTR
MSE =merk. F
on F-jakauma vapausastein a − 1 ja N − a (olettaen tietysti, että N>a).
Todistus. (Tässä taas tarvitaan kurssin Laaja tilastomatematiikka tietoja.) Ilmeisesti
Mresy = Mres(Tτ + ɛ) =Mresɛ.
Toisaalta Mres on symmetrinen ja idempotentti matriisi. Koska ɛ:lla on N(0N,σ 2 IN)-jakautuma,
on
tällöin χ 2 -jakautunut
trace(Mres) =
1 1
SSE =
σ2 σ2 ɛT Mresɛ
a
trace(Mni )=
vapausasteella. Edelleen, jos (kuten oletetaan) τ = µ1a, niin
i=1
a
(ni − 1) = N − a
i=1
Mtry = Mtr(Tτ + ɛ) =Mtrɛ.
Koska myös Mtr on sekin symmetrinen ja idempotentti matriisi (totea!), on
tällöin χ 2 -jakautunut vapausastein
1 1
SSTR =
σ2 σ2 ɛT Mtrɛ
trace(Mtr) =trace(MN) − trace(Mres) =a − 1.
Vielä MtrMres = ON, joten SSE ja SSTR ovat riippumattomat.
Lauseen avulla testata mallin käyttökelpoisuutta asettamalla hypoteesi
H0 : τ1 = ···= τa
(vastahypoteesi on H1 : ”kaikki τi:t eivät ole samoja”). Hypoteesin testaus sujuu kuten edellä.
Mikäli H0 on tosi, malli voitaisiin yhtä hyvin korvata vakiolla + kohinalla!
Selitysaste R 2 , yhteiskorrelaatiokerroin R sekä korjattu determinaatiokerroin määritellään
kuten aikaisemmin.
Huomautus. Asiaa voitaisiin muutenkin käsitellä samaan tapaan kuin aikaisemmin tehtiin
regressiomallille. Käsittelyt koodataan käyttäen faktoreita, joilla on kaksi tasoa, 0 ja 1, ns. dikotomiafaktoreita.
(Muitakin koodaustapoja käytetään.) Esimerkiksi, jos a =3, tarvitaan kolme
dikotomiafaktoria ja käsittelyt koodataan yhdelmiksi (1, 0, 0), (0, 1, 0) ja (0, 0, 1). Datamatriisi
(koetoistoineen) on T ja vastaava vastevektori on y. Tämä datamatriisi ei ole muodoltaan aivan
samanlainen kuin Luvussa 1, mutta sitä voidaan käsitellä samaan tapaan. (Ks. esimerkiksi
SEARLE.)

LUKU 3. KVALITATIIVISET FAKTORIT 43
Kokeen sanotaan olevan tasapainoinen, jos n1 = ··· = na = n (ja N = na), muuten
epätasapainoinen. Yleensä pyritään tasapainoisiin kokeisiin.
Ajetaan alla olevan tasapainoisen kokeen data Systatilla. Huomaa, miten käsittelyt pitää
Systatia varten kategorisoida, ts. ilmoittaa ne kokonaislukuina 1,...,a. Tässä a =5, n =5ja
N =25.Vasteen arvot on saatu kahden numeron tarkkuudella ja nekin on ilmoitettu kokonaislukuina.
x 11 1 1 1 2 2 2 2 2 3 3 3 3 3 4 4 4 4 4 5 5 5 5 5
y 7715119121712181814181819191925221923710111511
Käskyt
>USE ’kuitu.sys’
VARIABLES IN SYSTAT FILE ARE:
X Y
>category x=5
>model y=constant+x
>estimate
antavat tulostuksen
DEP VAR: Y N: 25 MULTIPLE R: .864 SQUARED MULTIPLE R: .747
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
X 475.760 4 118.940 14.757 0.000
ERROR 161.200 20 8.060
Komento print long antaa lisää tulostusta:
DEP VAR: Y N: 25 MULTIPLE R: .864 SQUARED MULTIPLE R: .747
-1
ESTIMATES OF EFFECTS B = (X’X) X’Y)
CONSTANT 15.040
X 1 -5.240
Y
X 2 0.360
X 3 2.560
X 4 6.560
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
X 475.760 4 118.940 14.757 0.000
ERROR 161.200 20 8.060
Huomautus. Jos ”unohdetaan” oletus, että ɛij:t ovat riippumattomia N(0,σ 2 )-jakautuneita
satunnaismuuttujia, voidaan eo. F-testille antaa ns. satunnaistustulkinta. Sovitulle kiinteälle kokeiden
suoritusjärjestykselle saatujen vasteiden yij järjestys on yksi N!:sta mahdollisesta järjestyksestä.
Jollei käsittelyjen vaikutuksilla vasteeseen ole mitään eroja (H0), nämä järjestykset

LUKU 3. KVALITATIIVISET FAKTORIT 44
ovat yhtä todennäköisiä. Toisaalta neliösummia ajatellen koetoistojen järjestyksellä käsittely-
N!
jen sisällä ei ole merkitystä. Neliösummia on näin ollen (enintään) kappaletta ja, ellei
n1!···na!
käsittelyillä ole vasteeseen vaikutusta (H0), nämä ovat yhtä todennäköisiä. Voidaan osoittaa,
että H0:n vallitessa eo. testisuureella F on likimain F-jakauma vapausastein a − 1 ja N − a.
Jos vastahypoteesi H1 on tosi, on järjestyksellä vaikutusta ja F saa suuren arvon. Jotta tällainen
jakaumaoletuksiltaan miellyttävän varovainen tulkinta saataisiin käyttöön, on kokeiden
fysikaalinen suoritusjärjestys huolellisesti satunnaistettava, jottei se pääse vaikuttamaan systemaattisesti
vasteisiin. Ks. BOX &HUNTER &HUNTER.
3.1.1 Parametrien estimointi
Mallin
y = Tτ + ɛ
parametrien τ ja σ 2 estimaateiksi todettiin edellä y • ja MSE.Parametrien τ estimaatti saadaan
myös käyttäen pienimmän neliösumman keinoa, samaan tapaan kuin tehtiin regressiomallin
yhteydessä. Minimoitava neliösumma on
Merkitään gradientti nollaksi:
eli
Estimaatti
saadaan näin normaaliryhmästä
y − Tτ 2 =(y − Tτ ) T (y − Tτ ).
−2T T (y − Tτ )=0a
⌈n⌋τ = T T y.
t =
⎛
⎜
⎝
t1
.
ta
⎞
⎟
⎠
⌈n⌋t = y•.
ja t = ⌈n⌋ −1 y• = y •.
Edellä olevassa Systat-ajossa pitkä tulostus antaa myös parametriestimaatin, mutta käytetystä
koodauksesta johtuen se ei olekaan t, vaan Mat (eli esimerkissä t − y ••1a, viimeinen
komponentti ei tulostu, vakio on 1 T a t/a).
Lasketaan vielä estimaatin t varianssimatriisi. Ensinnäkin
t = ⌈n⌋ −1 y• = ⌈n⌋ −1 T T y = ⌈n⌋ −1 T T (Tτ + ɛ) =τ + ⌈n⌋ −1 T T ɛ.
Kysytty varianssimatriisi on siis
V (t) =σ 2 ⌈n⌋ −1 T T T⌈n⌋ −1 = σ 2 ⌈n⌋ −1 .
Tasoestimaatit t1,...,ta ovat näin ollen riippumattomat.
Parametrien estimointia tärkeämpää on kuitenkin niitä koskevien hypoteesien testaus.

LUKU 3. KVALITATIIVISET FAKTORIT 45
3.1.2 Hypoteesien testaus. Kontrastit
Kuten edellä, voidaan ANOVAa käyttäen testata myös yleisiä lineaarisia hypoteeseja
H0 : Cτ = d.
Matriisi C on q × a-matriisi, jonka rivirangi on täysi, ts. sen rivit ovat lineaarisesti riippumattomat.
Vastahypoteesi on H1 : Cτ = d.Hypoteesin testauksen perustulos on
Lause 3.2. Jos H0 on tosi, niin suureella
(Ct − d) T (C⌈n⌋ −1 C T ) −1 (Ct − d)(N − a)
qSSE
on F-jakauma vapausastein q ja N − a (olettaen jälleen, että N>a).
Todistus. (Jälleen tarvitaan kurssin Laaja tilastomatematiikka tietoja.) Matriisi C⌈n⌋ −1 C T on
ilmeisesti ei-singuläärinen. Koska
MresT⌈n⌋ −1 = O,
niin r ja t ovat riippumattomia. Näin ollen myös SSE = r T r ja (Ct−d) T (C⌈n⌋ −1 C T ) −1 (Ct−
d) ovat riippumattomat.
Kuten Lauseen 3.1 todistuksessa todettiin, 1
σ 2 SSE on χ 2 -jakautunut N − a vapausasteella.
Samalla tavalla kuin Lauseen 1.1 todistuksessa näytetään nyt, että (Ct − d) T (C⌈n⌋ −1 C T ) −1
(Ct − d) on χ 2 -jakautunut q vapausasteella.
Hypoteesin H0 testaaminen sujuu lauseen avulla tavalliseen tapaan. Jos q = 1,voidaan Ftesti
korvata t-testillä, joka voi olla toispuolinenkin. Hypoteesi on tällöin muotoa c T τ = d ja
t-testisuure (N − a vapausasteella) on
c T t − d
c T ⌈n⌋ −1 c √ MSE .
Jos C1a = 0a, sanotaan matriisia C kontrastimatriisiksi ja vastaavaa testisuuretta Ct − d
kontrastiksi. Jos siis q =1ja kyseessä on kontrasti, on H0 muotoa cT τ = d, missä cT 1a =0,
ja kontrasti on cT t − d. Huomaa, että mallin käyttökelpoisuutta testaava hypoteesi H0 : τ1 =
···= τa on ilmaistavissa esimerkiksi kontrastia C0t käyttäen, missä
⎛
⎞
1 −1 0 ··· 0 0
⎜ 0 1 −1 ··· 0 0 ⎟
C0 = ⎜
⎝
...
⎟
. . . . . ⎠
0 0 0 ··· 1 −1
.
Samoin kontrastilla voidaan esittää hypoteesi H0 : τi = 1 T a τ /a, joka ilmoittaa τi:n vaikutuksen
olevan keskitasoinen 2 . (Tämä testi voidaan tehdä yo. t-testisuureella myös toispuoleisena.)
Kontrasteja käyttävässä testauksessa on yleensä d = 0q. Tällöin Lauseen 3.2 lausekkeen
osoittajassa oleva neliösumma on
t T C T (C⌈n⌋ −1 C T ) −1 Ct =merk. SSC,
2 T Tämä ei ole sama kuin keskivaste n τ /N (”grand mean”), ellei n1 = ···= na. Hypoteesi H0 : τi = nT τ /N
voidaan muuten myös esittää kontrastilla.

LUKU 3. KVALITATIIVISET FAKTORIT 46
ns. kontrastin neliösumma. Yhden kontrastin c T t = c1t1 + ···+ cata tapauksessa se on
SSC = (cT t) 2
cT ⌈n⌋−1c = (c1t1 + ···+ cata) 2
1
n1 c21 + ···+ 1
na c2 .
a
Kahden kontrastin Ct − d ja C ′ t − d ′ sanotaan olevan ortogonaaliset, jos C⌈n⌋ −1 (C ′ ) T = O.
Toisaalta, jos C⌈n⌋ −1 (C ′ ) T = O, niin Ct − d ja C ′ t − d ′ ovat riippumattomat (ja samoin ovat
vastaavat kontrastien neliösummat). Testien sanotaan tällöin olevan riippumattomat.
Jos Ct ja C ′ t ovat kaksi ortogonaalista kontrastia ja SSC sekä SSC ′ ovat vastaavat neliö-
summat, niin
C
C ′
t T C T (C ′ ) T C
C ′
t on myös kontrasti ja sen neliösumma on
⌈n⌋ −1 CT (C ′ ) T −1
C
C ′
= t T C T (C ′ ) T C⌈n⌋ −1 C T O
O T C ′ ⌈n⌋ −1 (C ′ ) T
t
−1 C
C ′
t = SSC + SSC ′ .
Vastaavat tulokset pätevät useammallekin kuin kahdelle keskenään ortogonaaliselle kontrastille.
Yleisesti ottaen eri hypoteesien testit ovat kuitenkin riippuvia ja merkitsevyystasojen
määräämisessä kannattaa varmuuden vuoksi käyttää esimerkiksi Bonferronin sääntöä.
Testataan Systatilla edellä olevan datan avulla asetettu hypoteesi. Käskyt
>hypothesis
>effect x
>contrast
>0 1 -1 0 0
>test
antavat tulostuksen
TEST FOR EFFECT CALLED:
A MATRIX
TEST OF HYPOTHESIS
X
1 2 3 4 5
0.000 0.000 1.000 -1.000 0.000
SOURCE SS DF MS F P
HYPOTHESIS 12.100 1 12.100 1.501 0.235
ERROR 161.200 20 8.060
joka testaa hypoteesin H0 : τ2 = τ3 (H0:aa ei ilmeisestikään kannata hylätä). (A-matriisi ei
tässä itse asiassa ole C, vaan Systatin koodauksen kautta muodostettava kerroinmatriisi, joka
vastaa regressiomallin lineaarisen hypoteesin kerroinmatriisia A eikä yleensä ole = C.)
Huomautus. Hypoteesi H0 (tai käytettävä kontrasti) määräytyy luonnollisesti käytännössä kiinnostavista
vertailuista. Se on aina valittava ennen kokeiden suoritusta, ts. koetulosten tai estimoitujen
tasojen ei saisi antaa vaikuttaa hypoteesiin. Tasoestimaatteja katselemalla kun löytyy
kutakuinkin aina joitakin ”toteutuvia ja kiinnostavia” hypoteesejä, paitsi aritmeettisista, myös
tilastollisista syistä.

LUKU 3. KVALITATIIVISET FAKTORIT 47
3.1.3 Yhdistettyjä testejä
Edellä esitetty yleisen lineaarisen hypoteesin testaus sallii monen yksittäisen muotoa H0 :
c T τ = d olevan hypoteesin testaamisen yhdessä. Tällaisia yhdistettyjä testejä on paljon muitakin.
S-testi eli Scheffén menetelmä
S-testi testaa tietyssä mielessä yhtaikaa kaikkia muotoa H0 : c T τ = d olevia hypoteesejä.
Merkitään tällaiseen testiin liittyen
ccontr = c T ⌈n⌋ −1 c
(ns. c:n kontrastinormi).
S-testin toimivuuden todistamiseksi tarvitaan (a − 1) × a-kontrastimatriisi C, joka on ortogonaalinen
3 ,ts. sen rivit ovat keskenään ortogonaaliset ja kontrastinormeiltaan =1eli
C⌈n⌋ −1 C T = Ia−1.
Huomaa, ettei kontrastimatriisissa voi olla enempää kuin a − 1 riviä, koska näiden on oltava
kohtisuorassa vektoria 1a vastaan. Ilmeisesti jokainen g T Ct, missä g = 0a−1, onkontrasti
(sillä g T C1a =0). Toisaalta 1a C T on ei-singuläärinen matriisi, joten yhtälöryhmällä
on ratkaisu ja edelleen
1a C T h
g
= c eli h1a + C T g = c
0=1 T a c = ah + 1 T a C T g = ah
Siis jokainen kontrasti c T t on lausuttavissa muodossa g T Ct ja
c 2 contr = C T g 2 contr = g T C⌈n⌋ −1 C T g = g T g.
Merkitään Fα,a−1,N−a:lla sellaista lukua, että vapausastein a − 1 ja N − a F-jakautuneelle satunnaismuuttujalle
F tapauksen F>Fα,a−1,N−a todennäköisyys on α.
3 Tällainen kontrastimatriisi saadaan esimerkiksi seuraavasti. Otetaan jokin ei-singuläärinen a × a-matriisi
A, jonka ensimmäinen sarake on n, korvataan esimerkiksi Ia:n ensimmäinen sarake n:llä. Etsitään matriisin
⌈n⌋ −1/2 A QR-hajotelma (⌈n⌋ −1/2 on lävistäjämatriisi, jonka lävistäjällä ovat n:n alkioiden inverssien neliöjuuret):
⌈n⌋ −1/2 A = QR.
Silloin AR −1 = ⌈n⌋ 1/2 Q ja
(AR −1 ) T ⌈n⌋ −1 AR −1 = Q T ⌈n⌋ 1/2 ⌈n⌋ −1 ⌈n⌋ 1/2 Q = Q T Q = Ia.
Koska R on yläkolmiomatriisi, AR −1 :n ensimmäinen sarake on muotoa cn, missä c on vakio. Kirjoitetaan
(AR −1 ) T
T cn
= .
C
Silloin
Ia =
cn T
Siispä näin saatu C on haluttua tyyppiä (ja c = ±1/ √ N).
C
⌈n⌋ −1 cn CT
2 T c N c1a C
=
T
cC1a C⌈n⌋−1CT
.

LUKU 3. KVALITATIIVISET FAKTORIT 48
Lause 3.3 (Scheffén lause). Tapauksen
”Kaikille kontrasteille c T t pätee
todennäköisyys on 1 − α.
Todistus. Cauchy-Schwarzin epäyhtälön nojalla
(c T (t − τ )) 2
(a − 1)c 2 contrMSE
≤ Fα,a−1,N−a.”
(c T (t − τ )) 2 =(g T C(t − τ )) 2 ≤ (g T g)((t − τ ) T C T C(t − τ ))
ja yhtäläisyys on voimassa, kun g ja C(t − τ ) ovat yhdensuuntaiset. Lauseessa mainittu tapaus
on näin ollen sama kuin tapaus
(t − τ ) T C T C(t − τ )
(a − 1)MSE
≤ Fα,a−1,N−a
eli tapaus
(Ct − Cτ ) T (C⌈n⌋C) −1 (Ct − Cτ )(N − a)
≤ Fα,a−1,N−a,
(a − 1)SSE
jonka todennäköisyys Lauseen 3.2 (ja sen todistuksen) nojalla on 1 − α. Huomaa, että puhuttaessa
kaikista kontrasteista mukana on aina myös kontrasti (C(t − τ )) T Ct, jolle yo. epäyhtälö
toteutuu yhtälönä! Tämä kontrastimatriisi on tosin satunnainen ja vaihtuu kokeesta toiseen,
mutta kyseessä on kontrasti.
Jos nyt asetetaan hypoteesi H0 : c T τ = d ja havaitaan, että
(c T t − d) 2
(a − 1)c 2 contrMSE >Fα,a−1,N−a,
on H0 hylättävä merkitsevyystasolla α. Koska Scheffén lauseessa mainittu tapaus käsittelee
kaikkia mahdollisia kontrasteja, voi S-testillä testattavan kontrastin huoleti valita vaikkapa
kokeen jälkeen. (Lauseen todistuksessakin tarvittiin ”vasta kokeessa realisoituvaa” kontrastia
(C(t−τ )) T Ct.) Vastapainoksi S-testi on heikompi kuin varta vasten hypoteesille H0 : c T τ = d
suoritettu testi, ts. S-testi ei hylkää H0:aa aina silloin, kun hypoteesin ”oma” testi sen tekee
(poikkeuksena tapaus a =2).
LSD-menetelmä4 LSD-menetelmä testaa läpi kaikki a
hypoteesia
2
H (ij)
0 : τi = τj (i =1,...,a; j = i +1,...,a).
Tarkoituksena on löytää merkittävästi ”erilaisia” käsittelyjä. Menetelmää on syytä soveltaa vasta,
kun malli on todettu käyttökelpoiseksi. Koska LSD-menetelmässä testataan suuri määrä yksittäisiä
hypoteeseja, kasvaa riski, että joitakin niistä hylätään syyttä, varsin suureksi. LSD-menetelmän
todellinen merkitsevyys on näin ollen pulmallinen. Toisaalta on myös mahdollista,
ettei LSD-menetelmä löydä käsittelyjen välille mitään eroja, vaikka ANOVA toteaakin mallin
käyttökelpoiseksi. Kaiken kaikkiaan LSD-menetelmän tulosta (erilaisiksi todettuja käsittelyjä)
on pidettävä vain suuntaa antavana. Varsinainen käsittelyjen eroavaisuuden testaus edellyttää
lisäkokeiden suorittamista.
LSD-menetelmän tapaisia käsittelyjä keskenään vertaavia testejä tunnetaan useita, mm.
4 ”LSD”=”least significant difference”

LUKU 3. KVALITATIIVISET FAKTORIT 49
• Duncanin vaihteluvälitesti
• Newman–Keuls-testi
• Tukeyn testi
ja monia muita. Yleistestiksi suositellaan usein Duncanin vaihteluvälitestiä. Ks. MONTGOME-
RY.
Mainittakoon myös testit, joissa verrataan käsittelyjä tiettyyn kiinteään käsittelyyn, ns. kontrollikäsittelyyn.
Paitsi LSD-menetelmän tapaista testausta, löytyy tehokkaampiakin menetelmiä,
mm. ns. Dunnettin testi, ks. MONTGOMERY.
Systatista löytyvät ym. Duncanin vaihteluvälitesti, Newman–Keuls-testi sekä Tukeyn testi.
Eo. datan testaus näillä testeillä sujuu seuraavasti (yleensä tietysti yksikin testaustapa riittää).
Käskyillä
>USE ’kuitu.sys’
VARIABLES IN SYSTAT FILE ARE:
X Y
>by x
>statistics y/duncan=0.05
>statistics y/nk=0.01
>statistics y/tukey=0.05
saa ensin yleisstatistiikkaa ja sitten testituloksen
THE FOLLOWING RESULTS ARE FOR:
X = 1.000
TOTAL OBSERVATIONS: 5
N OF CASES 5
MEAN 9.800
STANDARD DEV 3.347
THE FOLLOWING RESULTS ARE FOR:
X = 2.000
TOTAL OBSERVATIONS: 5
Y
N OF CASES 5
MEAN 15.400
STANDARD DEV 3.130
THE FOLLOWING RESULTS ARE FOR:
X = 3.000
TOTAL OBSERVATIONS: 5
N OF CASES 5
MEAN 17.600
STANDARD DEV 2.074
THE FOLLOWING RESULTS ARE FOR:
X = 4.000
TOTAL OBSERVATIONS: 5
N OF CASES 5
MEAN 21.600
STANDARD DEV 2.608
Y
Y
Y

LUKU 3. KVALITATIIVISET FAKTORIT 50
THE FOLLOWING RESULTS ARE FOR:
X = 5.000
TOTAL OBSERVATIONS: 5
N OF CASES 5
MEAN 10.800
STANDARD DEV 2.864
Y
___________________________________________________________________________
SUMMARY STATISTICS FOR Y
BARTLETT TEST FOR HOMOGENEITY OF GROUP VARIANCES = 1.026
APPROXIMATE F = .232 DF = 4, 600 PROBABILITY = .920
ANALYSIS OF VARIANCE
SOURCE SUM OF SQUARES DF MEAN SQUARE F PROBABILITY
BETWEEN GROUPS 475.760 4 118.940 14.757 0.000
WITHIN GROUPS 161.200 20 8.060
DUNCAN MULTIPLE RANGE TESTS
ORDERED MEANS DIFFER AT ALPHA = .050 IF THEY EXCEED FOLLOWING GAPS
GAP ORDER DIFFERENCE
1 3.748
2 3.932
3 4.050
4 4.133
THIS TEST ASSUMES THE COUNTS PER GROUP ARE EQUAL
___________________________________________________________________________
NEWMAN-KEULS MULTIPLE COMPARISONS
ORDERED MEANS DIFFER AT ALPHA = .010 IF THEY EXCEED FOLLOWING GAPS
GAP ORDER DIFFERENCE
1 5.122
2 5.901
3 6.381
4 6.733
THIS TEST ASSUMES THE COUNTS PER GROUP ARE EQUAL
___________________________________________________________________________
TUKEY HSD TEST AT ALPHA = .050
CRITICAL RANGE FOR PAIRS OF MEANS = 5.374
THIS TEST ASSUMES THE COUNTS PER GROUP ARE EQUAL
Duncanin vaihteluvälitestissä sekä Newman–Keuls-testissä asetetaan t:n komponentit suuruusjärjestykseen
ja kahden käsittelyn ”GAP ORDER” eli järjestyserotus on näiden käsittelyjen järjestyslukujen
erotus (järjestyserotus 1 siis vastaa suuruusjärjestyksessä peräkkäisiä käsittelyjä,
jne.). Käsittelyt katsotaan erilaisiksi annetulla merkitsevyystasolla α, jos vastaavien t:n komponenttien
arvojen erotus on vähintään käsittelyjen järjestyserotuksen kohdalta löytyvä luku.
Tukeyn testissä taas kriittinen väli eli ”CRITICAL RANGE FOR PAIRS OF MEANS” on
pienin ero kahden t:n komponentin välillä, jonka annetulla merkitsevyystasolla katsotaan ilmaisevan
vastaavien käsittelyjen olevan vaikutukseltaan erilaisia.

LUKU 3. KVALITATIIVISET FAKTORIT 51
3.1.4 Mallin riittävyys
Mallia asetettaessa on tehty useita käytännön tilannetta ajatellen yksinkertaistavia oletuksia.
Koska ANOVA saattaa olla hyvinkin herkkä poikkeamille näistä oletuksista, testataan usein oletusten
voimassaoloa. Testauksessa käytetään residuaalia r. Jos malli on riittävä, ei residuaalissa
ole juurikaan muuta virhettä kuin N(0N,σ2IN)-jakautuneen satunnaismuuttujan ɛ aiheuttamaa
“kohinaa”. Ellei näin ole, on mahdollisia syitä useita.
Epänormaalisuus
Jos ɛ:n jakauma ei olekaan multinormaali, vaan jotakin muuta, ei ANOVAn tuloksiin ole paljoakaan
luottamista. Epänormaalisuuden toteamiseksi voidaan r:n komponenttien olettaa olevan
otos ja tutkia voiko tämän otoksen katsoa olevan peräisin N(0,σ2 )-jakautuneesta satunnaismuuttujasta,
esimerkiksi piirtämällä vastaava pylväsdiagrammi. Parempi menettely on järjestää
r:n komponentit suuruusjärjestykseen
r(1) ≤ r(2) ≤···≤r(N)
ja piirtää pisteet
r(j), Φ −1
j
(j =1,...,N),
N +1
ns. normaalitodennäköisyyskuvio. (Φ−1 on käänteinen standardinormaalikertymä.) Pisteet
j
r(j), (j =1,...,N)
N +1
nimittäin muodostavat otoskertymän, jonka pitäisi olla normaalikertymän näköinen. Näin pisteiden
r(j), Φ−1 ( j
N+1 ) (j =1,...,N) pitäisi olla kutakuinkin samalla suoralla. Usein käytetään
jotain korjattua otoskertymää, esimerkiksi
1 j − 3
r(j),
N + 1
(j =1,...,N),
3
ns. Tukeyn tasoitus (joka on Systatin oletustasoitus).
Ajetaan edellä esimerkkinä käsitelty data Systatilla tallettaen residuaalit (sekä ennusteet).
Käskyt ovat
>USE ’kuitu.sys’
VARIABLES IN SYSTAT FILE ARE:
X Y
>category x=5
>model y=constant+x
>save ressu
>estimate
ja saatu tulostus on
DEP VAR: Y N: 25 MULTIPLE R: .864 SQUARED MULTIPLE R: .747
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
X 475.760 4 118.940 14.757 0.000
ERROR 161.200 20 8.060
DURBIN-WATSON D STATISTIC 2.402
FIRST ORDER AUTOCORRELATION -.226
RESIDUALS HAVE BEEN SAVED

LUKU 3. KVALITATIIVISET FAKTORIT 52
Piirretään normaalitodennäköisyyskuvio. Kuva
saadaan käskyillä
E
X
P
E
C
T
E
D
V
A
L
U
E
3
2
1
0
-1
-2
-3
-5 0 5 10
RESIDUAL
>USE ’ressu.sys’
VARIABLES IN SYSTAT FILE ARE:
ESTIMATE RESIDUAL LEVERAGE COOK STUDENT
SEPRED
>pplot residual
Tiettyä huolta jakauman normaalisuudesta voisi sen perusteella tuntea.
Jakaumatestausta varten on olemassa omia tilastollisiakin testejä, mm. Kolmogorov–Smirnov-testi
ja Cramer–von Mises-testi.
Toisinaan sattuu, että yksi tai useampikin r:n komponenteista on itseisarvoltaan muita huomattavasti
suurempi. Tällaisia komponentteja kutsutaan ulkolaisiksi. Ne ovat merkkejä joko
siitä, että vastaava koe on virheellinen tai sitten siitä, että muut kokeet onkin tehty tilanteen
kannalta huonolla alueella. Ulkolaisten esiintyessä on aina selvitettävä mistä ne johtuvat, sillä
ANOVA on osoittautunut herkäksi ulkolaisten esiintymiselle. Useinkaan ei ole selvää, onko
poikkeava komponentti ulkolainen vai sattuman oikusta syntynyt poikkeava arvo. Ulkolaisten
tunnistamiseksi on erityisiä testejäkin. Yksinkertaisin tällainen testi on laskea
1
√ MSE r =merk. rout.
rout:n komponentit voidaan tulkita otokseksi standardinormaalista satunnaismuuttujasta. Jos
komponentti on itseisarvoltaan ≥ 3,kyseessä on melko varmasti ulkolainen.
Korrelointi
Vaikka ɛ:n komponentit olisivatkin normaalijakautuneita, voi niiden välillä olla korrelaatiota, ts.
ne eivät ole riippumattomia. Asia paljastuu usein piirrettäessä r:n komponentit kokeiden fysikaalisen
suoritusjärjestyksen funktiona (joka järjestys siis on syytä tätä varten tallettaa ja jonka
pitäisi olla huolellisesti satunnaistettu). Korrelointi näkyy tällaisesta kuvaajasta usein selvästi

LUKU 3. KVALITATIIVISET FAKTORIT 53
alla olevan kuvion tapaan, sillä se johtuu tällöin ajallisesta yhteydestä.
Residuaali ei saa korreloida muidenkaan muuttujien kanssa eikä erityisesti vasteen kanssa.
Piirtämällä residuaali vs. ennustettu vaste paljastuu usein mallin tämänkaltainen riittämättömyys.
Eo. kuvio olisi nytkin hälyttävä.
Jotta päästäisiin piirtämään eo. datasta Systatilla nämä kuvat, pitää tiedostoon ressu.sys
editoida sarakkeeksi kokeiden suoritusjärjestys
15, 19, 25, 12, 6, 8, 14, 1, 11, 3, 18, 13, 20, 7, 9, 22, 5, 2, 24, 10, 17, 21, 4, 16, 23.
Käskyillä plot residual*jarjesty ja plot residual*estimate saadaan
seuraavalla sivulla olevat kuvat. Mitään sen kummempaa merkkiä korrelaatiosta näistä kuvista
ei paljastu.
Heterogeeninen varianssi
Vaikkei epänormaalisuutta tai korrelaatiota esiinnykään, voi malli osoittautua riittämättömäksi
vielä sen vuoksi, että ɛ:n komponenttien varianssit eivät ole samat. Usein tämä näkyy piirrettäessä
r:n komponentit suoritusjärjestyksen funktiona kuten edellä: hajonta on jossakin suurempaa
kuin muualla. Seuraavalla sivulla on neljä hälyttävää kuviota (ylimpänä olevassa kuvassa ei
tällaista varianssien erisuuruutta ole havaittavissa).
Jos varianssin heterogeenisyyttä aiheuttava tekijä liittyy käsittelyihin, on mallissa itse asiassa
ɛij:llä N(0,σ 2 i )-jakauma, ts. joka käsittelyyn liittyy oma virhevarianssinsa. Tämän selvittämiseksi
on mm. ns. Bartlettin testi. Testin hypoteesi on
H0 : σ 2 1 = ···= σ 2 a.
(Vastahypoteesi on se ilmeinen.) Jos H0 on tosi, voidaan osoittaa5 , että testisuureella
χ 2 0 =2.3026 q
c ,
missä
ja
e q =
MSE N−a
s 2(n1−1)
1 ···s 2(na−1)
a
c =1+
, s 2 i = 1
a
1
3(a − 1)
i=1
ni − 1 yT i Mni yi (i =1,...,a)
1
ni − 1
1
− ,
N − a
5Alkuperäisviite on BARTLETT, M.S.: Properties of Sufficiency and Statistical Tests. Proceedings of the Royal
Society A.160 (1937), 268–282.

LUKU 3. KVALITATIIVISET FAKTORIT 54
R
E
S
I
D
U
A
L
R
E
S
I
D
U
A
L
10
5
0
-5
0 10 20 30
10
5
0
JARJESTY
-5
0 10 20 30
ESTIMATE

LUKU 3. KVALITATIIVISET FAKTORIT 55
on suurilla a:n arvoilla likimain χ 2 -jakauma a − 1 vapausasteella. H0 hylätään merkitsevyystasolla
α, jos testisuure osuu alla olevan kuvion varjostetulle alueelle, jonka pinta-ala on α.
χ 2 -jakauman tiheysfunktio
χ 2 (α)
Systat tekee Bartlettin testin (ks. sivulla 50 oleva tulostus, jossa mitään syytä H0:n hylkäämiseen
ei näy), mutta käyttäen hieman toista testisuuretta 6 .Tulos on kutakuinkin sama kuin
χ 2 -jakauman avulla saatu.
3.2 Monisuuntainen ANOVA
Ottamalla malliin mukaan useampia selittäviä tekijöitä saadaan monisuuntainen ANOVA. Mukaan
voidaan ottaa myös yhdysvaikutustermejä, jotka vastaavat korkean kertaluvun regressiomallin
sekatuloja. Yleistä tällaista mallia ei tässä tarkastella, vaan rajoitutaan katsauksenomaisesti
pariin esimerkkiin. Edellä olevan kaltainen matriisimuotoinen tarkastelu 7 voidaan tehdä
näillekin malleille, mutta se ei ole nyt läheskään yhtä kätevä kuin yksisuuntaiselle ANOVAlle
eikä toteutettavissa yhtä kivuttomasti Matlabilla. Näin ollen esitetäänkin tulokset usein osittain
vain perinteisellä summa/komponentti-notaatiolla.
3.2.1 Satunnaistetut lohkot
Kokeita ei useinkaan pystytä suorittamaan täysin samanlaisina, vaan häiriötermistä mukaan tulevan
satunnaisvaihtelun lisäksi esiintyy koetilanteiden systemaattisesta erilaisuudesta johtuvaa
vaihtelua. Mikäli tällainen systemaattinen erilaisuus voidaan tunnistaa, saadaan siitä aiheutuva
vaihtelu poistetuksi. Tätä varten koetilanteet jaetaan mahdollisimman samankaltaisiin ryhmiin,
ns. lohkoihin joissa on kussakin a koetta (ts. kukin käsittely esiintyy kerran kussakin lohkossa).
Lohkojen lukumäärä n määrää koetoistojen luvun. Kokeiden suoritusjärjestys lohkojen sisällä
satunnaistetaan huolellisesti! Malli on nyt
yij = τi + βj + ɛij,
missä τi:t ja ɛij:t ovat kuten yksisuuntaisessa tapauksessa ja termien βj on tarkoitus kuvata
lohkonvalinnan vaikutusta vasteeseen.
Merkinnät y, yi, yi•,yi•, y••, y••, y•, y•, τ , ɛ, Mres, Mtr ja T ovat samat kuin edellä, uusina
merkintöinä otetaan käyttöön
⎛ ⎞
β =
⎜
⎝
6Kyseessä on ns. Boxin F-jakauma-approksimaatio, jota käytetään pienille a:n arvoille (a ≤ 10).
7STUART, A.&ORD, J.K.: Kendall’s Advanced Theory of Statistics. Vol. 2. Edward Arnold (1991) sisältää
tällaisen tarkastelun ja se on aika mutkikas.
β1
.
βn
⎟
⎠

LUKU 3. KVALITATIIVISET FAKTORIT 56
sekä
Merkitään edelleen
y•j =
a
i=1
yij ja y •j = 1
a y•j.
B =
(N × n-matriisi). Seuraavat kaavat ovat helposti todettavissa laskien:
(i) T T T = nIa
(ii) IN − 1
n TTT = Mres
(iii) T T B = 1a1 T n
⎛
⎜
⎝
In
.
In
(iv) B T B = aIn
(v) B1n = 1N
⎞
⎟
⎠
(vi) B T 1N = a1n
Malli on matriisimuodossa
y = Tτ + Bβ + ɛ.
Myös SST ja SSTR ovat samat kuin edellä, samoin MST ja MSTR. (Huomaa, että nyt
n1 = ···= na = n, N = an ja n = n1a.)
Mallin parametrien t ja b estimoimiseksi käytetään pienimmän neliösumman menetelmää.
Minimoitava neliösumma on
y − Tτ − Bβ 2 =(y − Tτ − Bβ) T (y − Tτ − Bβ).
Merkitsemällä gradientti nollaksi saadaan normaaliryhmä
−2T T (y − Tτ − Bβ) =0a
−2B T (y − Tτ − Bβ) =0n
eli
TT Tτ + TT Bβ = nτ + 1a1T nβ = y•
BT Tτ + BT Bβ = 1n1T a τ + aβ = BT y.
Ryhmän matriisin
nIa 1a1T 1n1
n
T a aIn
rangi on a + n − 1, sillä se saadaan sarakeoperaatioin muotoon
nMa 1a1T O
n
aIn
(lasketaan yhteen oikeanpuoleisen lohkosarakkeen sarakkeet kerrottuna −1/a:llä ja lisätään
näin saatu vektori kuhunkin vasemmanpuoleisen lohkosarakkeen sarakkeista) ja
rank(Ma) =trace(Ma) =a − 1.
Normaaliryhmä on näin ollen alimäärätty ja yksikäsitteisen ratkaisun saamiseksi tarvitaan yksi
lineaarisesti riippumaton lisäyhtälö 8 .Tavallisesti se on
1 T nβ =0.
8 Samanlainen lisäehto tarvitaan myös yksisuuntaisessa tapauksessa, jos malli kirjoitetaan muotoon yij = µ +
τi + ɛij, kuten usein tehdään (itse asiassa Systatkin tekee näin). Myös tässä käsiteltävä malli kirjoitetaan usein
muotoon yij = µ + τi + βj + ɛij, jolloin tarvitaankin kaksi lisäyhtälöä.

LUKU 3. KVALITATIIVISET FAKTORIT 57
Itse asiassa ilman mitään lisäehtoja eivät mallissakaan τ ja β määräytyisi yksikäsitteisesti, sillä
lohkovaikutuksista βj voidaan vähentää mielivaltainen luku, joka sitten lisätään käsittelyjen
vaikutuksiin τi kokonaisvaikutuksen muuttumatta.
Lisäyhtälön käyttöönoton jälkeen matriisi on
nIa O
1n1T
a aIn
ja saadaan estimaatit
Vasteen ennuste on näin ollen
Tt + Bb = Ty • + B
=
t = 1
ny• = y• b = 1
aBT y − 1
N 1n1T a y• = 1
aBT y − y••1n.
1
a BT
y − y••1n 1
n TTT + 1
a BBT − 1
N JN
= 1
n TTT y + 1
a BBT y − 1
N B1n1 T Ny
y
ja residuaali on
r = IN − 1
n TTT − 1
a BBT + 1
N JN
y = Mres − 1
a BBT + 1
N JN
y.
Merkitään
jolloin
Mres2 =merk. Mres − 1
a BBT + 1
N JN ja Mbl =merk.
MN = Mtr + Mres = Mtr + Mbl + Mres2.
1
a BBT − 1
N JN,
Vastaavat neliösummat ovat (aikaisemman SST:n ja SSTR:n lisäksi) lohkojen neliösumma
sekä residuaalin neliösumma
SSE = r T r = y T Mres2y =
SSB = y T Mbly = a
a
i=1
n
y 2 •j − Ny 2 ••
j=1
n
y 2 ij − n
j=1
a
y 2 i• − a
i=1
n
j=1
y 2 •j + Ny 2 ••.
Matriisit Mres2 sekä Mbl ovat symmetrisiä idempotentteja matriiseja, kuten suoralla laskulla voi
todeta. Lohkojen erilaisuudesta johtuva vaihtelu on nyt saatu eristetyksi omaan neliösummaansa
SSB = a
n
y 2 •j − Ny 2 •• = a
j=1
n
(y•j − y••) 2 ,
j=1
joten sen vaikutus voidaan testattaessa poistaa.
Vapausasteet ja keskineliöt saadaan seuraavasta taulusta:

LUKU 3. KVALITATIIVISET FAKTORIT 58
SSX vapausasteet MSX
SST N − 1 MST =
SSTR a − 1
SSB n − 1
SSE (a − 1)(n − 1)
SST
N − 1
(kokonaiskeskineliö)
MSTR = SSTR
a − 1
(käsittelyjen keskineliö)
MSB = SSB
n − 1
(lohkojen keskineliö)
SSE
MSE =
(a − 1)(n − 1)
(residuaalin keskineliö)
Jälleen MSE on harhaton σ 2 :n estimaatti.
Lause 3.4. Jos τ on muotoa µ1a, missä µ on vakio (hypoteesi H0), niin osamäärällä
MSTR
MSE =merk. F
on F-jakauma vapausastein a − 1 ja (a − 1)(n − 1).
Todistus. Lauseen todistus on aivan samanlainen kuin Lauseen 3.1, matriisilaskuista johtuen
vain vähän työläämpi.
H0 voidaan testata tavalliseen tapaan. Huomattakoon, että tämä testi on vahvasti sen oletuksen
varassa, että ɛ on N(0N,σ 2 IN)-jakautunut, sillä sille ei voida antaa satunnaistustulkintaa.
Ajetaan alla annettu data Systatin avulla.
karki lohko y
1 1 9.3
1 2 9.4
1 3 9.6
1 4 10.0
2 1 9.4
2 2 9.3
2 3 9.8
2 4 9.9
3 1 9.2
3 2 9.4
3 3 9.5
3 4 9.7
4 1 9.7
4 2 9.6
4 3 10.0
4 4 10.2
Huomaa miten käsittelyt ja lohkot on ”kategorisoitu”. Käskyt
>USE ’kovuus.sys’
VARIABLES IN SYSTAT FILE ARE:
KARKI LOHKO Y
>category karki=4,lohko=4
>model y=constant+karki+lohko
>estimate
antavat tulostuksen

LUKU 3. KVALITATIIVISET FAKTORIT 59
DEP VAR: Y N: 16 MULTIPLE R: .968 SQUARED MULTIPLE R: .938
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
KARKI 0.385 3 0.128 14.437 0.001
LOHKO 0.825 3 0.275 30.937 0.000
ERROR 0.080 9 0.009
jonka mukaan käsittelyillä on eroja. Pitkä tulostus on
DEP VAR: Y N: 16 MULTIPLE R: .968 SQUARED MULTIPLE R: .938
-1
ESTIMATES OF EFFECTS B = (X’X) X’Y)
Y
CONSTANT 9.625
KARKI 1 -0.050
KARKI 2 -0.025
KARKI 3 -0.175
LOHKO 1 -0.225
LOHKO 2 -0.200
LOHKO 3 0.100
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
KARKI 0.385 3 0.128 14.437 0.001
LOHKO 0.825 3 0.275 30.937 0.000
ERROR 0.080 9 0.009
ja se antaa myös estimaatit Mat (eli tässä t − y ••1a) jab.
Huomautus. Matlabilla laskettaessa kannattaa käyttä Kronecker-tuloa ⊗ matriisien kokoamiseen
(operaatio kron ):
T = Ia ⊗ 1n , Mres = Ia ⊗ Mn , B = 1a ⊗ In.
Analogisesti Lauseen 3.4 kanssa pätee
Lause 3.5. Jos β = 0n, niin osamäärällä
MSB
MSE
on F-jakauma vapausastein n − 1 ja (a − 1)(n − 1).
Todistus. Samankaltainen kuin Lauseen 3.1 todistus.
Olisi houkuttelevaa käyttää tätä hypoteesin H0 : β = 0n testaamiseen (vastahypoteesina H0 :
”β = 0n, mutta 1 T nβ =0(lisäehto)”). F-jakauman käytön aiheellisuudesta tämän testin yhteydessä
käytännössä ei kuitenkaan olla aivan yksimielisiä, ks. esimerkiksi MONTGOMERY.

LUKU 3. KVALITATIIVISET FAKTORIT 60
Useimmat ohjelmistot joka tapauksessa suorittavat ko. testin ilman muuta (ks. edellä oleva
Systat-ajo). Tulosta lienee pidettävä jonkin verran approksimatiivisena. Kokeen suorituksesta
johtuen käsittelyt ja lohkot eivät nimittäin ole samassa asemassa, sillä satunnaistus tapahtuu
lohkojen sisällä, mutta ei käsittelyjen sisällä. Näin malli voi hyvinkin osoittautua riittämättömäksi
lohkojen tutkimista ajatellen. Jos H0:aa ei hylätä, voi ainakin päätellä, että lohkoihin
jaolla ei ole kummempaa vaikutusta ja suunnitella kokeet vastaisuudessa yksisuuntaisina.
Lasketaan seuraavaksi estimaattien varianssimatriisit. Koska
t = 1
n TT y = 1
n TT (Tτ + Bβ + ɛ) =τ + 1
n TT ɛ
ja
1
b =
a BT − 1
N 1n1 T
1
N y =
a BT − 1
N 1n1 T
N (Tτ + Bβ + ɛ)
1
= β +
a BT − 1
N 1n1 T
N ɛ
(muista lisäehto 1 T nβ =0ja huomaa, että seurauksena t ja b ovat harhattomia), on
2 1
V (t) =σ
n2 TT T = σ2
n Ia
(estimaatit ti ovat siis jälleen riippumattomat) ja
V (b) =σ 2
1
a BT − 1
N 1n1 T
1 1
N B −
a N 1N1 T
n
= σ 2
1
a In − 1
N Jn
.
Vielä
2 1
cov(t, b) =σ
n TT
1 1
B −
a N 1N1 T
n = O,
joten t ja b ovat riippumattomat.
Hypoteesin H0 : Cτ = d testaus sujuu samaan tapaan kuin edellä. Yo. syystä vain käsittelyjä
koskevat hypoteesit ovat varmasti mielekkäitä F-testin kannalta. Lause 3.2 pitää paikkansa
(todistuskin on kutakuinkin sama), kunhan testisuureessa muutetaan SSE:n vapausasteet
oikeiksi, ts. suureella
n(Ct − d) T (CC T ) −1 (Ct − d)(a − 1)(n − 1)
qSSE
on F-jakauma vapausastein q ja (a − 1)(n − 1). Lause 3.2 pitää tosin paikkansa9 myös hypoteesille
H0 : Eβ = f, missä E on täysiriviranginen p × n-matriisi, jonka riviavaruudessa ei ole
vektoria 1T n (tämä oletus tarvitaan, koska muutoin joko H0 olisi ristiriidassa lisäehdon 1T nβ =0
kanssa tai se sisältäisi ”turhia” eli automaattisesti toteutuvia osia). Testisuure on nyt
(Eb − f) T E 1
aIn − 1
N Jn
T E −1 (Eb − f)(a − 1)(n − 1)
pSSE
ja sillä on F-jakauma vapausastein p ja (a − 1)(n − 1). Näin ollen myös β:a koskevia lineaarisia
hypoteeseja voidaan periaatteessa testata (ja esimerkiksi Systat sallii sen ilman muuta).
9 1 Matriisin aIn − 1
1
aIn − 1
N Jn nolla-avaruuden alkioita ei ole E:n riviavaruudessa, on E 1
aIn − 1
N Jn
N Jn nolla-avaruuden alkiot ovat muotoa c1n, missä c on vakio. Koska näin ollen matriisin
T E todella ei-singuläärinen.
Muutoin tuloksen todistus menee kuten Lauseen 3.2 todistus.

LUKU 3. KVALITATIIVISET FAKTORIT 61
Myös S-testi käsittelyille menee samaan tapaan kuin edellä. Testisuuretta
SSC
(a − 1)MSE
verrataan F-jakauman kertymäpisteeseen Fα,a−1,(a−1)(n−1), muita eroja ei ole. Samoin LSD-testi
on samanlainen kuin edellä.
Mallin riittävyystarkastelut tapahtuvat residuaalin r avulla kuten edellä. Mukaan kannattaa
ottaa myös sirontakuvio residuaali vs. lohko. Uutena riittämättömyyden lajina tulee mukaan
epäadditiivisuus, ts. se että käsittelyjen ja lohkojen välillä on yhdysvaikutusta. Usein tällainen
yhdysvaikutus näkyy jo piirrettäessä residuaalit ennusteen funktiona: kuvio on jollain tapaa
epäsymmetrinen. Epäadditiivisuuden testaamiseen on omiakin testejä, mm. ns. Tukeyn additiivisuustesti,
ks. esimerkiksi MONTGOMERY. Epäadditiivisuus on sukua regressiomallin epäsopivuudelle.
Tutkitaan Systatilla eo. mallin riittävyyttä normaalitodennäköisyyskuviota ja sopivia sirontakuvia
käyttäen. Talletetaan residuaali ja ennuste. Käskyt
>USE ’resko.sys’
VARIABLES IN SYSTAT FILE ARE:
ESTIMATE RESIDUAL LEVERAGE COOK STUDENT
SEPRED KARKI LOHKO
>pplot residual
>plot residual*estimate
>plot residual*karki
>plot residual*lohko
tuottavat seuraavat kuvat.
E
X
P
E
C
T
E
D
V
A
L
U
E
2
1
0
-1
-2
-0.2 -0.1 0.0 0.1 0.2
RESIDUAL
Pientä huolta jakauman normaalisuudesta voisi tämän kuvan perusteella tuntea, kuvaaja kun on
hieman käyrä. Sen sijaan alla olevat sirontakuviot eivät anna aihetta huoleen.

LUKU 3. KVALITATIIVISET FAKTORIT 62
R
E
S
I
D
U
A
L
R
E
S
I
D
U
A
L
R
E
S
I
D
U
A
L
0.2
0.1
0.0
-0.1
-0.2
9.0 9.5 10.0 10.5
0.2
0.1
0.0
-0.1
ESTIMATE
-0.2
0 1 2 3 4 5
0.2
0.1
0.0
-0.1
KARKI
-0.2
0 1 2 3 4 5
LOHKO

LUKU 3. KVALITATIIVISET FAKTORIT 63
3.2.2 Roomalaiset neliöt
Jakamalla koetilanteet lohkoihin voidaan poistaa lohkojen välisen vaihtelun vaikutus. Toisaalta
lohkojen sisäinen vaihtelu jää ja saattaa suurentaa residuaalineliösummaa merkittävästi. Jos
lohkojen sisäinen vaihtelu on kaikissa lohkoissa samankaltaista, ts. koetilanteet jokaisen lohkon
sisällä voidaan järjestää samaan tapaan, saadaan ns. neliökoe.
Roomalaisessa neliössä (eli latinalaisessa neliössä) kussakin lohkossa on yhtä monta koetta
kuin on lohkoja, sanotaan n koetta. Koejärjestely on tapana kirjoittaa neliöksi, jossa rivi on
lohko ja sarake kuvaa lohkon sisäistä järjestystä. Näin saadaan n 2 koetilannetta, joille jaetaan
n käsittelyn n koetoistoa siten, että kukin käsittelyistä esiintyy tarkalleen kerran kussakin rivissä
ja kussakin sarakkeessa. Jos käsittelyjä merkitään kirjaimin A, B, C, ... ,voidaan kirjaimista
näin kirjoittaa neliö, jonka kussakin rivissä ja kussakin esiintyy kukin kirjaimista tarkalleen
kerran. Esimerkiksi
A B D C A D B E C A D C E B F
B C A D D A C B E B A E C F D
C D B A C B E D A C E D F A B
D A C B B E A C D D C F B E A
E C D A B F B A D C E
E F B A D C
ovat tällaisia neliöitä.
Kulloinkin käytettävä roomalainen neliö valitaan satunnaisesti, esimerkiksi valitsemalla kirjallisuudessa
esiintyvistä taulukoiduista neliöistä sopivankokoinen ja permutoimalla sen rivit ja
sarakkeet satunnaisesti. Lähtöneliö voisi olla tyyppiä
A B C D
B C D A
C D A B
D A B C
oleva neliö, joita on kaikenkokoisia, mutta tällä tavoin ei saada aivan satunnaista neliötä (koska
kaikkia roomalaisia neliöitä ei saada tällaisista neliöistä permutoimalla). Suuremmille neliöille
menettely katsotaan riittävän satunnaistavaksi. Kunnollinen satunnaistus on tärkeää, sillä ilman
sitä mallin riittämättömyys voi joissain tilanteissa helposti johtaa pahasti vääriin johtopäätöksiin.
Huomaa, että satunnaistus käsittää vain käsittelyt, ei lohkoja eikä sarakkeita.
Malli on
yijk = τi + βj + γk + ɛijk,
missä τ , β ja ɛ ovat kuten edellä ja γk kuvaa sarakkeen valinnan vaikutusta vasteeseen. Merkinnät
y, yi, y•, y •, Mres, Mtr, Mbl, Mres2, T ja B ovat kuten edellä. Merkinnät
yi•• , y i•• , y•j• , y •j• , y••k , y ••k , y••• , y •••
tulkitaan ilmeiseen tapaan. Merkitään edelleen
⎛ ⎞
γ =
⎜
⎝
γ1
.
γn
⎛
⎟
⎜
⎠ ja G = ⎝
(n × n-matriisi), missä G1 saadaan roomalaisesta neliöstä korvaamalla A ykkösellä ja muut
kirjaimet nollilla, G2 saadaan korvaamalla B ykkösellä ja muut kirjaimet nollilla, jne. Huomaa,
G1
.
Gn
⎞
⎟
⎠

LUKU 3. KVALITATIIVISET FAKTORIT 64
että Gi:t ovat permutaatiomatriiseja, ts. kussakin rivissä ja kussakin sarakkeessa on tarkalleen
yksi ykkönen muiden alkioiden ollessa nollia. Permutaatiomatriisit ovat ortogonaalisia, joten
G T i Gi = In. Matlabilla G saadaan koottua helposti, kunhan ensin roomalainen neliö kirjoitetaan
kategorisoiduksi matriisiksi R:
»R=[1 2 4 3;2 3 1 4;3 4 2 1;4 1 3 2]
R =
»G2=R==2
G2 =
1 2 4 3
2 3 1 4
3 4 2 1
4 1 3 2
0 1 0 0
1 0 0 0
0 0 1 0
0 0 0 1
»G=[R==1;R==2;R==3;R==4]
G =
1 0 0 0
0 0 1 0
0 0 0 1
0 1 0 0
0 1 0 0
1 0 0 0
0 0 1 0
0 0 0 1
0 0 0 1
0 1 0 0
1 0 0 0
0 0 1 0
0 0 1 0
0 0 0 1
0 1 0 0
1 0 0 0
Seuraavat kaavat ovat helposti todettavissa laskien:
(i) T T G = Jn
(ii) B T G = Jn
(iii) G T G = nIn
Malli on matriisimuodossa
(iv) G1n = 1 n 2
(v) G T 1 n 2 = n1n
y = Tτ + Bβ + Gγ + ɛ.
Myös SST, SSTR ja SSB ovat samat kuin edellä ja samoin vastaavat keskineliöt. (Nyt siis
a = n ja N = n 2 .)
Parametrien estimoimiseksi käytetään jälleen pienimmän neliösumman menetelmää. Minimoitava
neliösumma on
y − Tτ − Bβ − Gγ 2 =(y − Tτ − Bβ − Gγ) T (y − Tτ − Bβ − Gγ).
Merkitsemällä gradientti nollaksi saadaan normaaliryhmä

LUKU 3. KVALITATIIVISET FAKTORIT 65
⎧
⎪⎨ −2T
⎪⎩
T (y − Tτ − Bβ − Gγ) =0n
−2BT (y − Tτ − Bβ − Gγ) =0n
−2GT (y − Tτ − Bβ − Gγ) =0n
eli ⎧
⎪⎨ T
⎪⎩
T Tτ + TT Bβ + TT Gγ = nτ + Jnβ + Jnγ = y•
BT Tτ + BT Bβ + BT Gγ = Jnτ + nβ + Jnγ = BT y
GT Tτ + GT Bβ + GT Gγ = Jnτ + Jnβ + nγ = GT y.
Ryhmän matriisin ⎛
⎝
nIn Jn Jn
Jn nIn Jn
Jn Jn nIn
rangi on 3n − 2, sillä se saadaan sarake- ja rivioperaatioin muotoon
⎛
⎞
⎝
nMn Jn On
On nIn On
On On nMn
(Lasketaan oikeanpuoleisen lohkosarakkeen sarakkeet yhteen kerrottuna −1/n:llä ja lisätään
saatu vektori kuhunkin ensimmäisen lohkosarakkeen sarakkeista. Sen jälkeen lasketaan yhteen
keskimmäisen lohkorivin rivit kerrottuna −1/n:llä ja lisätään saatu vaakavektori alimman lohkorivin
riveihin. Toistetaan vielä sama toiselle ja kolmannelle sarakkeelle.) Normaaliryhmä on
siis taas alimäärätty ja tarvitaan kaksi lisäyhtälöä, jotta parametrit saataisiin ratkaistuksi normaaliryhmästä
yksikäsitteisesti. Nämä lisäyhtälöt ovat yleensä
⎞
⎠
⎠ .
1 T nβ =0 ja 1 T nγ =0.
Näin saadaan estimaatit
⎧
⎪⎨ t =
⎪⎩
1
ny• = y• b = 1
nBT y − 1
n2 Jny• = 1
nBT y − y•••1n g = 1
nGT y − 1
n2 Jny• = 1
nGT y − y•••1n. Vasteen ennuste on nyt
Tt + Bb + Gg = Ty • + B
ja residuaali on
Merkitään
1
n BT
1
y − y•••1n + G
a GT
y − y•••1n = 1
n TTT y + 1
n BBT y + 1
n GGT y − 1
n
1
=
n TTT + 1
n BBT + 1
n GGT − 2
n2 Jn2
y
r =
T
B1n1 2 n
In2 − 1
n TTT − 1
n BBT − 1
n GGT + 2
n2 Jn2
y
1
2y −
n
T
G1n1 2 n2y Mres3 = I n 2 − 1
n TTT − 1
n BBT − 1
n GGT + 2
n 2 J n 2 = Mres2 − 1
n GGT + 1
n 2 J n 2

LUKU 3. KVALITATIIVISET FAKTORIT 66
ja
Silloin
Mcol = 1
n GGT − 1
n 2 J n 2.
MN = Mtr + Mbl + Mres2 = Mtr + Mbl + Mcol + Mres3.
Vastaavat neliösummat ovat (aiemmin olleiden SST:n, SSTR:n ja SSB:n lisäksi) sarakkeiden
neliösumma
SSCOL = y T n
Mcoly = n y 2 ••k − n 2 y 2 •••
sekä residuaalin neliösumma
j=1
SSE = r T r = y T Mres3y.
Matriisit Mres3 ja Mcol ovat symmetrisiä idempotentteja matriiseja, kuten laskien voi todeta.
Vapausasteet ja keskineliöt saadaan seuraavasta taulusta:
SSX vapausasteet MSX
SST n
SSTR
SSB
SSCOL
SSE
2 − 1 MST =
n − 1
n − 1
n − 1
(n − 2)(n − 1)
SST
n2 − 1
(kokonaiskeskineliö)
MSTR = SSTR
n − 1
(käsittelyjen keskineliö)
MSB = SSB
n − 1
(lohkojen keskineliö)
MSCOL = SSCOL
n − 1
(sarakkeiden keskineliö)
SSE
MSE =
(n − 2)(n − 1)
(residuaalin keskineliö)
Jälleen MSE on harhaton σ 2 :n estimaatti. Lause 3.1 pitää paikkansa, kun F-jakauman vapausasteiksi
merkitään n − 1 ja (n − 2)(n − 1),jahypoteesi H0 : τ1 = ···= τn voidaan testata tavalliseen
tapaan.
Lause 3.2 pätee nyt myös, sekä lohkoille että sarakkeille, F-jakauman vapausasteina n − 1
ja (n − 2)(n − 1). Koska satunnaistus tehtiin vain käsittelyille (ts. valittiin roomalainen neliö
satunnaisesti), ei ole suositeltavaa käyttää näitä jakaumatuloksia lohkojen tai sarakkeiden erilaisuuden
testaamiseen muutoin kuin korkeintaan suuntaa antavasti. Usein kuitenkin tyydytään
tähän lohkojen ja sarakkeiden erilaisuustestin käytännön approksimatiivisuuteen ja käytetään
roomalaisia neliöitä kolmen eri faktorin (käsittelyt, lohkot ja sarakkeet) yhtaikaiseen testaamiseen.
Koe on tällöin varsin ekonominen (n 2 koetta, kolme n-tasoista faktoria).
Yleisen lineaarisen hypoteesin testaus sujuu aivan samoin kuin edellä, SSE:n vapausasteina
tietysti (n−2)(n−1). Riittävyystarkastelut residuaaleja käyttäen ovat myös samantapaiset kuin
satunnaistetuille lohkoille.
Roomalaista neliötä, jonka ensimmäinen sarake ja ensimmäinen rivi ovat aakkosjärjestyksessä,
kutsutaan standardineliöksi. Ideaalisesti, satunnaistettaessa valitaan ensin satunnaisesti
jokin standardineliö ja satunnaistetaan se permutoimalla sarakkeet ja rivit. Seuraavassa eräitä
lukumääriä:
n 2 3 4 5 6 7
standardineliöiden lkm 1 1 4 56 9408 16942080
kaikkien neliöiden lkm 2 12 576 161280 812851200 61479419904000

LUKU 3. KVALITATIIVISET FAKTORIT 67
Jokaisesta roomalaisesta neliöstä saadaan standardineliö permutoimalla sarakkeet aakkosjärjestykseen
ja sitten rivit aakkosjärjestykseen. Näin ollen
n × n-neliöiden lkm = n!(n − 1)! × (standardineliöiden lkm).
Koska standardineliöitä on suuri määrä, kun n>5,valitaan usein lähtöneliö kuten edellä tehtiin
ja tyydytään tulokseen.
Ajetaan alla oleva data Systatilla. Huomaa jälleen kategorisointi luvuiksi 1,...,5.Vastaava
roomalainen neliö on
A B C D E
B C D E A
C D E A B
D E A B C
E A B C D
Selvästikään tämä ei ole tullut satunnaistuksen kautta. Tässä onkin lohkojen ja sarakkeiden
järjestys satunnaistettu ja käytetty kiinteää roomalaista neliötä. Vaikutus on sama.
Käskyillä
>USE ’dynamite.sys’
VARIABLES IN SYSTAT FILE ARE:
KASITTEL LOHKO SARAKE Y
>category kasittel=5,lohko=5,sarake=5
>model y=constant+kasittel+lohko+sarake
>print long
>estimate
käsittely lohko sarake y
1 1 1 −1
1 2 5 11
1 3 4 2
1 4 3 1
1 5 2 5
2 1 2 −5
2 2 1 −8
2 3 5 −4
2 4 4 −2
2 5 3 −5
3 1 3 −6
3 2 2 −1
3 3 1 −7
3 4 5 −3
3 5 4 4
4 1 4 −1
4 2 3 5
4 3 2 13
4 4 1 1
4 5 5 6
5 1 5 −1
5 2 4 2
5 3 3 1
5 4 2 6
5 5 1 −3

LUKU 3. KVALITATIIVISET FAKTORIT 68
saadaan pitkä tulostus
DEP VAR: Y N: 25 MULTIPLE R: .900 SQUARED MULTIPLE R: .811
-1
ESTIMATES OF EFFECTS B = (X’X) X’Y)
CONSTANT 0.400
KASITTEL 1 3.200
KASITTEL 2 -5.200
KASITTEL 3 -3.000
KASITTEL 4 4.400
LOHKO 1 -3.200
LOHKO 2 1.400
LOHKO 3 0.600
LOHKO 4 0.200
SARAKE 1 -4.000
SARAKE 2 3.200
SARAKE 3 -1.200
SARAKE 4 0.600
Y
ANALYSIS OF VARIANCE
SOURCE SUM-OF-SQUARES DF MEAN-SQUARE F-RATIO P
KASITTEL 330.000 4 82.500 7.734 0.003
LOHKO 68.000 4 17.000 1.594 0.239
SARAKE 150.000 4 37.500 3.516 0.040
ERROR 128.000 12 10.667
Käsittelyillä on tässä vaikutusta. Lohkoihin jako näyttää turhalta, sen sijaan sarakkeisiin jaolla
on merkitystä, minkä voi tulevissa kokeissa ottaa huomioon. (Huomaa, että jälleen tässä tulostuu
t:n sijasta Mnt eli tässä t − y •••1n.) Hypoteesin H0 : τ2 = τ3 voi testata tavalliseen tapaan
käskyillä
>hypothesis
>effect kasittel
>contrast
>0 1 -1 0 0
>test
jolloin saadaan tulostus
TEST FOR EFFECT CALLED:
KASITTEL
A MATRIX
1 2 3 4 5
0.000 0.000 1.000 -1.000 0.000
6 7 8 9 10
0.000 0.000 0.000 0.000 0.000

LUKU 3. KVALITATIIVISET FAKTORIT 69
11 12 13
0.000 0.000 0.000
TEST OF HYPOTHESIS
SOURCE SS DF MS F P
HYPOTHESIS 12.100 1 12.100 1.134 0.308
ERROR 128.000 12 10.667
Jos kaksi eri roomalaista n × n-neliötä voidaan valita siten, että niissä alla olevan esimerkin
tapaan kukin n 2 kirjainparista esiintyy tarkalleen kerran, sanotaan neliöitä ortogonaalisiksi.
AA BB CC DD
BD AC DB CA
CB DA AD BC
DC CD BA AB
Usein jälkimmäinen neliöistä kirjoitetaan pienin kreikkalaisin kirjaimin ja yhdistettyä neliötä
kutsutaan kreikkalais-roomalaiseksi neliöksi.
A B C D
B A D C
C D A B
D C B A
+ α β γ δ
δ γ β α
β α δ γ
γ δ α β
→
Aα Bβ Cγ Dδ
Bδ Aγ Dβ Cα
Cβ Dα Aδ Bγ
Dγ Cδ Bα Aβ
Satunnainen kreikkalais-roomalainen neliö valitaan ottamalla ensin kaksi satunnaista keskenään
ortogonaalista roomalaista neliötä, yhdistämällä ne ja permutoimalla sen jälkeen satunnaisesti
rivit ja sarakkeet.
Pareittain keskenään ortogonaalisia roomalaisia n × n-neliöitä voi olla enintään n − 1 kappaletta
(todistus jätetään lukijalle harjoitukseksi). Voidaan osoittaa (ks. esimerkiksi JOHN), että
tällainen täysi kokoelma ortogonaalisia roomalaisia neliöitä löytyy, jos n on alkuluku tai alkuluvun
potenssi, mutta niitä löytyy usein muutenkin. Klassinen taulukko FISHER, R.A. & YATES,
F.: Statistical Tables for Biological, Agricultural and Medical Research. Oliver & Boyd (1953)
sisältää nimestään huolimatta myös insinöörejä ajatellen hyödyllisiä asioita, mm. luettelot n−1
keskenään ortogonaalisesta roomalaisesta neliöstä arvoille n =3, 4, 5, 7, 8, 9. Arvo n =6puuttuu,
sillä ortogonaalisia 6 × 6- neliöitä ei ole lainkaan! Vasta suhteellisen äskettäin on voitu
tietokoneiden avustuksella osoittaa, että löytyy yhdeksän keskenään ortogonaalista 10 × 10neliötä
ja sitä ennen oli pitkään avoin probleema, onko niitä ollenkaan. Kaksi ortogonaalista
roomalaista neliötä voidaan löytää itse asiassa aina, kun n = 6(ja n>3), mutta ei välttämättä
täyttä n − 1 neliön kokoelmaa.
Kreikkalais-roomalaista neliötä käyttävässä kokeessa malli on
yijkl = τi + θl + βj + γk + ɛijkl,
missä θl:t kuvaavat kreikkalaisin kirjaimin merkityn toisen käsittelyn vaikutusta vasteeseen.
Matriisimuodossa malli on
y = T1τ + T2θ + Bβ + Gγ + ɛ,
missä T1 on aikaisempi T ja T2 on sopiva uusi 0-1-matriisi. Estimaatit etsitään tavalliseen
tapaan pienimmän neliösumman keinolla, jne. SSE:n vapausasteiden lukumääräksi jää enää
(n − 3)(n − 1). ANOVA sekä hypoteesien testaus ovat käytännön tilanteessa varsinaisesti suoritettavissa
vain käsittelyille erikseen.

LUKU 3. KVALITATIIVISET FAKTORIT 70
Useampia ortogonaalisia roomalaisia neliöitä käytettäessä saadaan ns. hyperneliökokeita.
Ortogonaalisten roomalaisten neliöiden käyttö pelkästään lisäluokittelijoina (lohkojen ja sarakkeiden
tapaan) ei välttämättä ole edullista: Vaikka residuaalineliösumma pienenee, koska osa
siitä siirtyy ”uusien käsittelyjen” neliösummiin, pienenee samalla SSE:n vapausasteiden luku.
Hyperneliökokeita ei tästä syystä useinkaan käytetä.
Huomautus. Roomalaisia neliöitä ja erityisesti kreikkalais-roomalaisia neliöitä käyttävät kokeet
ovat hyvin herkkiä epäadditiivisuudelle, ts. sille että lohkoilla, sarakkeilla ja käsittelyillä
on yhdysvaikutust. Jos tällaista voi odottaa olevan, on käytettävä faktorikokeita, joissa on yhdysvaikutustermit
mukana.

Luku 4
MONEN MUUTTUJAN PIENOTANTA
4.1 Satunnaisotanta
Populaatiossa on N alkiota X1,...,XN. Kustakin alkiosta Xj voidaan mitata numeerinen kulotteinen
suurevektori, jota lyhyyden vuoksi merkitään myös Xj:llä. (Merkintä on epätäsmällinen,
sillä ko. numeerinen suurevektori voi olla yhteinen useammalle populaatioalkioille.) Merkitään
edelleen
⎛ ⎞
Xj =
⎜
⎝
Xj1
.
Xjk
⎟
⎠ .
Populaatiosuureet kootaan ns. populaatiomatriisiksi
⎛ ⎞ ⎛
⎜
⎝
X T 1
X T 2
.
X T N
⎟
⎠ =
⎜
⎝
X11 X12 ··· X1k
X21 X22 ··· X2k
.
.
. ..
XN1 XN2 ··· XNk
.
⎞
⎟
⎠ =merk. X.
Myöhemmin otetaan käyttöön vastaava otokseen liittyvä datamatriisi. Skalaaritapauksessa (eli
kun k =1) populaatioalkiota merkitään myös Xj:llä. Populaatiokeskiarvo on
ja populaatiovarianssi on
summamuodossa
ξ = 1
N
N
j=1
ξ = 1
N XT 1N
Σ = 1
N XT MNX,
Xj ja Σ = 1
N
N
(Xj − ξ)(Xj − ξ) T .
Huomaa, että ξ on N-vektori ja Σ on N × N-matriisi (usein tällaista matriisia kutsutaan myös
kovarianssimatriisiksi). Skalaaritapauksessa merkitään populaatiokeskiarvoa ξ:llä ja populaatiovarianssia
tutulla merkinnällä σ2 .
N:stä alkiosta (populaatio) voidaan valita n alkion (järjestämätön) joukko
N
n
=
N!
n!(N − n)!
j=1
= N(n − 1) ···(N − n +1)
n!
71

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 72
eri tavalla. Jos ajatellaan kukin tällainen valinta eli otos yhtä todennäköiseksi (todennäköisyys
on 1/ N
), on kyseessä n alkion satunnaisotanta palauttamatta. Merkitään valittuja otosal-
n
kioita symboleilla x1,...,xn. (Skalaaritapauksessa merkitään jälleen otosalkiota myös xi:llä.)
Symmetriasyistä xi voi yhtä todennäköisesti olla mikä tahansa populaatioalkioista, ts.
P (xi = Xj) = 1
(i =1,...,n; j =1,...,N).
N
Merkitään xi:hin liittyvää numeerista k-vektoria myös xi:llä ja edelleen
⎛ ⎞
xi =
⎜
⎝
xi1
.
xik
⎟
⎠ .
Yhdistämällä otokseen tulleet numeeriset vektorit saadaan datamatriisi
⎛ ⎞ ⎛
⎞
⎜
⎝
x T 1
x T 2
.
x T n
⎟
⎠ =
⎜
⎝
x11 x12 ··· x1k
x21 x22 ··· x2k
.
.
. ..
xn1 xn2 ··· xnk
Nyt xi:t ovat satunnaisvektoreita ja x on satunnaismatriisi.
.
⎟
⎠ =merk. x.
Huomautus. Ainoa satunnaisuus on otoksen satunnaisessa valinnassa. Populaatiohan on kiinteä.
ja
xi:n odotusarvo ja varianssi ovat
V (xi) =
E(xi) =
N
XjP (xi = Xj) =ξ
j=1
N
(Xj − ξ)(Xj − ξ) T P (xi = Xj) =Σ.
j=1
Edelleen, jos i1 = i2,niin
0, jos j1 = j2
P (xi1 = Xj1, xi2 = Xj2) = 1
N(N−1) , jos j1 = j2.
Näin ollen eri otosalkioiden xi1 ja xi2 kovarianssi on
cov(xi1, xi2) =
(tässä KN = JN − IN).
1
N(N − 1)
N
j1=1 j2=1
j2=j1
N
(Xj1 − ξ)(Xj2 − ξ) T
1
=
N(N − 1) (XT − ξ1 T N)KN(X − 1Nξ T )
1
=
N(N − 1) XT 1
MNKNMNX = −
N(N − 1) XT MNX = − 1
N − 1 Σ

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 73
Huomautus. Skalaaritapauksessa tästä seuraa, ehkä vähän yllättäen, että korrelaatiokerroin
ρ(xi1,xi2) = cov(xi1,xi2)
V (xi1)V (xi2)
= − 1
N − 1
ei riipu populaatiosta muuten kuin sen alkioiden lukumäärän kautta.
Tavallisin otoksesta laskettava suure on otoskeskiarvo
summamuodossa
x = 1
n xT 1n,
x = 1
n
(tavallinen aritmeettinen keskiarvo, skalaaritapauksessa merkitään myös x). Otoskeskiarvo on
satunnaisvektori.
Lause 4.1. E(x) =ξ,ts.x on populaatiokeskiarvon harhaton estimaatti, ja
Todistus. Lasketaan:
ja
E(x) =E
V (x) = 1
n
1
n
n
i=1
xi
n
i=1
1 −
= 1
n
xi
n − 1
N − 1
n
i=1
Σ.
E(xi) = 1
n
n
ξ = ξ
V (x) =E((x − ξ)(x − ξ) T 1
)=E
n xT
1
1n − ξ
n xT
T
1n − ξ
1
= E
n xT 1n − 1
n ξ1T
1
n1n
n xT 1n − 1
n ξ1T
T
n1n
= 1
n2 E((xT − ξ1 T n)Jn(x − 1nξ T ))
= 1
n2 E((xT − ξ1 T n)(x − 1nξ T )) + 1
n2 E((xT − ξ1 T n)Kn(x − 1nξ T ))
⎛
= 1
E
n2 n
i=1
= 1
1
nV (x1)+
n2 (xi − ξ)(xi − ξ) T
= 1 n − 1 1
Σ − Σ =
n n(N − 1) n
+ 1 ⎜
E
n2 ⎝
n 2 n(n − 1)cov(x1, x2)
1 −
n − 1
N − 1
Σ.
n
i1=1 i2=1
i2=i1
i=1
n
(xi1 − ξ)(xi2 − ξ) T
⎞
⎟
⎠

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 74
Jos N ja n ovat ”suuria”, on
n − 1
N − 1 ∼ = n
N =merk. a
(ns. otossuhde). Niinpä usein kirjoitetaankin (epätarkasti)
V (x) = 1
(1 − a)Σ.
n
Jos N →∞, niin V (x) → 1 Σ. Tästä syystä 1 − a:ta kutsutaan äärellisen populaation korjaus-
n
kertoimeksi.
Toinen otoksesta usein laskettava suure on otosvarianssi
S = 1
n − 1 xT Mnx,
joka on satunnaismatriisi, summamuodossa
S = 1
n − 1
n
(xi − x)(xi − x) T .
i=1
Skalaaritapauksessa merkitään otosvarianssia myös tutulla s 2 :lla. Huomaa, että kysymyksessä
on se ”harhaton varianssi”, toinen mahdollisuus olisi käyttää kerrointa 1/n.
Lause 4.2. E(S) = N Σ (Ei riipu n:stä!)
N−1
Todistus. Koska Mn1n = 0n,on
Siis
S = 1
n − 1 (x − 1nξ T ) T Mn(x − 1nξ T )
= 1
n − 1 (x − 1nξ T ) T (x − 1nξ T 1
) −
n(n − 1) (x − 1nξ T ) T 1n1 T n(x − 1nξ T )
= 1
n
(xi − ξ)(xi − ξ)
n − 1
T − n
n − 1 (x − ξ)(x − ξ)T .
i=1
E(S) = 1
n − 1
n
V (xi) −
i=1
n
V (x)
n − 1
1 n − 1
1 − Σ =
n N − 1
N
N − 1 Σ.
= 1 n
nΣ −
n − 1 n − 1
Näin ollen
1 − 1
S
N
on Σ:n harhaton estimaatti. Edelleen
1
n
1 −
n − 1
N − 1
on V (x):n harhaton estimaatti.
1 − 1
N
S = 1
n
N − n
N − 1
N − 1
N
1
S = (1 − a)S
n

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 75
Vaikka populaation jakauma ei muistuttaisikaan normaalijakaumaa, niin suurille N:n arvoille
ja ”vähääkään suuremmille” n:n arvoille x:n jakauma on likimain multinormaali. Tämä
johtuu Keskeisestä raja-arvolauseesta. Huomaa, että otokseen tulleet eri xi:t eivät ole riippumattomat,
vaan itse asiassa heikosti korreloivat. Suurilla N:n arvoilla korrelaatio on kuitenkin
hyvin pieni ja Keskeiseen raja-arvolauseeseen voinee vedota. Kullakin x:n komponentilla xi
voidaan näin olettaa olevan likimain normaalijakauma N ξi, 1
n (1 − a)σ2
i , missä ξi on ξ:n i:s
komponentti ja σ2 i on Σ:n i:s lävistäjäalkio. Tätä käyttäen saadaan ξi:lle tavalliseen tapaan luotettavuusväli.
Haluttuun luotettavuuteen pääseminen edellyttää kyllin suurta n:n arvoa, jonka määrittäminen
taas edellyttää yläarviota σ2 i :lle. Sellainen saadaan lasketuksi joko aikaisemmista otoksista
tai esitutkimuksista tai olettamalla populaatiossa Xji:lle (j =1,...,N)”konservatiivinen” jakauma,
ts. ajatellaan populaation arvot Xj saaduiksi ottamalla N:n suuruinen otos sopivasti
jakautuneesta satunnaismuuttujasta. Usein normaalijakauma on sopiva jakaumakandidaatti, varianssin
vain pitää olla kyllin suuri (konservatiivisuus). Myös tasajakauma tai kolmiojakauma
Xj:n vaihteluvälille sopii usein.
Huomaa, että eri komponenttien ξi luotettavuusvaatimuksista saadaan erilaisia otoskokoja.
Sitäpaitsi eri komponenteille saadut luotettavuusvälit voivat olla toisistaan riippuvia! Bonferronin
säännön nojalla saadaan luotettavuusvälit yhtaikaa käyttöön halutulla luotettavuudella. Huomaa,
että Bonferronin sääntö tekee mahdolliseksi ”tärkeämpien” komponenttien ξi estimoinnin
luotettavammin toisten, ”vähemmän tärkeiden” komponenttien kustannuksella.
4.2 Ositettu otanta
Populaatio on jaettu K:hon alipopulaatioon eli ositteeseen.
Ositteille saadaan ositematriisit
⎛ ⎞ ⎛
⎜
⎝
X T ℓ1
X T ℓ2
.
X T ℓNℓ
⎟
⎠ =
⎜
⎝
osite no. osite koko
1 X11,...,X1N1 N1
2 X21,...,X2N2 N2
.
.
.
K XK1,...,XKNK NK
Xℓ11 Xℓ12 ··· Xℓ1k
Xℓ21 Xℓ22 ··· Xℓ2k
.
.
...
XℓNℓ1 XℓNℓ2 ··· XℓNℓk
ja näistä yhdistämällä taas varsinainen populaatiomatriisi
⎛ ⎞
X =
⎜
⎝
X1
.
XK
.
⎟
⎠ .
⎞
⎟
⎠ =merk. Xℓ (ℓ =1,...,K)
Kullekin ositteelle saadaan edelleen ositepaino wℓ = Nℓ/N , missä N = N1 + ··· + NK.
Ositepainot kootaan ositepainovektoriksi
⎛ ⎞
w =
⎜
⎝
w1
.
wK
⎟
⎠ .

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 76
Edelleen saadaan ositekeskiarvot
ja ositevarianssit
ξ ℓ = 1
Σℓ = 1
X
Nℓ
T ℓ 1Nℓ
X
Nℓ
T ℓ MNℓXℓ. Yhdistetään ositekeskiarvot ositekeskiarvomatriisiksi
ja otetaan vielä käyttöön matriisi 1
Ξ = ξ 1 ··· ξ K
W = ⌈w⌋−ww T ,
missä ⌈w⌋ on K ×K-lävistäjämatriisi, jonka lävistäjällä ovat painot w1,...,wK. Tämä matriisi
saadaan helposti kootuksi esimerkiksi Matlabilla:
»N=10;
»w=[2/N;4/N;1/N;3/N]
w =
0.2000
0.4000
0.1000
0.3000
»W=diag(w)-w*w’
W =
0.1600 -0.0800 -0.0200 -0.0600
-0.0800 0.2400 -0.0400 -0.1200
-0.0200 -0.0400 0.0900 -0.0300
-0.0600 -0.1200 -0.0300 0.2100
Lause 4.3. Populaatiokeskiarvo on ositekeskiarvojen ositepainoilla painotettu keskiarvo, ts.
Populaatiovarianssi on
Σ =
ξ = Ξw =
K
wℓΣℓ + ΞWΞ T =
ℓ=1
K
ℓ=1
K
wℓξℓ. ℓ=1
wℓΣℓ +
K
wℓ(ξℓ − ξ)(ξℓ − ξ) T .
(Tässä K
ℓ=1 wℓΣℓ on ns. ositteiden sisäinen varianssi ja ΞWΞ T taas ositteiden välinen varianssi.)
Todistus. Lasketaan:
ξ = 1
N XT 1N = 1
T X1 ··· X
N
T K
⎛
⎜
⎝
1N1
.
1NK
ℓ=1
⎞
⎟
⎠ = 1
N
K
ℓ=1
X T ℓ 1Nℓ =
Populaatiovarianssia koskevan kaavan todistamiseksi todetaan ensin, että
Σ = 1
N XT MNX = 1
N XT
IN − 1
N 1N1 T
N X = 1
N XT X − ξξ T
1 Tämä vastaa matriisia 1
K MK, joka saadaan, kun painot ovat samat.
K
wℓξℓ = Ξw.
ℓ=1

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 77
(vastaten tuttua kaavaa V (x) =E(x2 ) − E(x) 2 )javastaavasti
Σℓ = 1
Xℓ T Xℓ − ξℓξ T
ℓ .
Nyt
ja
1
N XT X = 1
T X1 ··· X
N
T K
Nℓ
⎛
⎜
⎝
X1
.
XK
⎞
⎟
⎠ = 1
N
K
ℓ=1
X T ℓ Xℓ =
ξξ T = Ξww T Ξ T = −ΞWΞ T + Ξ⌈w⌋Ξ T = −ΞWΞ T +
Yhdistämällä nämä todetaan, että
Σ =
K
ℓ=1
wℓ(Σℓ + ξ ℓξ T
ℓ )+ΞWΞ T −
K
ℓ=1
wℓξ ℓξ T
ℓ =
K
ℓ=1
K
ℓ=1
K
ℓ=1
wℓ
X
Nℓ
T ℓ Xℓ
wℓξ ℓξ T
ℓ .
wℓΣℓ + ΞWΞ T .
ΞWΞ T pitää vielä saada haluttuun summamuotoon. Helpolla laskulla todetaan, että
missä
W = ⌈ √ w⌋−w √ w T ⌈ √ w⌋− √ ww T ,
√ w =
⎛
⎜
⎝
√ w1
.
√ wK
⎞
⎟
⎠
(eli painojen neliöjuurista muodostettu vektori). Näin ollen
ΞWΞ T = Ξ ⌈ √ w⌋−w √ w T √ √ T
⌈ w⌋− ww Ξ T
= Ξ⌈ √ w⌋−ξ √ w T √ √ T T
⌈ w⌋Ξ − wξ
K
= ( √ wℓξℓ − √ wℓξ)( √ wℓξℓ − √ wℓξ) T =
ℓ=1
Kussakin ositteessa suoritetaan tavallinen satunnaisotanta:
K
wℓ(ξℓ − ξ)(ξℓ − ξ) T .
osite no. otosalkiot otoskoko otossuhde otoskeskiarvo otosvarianssi
1 x11,...,x1n1 n1 a1 = n1/N1 x1 S1
2 x21,...,x2n2 n2 a2 = n2/N2 x2 S2
.
.
.
.
.
.
K xK1,...,xKnK nK aK = nK/NK xK SK
Ositteille saadaan omat datamatriisit
⎛ ⎞ ⎛
⎜
⎝
x T ℓ1
x T ℓ2
.
x T ℓnℓ
⎟
⎠ =
⎜
⎝
xℓ11 xℓ12 ··· xℓ1k
xℓ21 xℓ22 ··· xℓ2k
.
.
...
xℓnℓ1 xℓnℓ2 ··· xℓnℓk
.
⎞
ℓ=1
⎟
⎠ =merk. xℓ (ℓ =1,...,K)

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 78
ja näistä yhdistämällä taas varsinainen datamatriisi
⎛ ⎞
x =
⎜
⎝
Edelleen
xℓ = 1
x
nℓ
T ℓ 1nℓ ja Sℓ = 1
nℓ − 1 xTℓ Mnℓxℓ. Eri ositteiden satunnaisotannat ovat toisistaan riippumattomat. Edellisen pykälän tulokset soveltuvat
kullekin ositteelle:
E(xℓ) =ξℓ , V(xℓ) = 1
1 −
nℓ
nℓ
− 1
Σℓ
Nℓ − 1
ja E(Sℓ) = Nℓ
Nℓ − 1 Σℓ.
Varsinainen otoskeskiarvo on nyt
K
x = wℓxℓ.
w
ℓ=1
2 ℓ
nℓ
ℓ=1
x1
.
xK
⎟
⎠ .
Lause 4.4. E(x) =ξ,ts.xon populaatiokeskiarvon harhaton estimaatti, ja
K
1
V (x) =
1 − nℓ
− 1
Σℓ.
Nℓ − 1
Todistus. Edellisen lauseen nojalla
K
E(x) =E
ℓ=1
wℓxℓ
=
K
wℓE(xℓ) =
ℓ=1
K
wℓξℓ = ξ.
Nyt w1x1,...,wKxK ovat riippumattomat, sillä otokset eri ositteissa otetaan toisistaan riippumatta.
Koska riippumattomien satunnaisvektorien summan varianssi on satunnaisvektorien
varianssien summa, on
K
V (x) =V
ℓ=1
wℓxℓ
w
ℓ=1
2 ℓ
nℓ
=
K
V (wℓxℓ) =
ℓ=1
K
w 2 ℓ V (xℓ) =
ℓ=1
ℓ=1
K
1
w
ℓ=1
2 ℓ
nℓ
1 − nℓ
− 1
Σℓ.
Nℓ − 1
Jos N1,...,NK ja n1,...,nK ovat ”kohtalaisen suuria”, ovat x1,...,xK ja (lineaarikombinaationa)
siis myös x likimain multinormaalisti jakautuneita. Näin ollen ξ:n komponenteille
saadaan luotettavuusvälit. V (x):n harhaton estimaatti on
K
1
1 − nℓ
− 1
1 −
Nℓ − 1
1
K
Sℓ = w 2 1
ℓ (1 − aℓ)Sℓ.
Menetellään nyt seuraavasti. Etsitään ensin otantasuhteet nℓ/n, missä n = n1 + ···+ nK,
jollakin tavalla (vaihtoehtoja on useita) ja valitaan sen jälkeen itse otoskoko n niin suureksi, että
haluttuun luotettavuuteen päästään. Jos N1,...,NK ja n1,...,nK ovat ”kohtalaisen suuria”,
voidaan tarkkuuden kärsimättä käyttää approksimaatiota
V (x) ∼ K 1
= (1 − aℓ)Σℓ,
Nℓ
w
ℓ=1
2 ℓ
nℓ
jolloin otossuhteiden etsiminen helpottuu. Eri tapoja otantasuhteiden määrittämiseksi ovat mm.
seuraavat.
ℓ=1
nℓ

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 79
Suhdeotanta
Valitaan otantasuhteiksi nℓ/n = wℓ = Nℓ/N . Silloin aℓ = nℓ/Nℓ = n/N = a ja
x = 1
n
K
ℓ=1
nℓxℓ sekä V (x) ∼ = 1
(1 − a)
n
Optimikiintiöinti
K
wℓΣℓ.
Otantasuhteet nℓ/n valitaan siten, että tietty varianssista V (x) (tarkemmin sanoen sen approksimaatiosta)
laskettu vertailusuure minimoituu. Yleisesti 2 tällainen vertailusuure on muotoa
trace(AV (x)),
missä A on annettu positiivisemidefiniitti k × k-matriisi.
Tavallisimmat valinnat ovat muotoa A = ⌈ei⌋, missä ei on vektori, jonka i:s alkio on 1 ja
muut nollia. Tällöin valiutuu vertailusuureeksi V (x):n i:s lävistäjäalkio eli x:n i:nnen alkion varianssi.
Tällainen valinta on paikallaan, jos otantasuureen i:s komponentti on dominoiva ja muut
komponentit ovat vain ”lisätietoa”. Jos taas A = Ik,onvertailusuure V (x):n lävistäjäalkioiden
summa eli x:n komponenttien varianssien summa. Tällainen valinta asettaa otantasuureen eri
komponentit samanarvoiseen asemaan. Toisinaan tärkeä vertailusuure onkin muotoa V (c T x),
missä c on tunnettu vektori. Myös tällöin suure on yo. muotoa, sillä
V (c T x)=c T V (x)c = trace(c T V (x)c) =trace(cc T V (x))
ja valitaan A = cc T . Jos esimerkiksi c = e1 − e2, kohdistuu huomio 1. ja 2. komponentin
erotuksen estimointitarkkuuteen.
Katsotaan tarkemmin vertailusuureen ominaisuuksia.
Apulause. Jos A ja B ovat (samankokoisia) positiivisemidefiniittejä neliömatriiseja ja B on
symmetrinen, niin trace(AB) ≥ 0.
Todistus. Koska B on symmetrinen ja positiivisemidefiniitti, se voidaan kirjoittaa muotoon
B = QQ T .Merkitään Q =
q1 ··· qk . Silloin A:n positiivisemidefiniittisyyden nojalla
qT i Aq T
i ≥ 0 ja
trace(AB) =trace(AQQ T )=trace(Q T AQ) =
ℓ=1
k
q T i Aqi ≥ 0.
Koska varianssimatriisit ovat symmetrisiä ja positiivisemidefiniittejä, on ym. vertailusuure näin
ollen arvoltaan ei-negatiivinen. Merkitään
ja edelleen
τℓ = trace(AΣℓ)
τ =
⎛
⎜
⎝
2 Muussa yhteydessä on myös käytössä vertailusuureena V (x):n determinantti, joka on sopiva erityisesti multinormaalijakauman
yhteydessä, ks. JOHNSON &WICHERN.
τ1
.
τK
⎞
⎟
⎠ .
i=1

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 80
Silloin vertailusuure on (approksimatiivisesti)
trace(AV (x)) ∼ =
K
ℓ=1
w 2 ℓ
1
nℓ
− 1
τ
Nℓ
2 ℓ
ja otantasuhteet nℓ/n valitaan siten, että se minimoituu ehdoilla
n1,...,nK > 0 ja n1 + ···+ nK = n.
Kyseessä on oikeastaan kokonaislukuoptimointitehtävä muuttujille n1,...,nK (ks. kurssi Matemaattinen
optimointiteoria 2). Jos se ratkaistaan pitämällä muuttujia jatkuvina (Lagrangen
kertoimilla tai kirjoittamalla nK:n paikalle n − n1 −···−nK−1 ja merkitsemällä osittaisderivaatat
nolliksi), saadaan tulos
eli
Edelleen tällöin
V (x) ∼ =
K
ℓ=1
w 2 ℓ
Vertailusuuretta varten lasketaan
trace A 1
n wT K
τ
jolloin
nℓ = wℓτℓ
K
t=1
nℓ
n
wtτt
n = wℓτℓ
w T τ n
= wℓτℓ
w T τ .
T w τ 1
− Σℓ =
wℓτℓn Nℓ
1
n wT τ
ℓ=1
wℓ
Σℓ
τℓ
trace(AV (x)) ∼ = 1
n (wT τ ) 2 − 1
N
K
ℓ=1
= 1
n wT K
τ
K
ℓ=1
ℓ=1
wℓ
τℓ
wℓ
τℓ
Σℓ − 1
N
K
wℓΣℓ.
ℓ=1
τ 2 ℓ = 1
n (wT τ ) 2 ,
wℓτ 2 ℓ = 1
n (wT τ ) 2 − 1
N τ T ⌈w⌋τ .
Sekä suhdeotannassa että optimikiintiöinnissä otoskoon n alaraja määräytyy halutuista luotettavuuksista.
Molemmissa tapauksissa on ratkaistavana muotoa
1
n C1 − 1
N C2 ≤ Vmax eli n ≥
C1
1
N C2 + Vmax
olevia epäyhtälöitä, missä C1 ja C2 ovat ositepainoista ja -variansseista sekä vertailuarvoista
riippuvia vakioita ja Vmax on varianssin yläraja. Jos C1 ja C2 tulevat kerrottua samalla vakiolla
c>1, kasvaa n:n alaraja. Tämä sallii konservatiivisten yläarvioiden käytön ositevariansseille
ja vertailusuureille.
Huomautus. Optimikiintiöinnissä vertailusuureitten sekä suurta luotettavuutta vaativien komponenttien
valinnan tulee olla sopusoinnussa. Ei ole syytä valita eri ositteille tulevien otoskokojen
suhteita sellaisten komponenttien mukaan, joilta ei vaadita suurta luotettavuutta.

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 81
Kun n on saatu, jaetaan se eri ositteille noudattaen mahdollisimman tarkasti saatuja otantasuhteita,
pyöristäen ylöspäin mieluummin kuin alaspäin. Jos otoksesta estimoidut ositevarianssit
sekä niistä saatavat vertailusuureet ovat paljon suurempia kuin otoskokoa määrättäessä arveltiin
tai/ja ovat suhteiltaan arvioiduista paljon poikkeavat, on otosta kasvatettava tai/ja jaettava se eri
tavalla ositteille käyttäen hyväksi näin saatua uutta tietoa.
Vertaillaan vielä keskenään satunnaisotantaa, suhdeotantaa ja optimikiintiöintiä. Koska optimikiintiöinnissä
käytettiin vertailusuureita, käytetään niitä myös tässä ja merkitään
V1 = trace A 1
(1 − a)Σ
n
ℓ=1
= trace A 1
K
(1 − a)
n
ℓ=1
ℓ=1
wℓΣℓ + ΞWΞ T
= 1
n (1 − a)τ T ⌈w⌋τ + 1
n (1 − a)trace(AΞWΞT )
(vertailusuure satunnaisotannassa ilman ositteisiinjakoa),
V2 = trace A 1
K
(1 − a) wℓΣℓ =
n 1
K
(1 − a) wℓτ
n 2 ℓ = 1
n (1 − a)τ T ⌈w⌋τ
(vertailusuure suhdeotannassa) sekä
V3 = 1
n (wT τ ) 2 − 1
N τ T ⌈w⌋τ
(vertailusuure optimikiintiöinnissä). Otoskoko on kaikissa n. Huomaa, että on käytetty approksimatiivisia
V (x):n lausekkeita.
Lause 4.5. (i) V1 = V2 + 1
n (1 − a)trace(AΞWΞT ) ≥ V2
(ii) V2 = V3 + 1
n τ T Wτ ≥ V3
Todistus. (i) Edellä olevan Apulauseen nojalla trace(AΞWΞ T ) ≥ 0, sillä
W = ⌈ √ w⌋−w √ w T √ √ T
⌈ w⌋− ww
on symmetrinen ja positiivisemidefiniitti ja näin ollen sitä on myös ΞWΞ T .
(ii) Suoraan laskien todetaan, että
1 1
V2 = − τ
n N
T ⌈w⌋τ = 1
n (wT τ ) 2 − 1
N τ T ⌈w⌋τ + 1
n τ T ⌈w⌋τ − 1
n τ T ww T τ
= V3 + 1
n τ T Wτ
Toisaalta W on positiivisemidefiniitti (edellinen kohta), joten τ T Wτ ≥ 0.
Huomautus. Jos käytetään tarkkoja V (x):n lausekkeita approksimatiivisten sijasta, eivät lauseen
arviot pidä tarkasti paikkaansa. Itse asiassa on eräitä (harvinaisia) tilanteita, joissa pienille
populaatioille ositettu otanta tuottaa näin laskien hieman huonomman tuloksen kuin satunnaisotanta.
(Ks. esimerkiksi COCHRAN.)

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 82
Jos nyt τ ∼ = c1K, ts. vertailusuureilla τℓ ei ole kummempia eroja, niin
1
n τ T Wτ ∼ = c2
n 1TKW1K =0,
jolloin Lauseen 4.5 nojalla V3 ∼ = V2. Edelleen, jos AΞ ∼ = d1 T
K, ts. A:lla kerrotut ositekeskiarvot
ovat kutakuinkin samat, niin
AΞWΞ T ∼ T
= d1KWΞ T = OK,
jolloin Lauseen 4.5 nojalla V2 ∼ = V1.
Edellä olevan nojalla voidaan tehdä seuraavat johtopäätökset:
1. Jos A:lla kerrotuissa ositekeskiarvoissa tai/ja vertailusuureissa ei ole kummempia eroja,
ei ositettu otanta tuota satunnaisotantaa parempia tuloksia.
2. Jos A:lla kerrotuissa ositekeskiarvoissa on eroja, tuottaa suhdeotanta satunnaisotantaa
parempia tuloksia, samoin tietysti optimikiintiöinti.
3. Jos A:lla kerrotuissa ositekeskiarvoissa ei ole eroja, mutta vertailusuureissa on, tuottaa
optimikiintiöinti satunnaisotantaa paremman tuloksen, suhdeotanta sen sijaan ei.
Käytännössä ei suhdeotannan ja optimikiintiöinnin välillä useinkaan ole kovin suurta eroa. Näin
ollen, jos joudutaan suunnittelemaan ositettu otanta tilanteessa, jossa komponenttien ositevariansseille
voidaan arvioida ylärajat, mutta niiden tai vertailusuureiden keskinäisistä suhteista
ei ole tietoa, kannattaa käyttää suhdeotantaa.
Huomautus. Pelkästään se tieto, että ositettu otanta ei voi tuottaa huonompaa tulosta kuin
satunnaisotanta, on toisinaan arvokas. Ositettu otanta saattaa nimittäin tarjoutua luonnostaan
otannan menetelmäksi.
Optimikiintiöinti kustannuksin
Jos käytössä on otantaa varten varattuna kiinteä rahasumma c sekä otannan kustannusfunktio
f(n1,...,nK),onotoskoot nℓ valittava luonnollisesti siten, että vertailusuure
trace(AV (x)) ∼ K
= w 2
1
ℓ −
nℓ
1
τ
Nℓ
2 ℓ
ℓ=1
minimoituu ehdoilla
n1,...,nK > 0 ja f(n1,...,nK) ≤ c.
Kyseessä on kokonaislukuoptimointitehtävä, joka käytännössä ratkaistaan pitämällä muuttujia
jatkuvina ja pyöristämällä saadut arvot kokonaisluvuiksi. Tilannetta helpottaa se, että kustannusfunktiot
ovat monotonisia, ts. minkä tahansa muuttujan nℓ arvon kasvattaminen lisää kustannuksia.
Yksinkertaisin kustannusfunktio on tietysti
f(n1,...,nK) =c0 + c1n1 + ···+ cKnK,
missä c0 muodostuu yleiskuluista ja cℓ otosalkiota kohti lasketuista kustannuksista ℓ:nnessä
ositteessa. Minimointi voidaan suorittaa samaan tapaan kuin optimikiintiöinnissä ja tulos on
nℓ =
wℓτℓ
√cℓ
K
t=1
wtτt
√ct
n

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 83
missä n = n1 + ···+ nK. Jos c1 = ···= cK, niin päädytään ”tavalliseen” optimikiintiöintiin.
Mutkikkaampia kustannusfunktioita käytettäessä optimointi suoritetaan tietokoneella. Eräs
tällainen mutkikkaampi kustannusfunktio on
√ √
f(n1,...,nK) =c0 + c1 n1 + ···+ cK nK,
jota käytetään mallintamaan (karkeasti) tilannetta, missä ositteiden otantakustannukset kasvavat
hitaammin kuin lineaarisesti otoskoon funktiona. Usein mainitaan perusteluna tällaisen kustannusfunktion
käytölle klassinen tulos 3 , jonka mukaan m kaupungin kautta kiertävän lyhimmän
reitin pituus (ns. kaupparatsuprobleema, ks. kurssi Matemaattinen optimointiteoria 2 tai Graafiteoria)
on keskimäärin suuruusluokkaa C √ m, missä C on vakio. Tällöin ajatellaan kustannusten
pääosin aiheutuvan otokseen tulleiden ositealkioiden välisistä matkoista.
Populaatiovarianssille saadaan (harhainen) estimaatti sijoittamalla saadut ositekeskiarvojen
estimaatit (eli xℓ:t) sekä ositevarianssien estimaatit (eli (1 − 1/Nℓ)Sℓ:t) populaatiovarianssin
kaavaan. Vastaavalla tavalla saadaan estimaatit V (x):lle sekä vertailusuureille trace(AV (x)) ja
τ .
4.3 Yksiasteinen otanta. Systemaattinen otanta
Kuten ositetussa otannassa, populaatio ajatellaan jaetuksi osiin. Sen sijaan, että otettaisiin kussakin
ositteessa satunnaisotos, otetaankin satunnaisotos ositteista ja otokseen tulleet ositteet tutkitaan
kokonaan. Tässä yhteydessä ositteita kutsutaan rypäiksi ja puhutaan ryväsotannasta eli
yksiasteisesta otannasta.
Jatkossa tarkastellaan vain tapausta, jossa rypäät ovat samankokoiset. (Yleisempi tapaus,
jossa rypäät voivat olla erikokoiset, on huomattavasti mutkikkaampi, ks. COCHRAN.) Merkitään
rypäiden yhteistä alkiolukua M:llä.
Koska otanta suoritetaan varsinaisesti rypäiden joukossa, merkitään rypäiden lukumäärää
N:llä. Näin ollen populaatioalkioiden lukumäärä on NM.
Ryväskeskiarvot ovat
missä
ryväs no. ryväsalkiot ryväskeskiarvo ryväsvarianssi
1 X11,...,X1M Y1 Σ1
2 X21,...,X2M Y2 Σ2
on ryväsmatriisi. Ryväsvarianssit ovat
.
.
.
.
N XN1,...,XNM YN ΣN
Yℓ = 1
M XT ℓ 1M,
Xℓ =
⎛
⎜
⎝
X T ℓ1
.
X T ℓM
⎞
⎟
⎠
Σℓ = 1
M XT ℓ MMXℓ.
3 BEARDWOOD, J.&HALTON, J.H. & HAMMERSLEY, J.M.: The Shortest Path Through Many Points.
Proceedings of the Cambridge Philosophical Society 55 (1950), 299–327

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 84
Merkitään vielä
Y =
⎛
⎜
⎝
Edellä olleista tuloksista saadaan silloin suoraan kaavat populaatiokeskiarvolle ξ ja -varianssille
Σ sijoittamalla vain Ξ = YT , w = 1
N 1N ja W = 1
N MN:
Y T 1
.
Y T N
ξ = 1
N YT 1N ja Σ = 1
N
⎞
⎟
⎠ .
N
ℓ=1
Σℓ + 1
N YT MNY
(vm. on taas muotoa ”rypäiden sisäinen varianssi + rypäiden välinen varianssi”).
Ajatellaan rypäät (N kpl) populaatioksi, josta otetaan n rypään satunnaisotos. Rypääseen
liittyväksi numeeriseksi suurevektoriksi ajatellaan sen ryväskeskiarvo. Näin saadaan n alkion
satunnaisotos (yksiasteinen otanta)
y1,...,yn,
josta muodostetaan datamatriisi
y =
ja otoskeskiarvo
y = 1
n yT 1n.
Lauseen 4.1 nojalla
E(y) = 1
N YT 1N = ξ,
ts. y on populaatiokeskiarvon harhaton estimaatti.
Huomautus. Jos rypäät olisivat erikokoisia, niin w olisi = 1
N 1N ja ξ = YT w olisi = 1
Tässä tapauksessa y olisikin harhainen ξ:n estimaatti!
Vastaavasti Lauseen 4.1 nojalla
V (y) = 1
n
1 −
⎛
⎜
⎝
y T 1
.
y T n
⎞
⎟
⎠
n − 1 1
N − 1 N YT MNY.
N YT 1N.
y:n varianssi ei siis riipu rypäiden sisäisistä variansseista. Näin pitää ollakin, sillä otokseen
tulleet rypäät tutkitaan kokonaan. Jos V (y) halutaan ilmaista populaatiovarianssin Σ avulla,
tulee mukaan uusi suure, ns. rypäänsisäinen kovarianssi
Γ =
1
NM(M − 1)
N
(X T ℓ − ξ1 T M)KM(Xℓ − 1Mξ T )
ℓ=1
(vrt. pykälässä 1 oleva otoksen kovarianssi). Koska
saadaan laskien
KM = −MM +
M − 1
M JM,

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 85
Näin ollen
ja saadaan haluttu kaava:
Lause 4.6. V (y) = 1
nM
1
Γ = −
NM(M − 1)
+ 1
NM 2
N
(X T ℓ − ξ1 T M)MM(Xℓ − 1Mξ T )
ℓ=1
N
(X T ℓ − ξ1 T M)1M1 T M(Xℓ − 1Mξ T )
ℓ=1
1
= −
NM(M − 1)
+ 1
NM 2
N
ℓ=1
X T ℓ MMXℓ
N
(X T ℓ 1M − Mξ)(1 T MXℓ − Mξ T )
ℓ=1
1
= −
N(M − 1)
= − 1
Σ +
M − 1
= − 1
Σ +
M − 1
1 −
N
ℓ=1
Y T MNY =
Vastaava varianssi satunnaisotannassa on
Σℓ + 1
N
N
(Yℓ − ξ)(Yℓ − ξ) T
ℓ=1
1
N(M − 1) YT MNY + 1
M
N(M − 1) YT MNY.
N(M − 1)
M
n − 1
((M − 1)Γ + Σ)
N − 1
V (x) = 1
nM
1 −
N
Γ +
M Σ
nM − 1
Σ.
NM − 1
Jotta vertailusuure trace(AV (y)) olisi ≤ trace(AV (x)), onoltava
1
((M − 1)trace(AΓ)+trace(AΣ)) ≤
N − 1 M
N YT MNY
NM − 1 trace(AΣ)
eli
1
trace(AΓ) ≤−
NM − 1 trace(AΣ)
(tai N = n tai M =1, mutta nämä eivät yleensä tule kysymykseen).
Käytännössä trace(AΓ) on (yleensä) positiivinen, jolloin yksiasteinen otanta on satunnaisotantaa
huonompi. Toisaalta se on myös (yleensä) sitä halvempi.
V (y):tä käytetään otoksen suunnitteluun samaan tapaan kuin satunnaisotannassa. Vähääkään
suuremmille n:n arvoille y on likimain multinormaalisti jakautunut. Halutuista luotettavuuksista
määräytyy (eräille) V (y):n lävistäjäalkioille maksimiarvo(t). Jos saadaan arvioiduksi
ylärajat ryväskeskiarvojen varianssin
1
N YT
MNY = 1 − 1
Γ +
M
1
M Σ

LUKU 4. MONEN MUUTTUJAN PIENOTANTA 86
(tai Σ:n ja Γ:n) vastaaville alkioille, saadaan ratkaistuksi pienin otoskoko n, jne. Jos otoksesta
estimoidun ryväskeskiarvojen varianssin
1 − 1
1
N n − 1 yT Mny
lävistäjäalkiot ovat huomattavasti arvioitua suuremmat, on otosta kasvatettava.
Merkitään otokseen tulleiden rypäiden ryväsvariansseja symbolein s1,...,sn. Silloin
n
1
si + 1 −
n
i=1
1
1
N n − 1 yT Mny
on populaatiovarianssin harhaton estimaatti, sitä parempi mitä suurempi n on. V (y):n harhaton
estimaatti on puolestaan
1
1 −
n
n
1
N n − 1 yT Mny.
Erityinen yksiasteisen otannan laji on systemaattinen otanta. Systemaattisen otannan populaatio
on jonomuodossa
X1, X2,...,XNM.
Jako rypäisiin on seuraava:
ryväs no. ryväsalkiot ryväskeskiarvo
1 X1XN+1, X2N+1,...,X(M−1)N+1 Y1
2 X2XN+2, X2N+2,...,X(M−1)N+2 Y2
.
.
.
N XNX2N, X3N,...,XMN YN
Otokseen valitaan yksi ryväs, ts. n = 1. Käytännössä valitaan satunnaisesti jokin alkioista
X1,...,XN ja sen jälkeen joka N:s alkio. Populaatiokeskiarvon ξ harhaton estimaatti on valitun
rypään ryväskeskiarvo y ja sen varianssi on
V (y) = 1
N YT MNY = 1
((M − 1)Γ + Σ).
M
Systemaattinen otanta antaa vähintään yhtä hyvän tuloksen kuin satunnaisotanta, jos
1
trace(AΓ) ≤−
NM − 1 trace(AΣ).
Käytännössä, kuten yksiasteisessa otannassa yleensä, trace(AΓ) > 0, joten tulos on huonompi
kuin satunnaisotannassa. Toisaalta systemaattinen otanta on usein yksinkertainen ja halpa
otantamuoto, lisäksi helposti automatisoitavissa toisin kuin satunnaisotanta.
Populaatiovarianssille tai V (y):lle ei systemaattisesta otoksesta saada estimaattia. Tähän
tarvitaan useamman rypään otos. (Yo. kaavatkaan eivät ole tarkoitetut n:n arvolle 1.)
Huomautus. Systemaattinen otanta on eräs ns. jono-otantamenetelmistä, joissa populaatio on
jonomuotoinen ja otosalkiot otetaan jonosta järjestyksessä. Otoskoko ei useinkaan ole ennalta
määrätty, vaan otantaa jatketaan kunnes haluttu tarkkuus tms. tavoite on saavutettu. (Ks. kurssi
Tilastollinen laadunvalvonta.)
Yksiasteista otantaa (tai ositettua otantaa) yleistäen saadaan erilaiset moniasteiset otannat.
Esimerkiksi kaksiasteisessa otannassa otetaan ositteiden eli rypäiden joukosta satunnaisotos ja
otokseen tulleista rypäistä taas satunnaisotos kustakin. Tällaiseen otantaan liittyvät varianssilausekkeet
ovat varsin mutkikkaita ja työläitä johtaa. Lisäksi otoskoon määrääminen ja kiintiöinti
ovat suuritöisiä ja vaativat paljon esitietoja. Tulos on toisaalta hyvä otantakustannuksiin
nähden. Yksinkertaisin tapaus on kaksiasteinen otanta, kun rypäät ovat samankokoiset ja niistä
otetaan yhtäsuuret otokset. (Ks. RAJ tai COCHRAN.)

LIITE A: Matriisilaskentaa
Tässä kerrataan ja käsitellään lyhyesti eräitä tilastollisten monimuuttujamenetelmien tarvitsemia
matriisilaskennan käsitteitä.
Aluksi eräitä määritelmiä. Neliömatriisi A on symmetrinen, jos A T = A, ja idempotentti,
josA 2 = A. Idempotentin matriisin ainoat mahdolliset ominaisarvot ovat0ja1, sillä josAx =
λx, niin myös A 2 x = λx ja toisaalta A 2 x = λAx = λ 2 x, joten λ 2 = λ. Jos symmetrinen
matriisi on ei-singuläärinen, niin sen käänteismatriisi on myös symmetrinen.
Matriisin rivirangi (vast. sarakerangi) on sen suurin lineaarisesti riippumattomien rivien
(vast. sarakkeiden) lukumäärä. Tunnetusti matriisin A rivi- ja sarakerangit ovat samat, tätä yhteistä
arvoa kutsutaan matriisin asteeksi eli rangiksi, merkitään rank(A). Edelleen symmetrisen
neliömatriisin rangi on sen nollasta eroavien ominaisarvojen lukumäärä (moninkertaiset
ominaisarvot otetaan mukaan kertalukunsa osoittama määrä). Näin ollen symmetrisen idempotentin
matriisin rangi on sen 1-ominaisarvojen lukumäärä.
Neliömatriisin A jälki, merkitään trace(A), on sen lävistäjäalkioiden summa. Jäljellä on
seuraavat ominaisuudet:
1. trace(A+B) = trace(A)+trace(A);
2. trace(cA) = ctrace(A) (c on skalaari);
3. trace(A T ) = trace(A);
4. trace(AB) = trace(BA);
5. trace(AB T ) =
n
i=1
m
aijbij, kun A = (aij) jaB = (bij) ovatn×m-matriiseja;
j=1
6. trace(A) onA:n ominaisarvojen summa neliömatriisilleA.
Ominaisuudesta 6. johtuen symmetrisen idempotentin matriisin rangi on sen jälki.
Merkitään0n:llän-vektoria, jonka kaikki alkiot ovat nollia (nollavektori),1n:llän-vektoria,
jonka kaikki alkiot ovat ykkösiä (ykkösvektori), On:llä n × n-matriisia, jonka kaikki alkiot
ovat nollia (nollamatriisi), ja vieläIn:llän×n-identiteettimatriisia. Seuraavia erikoismatriiseja
tarvitaan usein:
Jn = 1 T n 1n , Kn = Jn −In , Mn = In − 1
n Jn
(Jn onn×n-matriisi, jonka kaikki alkiot ovat ykkösiä). Nämä matriisit saa helposti käyttöönsä
Matlabilla:
»n=5;
»I=eye(n)
I =
87

1 0 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
»u=ones(n,1)
u =
1
1
1
1
1
»J=ones(n)
J =
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
»K=ones(n)-eye(n)
K =
0 1 1 1 1
1 0 1 1 1
1 1 0 1 1
1 1 1 0 1
1 1 1 1 0
»M=eye(n)-ones(n)/n
M =
0.8000 -0.2000 -0.2000 -0.2000 -0.2000
-0.2000 0.8000 -0.2000 -0.2000 -0.2000
-0.2000 -0.2000 0.8000 -0.2000 -0.2000
-0.2000 -0.2000 -0.2000 0.8000 -0.2000
-0.2000 -0.2000 -0.2000 -0.2000 0.8000
Matriisit Jn, Kn ja Mn ovat ilmeisesti symmetrisiä. Seuraavat ominaisuudet ovat todettavissa
helpolla laskulla:
(i) 1 T n 1n = n
(ii) Jn1n = n1n
(iii) Kn1n = (n−1)1n
(iv) Mn1n = 0n
(v) J 2 n = nJn
(vi) K 2 n = (n−1)Jn −Kn
(vii) M 2 n = Mn (eli Mn on idempotentti)
(viii) JnKn = (n−1)Jn
(ix) JnMn = On
(x) KnMn = −Mn
(xi) n(Kn +Mn) = (n−1)Jn
Matriiseja on usein edullista käsitellä jaettuina lohkoihin:
⎛ ⎞
⎜
A = ⎜
⎝
A11 A12 ··· A1k
A21 A22 ··· A2k
.
.
. ..
Aℓ1 Aℓ2 ··· Aℓk
Lohkomuodossa olevien matriisien transpoosi ja tulo saadaan suoraan lohkojen avulla:
.
⎟
⎠ .
88

ja
⎛
⎜
⎝
missä
⎛
⎜
⎝
A11 A12 ··· A1k
A21 A22 ··· A2k
.
.
.. .
Aℓ1 Aℓ2 ··· Aℓk
A11 A12 ··· A1k
A21 A22 ··· A2k
.
.
. ..
Aℓ1 Aℓ2 ··· Aℓk
.
⎞⎛
⎟⎜
⎟⎜
⎟⎜
⎠⎝
.
⎞
T
⎛
A T 11 AT 21 ··· A T ℓ1
A T 1k AT 2k ··· A T ℓk
⎞
⎟ ⎜
⎟ ⎜ A
⎟ = ⎜
⎠ ⎝
T 12 AT 22 ··· AT ⎟
ℓ2 ⎟
.
. . ..
⎟
. ⎠
B11 B12 ··· B1m
B21 B22 ··· B2m
.
.
.. .
Bk1 Bk2 ··· Bkm
Cij =
k
t=1
.
AitBtj
⎞
⎛
⎟
⎠ =
⎜
⎝
C11 C12 ··· C1m
C21 C22 ··· C2m
.
.
.. .
Cℓ1 Cℓ2 ··· Cℓm
(huomaa kertojärjestys), olettaen että kaikki esiintyvät matriisikertolaskut ovat määriteltyjä.
Lohkokertosääntö muistuttaa ”tavallista” matriisien kertosääntöä(aij)(bij) = (cij), missäcij =
k
t=1 aitbtj, ja voidaan sitä käyttäen todistaa helposti. Eräs erikoistapaus on ns. toinen matriisi-
kertosääntö
a1 a2 ··· ak
⎛
⎜
⎝
b T 1
b T 2
.
b T k
⎞
⎟
⎠ =
k
atb T t .
Summalausekkeet ja matriisit liittyvät toisiinsa seuraavilla kaavoilla, jotka ovat helposti todettavissa.
Merkitään
⎛ ⎞
Silloin
1. 1
k A1k = 1
k
2. 1
k 1T 1
kB =
k
3. AJkB =
4. AKkB =
A = a1 a2 ··· ak
t=1
⎜
ja B = ⎜
⎝
k
at (ns.A:n sarakekeskiarvo, merkitääna);
t=1
k
t=1
k
t=1
k
t=1
b T t (ns. B:n rivikeskiarvo, merkitäänbT );
k
s=1
k
s=1
s=t
5. AMk = A − a1T k
sarakkeet);
atb T s ;
atb T s ;
b T 1
b T 2
.
b T k
⎟
⎠ .
.
⎞
⎟
⎠ ,
(vähennetään A:n sarakkeista sen sarakekeskiarvo eli keskitetään
89

6. MkB = B−1kb T (vähennetään B:n riveistä sen rivikeskiarvo eli keskitetään rivit);
7. AMkB = AM 2
k B = (A−a1T k )(B−1kb T ).
Kohdan 7. seurauksena erikoisesti
AMkA T = (A−a1 T k )(A−a1T k )T .
90

LIITE B: Multinormaalijakauma
Satunnaisvektorillax (n-vektori) on ns. multinormaalijakaumaN(µ,Σ), jos sen tiheysfunktio
on
f(x) =
1
(2π) n/2det(Σ) e−12
(x−µ)TΣ−1 (x−µ)
.
Tässä µ = E(x) (odotusarvo(vektori)) ja Σ = V(x) (varianssi(matriisi)). Mikäli µ = 0n ja
Σ = In, on kyseessä ns. standardimultinormaalijakauma.
Todetaan seuraavat multinormaalijakauman ominaisuudet:
1. Josx:llä onn-ulotteinenN(µ,Σ)-jakauma,Conm×n-matriisi, jonka rivirangi on täysi
(eli m), ja b on m-vektori, niin satunnaisvektorilla Cx + b on m-ulotteinen N(Cµ +
b,CΣC T )-jakauma.
2. Josx:llä onn-ulotteinenN(µ,Σ)-jakauma,C1 onm1×n-matriisi,C2 onm2×n-matriisi,
b1 onm1-vektori jab2 onm2-vektori, niin satunnaisvektoritC1x+b1 jaC2x+b2 ovat
riippumattomat tarkalleen silloin, kunC1ΣC T 2 = O.
3. Josx:llä onn-ulotteinenN(µ1n,σ 2 In)-jakauma jas 2 = 1
n−1 xT Mnx (otosvarianssi), niin
satunnaismuuttujalla
s 2 (n−1)
σ 2
onχ 2 -jakauman−1vapausasteella.
4. Jos x:llä on n-ulotteinen N(µ1n,σ 2 In)-jakauma, x = 1
n 1T n x (otoskeskiarvo) ja s2 =
1
n−1 xT Mnx (otosvarianssi) niin satunnaismuuttujalla
(x−µ) √ n
s
on t-jakauman−1 vapausasteella. (Huomaa, että(x−µ) √ n/σ on standardinormaalisti
jakautunut ja s 2 (n − 1)/σ 2 on χ 2 -jakautunut n − 1 vapausasteella ja että nämä satunnaismuuttujat
ovat riippumattomat. Yleisesti, jos u on standardinormaalisti jakautunut,
v on χ 2 -jakautunut m vapausasteella ja u ja v ovat riippumattomat, niin u √ m/ √ v on
t-jakautunutm vapausasteella.)
5. Jos x1:llä on n1-ulotteinen N(µ11n1,σ 2 In1)-jakauma, x2:llä on n2-ulotteinen N(µ21n2,
σ 2 In2)-jakauma sekäx1 jax2 ovat riippumattomat, niin satunnaismuuttujalla
x T 1 Mn1x1(n2 −1)
x T 2 Mn2x2(n1 −1)
on F-jakauma vapausasteinn1−1 jan2−1. (Huomaa, ettäx T 1Mn1x1/σ 2 jax T 2Mn2x2/σ 2
ovat riippumattomatχ 2 -jakautuneet satunnaismuuttujat vapausasteinn1−1 jan2−1, vastaavasti.
Yleisesti riippumattomien, vapausastein m1 ja m2 χ 2 -jakautuneiden vapausasteillaan
jaettujen satunnaismuuttujien osamäärä on F-jakautunut vapausasteinm1 jam2.)
91

Kirjallisuus
1. BARNETT, V.: Sample Survey Principles and Methods. Edward Arnold (1991)
2. BOX, G.E.P. & DRAPER, N.R.: Empirical Model-Building and Response Surfaces. Wiley
(1987)
3. BOX, G.E.P. & HUNTER, W.G. & HUNTER, J.S.: Statistics for Experimenters. Wiley
(1978)
4. CHRISTENSEN, R.: Plane Answers to Complex Questions. The Theory of Linear Models.
Springer–Verlag (1996)
5. COCHRAN, W.G.: Sampling Techniques. Wiley (1977)
6. DAVIES, O.L. (toim.): The Design and Analysis of Industrial Experiments. Oliver and
Boyd (1967)
7. DRAPER, N.R. & SMITH, H.: Applied Regression Analysis. Wiley (1998)
8. EVERITT, B.S & DUNN, G.: Applied Multivariate Data Analysis. Arnold (2001)
9. GUENTHER, W.C.: Analysis of Variance. Prentice–Hall (1964)
10. JOHN, P.W.M.: Statistical Design and Analysis of Experiments. SIAM (1998)
11. JOHNSON, R.A. & WICHERN, D.W.: Applied Multivariate Statistical Analysis. Prentice–Hall
(1998)
12. JOHNSTON, J.: Econometric Methods. McGraw–Hill (1996)
13. KHURI, A.I. & CORNELL, J.A.: Response Surfaces. Designs and Analyses. Marcel Dekker
(1996)
14. KRISHNAIAH, P.R. & RAO, C.R. (toim.): Sampling. Handbook of Statistics. Vol. 6.
North–Holland (1988)
15. MYERS, R.H. & MONTGOMERY, D.C.: Response Surface Methodology. Process and
Product Optimization Using Designed Experiments. Wiley (1995)
16. MONTGOMERY, D.C.: Design and Analysis of Experiments. Wiley (1996)
17. PAHKINEN, E. & LEHTONEN, R.: Otanta-asetelmat ja tilastollinen analyysi. Gaudeamus
(1989)
18. RAJ, D.: Sampling Theory. McGraw–Hill (1968)
92

Hakemisto
2 k -kokeet 25
3 k -kokeet 31
affiinimuunnos 16
aksiaaliosa 32
alias 26
aliasmatriisi 13
aliastaulu 26
alipopulaatio 75
ANOVA 7
askeltava regressio 15
aste 87
Bartlettin testi 53
Bonferronin sääntö 5, 46, 75
Boxin F-jakauma-approksimaatio 55
CCD-koe 31
Cramer–von Mises-testi 52
datamatriisi 2, 72, 84
determinaatiokerroin 12
dikotomiafaktori 42
Duncanin vaihteluvälitesti 49
Dunnettin testi 49
ennustaminen 2
epäadditiivisuus 61
epänormaalisuus 51
epäsopivuuden keskineliö 15
epäsopivuuden neliösumma 14
epäsopivuus 12
epätasapainoinen koe 43
faktori 1
faktoriaaliosa 32
faktorin kielto 26
gradienttimenetelmä 34
Hadamardin matriisi 23
harju 37
heterogeeninen varianssi 53
hyperneliökoe 70
hypoteesin testaus 7, 45
I tyypin virhe 5
idempotentti matriisi 87
intervalliasteikko 40
jono-otanta 86
jälki 87
järjestyserotus 50
kaksiasteinen otanta 86
kanoninen muoto 38
kanonisointi 37
kategorisointi 43
keskineliö 12
keskittäminen 89
keskitysmatriisi 11
keskivaste 45
keskusosa 32
kiertosymmetrinen suunnittelu 21, 29
kokeen resoluutio 26
kokonaiskeskineliö 12, 41, 58, 66
kokonaisneliösumma 11, 41
Kolmogorov–Smirnov-testi 52
kontrasti 45
kontrastimatriisi 45
kontrastin neliösumma 46
kontrastinormi 47
koodaus 18
korjattu determinaatiokerroin 12
korrelaatiokerroin 73
korrelointi 52
kreikkalais-roomalainen neliö 69
kriittinen piste 36
kriittinen väli 50
Kronecker-tulo s23
kustannusfunktio 82
kvalitatiivinen faktori 40
käsittely 40
käsittelyjen keskineliö 41, 58, 66
käsittelyjen neliösumma 41
latinalainen neliö 63
lineaarinen hypoteesi 7, 45
lineaarinen regressiomalli 2
lohko 55
lohkojen keskineliö 58, 66
lohkojen neliösumma 57
lohkomatriisi 88
LSD-menetelmä 48
maksimaalinen vaste 36
mallin käyttökelpoisuus 10
mallin riittävyys 51
mallin typistäminen 21
minimaalinen vaste 36
monen muuttujan pienotanta 71
monisuuntainen ANOVA 55
multinormaalijakauma 91
Nelder–Mead-algoritmi 39
neliökoe 63
Newman–Keuls-testi 49
nollamatriisi 87
nollavektori 87
normaaliryhmä 56
normaalitodennäköisyyskuvio 51
nouseva harju 37
optimikiintiöinti kustannuksin 82
optimikiintiöinti 79
ortogonaalinen kontrastimatriisi 47
ortogonaalinen suunnittelu 20, 29
93

ortogonaaliset kontrastit 46
ortogonaaliset neliöt 69
osite 75
ositekeskiarvo 76
ositekeskiarvomatriisi 76
ositematriisi 75
ositepaino 75
ositepainovektori 75
ositettu otanta 75
ositevarianssi 76
osittainen 2 k -koe 26
osittainen 3 k -koe 31
otoksen vertailusuure 79
otos 72
otosalkio 72
otoskeskiarvo 73
parametri 1
parametrien estimointi 44
permutaatiomatriisi 64
pienimmän neliösumman keino 2, 44
Plackett–Burman-koe 23
populaatio 71
populaatiokeskiarvo 71
populaatiomatriisi 71
populaatiovarianssi 71
puhtaan virheen keskineliö 15
puhtaan virheen neliösumma 14
QR-hajotelma 22, 47
rangi 87
regressiomalli 1
regression keskineliö 12
regression neliösumma 11
residuaali 41
residuaalin keskineliö 12, 41, 58, 66
residuaalin neliösumma 3, 41, 57, 66
residuaalivektori 3
rivikeskiarvo 89
rivirangi 87
roomalaiset neliöt 63
rypäänsisäinen kovarianssi 84
ryväs 83
ryväskeskiarvo 83
ryväsmatriisi 83
ryväsotanta 83
ryväsvarianssi s83
sarakekeskiarvo 89
sarakerangi 87
sarakkeiden keskineliö 66
sarakkeiden neliösumma 66
satulapiste 36
satunnaisotanta palauttamatta 72
satunnaisotanta 71
satunnaistetut lohkot 55
Scheffén menetelmä 47
Schurin hajotelma 37
sekoittuminen 26
selitettävä muuttuja 1
selittävä muuttuja 1
selitysaste 12
Sherman–Morrison-kaava 30
simpleksi 22
simplex-koe 22
singulääriarvohajotelma 6
skaalaus 17
standardineliö 66
standardointi 17
suhdeotanta 79
suunnittelumatriisi 10
symmetrinen matriisi 87
systemaattinen otanta 86
tasapainoinen koe 43
toistokoe 13
Tukeyn additiivisuustesti 61
Tukeyn tasoitus 51
Tukeyn testi 49
täydellinen 2 k -koe 25
täydellinen 3 k -koe 31
ulkolainen 52
vapausaste 11
varianssianalyysi 7
varianssianalyysitaulu 12, 15
vaste 1
vasteen optimointi 34
vastefunktio 1
vastevektori 2
viettosuunta 34
virhetermi 1
yhdistetty testi 47
yhdysvaikutus 26, 55, 61
yhteiskorrelaatiokerroin 12
ykkösvektori 87
yksiasteinen otanta 83
yksisuuntainen ANOVA 40
äärellisen populaation korjauskerroin 74
ääriarvotarkastelu 35
94