osnove statistike-regresija.pdf

OSNOVE STATISTIKE
Regresijska i korelacijska analiza

Regresijska i korelacijska analiza
Dio statistike koji prouava povezanost i uzajamni odnos
meu pojavama, koristei pri tomu matematike relacije,
naziva se korelacija.
Veze meu pojavama mogu biti funkcionalne (ili
deterministike) i statistike ( ili stohastine).
Glavna zadaa korelacijske analize je otkrivanje
zakonitosti i pravilnosti koje vladaju u odnosima meu
masovnim statistikim pojavama, te kreiranje
matematikih modela koji pomou simbola opisuju
ponašanje pojava u stvarnim uvjetima funkcioniranja.
Korelacijska analiza ukljuuje konstrukciju grafikona za
prikaz kovarijacije pojava (varijabli) i utvrivanje
brojanih pokazatelja jakosti i smjera veze izmeu
varijabli.

Regresijska i korelacijska analiza
Kada se u analizi meuzavisnosti definira koja je
varijabla zavisna a koja nezavisna onda se koriste
metode regresijske analize.
Zavisnost pojava se utvruje prema prethodnim
teorijskim i empirijskim saznanjima o prirodi pojava i
njihovim odnosima.
Matematiki izraz koji pokazuje kako na vrijednost
zavisne varijable utjee vrijednost jedne ili više
nezavisnih varijabli naziva se regresijski model.
Regresijski model predstavlja matematiku funkciju
kojom se opisuje zavisnost jedne (zavisne) varijable o
jednoj ili više nezavisnih varijabli.

Modeli regresije
Opi oblik modela regresije je:
Y
f X , X ,..., X )
( 1 2 k
Model se sastoji od deterministikog dijela, koji
predstavlja matematiku funkciju kojom se izražava
zavisnost zavisne varijable od odreenog broja
nezavisnih varijabli, i stohastinog dijela koji
predstavlja odstupanje od funkcionalne zavisnosti
Modele regresije možemo podijeliti s obzirom na broj
nezavisnih varijabli ukljuenih u model i s obzirom na
oblik matematike funkcije deterministikog dijela
modela

Modeli regresije
S obzirom na broj nezavisnih varijabli u
modelu, modeli regresije se dijele na
modele jednostavne regresije i modele
višestruke regresije.
Model jednostavne linearne regresije ima
jednu zavisnu i jednu nezavisnu varijablu.
Model višestruke regresije ima jednu
zavisnu i više nezavisnih varijabli

Modeli regresije
Prema obliku matematike funkcije
deterministikog modela, modele regresije
dijelimo na linearne i nelinearne ili krivolinijske
modele.
Veza meu varijablama kod linearnog modela
predoena je linearnom funkcijom, iji je graf
pravac.
Veza izmeu varijabli kod krivolinijske regresije
ima oblik neke druge matematike funkcije, iji je
graf neka kriva linija.

Modeli regresije
Cilj regresijske analize je utvrditi smjer, oblik i jainu veze
izmeu analiziranih pojava.
Smjer veze može biti pozitivan i negativan.
Oblik veze definiran je oblikom matematike funkcije koja
predstavlja deterministiki dio modela regresije. Tako postoje
linearni i krivolinijski modeli.
Jaina veze se odreuje analizom sluajne varijable
regresijskog modela. Sluajnom varijablom se predouju
nesistemski utjecaji, odnosno utjecaji pojava koje nisu
ukljuene u model.
Kao prvi korak u analizi zavisnosti dviju sluajnih varijabli
uobiajeno se empirijski podaci prikazuju grafiki. U
koordinatni sustav se ucrtavaju toke odreene parovima
vrijednosti i i . Tako dobiveni dijagram se naziva
dijagram rasipanja (scatter diagram).
y x ,

Karakteristini oblici dijagrama rasipanja
y i
y i
x i
Pozitivna, linearna funkcionalna veza
Pozitivna,linearna jaka stohastina veza
x i
y i
y i
Negativna, linearna funkcionalna veza
x i
Negativna, linearna umjerena stohastina veza
x i

Karakteristini oblici dijagrama rasipanja
y i
y i
Pozitivna, linearna slaba statistika veza
Nepostojanje veze
x i
x i
y i
x i
Negativna, linearna slaba stohastina veza
y i
Krivolinijska stohastina veza
x i

Modeli regresije – jednostavna linearna
regresija
Model jednostavne linearne regresije, opi oblik
modela je:
y b0
b1x
i
i
e
i
U modelu jednostavne linearne regresije vrijednost
zavisne varijable Y je linearna kombinacija
vrijednosti nezavisne varijable X, parametara
modela i sluajne varijable.
Funkcionalni dio modela odreen je ako su poznate
vrijednosti parametara b i b
Vrijednost parametara se procjenjuje empirijski ili
pomou izmjerenih n parova vrijednosti varijable X i
Y
0
1

Modeli regresije – jednostavna linearna
regresija
Analiza modela u domeni deskriptivne statistike vrši
se izraunavanjem vrijednosti parametara i
pokazatelja reprezentativnosti modela, a to su
varijanca, standardna devijacija, koeficijent varijacije i
koeficijent determinacije.
Vrijednost procijenjenih parametara se izraunava iz
n izmjerenih parova vrijednosti x i y.
Prema tome i vrijednosti pokazatelja se odnose samo
na n izmjerenih parova podataka.

Modeli regresije – jednostavna linearna
regresija
Parametri procijenjenog modela se odreuju tako da
odstupanja izmjerenih vrijednosti od procijenjene vrijednosti
zavisne varijable pomou modela budu što manja.
Postoji više metoda procjene parametara, a naješe se
koristi metoda minimalnih kvadrata odstupanja. Parametri
procijenjeni metodom minimalnih kvadrata odstupanja opisuju
pravac za koji je zbroj rezidualnih kvadrata odstupanja
minimalan.
Parametri se izraunavaju pomou izraza:
n
i1
b1 n
x
i1
i
y
x
i
2
i
nx
nx
2
y
b y
0
bx

Modeli regresije – jednostavna linearna
regresija
Parametar b0
predstavlja konstantni lan modela, a
parametar b1
je regresijski koeficijent.
Konstantan lan b0
je vrijednost zavisne varijable kada
je vrijednost nezavisne varijable jednaka nuli. Za veinu
primjera nema konkretno znaenje.
Regresijski koeficijent b1
predstavlja linearnu promjenu
zavisne varijable za jedinino poveanje nezavisne
varijable.
Regresijske vrijednosti se dobivaju uvrštavanjem
odgovarajuih vrijednosti nezavisne varijable x u model
regresije.
Rezidualna odstupanja su odstupanja izmjerenih
vrijednosti zavisne varijable od regresijskih vrijednosti.

Modeli regresije – jednostavna linearna
regresija
Prodaja
20
15
10
5
0
Podaci o cijeni i prodaji proizvoda A
(0, b 0 )
0 2 4 6 8 10
Cijena
(x, y )
Empirijski podaci Linearni model regresije

Modeli regresije – jednostavna linearna
regresija
Razlike vrijednosti izmjerenih vrijednosti zavisne varijable
i regresijskih vrijednosti predstavljaju rezidualna
odstupanja i oznaavaju se sa ei
.
Ovako dobivena odstupanja su izražena u mjernim
jedinicama zavisne varijable Y i nazivaju se apsolutna
rezidualna odstupanja, e y yˆ
.
Relativna rezidualna odstupanja su izražena u
postotcima i dobiju se tako što se apsolutno odstupanje
podijeli izmjerenom vrijednosti varijable, zatim omjer
pomnoži sa 100, y ˆ i yi
e
100
i,
rel
i
Rezidualna odstupanja se mogu izraziti i u standardnim
devijacijama, pa se nazivaju standardizirana rezidualna
odstupanja. Dobivaju se tako da se apsolutna
odstupanja podijele standardnom devijacijom modela
regresije,
y i yˆ
i
ei,
y
y
i
i
i

Modeli regresije – jednostavna linearna
regresija
Model regresije je reprezentativniji što su manja rezidualna
odstupanja.
Kakvoa modela se mjeri odgovarajuim pokazateljima, a
najznaajniji su:
- Varijanca ili prosjeno kvadratno odstupanje, dobiva se tako
da se zbroj kvadrata rezidualnih odstupanja podijeli brojem
podataka.
n
2 1
2
y yˆ
yˆ
n i1
i
i
- Standardna greška modela ili prosjeno odstupanje podataka
od regresijskih vrijednosti, dobiva se kao pozitivni drugi
korijen iz varijance.
- Koeficijent varijacije je omjer standardne devijacije i prosjene
vrijednosti zavisne varijable, pomnoženo sa 100.
V
yˆ
y
yˆ
100

Modeli regresije – jednostavna linearna
regresija
U analizi reprezentativnosti regresijskog pravca koristi se
koeficijent determinacije.
Koeficijent determinacije je relativna mjera prilagoenosti
regresijskog pravca empirijskim podacima.
Dobiva se kao omjer protumaenog dijela zbroja kvadrata
odstupanja i ukupnog zbroja kvadrata odstupanja.
Ukupno odstupanje empirijskih podataka (varijabla y) od
prosjene vrijednosti varijable y se rastavlja na dio odstupanja
protumaen modelom regresije (razlika regresijske vrijednosti i
prosjene vrijednosti) i dio ne protumaen modelom (razlika
izmeu izmjerene i regresijske vrijednosti)
Koeficijent determinacije uzima vrijednosti iz intervala 0 i 1.
r
2
n
n
i1
i1
yˆ y
i
y y
i
2
2

Nelinearni regresijski modeli
Povezanost dvije pojave ne može se uvijek izraziti
linearnim modelom. Zbog toga se u izgradnji modela
regresije koriste razliiti oblici funkcija, pa se takvi modeli
zovu nelinearni ili krivolinijski modeli regresije.
U praksi se naješe koriste modeli koji se postupkom
transformacije mogu prevesti u modele jednostavne
linearne regresije i modeli polinomske regresije.
Od modela koji se mogu transformirati u modele
jednostavne linearne regresije naješe se koriste:
- eksponencijalni modeli,
- multiplikativni model,
- logaritamski model i
- reciproni model.

Nelinearni regresijski modeli
Kod svih modela regresije radi se o statistikoj
meuzavisnosti pojava, pa modeli imaju
funkcionalni dio i sluajnu promjenjivu.
Analiza funkcionalnog dijela zavisi od oblika
funkcije koji se koristi, a analiza rezidualnih
odstupanja se provodi na isti nain bez obzira
na oblik funkcije. Zbog toga je kod krivolinijskih
modela navedena analiza samo funkcionalnog
dijela.
Analiza rezidualnih odstupanja provodi se
izraunavanjem istih pokazatelja
reprezentativnosti kao kod linearnog modela.

Nelinearni regresijski modeli
Funkcionalni dio eksponencijalni model ima oblik:
xi
yˆ i b0b1
Logaritmiranjem izraza dobiva se linearizirani model:
log yˆ i logb0
logb1
xi
Analiza transformiranog modela provodi se na isti nain kao
kod linearnih modela, uz napomenu da je kod interpretacije
rezultata nužno voditi rauna koje su varijable ili parametri
transformirani.
U navedenom modelu izvršena je transformacija zavisne
varijable i koriste se logaritamske vrijednosti varijable log y .
Vrijednosti parametara koji se procjenjuju pomou empirijskih
vrijednosti se dobivaju u logaritamskim vrijednostima.
i

Nelinearni regresijski modeli
Vrijednost parametara, odnosno njihovih logaritamskih
vrijednosti se dobiva pomou izraza:
n
xi
log yi
n x log y
i1
log b1
logb
n
0 log y logb1
x
2 2
x n x
i1
i

Nelinearni regresijski modeli
Vrijednost parametara originalnog modela dobiva
se antilogaritmiranjem.
Parametar b0
predstavlja vrijednost zavisne
varijable kada nezavisna varijabla ima vrijednost
nula. Kao i kod linearnog modela uglavnom nema
stvarno znaenje.
Vrijednost parametra b1
pokazuje relativnu
promjenu zavisne varijable za jedinino relativno
poveanje nezavisne varijable. Tumai se
uglavnom kao postotna promjena. Znai, ako se
nezavisna varijabla povea za 1% zavisna varijabla
e se promijeniti u postotcima za iznos b1 1100
pomnožen sa sto.

Nelinearni regresijski modeli
Logaritamski model koristi transformaciju nezavisne
varijable ( log xi),
a opi oblik regresije je: yˆ i b0
b1
log xi
Model s procijenjenim parametrima se dobiva pomou
izmjerenih n parova vrijednosti zavisne i nezavisne varijable,
x ,
i yi
Vrijednosti parametara procijenjenog modela se izraunavaju
pomou izraza:
b
n
i1
1 n
i1
log x
i
2 log x n log x
i
y
i
n log x y
2
b
y b log x
0
1

Nelinearni regresijski modeli
Parametar b0
predstavlja vrijednost zavisne varijable kada je
nezavisna varijabla jednaka jedan log1 0 .
b
Parametar 1 pokazuje prosjeno linearno poveanje zavisne
varijable kada se logaritam nezavisne varijable povea za
jedan (vrijednost logaritma 0, 1, 2, 3, 4,… imaju redom brojevi
1, 10, 100, 1000, 10000,…)
1
Reciproni model regresije ima oblik: yˆ
i
b b x
Korištenjem reciprone vrijednosti za zavisnu varijablu ,
yi
model se transformira u linearni oblik: 1
b0
b1xi
yˆ
i
0
1
i
1

Model polinomske regresije
U izboru tipa krivulje koja je najbolje prilagoena tokama u
dijagramu rasipanja može se poi od modela polinomske
regresije. Opi oblik polinomske regresije je:
yˆ b b x b x ....
b x ....
b
i
0
1
i
2
2
i
j
j
i
Koeficijenti polinoma b j , su parametri modela regresije koje
treba procijeniti. Procjena parametara vrši se pomou
izmjerenih n parova vrijednosti zavisne i nezavisne varijable ,
x ,
i yi
k
x
k
i

Model polinomske regresije
U modelu polinomske regresije vrijednost zavisne varijable
je kombinacija nepoznatih parametara , b j
1,
2,...,
k
j
numerikih vrijednosti nezavisne varijable s razliitim
stupnjevima i nepoznatih vrijednosti sluajne varijable.
Ovdje je prikazan samo funkcionalni dio modela, a analiza
sluajne varijable ili rezidualnih odstupanja se provodi na isti
nain kao kod modela jednostavne linearne regresije.
Procjena parametara se provodi metodom minimalnih
kvadrata odstupanja, slino kao kod modela jednostavne
linearne regresije, samo je broj normalnih jednadžbi jednak
broju nepoznatih parametara.
yi

Model polinomske regresije
U zavisnosti od vrijednosti k imamo polinome razliitog
stupnja. Za k 1 imamo polinom prvog stupnja ili
linearnu funkciju; za k 2 polinom je drugog stupnja ili
kvadratna funkcija iji graf je parabola; za k
3 polinom
je treeg stupnja…
Teorijski k može uzeti bilo koju vrijednost iz skupa
prirodnih brojeva, ali se u praksi koriste uglavnom
polinomi drugog i treeg stupnja.
Porastom stupnja polinoma, procjena parametara
modela polinomske regresije postaje matematiki znatno
složenija, a javlja se i problem tumaenja izraunatih
parametara.

Model polinomske regresije
Za model kvadratne regresije procijenjeni model ima oblik:
2
yˆ i b0
b1
xi
b2
xi
Graf kvadratne funkcije je parabola, a procjena regresijskih
koeficijenata b0 , b1 i b2
se dobiva rješavanjem sustava
normalnih jednadžbi:
b
b
b
0
n
n
0
i1
n
x
i
b
b
2
xi
b1
2
xi
b2
xi
n
2
3
xi
b2
xi
n
n
0
i1
i1
1
i1
i1
i1
1
i1
i1
i1
x
3
i
b
n
n
n
n
n
n
4
xi
2
i1
i1
x
y
i
x
i
y
2
i
i
y
i

Korelacijski analiza
Korelacijskom analizom se utvruje
postojanje i jaina statistike veze meu
pojavama. Za dvije pojave predoene
kvantitativnim varijablama jaina veze se
mjeri koeficijentom korelacije.
Ako su pojave predoene varijablama
ranga, stupanj statistike povezanosti se
mjeri koeficijentom korelacije ranga.

Korelacijski analiza
Polazna veliina za izraunavanje koeficijenta korelacije izmeu
dvije numerike varijable je kovarijanca. Ako je za dvije
numerike varijable X i Y izmjereno n parova njihovih vrijednosti
, x i , yi
i 1,
2,...,
n kovarijanca predstavlja prvi mješoviti moment
vrijednosti varijabla oko njihovih sredina. Izraz za kovarijancu je:
M
11
1
n
n
i1
x x
y y
i
i
Kovarijanca je aritmetika sredina umnožaka odstupanja
vrijednosti varijable X od njezine aritmetike sredine i odstupanja
vrijednosti varijable Y od njezine aritmetike sredine. Može
uzimati pozitivne i negativne vrijednosti i ovisna je o mjernim
jedinicama varijable X i Y, pa se njome prosuuje postojanje i
smjer veze, ali ne i stupanj veze.

Korelacijski analiza
Stupanj veze se mjeri Pearsonovim koeficijentom
linearne korelacije koji se dobiva tako da se prvi
mješoviti moment podijeli sa standardnim devijacijama
varijabla X i Y. Izraz za koeficijent korelacije je:
r
M 11
1 r 1
x
y
ili u razvijenom obliku navedeni izraz ima oblik:
r
n
i1
x
2
i
n
i1
x
i
nx
y
2
i
nxy
n
i1
y
2
i
ny
2

Korelacijski analiza
Spearmanov koeficijent korelacije ranga se izraunava
pomou parova modaliteta rang-varijabla ili numerikih
varijabla transformiranih u rang-varijable.
Spearmanov koeficijent korelacije je dan izrazom:
r
s
6
n
i1
3
n
d
2
i
1 d i rxi
ry
i
1 rs
1
n
Koeficijent korelacije ranga poprima vrijednosti iz
zatvorenog intervala od minus jedan do plus jedan.