La Regressione Multipla - DSE

La Regressione Multipla
Stima OLS della relazione Test Score/STR:
TestScore = 698.9 – 2.28×STR, R 2 = .05, SER = 18.6
(10.4) (0.52)
E’ una stima affidabile dell’effetto causale di una
variazione in STR su TestScore?
No! Ci sono fattori omessi che confondono i risultati
(reddito familiare; non tutti gli studenti sono madre
lingua Inglese) e inducono distorsione nello stimatore
OLS: STR potrebbe “raccogliere” gli effetti di questi
fattori omessi.
1

Distorsione da variabili omesse
La possibile distorsione dello stimatore OLS come
conseguenza di fattori omessi è detta distorsione da
variabili omesse. Affinché si verifichi questa distorsione,
il fattore omesso “Z” deve:
1. essere un determinante di Y; e
2. essere correlato con il regressore X.
Entrambe le condizioni deve verificarsi affinché
l’omissione di Z determini distorsione da variabili
omesse.
2

Nel nostro esempio:
1. L’abilità nella lingua inglese (qualora questa sia la
seconda lingua per lo studente) influenza
plausibilmente il punteggio in test standardizzati: Z
è una determinante di Y.
2. Le comunità di immigrati tendono a essere
relativamente meno ricche e ad avere scuole con
risorse (bilanci) limitati – e quindi maggiore STR: Z
è correlata con X
• Di conseguenza, 1
ˆ β è distorto
• Qual è la direzione della distorsione?
• Cosa ci suggerisce il buon senso?
3

La distorsione dipende da: Corr( X , errore ) .
Se un fattore omesso Z è contemporaneamente:
(1) una determinante di Y (cioè contenuto nell’errore);
(2) correlato con X,
allora Corr( X , errore) ≠ 0 e lo stimatore OLS 1
ˆ β è
distorto.
La distorsione ha sempre lo stesso segno di
Corr( X , errore )
Nel nostro caso: distretti con più studenti madre lingua
inglese (1) hanno punteggi più elevate in test
standardizzati e (2) hanno classi più piccole (più risorse).
Quindi, ignorando il fattore madre lingua si sovrastima
l’effetto “dimensione della classe”.
4

Cosa succede nei nostri dati sui distretti in California?
STR < 20 STR > 20 Differenza nei punteggi
5
piccolo vs. grande STR
Punteggio n Punteggio N Differenza Test t
Tutti 657.4 238 650.0 182 7.4 4.04
PctEL
< 2.2% 664.1 78 665.4 27 -1.3 -0.44
2.2-8.8% 666.1 61 661.8 44 4.3 1.44
8.8-23% 654.6 55 649.7 50 4.9 1.64
>23 % 636.7 44 634.8 61 1.9 0.68
PctEL: % studenti per i quali l’inglese è la seconda lingua.
• Distretti dove la percentuale di studenti per i quali l’Inglese è
la seconda lingua (PctEL) è maggiore hanno punteggi minori,
• Distretti dove PctEL è minore hanno classi più piccole,
• Per distretti con PctEL simili, l’effetto della dimensione della
classe è piccolo (ricordo il differenziale nel “test score”
complessivo di 7.4)

Tre rimedi alla distorsione da variabili omesse
1. Esperimento randomizzato controllato in cui il
trattamento (STR) è assegnato casualmente: allora
PctEL sarà ancora una determinante di TestScore, ma
PctEL sarà incorrelato con STR. (In pratica, poco
realistico.)
2. Tabulazione più fine di STR e PctEL (Problema
della scarsità di dati e poi, come trattare le altre
determinanti come reddito familiare, ecc.?)
3. Utilizzare un metodo in cui la variabile omessa
(PctEL) non è più omessa: includere PctEL come
regressore addizionale in un modello di regressione
multipla.
6

Il modello di regressione multipla nella popolazione
Consideriamo il caso di due regressori:
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
• X1, X2 sono due variabili indipendenti (regressori)
• (Yi, X1i, X2i) denota la i ma osservazione su Y, X1, and X2.
• β0 = intercetta nella popolazione (ignota)
• β1 = effetto su Y di una variazione in X1, tenendo X2
costante
• β2 = effetto su Y di una variazione in X2, tenendo X1
costante
• ui = “termine di errore” (fattori omessi)
7

Interpretazione dei coefficienti nel modello di
regressione multipla
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
Supponete di modificare X1 di una quantità ∆X1
mantenendo X2 costante:
• Retta di regressione nella popolazione prima del
cambiamento:
Y = β0 + β1X1 + β2X2
• Retta di regressione nella popolazione dopo il
cambiamento:
Y + ∆Y = β0 + β1(X1 + ∆X1) + β2X2
8

Prima: Y = β0 + β1(X1 + ∆X1) + β2X2
Dopo: Y + ∆Y = β0 + β1(X1 + ∆X1) + β2X2
Differenza: ∆Y = β1∆X1
Cioè,
β1 =
e, naturalmente,
Infine,
β2 =
∆Y
∆ X
, mantenendo X2 costante
1
∆Y
∆X
2
, mantenendo X1 costante
β0 = valore previsto di Y quando X1 = X2 = 0.
9

Lo stimatore OLS nel modello di regressione multipla
Con due regressori, lo stimatore OLS risolve:
n
∑
min [ Y − ( b + b X + b X )]
b0, b1, b2 i 0 1 1i 2 2i
i=
1
• Lo stimatore OLS minimizza la media dei quadrati
della differenza tra valori osservati di Yi e la previsione
basata sulla retta stimata.
• Il risultato sono gli stimatori OLS di β0, β1 e β2 .
10
2

Esempio: Dati sui distretti in California
Regressione di TestScore su STR:
TestScore = 698.9 – 2.28×STR
Adesso includiamo PctEL: regressione di TestScore su
STR e PctEL
TestScore = 696.0 – 1.10×STR – 0.65PctEL
• Cosa accade al coefficiente di STR?
• Perchè? (Nota: corr(STR, PctEL) = 0.19)
11

Regressione multipla in GRETL
Modello 1: Stime OLS usando le 420 osservazioni 1-420
Variabile dipendente: testscr
Errori standard robusti rispetto all'eteroschedasticità, variante HC1
VARIABILE COEFFICIENTE SE t-STAT 2Prob(t>|T|)
0) const 686.032 8.72822 78.599 < 0.00001 ***
9) str -1.10130 0.432847 -2.544 0.011309 **
11) PctEL -0.649777 0.0310318 -20.939 < 0.00001 ***
TestScore = 696.0 – 1.10×STR – 0.65PctEL
(8.72) (.43) (0.03)
12

Il modello di regressione multipla
Yi = β0 + β1X1i + β2X2i + … + βkXki + ui, i = 1,…,n
1. Corr(Xi, errore) = 0, i=1,2, …, k
2. il campione è casuale
3. No multicollinearità: cioè nessuna variabile
esplicativa può essere ottenuta come combinazione
lineare delle altre.
13

Ipotesi #1:
• Stessa interpretazione della regressione semplice.
• Se una variabile omessa (1) appartiene all’equazione
(ed è finita pertanto in u) e (2) è correlata con le X
incluse, allora l’ipotesi è violata.
• Il fallimento dell’ipotesi porta direttamente alla
distorsione da variabili omesse.
• La soluzione – quando possibile – è includere la
variabile omessa nella regressione.
14

Ipotesi #2:
Questa ipotesi è soddisfatta automaticamente se i dati
sono raccolti con campionamento casuale.
15

Ipotesi #3: No multicollinearità perfetta
Si ha Perfetta multicollinearità quando uno dei
regressori è combinazione lineare esatta degli altri
regressori.
• Esempio: regressione di TestScore su costante, D, and
B, dove:
• Di = 1 se STR ≤ 20, = 0 altrimenti;
• Bi = 1 if STR >20, = 0 altrimenti,
quindi Bi = 1 – Di e c’è multicollinearità perfetta
• Ci sarebbe multicollinearità perfetta se non ci fosse
l’intercetta nella regressione?
• Multicollinearità perfetta di solito riflette errori nella
definizione dei regressori o stranezze nei dati.
16

La distribuzione campionaria dello stimatore OLS
Sotto le ipotesi OLS di cui sopra,
ˆ
ˆ β ) è inversamente
• β 1 ha media β1, e var( 1
proporzionale a n; e così per 2
ˆ β , …
• A parte per media e varianza, la distribuzione esatta di
ˆ β 1 è molto complicata
ˆ β1−E( ˆ β1)
• è approssimativamente N(0,1) (CLT)
var( ˆ β1)
• e lo stesso vale per 2
ˆ β ,…, ˆ β
k
17

• Verifica di ipotesi e Intervalli di confidenza su un
singolo coefficiente nel modello di regressione
multipla
ˆ β1−E( ˆ β1)
• è approssimativamente N(0,1) (CLT).
var( ˆ β )
1
• Quindi, ipotesi su β1 possono essere verificate usando
il test t usuale, ed intervalli di confidenza sono
costruiti come { ˆ β 1 ± 1.96×SE( ˆ β 1)}.
• E lo stesso vale per β2,…, βk.
ˆ ˆ β non sono di solito indipendenti – e quindi
• β 1 e 2
neppure i rispettivi test t.
18

Esempio: Dati sui distretti in California
(1) TestScore = 698.9 – 2.28×STR
(10.4) (0.52)
(2)
TestScore = 696.0 – 1.10×STR – 0.650PctEL
(8.7) (0.43) (0.031)
• Il coefficiente di STR in (2) è l’effetto su TestScores
di una variazione unitaria in STR, tenendo costante la
percentuale di studenti con inglese come seconda
lingua nel distretto
• Il coefficiente di STR si dimezza
• L’intervallo di confidenza al 95% per il coefficiente di
STR in (2) è {–1.10 ± 1.96×0.43} = (–1.95, –0.26)
19

Verifica di ipotesi congiunte
Sia Expn la spesa per alunno e consideriamo il modello
di regressione nella popolazione:
TestScorei = β0 + β1STRi + β2Expni + β3PctELi + ui
Supponete che l’ipotesi nulla sia “le risorse finanziarie
della scuola sono irrilevanti,” mentre l’alternativa “le
risorse finanziarie della scuola sono rilevanti”.
H0: β1 = 0 e β2 = 0
vs. H1: β1 ≠ 0 o β2 ≠ 0 oppure entrambe
20

TestScorei = β0 + β1STRi + β2Expni + β3PctELi + ui
H0: β1 = 0 e β2 = 0
vs. H1: β1 ≠ 0 o β2 ≠ 0 oppure entrambe
Una ipotesi congiunta specifica un valore per due o più
coefficienti, cioè, impone vincoli su due o più
coefficienti.
• Idea: rifutare l’ipotesi nulla se uno dei due test t
eccede il valore critico 1.96 in valore assoluto.
• Ma questo è sbagliato! Questa procedura di verifica di
ipotesi non possiede il livello di significatività
corretto!
21

Ecco perché: Calcoliamo la probabilità di rifiutare
l’ipotesi nulla quando questa è vera, utilizzando i test t
individuali. Per semplificare l’algebra ipotizziamo che 1
ˆ β
e 2
ˆ β siano indipendenti. Siano t1 e t2 i test t:
La nostra idea era:
t1 = 1
ˆ β 0
SE(
ˆ β )
− β2
e t2 =
1
22
ˆ − 0
SE(
ˆ β )
rifiuto H0: β1 = β2 = 0 se |t1| > 1.96 e/o |t2| > 1.96
Qual è la probabilità che questa strategia di test rifiuti
l’ipotesi nulla quando questa è vera?
Dovrebbe essere il 5% !!
2

Probabilità di rifiutare la nulla quando è vera
= PrH [|t1| > 1.96 e/o |t2| > 1.96]
0
= PrH [|t1| > 1.96, |t2| > 1.96]
0
+ PrH [|t1| > 1.96, |t2| ≤ 1.96]
0
+ PrH [|t1| ≤ 1.96, |t2| > 1.96] (eventi disgiunti)
0
= PrH [|t1| > 1.96] × Pr
0
H [|t2| > 1.96]
0
+ PrH [|t1| > 1.96] × Pr
0
H [|t2| ≤ 1.96]
0
+ PrH [|t1| ≤ 1.96] × Pr
0
H [|t2| > 1.96]
0
(t1, t2 sono indipendenti per ipotesi)
= .05×.05 + .05×.95 + .95×.05
= .0975 = 9.75% – che non è il livello desiderato del 5%!
23

Il livello (size) di un test la probabilità di rifiutare la
nulla quando questa è vera.
• Il livello di questa procedura di test non è il 5%!
• In realtà, il livello dipende dalla correlazione tra t1 e t2
(e quindi dalla correlazione tra 1
ˆ β e 2
ˆ β ).
Due Soluzioni:
• Usare differenti valori critici – non 1.96 (“metodo di
Bonferroni”)
• Usare una statistica test alternativa che verifichi
congiuntamente β1 e β2 : la statistica F.
24

Test F
• Il test F verifica congiuntamente tutte le componenti
dell’ipotesi.
• In grandi campioni, il test F è distribuito come
Oppure, qF è distribuito come un
q
25
2
χ q .
Valore critico al 5%
2
χ q /q
2
χq
1 3.84 3.84
2 3.00 5.99
3 2.60 7.81
4 2.37 9.49
5 2.21 11.07
2
χ q /q.

p-value quando si usa il test F:
p-value = probabilità di una v.a. χ /q a destra del
valore calcolato F; oppure probabilità di una v.a.
a destra del valore calcolato qF.
26
2
q
2
χ q /q
Implementazione in GRETL
Usiamo il commando “test/linear restrictions” dopo
aver stimato con OLS il modello di regressione
Esempio: Verifica dell’ipotesi nulla che i coefficienti di
STR e spesa per alunno (expn_stu) siano entrambi nulli
nella popolazione, contro l’alternativa che almeno uno di
essi sia diverso da zero nella popolazione.

Esempio test F, dati sui distretti in California:
Dependent variable: testscr
VARIABLE COEFFICIENT STDERROR T STAT 2Prob(t > |T|)
const 649.578 15.4583 42.021 < 0.00001 ***
str -0.286399 0.482073 -0.594 0.552768
expn_stu 0.00386790 0.00158072 2.447 0.014821 **
el_pct -0.656023 0.0317844 -20.640 < 0.00001 ***
Usiamo il commando “test/linear restrictions” scrivendo
per ottenere
Restriction set
1: b[str] = 0
2: b[expn_stu] = 0
Restrict
b1=0
b2=0
end restrict
Test statistic: Robust F(2, 416) = 5.43373, with p-value = 0.0046823
27

Il caso generale
Per calcolare il test F nel caso generale di vincoli
qualsiasi sui parametri, procediamo come segue:
• Due regressioni:
1. una sotto l’ipotesi nulla (“regressione vincolata”)
2. l’altra sotto l’ipotesi alternativa (“regressione non
vincolata”).
• Calcoliamo la variazione percentuale nella Somma dei
Quadrati dei Residui (SQR) delle due regressioni.
• Test F:
F
SQR − SQR n−k SQR q
= V NV ⋅
NV
28

dove:
• SQRV: somma dei quadrati dei residui nella
regressione vincolata;
• SQRNV: somma dei quadrati dei residui nella
regressione non vincolata;
• n: numero di osservazioni;
• k: numero di parametri stimati nella regressione non
vincolata;
• q: numero di vincoli
Il test F valuta la variazione percentuale nella SQR.
F ∼ χ q
2
q /
Si ha che, oppure
29
2
qF ∼ χ q

Regressione “vincolata” e “non vincolata”
Esempio: I coefficienti di STR e Expn sono nulli?
Regressione vincolata (cioè, sotto H0):
TestScorei = β0 + β3PctELi + ui
Regressione non vincolata (sotto H1):
TestScorei = β0 + β1STRi + β2Expni + β3PctELi + ui
• Numero di vincoli sotto H0 , q = 2.
• Numero di parametri sotto H1, k=4
• Numero di osservazioni, n=420
30

La SQR sarà maggiore nelle regressione vincolata o in
quella non vincolata? E perchè?
• SQRNV: minimo della funzione
n
Sb ( , b, b) = ∑[
Y− ( b+ bX + bX )]
0 1 2 i 0 1 1i 2 2i
i=
1
quando valutata in ( ˆ β ˆ ˆ
0, ββ 1, 2)
, che effettivamente la
minimizza!
Infatti, se sostituendo
0 1 2
n
= ∑ i − 0 + 1 1i + 2 2i
n
2
= ∑
2
i
i= 1 i=
1
S( ˆ β , ˆ β , ˆ β ) [ Y ( ˆ β ˆ β X ˆ β X )] uˆ
che è proprio SQRNV.
31
2

• SQRV: minimo della funzione
n
Sb ( , b, b) = ∑[
Y− ( b+ bX + bX )]
0 1 2 i 0 1 1i 2 2i
i=
1
in presenza del vincolo. Inoltre, è SEMPRE vero che
Perché?
SQRV > SQRNV
Perché se sono sottoposto ad un vincolo non potrò mai
fare tanto bene quanto senza il vincolo!
32
2

Quindi,
Se i dati non sono compatibili con l’ipotesi nulla
SQRV molto distante da SQRNV
e avremo ∆% SQR grande, test F grande, rifiuto H0.
Al contrario, se i dati provengono dalla
popolazione in cui l’ipotesi nulla è vera
SQRV simile a SQRNV
e avremo ∆% SQR grande, test F piccolo, non rifiuto H0.
Conclusione: Di quanto dovrebbe aumentare la SQR per
poter dire che i coefficienti di Expn e PctEL sono
statisticamente significativi?
33

Example:
Regressione vincolata:
TestScore = 644.7 –0.671PctEL, SQR V = 0.4149
(1.0) (0.032)
Regressione non vincolata: k = 3; q = 2
TestScore = 649.6 – 0.29STR + 3.87Expn – 0.656PctEL
(15.5) (0.48) (1.59) (0.032)
SQR NV = 0.4366;
Quindi:
F
F
SQR − SQR n−k SQR q
= V NV ⋅
NV
(89000 − 85699.7) 420 − 3
= ⋅ = 8.01
85699.7 2
34

Statistica F
F
SQR − SQR n−k SQR q
= V NV ⋅
NV
• La statistica F rifiuta quando l’inclusione del vincolo
fa aumentare “troppo” la SQR – cioè quando il
vincolo fa peggiorare “troppo” l’adattamento della
regressione
• La statistica F è approssimabile da
35
2
χ q /q per n grande.

Riassunto: il test F e la distribuzione F
• Il test F è usato in modo diffuso.
• Per n ≥ 100, la distribuzione F è essenzialmente la
distribuzione
2
χ q /q. Per n piccolo, non è detto che la
distribuzione F sia una buona approssimazione alla
distribuzione campionaria della statistica F
36

Verifica di una singola ipotesi su più coefficienti di
regressione
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
Consideriamo l’ipotesi nulla e l’alternativa,
H0: β1 = β2 vs. H1: β1 ≠ β2
Questa nulla impone un singolo vincolo (q = 1) su più
coefficienti – non è una ipotesi congiunta su più
coefficienti (confronto con β1 = 0 e β2 = 0).
37

Alcuni software, GRETL incluso, ci permettono di
verificare direttamente vincoli sui coefficienti.
Esempio:
TestScorei = β0 + β1STRi + β2Expni + β3PctELi + ui
Usando Gretl, se β1 = β2,, si ha che β1-β2=0
Restrict
b1 – b2 =0
end restrict
38

R 2 , SQR, e
2
R per la regressione multipla
Valore osservato = valore previsto + residui
Yi = Y ˆ
i + u ˆi In una regressione con un solo regressore, la SQR è una
misura della dispersione di Y “attorno” alla retta di
regressione:
SER =
n 1
uˆ
n−k −1= ∑
39
i
1
2
i

R 2 è la quota di varianza spiegata:
dove ESS =
n
∑
i=
1
( Yˆ −Yˆ)
i
R 2 = ESS
TSS
2
, SSR =
40
SSR
= 1− ,
TSS
n
∑
2
uˆ
i , e TSS =
i=
1
n
∑
i=
1
( Y −Y)
– proprio come nella regressione semplice.
• R 2 aumenta sempre quando si aggiunge un regressore
– problema per un indicatore della fit!
2
• R corregge questo problema “penalizzando
“l’inclusione di regressori addizionali:
2
R =
⎛ n−1⎞SSR 1−
⎜ ⎟
⎝n−k −1⎠TSS
so
2
R < R 2
i
2

Come interpretare R 2 2
e R ?
• Un elevato R 2 (o
spiega la varaibilità in Y.
• Un elevato R 2 2
(o R ) non significa che avete
eliminato la distorsione da variabili omesse.
• Un elevato R 2 (o
uno stimatore corretto dell’effetto causale (β1).
2
R ) significa che la regressione
2
R ) non significa che avete ottenuto
• Un elevato R 2 2
(o R ) non significa che le variabili
incluse sono statisticamente significative – questo si
determina attraverso la verifica di ipotesi.
41

Esempio: Un sguardo più accurato ai dati sui
distretti, California
Un approccio generale alla selezione delle variabili e
alla specificazione del modello:
• Specificare un modello “base” o “benchmark”.
• Specificare un insieme di modelli alternativi, che
includa altre possibili variabili esplicative.
• L’inclusione di una di queste eventuali variabili
esplicative modifica il coefficiente di interesse (β1)?
• Questa eventuale variabili è statisticamente
significativa?
• Usare il buon senso, non approccio meccanico …
42

Variabili che ci piacerebbe vedere in questo dataset:
Caratteristiche della scuola:
• Rapporto studenti-docenti
• Qualità dei docenti
• PC (risorse non umane) per studente
Caratteristiche degli studenti:
• Abilità nella lingua inglese
• Possibilità di arricchimento culturale extra-curriculum
• Ambiente familiare
• Titolo di studio dei genitori
43

Variabili effettivamente presenti nel dataset:
• Percentuale di non madre lingua inglese (PctEL)
• rapporto studenti/docenti (STR)
• percentuale di eleggibili per buoni mensa
• percentuale di famiglie con sussidio statale
• reddito medio per distretto
44

%non madre lingua inglese %eleggibili buoni mensa
%famiglie con sussidio statale
Correlazione tra TestScore e PctEL: -0.64
Correlazione tra TestScore ed eleggibili buoni mensa: -0.87
Correlazione tra TestScore e famiglie con sussidio statale: -0.63
45

Digressione: presentazione dei risultati della regressione
• Elencare le equazioni di regressione può risultare pesante
se ci sono molti regressori e molte regressioni.
• Alcune tabelle con risultati delle regressioni possono
contenere le informazioni chiave in modo compatto.
• Informazioni da includere:
variabili nelle regressioni (dependent and independent)
stime dei coefficienti
standard errors
esiti (e valore) dei test F delle ipotesi di interesse
alcuni indicatori della fit della regressione
numero di osservazioni
46

Ad esempio:
Variabili dipendente: Punteggio medio per distretto
Regressore (1) (2) (3) (4) (5)
STR (X1) -2-28** -1-10* -1.00** -1.31** -1.01**
(0.52) (0.43) (0.27) (0.34) (0.27)
PctEL (X2) -0.65** -0.122** -0.488** -0.130**
(0.031) (0.033) (0.030) (0.036)
% eleggibili
-0.547**
-0.529**
buoni pasto (X3)
(0.024)
(0.038)
% famiglie con
-0.790** 0.048
sussidio statale (X4)
(0.068) (0.059)
Intercetta 698.9** 686.0** 700.2** 698.0** 700.4**
Statistiche di sintesi
(10.4) (8.7) (5.6) (6.9) (5.5)
SQR 18.58 14.46 9.08 11.65 9.08
2
R 0.049 0.424 0.773 0.626 0.773
n 420 420 420 420 420
**: indica significatività all’1%; *: indica significatività al 5%.
47

Riassunto: Regressione Multipla
• La Regressione Multipla ci permette di stimare
l’effetto su Y di una variazione in X1, con costante X2.
• Se esistono osservazioni su una variabile, è possible
evitare la distorsione da variabili omesse includendo
quella variabile.
• Non c’è una ricetta semplice per decidere quali
variabili includere in una regressione–ci vuole buon
senso.
• Idea: specificare un modello base – basandosi su
ragionamenti a-priori – e poi esplorare la sensibilità
delle stime chiave in specificazioni alternative.
48