Modello di regressione lineare multipla (cap.6) - Economia

Regressione lineare multipla
Eduardo Rossi 2
2 Università di Pavia (Italy)
Aprile 2013
Rossi Regressione lineare Econometria - 2013 1 / 32

Outline
1 La distorsione da variabili omesse
2 Causalità
3 Misure di Goodness-of-Fit
Rossi Regressione lineare Econometria - 2013 2 / 32

Struttura
Distorsione da variabili omesse
Causalità e analisi di regressione
Regressione multipla e OLS
Misure di adattamento
Distribuzione campionaria dello stimatore OLS
Rossi Regressione lineare Econometria - 2013 3 / 32

La distorsione da variabili omesse
La distorsione da variabili omesse
L’errore u si verifica a causa di fattori, o variabili, che influenzano Y ma
non sono inclusi nella funzione di regressione. Ci sono sempre variabili
omesse.
Talvolta l’omissione di queste variabili può portare a una distorsione dello
stimatore OLS.
Rossi Regressione lineare Econometria - 2013 4 / 32

La distorsione da variabili omesse
La distorsione da variabili omesse
La distorsione dello stimatore OLS che si verifica a seguito di un fattore,
o variabile, omesso è detta distorsione da variabile omessa. Affinchè
si verifichi tale distorsione, la variabile omessa Z deve soddisfare due
condizioni:
Le due condizioni per la distorsione da variabile omessa
Z è una variable determinante di Y (cioè Z è parte di u); e
Z è correlata con il regressore X (cioè, Corr(Z, X) > 0).
Entrambe le condizioni devono verificarsi affinchè l’omissione di Z porti a
distorsione da variabile omessa.
Rossi Regressione lineare Econometria - 2013 5 / 32

La distorsione da variabili omesse
La distorsione da variabili omesse
Nell’esempio dei punteggi nei test:
Il livello di conoscenza della lingua inglese (se lo studente è di
madrelingua o meno) verosimilmente influisce sui punteggi nei test
standardizzati: Z è una determinante di Y.
Le comunità di immigrati tendono a una minore affluenza e quindi hanno
budget scolastici inferiori e STR maggiori: Z è correlata con X.
Di conseguenza, è distorto. In quale direzione?
Che cosa suggerisce il buon senso?
Se il buon senso vi fa difetto, c’è una formula...
Rossi Regressione lineare Econometria - 2013 6 / 32

La distorsione da variabili omesse
La distorsione da variabili omesse
Formula per la distorsione da variabili omesse: si ricordi l’equazione
ˆβ1
i − β1 =
(Xi − ¯ X)ui
i (Xi − ¯ 1
n i
=
X) 2 vi
n−1
Dove vi = (Xi − ¯ X)ui ≈ (Xi − µX)ui.
Sotto la prima assunzione dei minimi quadrati,
Ma se
cosa succede?
n
s 2 X
E[(Xi − µX)ui] = Cov(Xi, ui) = 0
E[(Xi − µX)ui] = Cov(Xi, ui) = σXu = 0
Rossi Regressione lineare Econometria - 2013 7 / 32

La distorsione da variabili omesse
La distorsione da variabili omesse
dove
ˆβ1
i − β1 =
(Xi − ¯ X)ui
i (Xi − ¯ X)
σXu
σ 2 X
2 =
= σu
×
σX
σXu
σuσX
1
n
n−1
n
i vi
s2 X
= σu
× ρXu
σX
p
→ σXu
σ 2 X
Se vale la prima assunzione, allora ρXu = 0, ma se non vale abbiamo... .
Rossi Regressione lineare Econometria - 2013 8 / 32

La distorsione da variabili omesse
Formula della distorsione da variabili omesse
ˆβ1
p
→ β1 + σu
ρXu
σX
Se una variabile omessa Z è contemporaneamente:
1 una determinante di Y (cioè se è contenuta in u); e
2 correlata con X,
allora ρXu = 0 e lo stimatore OLS ˆ β1 è distorto e inconsistente.
Per esempio, i distretti scolastici con pochi studenti non di madrelingua
1 ottengono punteggi migliori nei test standardizzati e
2 hanno classi più piccole (budget più elevati), perciò ignorando l’effetto di
avere molti studenti non di madrelingua si arriverebbe a sovrastimare
l’effetto della dimensione delle classi.
Rossi Regressione lineare Econometria - 2013 9 / 32

La distorsione da variabili omesse
Distorsione da variabili omesse
I distretti con meno studenti non di madrelingua ottengono migliori
punteggi nei testi.
I distrettti con una minore percentuale di studenti non di madrelingua
hanno classi più piccole.
Tra i distretti con percentuali di studenti non di madrelingua comparabili,
l’effetto della dimensione delle classi è piccolo (si ricordi che
complessivamente la differenza di punteggio nei test = 7.4).
Rossi Regressione lineare Econometria - 2013 10 / 32

La distorsione da variabili omesse
Causalità e analisi di regressione
L’esempio dei punteggi nei test (STR) e percentuale di studenti non di
madrelingua mostra che, se una variabile omessa soddisfa le due
condizioni della distorsione da variabili omesse, allora lo stimatore OLS
nella regressione che omette tale variabile è distorto e inconsistente.
Perciò, anche se n è grande, non sarà vicino a β1.
Ciò fa sorgere una domanda più profonda: come definiamo β1? Ovvero,
che cosa vogliamo stimare, precisamente, quando eseguiamo una
regressione?
Rossi Regressione lineare Econometria - 2013 11 / 32

La distorsione da variabili omesse
Che cosa vogliamo stimare quando eseguiamo una
regressione?
Esistono (almeno) tre possibili risposte a questa domanda:
Vogliamo stimare la pendenza di una retta attraverso un
diagramma a nuvola come semplice riepilogo dei dati a cui non associamo
un significato sostanziale. Questo può essere utile talvolta, ma non è
molto interessante a livello intellettuale e non rientra nell’obiettivo di
questo corso.
Vogliamo effettuare previsioni del valore di Y per una unità che non
appartiene all’insieme dei dati, per cui conosciamo il valore di X.
Realizzare previsioni è importante per gli economisti, ed è possibile
ottenere previsioni eccellenti utilizzando i metodi di regressione senza la
necessità di conoscere gli effetti causali. Torneremo a questo tema più
avanti nel corso.
Rossi Regressione lineare Econometria - 2013 12 / 32

La distorsione da variabili omesse
Che cosa vogliamo stimare quando eseguiamo una
regressione?
Vogliamo stimare l’effetto causale su Y di una variazione in X. Si
supponga che il consiglio scolastico decida una riduzione di 2 studenti per
classe. Quale sarebbe l’effetto sui punteggi nei test? Questa è una
domanda causale (qual è l’effetto causale sui punteggi nei test di STR?)
perciò dobbiamo stimare questo effetto causale. A parte la discussione
dell’attività di previsione, lo scopo di questo corso è la stima di effetti
causali mediante metodi di regressione.
Rossi Regressione lineare Econometria - 2013 13 / 32

Causalità
Che cos’è un effetto causale?
La causalità è un concetto complesso!
In questo corso adottiamo un approccio pratico alla definizione di
causalità:
Un effetto causale è definito come un effetto misurato in un esperimento
controllato casualizzato ideale.
Rossi Regressione lineare Econometria - 2013 14 / 32

Causalità
Esperimento controllato causalizzato ideale
Ideale: i soggetti seguono tutti il protocollo di trattamento - perfetta
compliance, nessun errore nei report, ecc.!
Casualizzato: i soggetti della popolazione di interesse sono assegnati
casualmente a un gruppo di trattamento o di controllo (così non ci sono
fattori di confusione)
Controllato: la disponibilità di un gruppo di controllo permette di
misurare l’effetto differenziale del trattamento
Esperimento: il trattamento è assegnato nell’esperimento: i soggetti non
hanno scelta, perciò non vi è causalità inversa in cui i soggetti scelgono il
trattamento che ritengono migliore.
Rossi Regressione lineare Econometria - 2013 15 / 32

Causalità
Esperimento controllato casualizzato ideale
Si immagini un esperimento controllato casualizzato ideale per misurare
l’effetto sui punteggi nei test della riduzione di STR...
In tale esperimento gli studenti sarebbero assegnati casualmente alle
classi, che avrebbero dimensioni diverse.
Poichè gli studenti sono assegnati casualmente, tutte le loro caratteristiche
(e quindi gli ui) sarebbero distribuiti in modo indipendente da STRi.
Quindi, E[ui|STRi] = 0 - cioè la prima assunzione dei minimi quadrati
vale in un esperimento controllato casualizzato.
Rossi Regressione lineare Econometria - 2013 16 / 32

Dati osservazionali
Causalità
Il trattamento non è assegnato in modo casuale
Si consideri PctEL - la percentuale di studenti non di madrelingua - nel
distretto. Verosimilmente soddisfa i due criteri per la distorsione da
variabili omesse: Z = PctEL è:
una determinante di Y; e
correlata con il regressore X.
Quindi i gruppi di controllo e di trattamento differiscono in modo
sistematico, perciò Corr(STR, PctEL) = 0
Rossi Regressione lineare Econometria - 2013 17 / 32

Dati osservazionali
Causalità
Casualizzazione + gruppo di controllo significa che qualsiasi differenza tra
i gruppi di trattamento e di controllo è casuale – non sistematicamente
correlata al trattamento
Possiamo eliminare la differenza di PctEL tra il gruppo di classi grandi (di
controllo) e quello di classi piccole (di trattamento) esaminando l’effetto
della dimensione delle classi tra i distretti con lo stesso valore di PctEL.
Se soltanto la differenza sistematica tra i gruppi di classi grandi e piccole è
in PctEL, allora torniamo all’esperimento controllato casualizzato –
all’interno di ciascun gruppo di PctEL.
Questo è un modo per “controlare” per l’effetto di PctEL quando si stima
l’effetto di STR.
Rossi Regressione lineare Econometria - 2013 18 / 32

Causalità
Ancora sulla distorsione da variabili omesse
Tre modi per superare la distorsione da variabili omesse
Eseguire un esperimento controllato casualizzato in cui il trattamento
(STR) sia assegnato casualmente: allora PctEL è ancora una
determinante di TestScore, ma PctEL è incorrelato con STR. (Questa
soluzione è raramente praticabile).
Adottare l’approccio a tabulazione incrociata, con gradazioni più fini di
STR e PctEL - all’interno di ogni gruppo, tutte le classi hanno lo stesso
PctEL, perciò controlliamo per PctEL (ma presto si esauriranno i dati e
che dire di altre variabili determinanti come il reddito famigliare e il
livello di istruzione dei genitori?)
Usare una regressione in cui la variabile omessa (PctEL) non è più omessa:
includere PctEL come regressore aggiuntivo in una regressione multipla.
Rossi Regressione lineare Econometria - 2013 19 / 32

Causalità
Il modello di regressione multipla
Si consideri il caso di due regressori:
Yi = β0 + β1X1i + β2X2i + ui, i = 1, 2, . . . , n
Y è la variabile dipendente
X1, X2 sono le due variabili indipendenti (regressori)
β0 = intercetta della popolazione ignota
β1 = effetto su Y di una variazione in X1, tenendo X2 costante
β2 = effetto su Y di una variazione in X2, tenendo X1 costante
ui = errore di regressione (fattori omessi)
Rossi Regressione lineare Econometria - 2013 20 / 32

Causalità
Interpretazione dei coefficienti nella regressione multipla
Si consideri di variare X1, ∆X1 tenendo X2 costante:
Retta di regressione della popolazione prima della variazione:
Y = β0 + β1X1 + β2X2
Retta di regressione della popolazione dopo la variazione:
Differenza:
Quindi:
tenendo X2 costante
tenendo X1 costante
Y ∆Y = β0 + β1(X1 + ∆X1) + β2X2
∆Y = β1∆X1
β1 = ∆Y
∆X1
β2 = ∆Y
∆X2
β0 = valore predetto di Y quando X1 = X2 = 0.
Rossi Regressione lineare Econometria - 2013 21 / 32

Causalità
Lo stimatore OLS dellaregressione multipla
Con due regressori, lo stimatore OLS risolve:
ˆβ0, ˆ β1, ˆ β2 = arg min
β0,β1,β2
n
Yi − (β0 + β1X1i + β2X2i) 2
i=1
Lo stimatore OLS minimizza la differenza quadratica media tra i valori
attuali di Yi e il valore predetto in base alla retta stimata, ˆ Yi.
Rossi Regressione lineare Econometria - 2013 22 / 32

Esempio
Causalità
Regressione di TestScore su STR:
TestScr = 698, 933
(9,468)
− 2, 280 STR
(0,480)
T = 420 ¯ R 2 = 0, 0490 SER = 18, 581
Ora includiamo la percentuale di studenti non di madrelingua nel
distretto ( PctEL):
testscr = 686, 032
(7,411)
− 1, 10 STR − 0, 65 PctEL
(0,380) (0,039)
T = 420 ¯ R 2 = 0, 424 SER = 14, 464
Che cosa accade al coefficiente di STR?
Rossi Regressione lineare Econometria - 2013 23 / 32
(1)
(2)

Misure di Goodness-of-Fit
Misure di bontà dell’adattamento nella regressione
multipla
Reale = predetto + residuale: Yi = ˆ Yi + ûi
SER = deviazione standard di ûi (con correzione per gradi di libertà)
RMSE = deviazione standard di ûi (senza correzione per gradi di libertà)
R 2 = frazione della varianza di Y spiegata da X
R 2 corretto ( ¯ R 2 )= R 2 con una correzione per gradi di libertà che corregge
per l’incertezza della stima; ¯ R 2 < R 2
Rossi Regressione lineare Econometria - 2013 24 / 32

SER e RMSE
Misure di Goodness-of-Fit
Come nella regressione con un unico regressore, SER e RMSE sono misure
della dispersione delle Y attorno alla retta di regressione:
SER = 1
n
ûi
n − k − 1
i=1
RMSE = 1
n
ûi
n
i=1
Rossi Regressione lineare Econometria - 2013 25 / 32

R 2 e ¯ R 2
Misure di Goodness-of-Fit
L’R 2 è la frazione della varianza spiegata - stessa definizione della
regressione con singolo regressore:
dove
R 2 = ESS
T SS
ESS =
SSR =
T SS =
= 1 − RSS
T SS
n
( ˆ Yi − ¯ Y ˆ )
i=1
n
( ˆ Yi − Yi)
i=1
n
(Yi − ¯ Y )
i=1
L’R 2 aumenta sempre quando si aggiunge un altro regressore (perchè?) -
un problema per una misura di adattamento.
Rossi Regressione lineare Econometria - 2013 26 / 32

R 2 e ¯ R 2
Misure di Goodness-of-Fit
L’ ¯ R 2 corregge questo problema penalizzando l’inserimento di un altro
regressore - l’ ¯ R 2 non aumenta necessariamente quando si aggiunge un
altro regressore.
¯R 2
n − 1 SSR
= 1 −
n − k − 1 T SS
Si noti che ¯ R 2 < R 2 , tuttavia se n è grande i due saranno molto vicini.
Rossi Regressione lineare Econometria - 2013 27 / 32

Misure di Goodness-of-Fit
Misure di bontà dell’adattamento
testscr = 686, 032
(7,411)
− 1, 10 STR − 0, 65 PctEL
(0,380) (0,039)
T = 420 R 2 = 0, 426 ¯ R 2 = 0, 424 SER = 14, 464
perchè l’R 2 e l’ ¯ R 2 sono così vicini?
Rossi Regressione lineare Econometria - 2013 28 / 32
(3)

Misure di Goodness-of-Fit
Le assunzioni degli OLS per il MRLM
Yi = β0 + β1X1i + . . . + βkXki + ui i = 1, . . . , n
A.1 E[ui|X1i = x1, . . . , Xki = xk] = 0.
A.2 (X1i, . . . , Xki, Yi) sono i.i.d.
A.3 Gli outlier sono improbabili: (X1i, . . . , Xki, Yi) hanno momenti quarti
finiti, E[X1i] < ∞, . . . , E[Xki] < ∞, E[Yi] < ∞.
A.4 Non vi è collinearità perfetta.
Rossi Regressione lineare Econometria - 2013 29 / 32

Assunzione 1
Assunzione 1:
Misure di Goodness-of-Fit
E[ui|X1i = x1, . . . , Xki = xk] = 0
Ha la stessa interpretazione del caso della regressione con un singolo
regressore.
La non validità di questa condizione porta a distorsione da variabili
omesse; nello specifico, se una variabile omessa appartiene all’equazione
(cioè è in u) e
1 è correlata con una X inclusa
2 allora questa condizione non vale e vi è distorsione da variabili omesse.
La soluzione migliore, se possibile, è quella di includere la variabile
omessa nella regressione.
Una seconda soluzione, correlata alla precedente, è quella di includere una
variabile che controlli per la variabile omessa (cfr. Capitolo 7).
Rossi Regressione lineare Econometria - 2013 30 / 32

Assunzioni 2, 3 e 4
Assunzione 2:
Misure di Goodness-of-Fit
(X1i, . . . , Xki, Yi)
sono i.i.d. È soddisfatta automaticamente se i dati sono raccolti mediante
campionamento casuale semplice.
Assunzione 3: gli outlier sono rari (momenti quarti finiti)
È la stessa assunzione descritta per il caso di un regressore singolo. Come
in quel caso, l’OLS può essere sensibile agli outlier, perciò occorre
controllare i dati (diagrammi a nuvola!) per assicurarsi che non vi siano
valori impazziti (refusi o errori di codifica).
Assunzione 4: Non vi è collinearità perfetta. La collinearità perfetta si ha
quando uno dei regressori è funzione lineare esatta degli altri.
Rossi Regressione lineare Econometria - 2013 31 / 32