geometrica degli OLS - Economia

Università di Pavia
Econometria
Minimi quadrati ordinari
Interpretazione geometrica
Eduardo Rossi
Università di Pavia

Introduzione
L’econometria si interessa all’analisi dei dati economici.
I dati economici provengono esclusivamente da fonti non sperimentali.
Non possiamo come economisti ripetere l’esperimento, cioè valutare
le reazioni a due diversi stimoli, per misurarne l’effetto.
Possiamo però esaminare come variano tra individui eterogeni, cioè
con diversi caratteri (scolarità, età, razza, area geografica di residenza,
ecc.), i redditi da lavoro individuali. Per lo stesso periodo di tempo o
per un certo numero di periodi.
1

Introduzione
Il modello lineare di regressione multipla è usato per studiare le relazioni
tra la variabile dipendente e diverse variabili indipendenti (esplicative).
yt = β1x1t + . . . + β Kx Kt + ǫt
β1, . . . β K fixed but unknown parameters, ǫt ignoto, yt regredendo,
v.casuale, x kt regressore, covariata casuale. In genere, uno dei regressori
è fissato uguale ad 1,per esempio il primo: x1t = 1, ∀t; con
β1 intercetta (o costante) dell’equazione.
2
(1)

Le osservazioni possono essere:
• serie storiche, tempi successivi (anni, trimestri, mesi, settimane,
ecc.)
• cross-section, unità economiche individuali (individui, famiglie, imprese,
ecc.) osservate allo stesso istante di tempo.
• Cross-section di unità individuali osservate un certo numero di
periodi di tempo (panel data).
3

Introduzione
Si suppone che le osservazioni siano generate da un esperimento casuale,
prima del quale i loro valori sono ignoti. In verità, la nozione di
esperimento è piuttosto vaga e fa riferimento all’atto di raccolta dei
dati.
4

Il metodo dei minimi quadrati
I caratteri variano simultaneamente tra gli individui. Il metodo dei
minimi quadrati ordinari è un modo per scomporre le differenze
nella variabile dipendente fra diverse caratteristiche osservate (variabili
esplicative) per le diverse unità nel campione. Il metodo dei minimi
quadrati orinari (in inglese Ordinary Least Squares, OLS) è usato
per stimare il valore di β k, k = 1, . . . , K. Questi sono scelti in modo
tale che siano la soluzione al seguente problema:
min
β 1,...,β K
N
t=1
[yt − (β1x1t + β2x2t + . . . + β Kx Kt)] 2
Il termine ”minimi quadrati” si riferisce alla minimizzazione della
somma delle differenze al quadrato. [yt − (β1x1t + . . . + β Kx Kt)], i
residui.
5

La funzione obiettivo
f(β1, . . . , β K) =
N
[yt − (β1x1t + β2x2t + . . . + β Kx Kt)] 2
t=1
è la sum of squared residuals (somma dei quadrati dei residui). Quando
i residui sono valutati in β1, . . . , βK i residui sono detti fitted residuals
(residui fittati, o residui della regressione).
Consideriamo il caso in cui l’unica variabile esplicativa è la costante:
K = 1 e x1t = 1, ∀t. OLS trova il valore di β1 che è il più vicino a yt nel
senso della somma dei qudrati dei residui. OLS è la minimizzazione
di una funzione quadratica in β1 e il risultato è la media:
β1 = argmin
N
t=1
(yt − β1) 2 =
Nt=1 yt
N
6
(2)

Notazione
Notazione matriciale
y =
X =
⎡
y1.
β = [β1, β2, . . . , β K] ′
⎤
xt =
⎡
x1t
.
⎢
⎣
⎥
⎦ (N × 1)
yN ⎡
x
⎢
⎣
′ 1
.
x ′ ⎡
⎤
⎢
⎥ ⎢
⎦ = ⎢
⎣
N
.
⎤
⎢
⎣
xKt ⎥
⎦ (K × 1)
x11 x12 . . . x 1K
x21 x22 . . . x2K . .
xN1 xN2 . . . xNK (K × 1) (3)
⎤
⎥
⎦
(N × K)
7

⎡
x
⎢
⎣
′ 1β .
x ′ Nβ ⎤
⎥
⎦ = Xβ
Il vettore y raccoglie tutte le osservazioni della variabile dipendente.
La matrice X raccoglie le osservazioni sulle variabili esplicative. Ogni
colonna di X contiene tutte le osservazioni per la singola variabile
esplicativa.
8

Lo stimatore dei minimi quadrati (OLS)
Stimatore = E’ una regola per calcolare una stima (un numero) dai
dati campionari.
Il metodo dei minimi quadrati risolve
Definiamo
β ≡ argmin
β (y − Xβ) ′ (y − Xβ)
S(β) ≡ (y − Xβ) ′ (y − Xβ)
9

∂S(β)
∂β = ∂ y ′ y − 2β ′ X ′ y + β ′ X ′ Xβ
∂β
= ∂ −2β ′ X ′ y + β ′ X ′ Xβ
∂β
= −2 ∂β′
∂β X′ y + ∂ β ′ X ′ Xβ
∂β
= −2X ′ y + 2X ′ Xβ
10

Le equazioni normali
Lo stimatore OLS è
∂S( β)
∂β = −2X′ y + 2X ′ X β = 0 (4)
X ′ y − X ′ X β = 0 (5)
β =
X ′ X −1 X ′ y (6)
Poichè la funzione stimata è lineare nei coefficienti, gli OLS ci danno
dei coefficienti stimati che sono somme ponderate delle {yt}. Le stime
OLS sono funzioni lineari della variabile dipendente. Questa linearità
in {yt} semplifica l’analisi statistica degli OLS.
11

L’interpretazione geometrica degli OLS
Lo spazio delle colonne di X, Col(X), è il sottospazio lineare di R N
coperto dalle combinazioni lineari dei vettori colonna di X:
Col(X) ≡ {z ∈ R N |z = Xα, α ∈ R k }
La procedura di stima OLS trova il vettore in Col(X), µ, che è più
vicino a y.
µ è detta proiezione di y.
Il metodo OLS risolve:
β ≡ argmin
β (y − Xβ) ′ (y − Xβ) (7)
12

La somma delle deviazioni al quadrato tra gli elementi di di y e Xβ è
il quadrato della distanza Euclidea fra y e Xβ:
(y − Xβ) ′ (y − Xβ) =
N
(yt − x
t=1
′ tβ) 2 = y − Xβ 2
13

Procedura in due passi:
1. Trovare il punto in un sottospazio che è il più vicino ad un punto
che non si trova il quel sottospazio. Il sottospazio è l’insieme
dei possibili vettori reali N dimensionali Xβ che può essere creato
cambiando β e questo sottospazio è lo spazio delle colonne di X.
µ ≡ arg min
µ∈Col(X)
2. Trovare un β che sia soluzione a:
µ = X β
y − µ 2
14

La soluzione al primo passo è unica mentre ci possono essere molte
soluzione al secondo problema. Sia β una soluzione di (7) e sia µ =
X β.
1. Il vettore dei valori fittati µ è l’unica proiezione ortogonale di y su
Col(X).
2. Il vettore dei residui fittati y − µ è ortogonale a Col(X)
3. Se dim[Col(X)] = K, allora (7) ha una soluzione unica:
β = (X ′ X) −1 X ′ µ ′
15

Tre idee base:
1. La regressione OLS significa minimizzare la distanza al quadrato
tra il vettore osservato y e un vettore di regressione Xβ che appartiene
a Col(X).
2. Il vettore dei valori fittati µ = Xβ è la proiezione ortogonale su
Col(X). Il vettore dei residui (y − µ) è perpendicolare a µ e ad ogni
altro vettore in Col(X).
3. If the dim[Col(X)] = K allora β è unico.
16

La dipendenza lineare fra le variabile esplicative non ha un ruolo fondamentale
su quanto bene una regressione lineare spiega y. La distanza
dipende solo da µ. Caso Speciale: possiamo costruire una soluzione
direttamente. Mostriamo che
µ = X β = X(X ′ X) −1 X ′ y
solo quando le colonne di X sono linearmente indipendenti.
ma
||y − µ|| 2 = ||y − µ + µ − µ|| 2
= ||y − µ|| 2 + ||µ − µ|| 2 + 2(y − µ) ′ (µ − µ)
(y − µ)⊥(µ − µ) ⇔ (y − µ) ′ (µ − µ) = 0
17

Teorema di Pitagora
Se c’è un µ ∈ Col(X) tale che
allora per tutti gli altri µ ∈ Col(x)
||y − µ|| 2 = ||y − µ|| 2 + ||µ − µ|| 2
X ′ (y − µ) = 0
µ ′ (y − µ) = 0
(µ − µ) ′ (y − µ) = 0
||y − µ|| 2 = ||y − µ|| 2 + ||µ − µ|| 2
≥ ||y − µ|| 2
18

Poichè y − µ è ortogonale a Col(X), µ è vicino a y almeno quanto
un qualunque µ in Col(X). Therefore µ is one solution to the OLS
(minimum distance) problem
µ = arg min ||y − µ||2
µ∈Col(X)
La soluzione è unica perchè per ogni altra possibile soluzione µ deve
essere che
||y − µ|| 2 = ||y − µ|| 2
poichè nessun altro µ è più vicino a µ.
19

Il teorema di Pitagora implica che
||µ − µ|| 2 = 0 ⇒ µ = µ
La condizione di ortogonalità caratterizza completamente il vettore
OLS dei valori fittati µ.
Costruiamo µ per il caso
X ′ (y − X β) = 0
e mostriamo che la soluzione unica è
dato che X ′ X è nonsingolare.
X ′ (y − X β) = 0
X ′ X β − X ′ y = 0
β = (X ′ X) −1 X ′ y
20

La soluzione per µ segue
µ = X β = X(X ′ X) −1 X ′ y
β e µ hanno una relazione 1-to-1. Possiamo anche ottenere β da µ:
premoltiplicando per (X ′ X) −1 X ′
(X ′ X) −1 X ′ µ = (X ′ X) −1 X ′ X β = β
21

Teorema Proiezione
Sia y ∈ R N e S ⊆ R N un sottospazio lineare. Allora µ ∈ S è una
soluzione al problema
min
µ∈S
||y − µ||2
se e solo se (y − µ)⊥S. Inoltre, µ è la soluzione unica ed esiste.
22

Il teorema identifica il meccanismo di minimizzazione che significa
trovare un µ ∈ Col(X) tale che
y − µ ⊥ Col(X)
Secondo, il teorema chiarisce che Col(X) determina l’ottimale µ.
23

Proiettori ortogonali
Per ogni y, c’è un’unica µ,
µ = argmin
µ∈S
||y − µ||2
chiamata proiezione di y. La proiezione ortogonale di y è sempre una
trasformazione lineare di y:
µ = Py
P proiettore ortogonale. Nel caso generale che S = Col(X) e X sia di
rango-colonna pieno, la matrice
P X ≡ X(X ′ X) −1 X ′
µ = P Xy
è la trasformazione lineare di y su Col(X) che produce µ.
24

P X ha due proprietà:
• non modifica i vettori in Col(X)
z ∈ Col(X) ⇒ P Xz = z
• trasforma i vettori ortogonali a Col(X) nel vettore zero.
z ⊥ Col(X) ⇒ P Xz = 0
25

Prova
∀z ∈ Col(X) esiste un α : z = Xα
P Xz = P XXα = X(X ′ X) −1 X ′ Xα = Xα = z
Se z⊥Col(X) : z ′ X = 0, ∀X ∈ Col(X) cosicchè X ′ z = 0 e
P Xz = X(X ′ X) −1 X ′ z = 0
26

Scomposizione ortogonale
∀z ∈ R N , possiamo scomporre z univocamente nel vettore somma
z1 + z2 dove z1 ∈ Col(X) e z2 ∈ Col ⊥ (X) ≡ {z ∈ R N |X ′ z = 0}. Dove
Col ⊥ (X) è il complemento ortogonale.
Complemento ortogonale
Il sottospazio lineare di vettori S ⊥ , ortogonale al sottospazio S ⊆ V:
S ⊥ = {v ∈ V|u ′ v = 0, ∀u ∈ S}
è chiamato complemento ortogonale di S. E’ equivalente a scrivere
v ∈ S ⊥ come v⊥S. Notiamo che se v ∈ S ∩ S ⊥ allora v ′ v = 0 tale che
v deve essere il vettore zero. In altre parole S ∩ S ⊥ = {0}
27

Proiezione ortogonale
Sia S ⊆ R N (sottospazio lineare) tale che per ogni z ∈ R N c’è un unico
z1 ∈ S ed un unico z2 ∈ S ⊥ tale che z = z1 + z2. Allora la funzione
da R N a S ⊥ che associa ogni z con il suo corrispondente z1 è una
proiezione ortogonale.
Quando S = Col(X) allora P Xz = z1 è la proiezione ortogonale di z su
Col(X). Solo la componente di z in Col(X) sopravvive alla premoltiplicazione
per P X.
La proiezione ortogonale da R N su un sottospazio S è una trasformazione
lineare. (La proiezione ortogonale di una combinazione lineare
di vettori uguaglia la combinazione lineare delle proiezioni ortogonali
dei singoli vettori).
28

Proiettore ortogonale
Ogni proiezione ortogonale da R N in un sottospazio S può essere
rappresentata da una matrice P, chiamata Proiettore ortogonale.
Sia S ⊆ R N , ∀z ∈ R N c’è un unico z1 ∈ S ed un unico z2 ∈ S ⊥ tale che
z = z1 + z2. Allora una matrice (N × N) P tale che Pz = z1 è un
proiettore ortogonale su S.
Un proiettore ortogonale preserva la componente di un vettore in un
sottospazio S e annulla la componente nel sottospazio complementare
ortogonale S ⊥ . Se P è un proiettore ortogonale su un sottospazio di
R N , allora P è unica.
29

Proprietà dei Proiettori ortogonali
1. Simmetria
2. Idempotenza
P X = X(X ′ X)X ′ = [X(X ′ X)X ′ ] ′ = P ′ X
P XP X = [X(X ′ X)X ′ ][X(X ′ X)X ′ ] = X(X ′ X)X ′ = P X
3. Semidefinitezza positiva
Per ogni w ∈ R N
w ′ P Xw = w ′ P XP Xw = w ′ P ′ X P Xw = (P Xw) ′ (P Xw) = ||P Xw|| 2 ≥ 0
30

Osserviamo che
z ∈ Col ⊥ (X) ⇒ (I − P X)z = z
z ∈ Col(X) ⇒ (I − P X)z = 0
cioè M X = (I − P X) è un proiettore ortogonale su Col ⊥ (X), il complemento
ortogonale di Col(X).
31

Multicollinearità esatta
Se esiste un vettore α ∈ R K tale che Xα = 0 allora le colonne di X sono
linearmente indipendenti. Questa situazione è detta multicollinearità
esatta.
Un unico µ esite anche quando X è di rango ridotto. Quando X
e (X ′ X) sono singolari non possiamo usare P X = X(X ′ X) −1 X ′ per
trovare P X.
Quando dim[Col(X)] < K, possiamo trovare P X applicando la formula
ad ogni sottoinsieme linearmente indipendente delle colonne di X cioè
una base per Col(X).
32

Indichiamo con P X il proiettore ortogonale su Col(X) e sia X1 una
matrice composta da un sottoinsieme linearmente di colonne di X tale
che
allora
Col(X1) = Col(X)
P X = X1(X ′ 1 X1) −1 X ′ 1
33