Régression linéaire et robustesse: théorie et applications

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 1 / 46
Catherine Dehon 3 Août 2011
Régression linéaire et robustesse: théorie et
applications
Catherine Dehon
Université libre de Bruxelles, SBS-EM, ECARES
3 Août 2011

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 2 / 46
Catherine Dehon 3 Août 2011
AGENDA
1 Le modèle de régression linéaire simple
2 Estimation des paramètres
3 Impact et classification des valeurs aberrantes
4 Quelques estimateurs robustes
5 Application économique
6 Et en sciences humaines ....
7 Conclusion

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 3 / 46
Catherine Dehon 3 Août 2011
Le modèle de régression linéaire simple
Motivation
Les sciences économiques suggèrent souvent des relations
théoriques de causalité sans les tester ni les quantifier:
• Impact sur le salaire d’une année d’étude supplémentaire?
• Impact d’une augmentation du prix du tabac sur les ventes?
• Impact du type de régime politique sur l’emploi?
Mesurer, quantifier les effets de causalité
Evaluer des politiques économiques
Prédire des comportements
⇓
“All models are wrong, but some are useful.” (Box, 1979)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 4 / 46
Catherine Dehon 3 Août 2011
Définition
Les observations Y1, . . . , Yn satisfont aux hypothèses du modèle
de régression simple si elles satisfont à une équation de la forme
Yi = β0 + β1˜xi + εi = x t iβ + εi
i = 1, . . . , n
• ˜x1, . . . , ˜xn sont des réels ou des variables aléatoires
• x1, . . . , xn ∈ IR 2
1
telle que xi = ∀i
˜xi
β0
• β = ∈ IR 2 est un paramètre (inconnu) composé
β1
d’une pente β1 et d’une ordonnée à l’origine β0
• ε1, . . . , εn sont des variables aléatoires non observées : les
”erreurs”.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 5 / 46
Catherine Dehon 3 Août 2011
Hypothèses
• Dans le cas dit “général”, on fait sur les erreurs l’hypothèse
que E[εi] = 0 (E[εi|xi] = 0) ∀i et
σ
Cov[εi, εj] =
2 i = j
0 i = j.
• Dans le cas dit “gaussien”, on renforce cette hypothèse en
posant εi i.i.d. N(0, σ 2 ), i = 1, . . . , n.
• Si la variable explicative est une variable aléatoire: on fait
l’hypothèse d’exogénéité : Cov(Xi, εi) = 0 ∀i.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 6 / 46
Catherine Dehon 3 Août 2011
La densité de l’observation Yi (sachant xi) est une densité
normale de moyenne β0 + β1xi et de variance σ 2
β0 + β1x3
y
β0 + β1x2
β0 + β1x1
y = β0 + β1x
x1 x2 x3
x

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 7 / 46
Catherine Dehon 3 Août 2011
Estimation des paramètres
Méthode du maximum de vraisemblance:
Y = (Y1, . . . , Yn), où les Yi sont i.i.d. et θ = (β0, β1, σ 2 ):
où
ˆ θ ML = Argmax θL θ(Y|xi) = Argmax θ
n
fYi|xi (Yi)
i=1
FYi|xi (y) = Prob(Yi ≤ y | xi) = Prob(x t iβ + εi ≤ y)
εi
= Prob
σ ≤ y − xti β
y − xt iβ = F0
,
σ
σ
y−xt iβ dF0 σ
fYi|xi (y) =
=
dy
1
σ f0
y − xt iβ .
σ

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 8 / 46
Catherine Dehon 3 Août 2011
On obtient donc:
ˆ θML = Argmax θ
= Argmax θ
n
fYi|xi (Yi)
i=1
n
i=1
log f0
Yi − x t i β
σ
− log σ
En résolvant ce problème de minimisation par rapport à β on a
ˆβ ML telle que
n
∂
Yi − x
log f0
∂β
i=1
t iβ
− log σ
σ
β= ˆ ˆβ ML telle que
= 0
βML n −f ′
t
Yi−xi 0
ˆ
βML σ
x t i = 0
où f ′
0 =
∂f0
∂β0
i=1
f0
t ∂f0 , .
∂β1
Yi−x t i ˆ βML
σ

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 9 / 46
Catherine Dehon 3 Août 2011
Cas gaussien: Méthode du maximum de vraisemblance
Sous les hypothèses gaussiennes: Yi|xi ∼ N(β0 + β1xi, σ2 ) :
ˆβ ML telle que
n −f ′
t
Yi−xi 0
ˆ
βML σ
x t i = 0
ˆβ ML
telle que
i=1
n
i=1
f0
Yi−x t i ˆ βML
σ
Yi − x t i ˆ β ML
x t i = 0
L’estimateur n’est donc pas robuste par rapport à des valeurs
aberrantes en Y ou en x.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 10 / 46
Catherine Dehon 3 Août 2011
Cas de Laplace: Méthode du maximum de vraisemblance
Si le terme d’erreur ε
σ est de loi de Laplace standard dont la
fonction de densité est donnée par
ˆβ ML
ˆβ ML
telle que
telle que
f0(x) = 1
2 exp(−|x|)
⇓
n −f ′
t
Yi−x
i=1
f0
n
sign
i=1
i
0
ˆ βML σ
x
Yi−xt ˆ
iβML t i = 0
σ
Yi − x t i ˆ β ML
σ
x t i = 0.
L’estimateur n’est donc pas robuste par rapport à des valeurs
aberrantes en x mais robuste par rappoert à Y .

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 11 / 46
Catherine Dehon 3 Août 2011
Cas dit “général”: Méthode des moindres carrés
Dans le cas général, la méthode des moindres carrés remplace
la méthode du maximum de vraisemblance, et consiste à
minimiser (par rapport à β0 et β1) la variance de Y
1
n
n
i=1
(Yi − β0 − β1xi) 2 = 1
n
Cette minimisation conduit à la même solution (pour β0 et β1)
que la méthode du maximum de vraisemblance gaussien.
n
i=1
ε 2 i .

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 12 / 46
Catherine Dehon 3 Août 2011
Impact et classification des valeurs aberrantes
Malheureusement les méthodes d’estimation classiques sont
extrêmement vulnérable aux valeurs aberrantes (outliers)
• Exemple: Astronomy Data
Log Light Intensity
3.5 4.0 4.5 5.0 5.5 6.0 6.5
Hertzsprung-Russell Diagram-Classical Regression
3.0 3.5 4.0 4.5 5.0
Log Temperature

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 13 / 46
Catherine Dehon 3 Août 2011
Nécessité d’introduire des méthodes d’estimation “robustes” à
la présence dans l’échantillon de quelques individus ‘anormaux”
par rapport au modèle théorique sous-jacent
• Exemple: Astronomy Data
Log Light Intensity
3.5 4.0 4.5 5.0 5.5 6.0 6.5
Classical Regression
Robust Regression
Hertzsprung-Russell Diagram
3.0 3.5 4.0 4.5 5.0
Log Temperature

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 14 / 46
Catherine Dehon 3 Août 2011
Three types of outliers in regression framework:
• Vertical outlier
• Bad leverage point
• Good leverage point
12
10
8
6
4
2
0
−2
−4
−6
Types of contamination
−4 −2 0 2 4 6 8 10 12

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 15 / 46
Catherine Dehon 3 Août 2011
Vertical outlier
12
10
8
6
4
2
0
−2
−4
Types of contamination
−4 −2 0 2 4 6 8 10 12

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 16 / 46
Catherine Dehon 3 Août 2011
Bad leverage point
12
10
8
6
4
2
0
−2
−4
Types of contamination
−4 −2 0 2 4 6 8 10 12

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 17 / 46
Catherine Dehon 3 Août 2011
Good leverage point
12
10
8
6
4
2
0
−2
−4
Types of contamination
−4 −2 0 2 4 6 8 10 12

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 18 / 46
Catherine Dehon 3 Août 2011
Quelques estimateurs robustes
M-estimators (Huber, 1964) Généralisation du MLE:
n −f
ˆβ ML telle que
′
t
Yi−xi 0
ˆ
βML σ
x t i = 0
f ′
0 (u)
i=1
f0
Yi−x t i ˆ βML
Notons s0(u) = − f0(u) la fonction de score associée au
modèle; alors la condition du premier ordre du problème de
minimisation est donnée par
n
ˆβ
1 Yi − x
ML telle que s0
n
t i ˆ
βML x
σ
t i = 0.
i=1
σ

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 19 / 46
Catherine Dehon 3 Août 2011
Le M-estimateur ˆ β M est définit comme les solutions de
Argmax β
n
Yi − x
ρ
t iβ
σ
i=1
où ρ est une fonction positive, symétrique avec ρ(0) = 0.
Cet estimateur est solution de la condition du premier ordre
(ρ-convexe):
n
Yi − x
ψ
t i ˆ
βM x
σ
t i = 0
où ψ = ρ ′ .
i=1
ρ convexe ⇒ ψ borné ⇒ robuste aux points verticaux
ρ borné ⇒ ψ redescendant ⇒ robuste

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 20 / 46
Catherine Dehon 3 Août 2011
• Fonctions de Huber et de Tukey bisquare
ρ H c (u) = {
ρ B c (u) = {
u 2
2
c|u| − c2
2
u 2
2
c 2
6
− u4
2c2 + u6
6c4 rho(u)
rho(u)
0.0 0.5 1.0 1.5 2.0 2.5
0.00 0.05 0.10 0.15
si |u| ≤ c
si |u| > c
rho de Huber
si |u| ≤ c
si |u| > c
-3 -2 -1 0 1 2 3
u
rho de Tukey
-3 -2 -1 0 1 2 3
u
psi(u)
psi(u)
-1.0 -0.5 0.0 0.5 1.0
-0.3 -0.1 0.1 0.2 0.3
psi de Huber
-3 -2 -1 0 1 2 3
u
psi de Tukey
-3 -2 -1 0 1 2 3
u

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 21 / 46
Catherine Dehon 3 Août 2011
Distribution asymptotique: Sous des conditions générales,
avec une fonction ρ-convexe et sn → σ, il est prouvé que
(Huber, 73; Yohai & Maronna, 79):
n 1/2 ( ˆ β − β) → N(0, σ 2 V (ψ, F0)E(xx ′
x ′
x ′ ))
où F0 est la distribution standard des erreurs.
Trade-off entre robustesse et efficacité:
Exemples : la constante c contrôle le trade-off entre la
robustesse et l’efficacité. Si c → ∞ le M-estimateur tends vers
l’estimateur classique.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 22 / 46
Catherine Dehon 3 Août 2011
ρ convexe ⇒ ψ borné ⇒ pas robuste face aux points leviers
GM-estimateurs (Maronna et al., 1979): M-estimateurs
pondérés par rapport aux poids leviers:
n
Yi − x
ψ
t i ˆ
βM w(xi)x
σ
t i = 0
i=1
où w(·) est une fonction monotone décroissante d’un degré
“d’aberrance” dans l’espace de design (X).
Mais il reste le problème du paramètre de nuisance σ. Il
“suffit” de le substituer par un estimateur convergent et
robuste d’échelle des résidus sn (par exemple le MAD).......
mais on ne connait pas les résidus !

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 23 / 46
Catherine Dehon 3 Août 2011
S-estimateurs
LS estimateur: ˆ β LS = arg min
θ
n
r
i=1
2 i (ri are the residuals)
Le S-estimateur est définit comme la solution de
ˆβ S = arg min
θ
s(r1, ..., rn)
où l’estimateur d’échelle s(r1, . . . , rn) est définit comme
solution de
n 1
ρ(
n
ri
) = b
s
i=1
ρ peut être choisi dans la classe des fonctions de Tukey avec
c = 1.547 pour avoir un point de rupture de 50%.
L’estimation d’échelle est : ˆσS = s(r1( ˆ θS), . . . , rn( ˆ θS)).

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 24 / 46
Catherine Dehon 3 Août 2011
MM-estimators (Yohai, 1987)
Combine robustness and high gaussian efficiency:
• Step 1: Take an S-estimate with bdp of 50% (using ρ1
function). Call this estimate ˆ β1 β1 β1
• Step 2: Calculate the associate scale estimate
sn = S(r1( ˆ β1), . . . , rn( ˆ β1)) using residuals from step 1
β1 β1 β1 β1
• Step 3: Take any other function ρ2 ≤ ρ1 and find a local
minimum ˆ β2 of
β2 β2
S(β) =
n
i=1
ρ2
ri(β)
β2 β2 β2
ˆ has the same bdp as ˆ β1 β1 β1 but we choose ρ2 to increase
efficiency (e.g. in bisquare family with c1 = 1.56 and c2 = 4.68,
we get a bdp of 50% and an asymptotic efficiency of 95%)
sn

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 25 / 46
Catherine Dehon 3 Août 2011
Application économique
Size of governments of Persson and Tabellini (1999):
Expi = β0 + β1Mi + β2 log Ii + β3 log Oi + β4P 65i
9
+β5P resi + βjDji + β10Ei + εi
j=6
• Exp: central public expenditure in % of GDP
• M: the mean district magnitude
• I: income
• O: the degree of openness
• P 65: % of the population over 65 years-old
• P res: dummy political presidential regime
• Dj: continental dummies
• E: degree of ethno-linguistic fractionalization.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 26 / 46
Catherine Dehon 3 Août 2011
STEP 1: Can I use classical regression?
Regression model:
where εi ∼ iid N(0, σ 2 )
Yi = β0 + xi1β1 + ... + xip−1βp−1 + εi
Classical estimator: ˆ β LS = arg min
β
n
r
i=1
2 i (ri are the residuals)
Robust competitor: The S-estimator is defined as
ˆβ S = arg min s(r1, ..., rn)
β
where scale estimate s(r1, . . . , rn) is defined as the solution of:
n 1
ρ(
n
ri
) = b
s
i=1

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 27 / 46
Catherine Dehon 3 Août 2011
QUESTION: How to choose between classical and robust
estimators considering the trade-off between robustness and
efficiency?
⇓
HOW TO CONSTRUCT A
“TEST OF OUTLIERS”?

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 28 / 46
Catherine Dehon 3 Août 2011
IDEA: Use the methodology of the well-knwon Hausman test
(endogeneity, . . . ) to compare the possible bias due to outliers
Problem of test: H0: no problem of outliers
H1: problem of outliers
Under H0: ˆ θLS is consistent and efficient and ˆ θS is consistent
but inefficient
Under H1: ˆ θS is still consistent but not ˆ θLS
Known results:
ˆβ LS ∼ N(β, σ 2 (X ′ X) −1 )
ˆβ S ≈ N(β, σ2 (X ′ X) −1
)
e
where e = 28.7% is the efficiency of the S-estimator

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 29 / 46
Catherine Dehon 3 Août 2011
Define
How to normalize ˆq?
ˆq = ˆ β S − ˆ β LS
In fact, since ˆ β LS is the efficient estimate, we have under H0
that ˆq and ˆ β LS are orthogonal, then
ˆq + ˆ β LS = ˆ β S ⇒ V (ˆq) + V ( ˆ β LS) = V ( ˆ β S)
⇓
V (ˆq) = V ( ˆ βS) − V ( ˆ βLS) = σ2 (X ′ X) −1
− σ 2 (X ′ X) −1
We estimate σ robustly using sn based on S-estimator residuals
e

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 30 / 46
Catherine Dehon 3 Août 2011
The Hausman test statistic is defined as
H = ˆq ′ −1 V ˆ (ˆq) ˆq
where ˆ V (ˆq) is a consistent estimator of V (ˆq).
Hausman (1978) shows that under the null, H is distributed
asymptotically as a central χ 2 p where p is the number of
unknown parameters.
COME BACK TO THE APPLICATION:
The test statistic is 21.31 > χ2 11,0.95 = 19.67 (p-value is 0.03)
⇒ OLS estimations have been distorted by the presence of
outliers, some robust method is needed.

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 31 / 46
Catherine Dehon 3 Août 2011
STEP 2: Which type of outliers are in the database?
Scatter plot: Mesure of outlyingness versus robust residuals
• x-axis: degree d of outlyingness in the design space, in order
to detect leverage points.:
d 2 |x
i = max
a=0
′ ia − m(x′ ia)| s(x ′ ia) m and s: robust estimator of location and scale.
• y-axis: r standardized robust residuals (using the S-estimator)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 32 / 46
Catherine Dehon 3 Août 2011
Standardized Residuals
-4 -2 0 2 4
Brazil
Cyprus (G)
India
Nepal
Switzerland
0 5 10 15 20 25 30 35
Donoho-Stahel Outlyingness
Netherlands
d ≤ χ2 p;0.95 and |r| ≤ 3: standard point
d > χ2 p;0.95 and |r| ≤ 3: good leverage point
d ≤ χ2 p;0.95 and |r| > 3: vertical outlier
d > χ2 p;0.95 and |r| > 3: bad leverage point.
Israel

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 33 / 46
Catherine Dehon 3 Août 2011
STEP 3: Select an appropriate robust estimator
There exist a lot of robust regression estimators
⇓
The choice of a robust method depends on the type of outliers
LS M GM MM GMM
Standard X X X X X
Vertical X X X X
Good X X
Bad X X X
GMM: downweight good leverage points in MM procedure and
reproduce the methodology proposed in GM-estimators

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 34 / 46
Catherine Dehon 3 Août 2011
Methods OLS RWLS GM GMM
Mean District Magnitude 0.10 0.09 0.07 0.06
(2.34) (2.34) (0.63) (0.63)
Log(Income) -1.47 -1.42 -1.93 -1.97
(0.62) (0.61) (0.72) (0.75)
Log(Openness) 5.12 5.75 6.41 5.69
(2.63) (2.98) (2.82) (2.63)
Population 65 78.33 81.69 78.76 65.11
(1.56) (1.68) (1.42) (1.41)
Presidential -9.16 -9.01 -9.66 -10.41
(2.95) (3.00) (2.69) (2.90)
Latin America -2.38 -2.92 -1.18 -1.83
(0.60) (0.76) (0.25) (0.34)
Africa 0.42 -0.56 -0.14 -0.14
(0.07) (0.09) (0.02) (0.02)
Asia -2.96 -3.67 -2.42 -2.98
(0.54) (0.69) (0.39) (0.42)
Oecd 1.45 0.84 3.76 4.50
(0.32) (0.18) (0.70) (0.63)
Ethno-linguistic fractionalization -0.09 -0.08 -0.06 -0.08
(1.92) (1.80) (1.31) (1.82)
R 2
0.75 0.76 0.65 0.65

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 35 / 46
Catherine Dehon 3 Août 2011
Conclusion: régression robuste
• Les valeurs aberrantes sont fréquentes dans des bases de
données de plus en plus grandes (data-mining) et peuvent
sérieusement affectés les estimateurs classiques
• Il existe des méthodes graphiques et des tests afin de détecter
ce genre de problème en régression
• Le choix de l’estimateur robuste dépend du type d’outliers
• L’intuition en statistique robuste est relativement aisée mais
les démonstrations des propriétés statistiques pour les
estimateurs robustes ne sont pas simples

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 36 / 46
Catherine Dehon 3 Août 2011
Et en sciences humaines ...
Difficulté
En sciences humaines, il n’est pas souvent possible de réaliser
une expérience où l’environnement serait sous contrôle.... mais
la plupart du temps nous avons accès à des données observées
(non-experimental data)
Question
Mesurer l’effet d’un programme (“traitement”) en mettant en
évidence une causalité par rapport à une variable d’intérêt (la
réussite, la moyenne des notes, l’abandon, . . . ) est souvent
complexe
Corrélation = Causalité
La corrélation n’implique pas la causalité (exemple cigognes)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 37 / 46
Catherine Dehon 3 Août 2011
Soit un individu i, dont la variable d’intérêt est donnée par Yi
(moyenne globale, réussite, salaire, engagement, . . . )
Introduction d’un traitement:
0 si l’individu i ne participe pas au traitement
Wi =
1 si l’individu i participe au traitement
On observe une seule des deux situations suivantes:
1 Yi(0) : variable d’intérêt si l’individu n’a pas participé
2 Yi(1) : variable d’intérêt si l’individu a participé
Mais on voudrait obtenir la quantité suivante:
Yi(1) − Yi(0)
“Fundamental problem of causal inference” (Holland, 1986)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 38 / 46
Catherine Dehon 3 Août 2011
MODELE CAUSAL DE RUBIN
Soit un échantillon de N individus (i = 1, . . . , N). N1 ont reçu
le traitement, N0 ne l’ont pas reçu (N = N0 + N1)
On sait que
0 si l’individu i ne participe pas au traitement
Wi =
1 si l’individu i participe au traitement
Les deux “outcomes” potentiels sont:
Yi(0) si l’individu ne participe pas au traitement
Yi(1) si l’individu participe au traitement
En réalité, on va observer Yi:
Yi(0) si Wi = 0
Yi =
Yi(1) si Wi = 1

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 39 / 46
Catherine Dehon 3 Août 2011
L’effet de causalité en utilisant les “outcomes” potentiels au
niveau individuel est donc donné par
Yi(1) − Yi(0) ∀i = 1, . . . , N
MAIS .... contexte de valeurs manquantes
Par similitude, on est souvent tenté d’utiliser les “outcomes”
observés en calculant des effets moyens sur les deux groupes:
1
N1
Yi −
iWi=1
1
N0
iWi=0
Les résultats de ces deux groupes sont-ils comparables ?
L’information obtenue est-elle pertinente pour l’évaluation du
traitement ?
Yi

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 40 / 46
Catherine Dehon 3 Août 2011
On utilise également souvent les “outcomes” observés dans le
cadre de la régression linéaire:
Yi = α + τWi + εi
∀i = 1, . . . , N
où τ serait l’effet causal, mais cette équation soulève les
questions suivantes:
L’effet causal est-il constant ∀i ? (hétérogénéité)
Quelles sont les propriétés du terme d’erreur ε ? Le terme
d’erreur est-il indépendant du choix du traitement ?
(exogénéité)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 41 / 46
Catherine Dehon 3 Août 2011
Mécanisme d’affectation du traitement
1 Affectation du traitement de façon aléatoire (randomized
experiments). Peu fréquent en sciences humaines mais
situation la plus facile à modéliser
2 Unconfounded affectation: sélection du traitement sur
base de variables observées:
Wi ⊥ (Yi(0), Yi(1)) Xi
3 Affectation du traitement sur base de variables non
observées

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 42 / 46
Catherine Dehon 3 Août 2011
AFFECTATION ALEATOIRE DU TRAITEMENT
Situation idéale mais rare en sciences humaines .....
L’effet moyen du traitement peut être estimé par:
1 La différence entre la moyenne du groupe “traité” et celle
du groupe “placebo”
2 La régression linéare suivante
Yi = α + τWi + εi
∀i = 1, . . . , N
On peut même ajouter des variables explicatives
supplémentaires pour améliorer la précision.
Littérature croissante en économie du développement (Duflo,
Glennester et Kremer, 2007)

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 43 / 46
Catherine Dehon 3 Août 2011
AFFECTATION DU TRAITEMENT SUR BASE DE
VARIABLES OBSERVABLES (UNCONFOUNDEDNESS)
Hypothèse largement utilisée mais souvent controversée :
Wi ⊥ (Yi(0), Yi(1)) Xi
Pour chaque individu partageant les mêmes caractéristiques
observées x, l’effet du traitement est donné par:
τ(x) = E[Yi(1) Xi = x] − E[Yi(0) Xi = x]
= E[Yi(1) Wi = 1, Xi = x] − E[Yi(0) Wi = 0, Xi = x]
= E[Yi
Wi = 1, Xi = x] − E[Yi
Wi = 0, Xi = x]
Nécessité de l’hypothèse d’overlap: L’échantillon doit contenir
des individus traités et non traités ∀x

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 44 / 46
Catherine Dehon 3 Août 2011
Méthode simple : régression linéaire multiple
L’effet du traitement conditionnellement à x est donné par:
τ(x) = µ1(x) − µ0(x)
où µ1(x) = E[Yi(1) Xi = x] et µ0(x) = E[Yi(0) Xi = x]
Unconfoundedness: on peut estimer ces moyennes
conditionnelles via la régression sur les deux échantillons:
Yi = α + βXi + εi ∀i Wi = 1 ⇒ ˆµ1(x)
Yi = γ + δXi + εi ∀i Wi = 0 ⇒ ˆµ0(x)
L’effet moyen du traitement peut dès lors être mesuré par:
ˆτ = 1
N
N
(ˆµ1(Xi) − ˆµ0(Xi))
i=1

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 45 / 46
Catherine Dehon 3 Août 2011
AFFECTATION DU TRAITEMENT SUR BASE DE
VARIABLES NON OBSERVABLES
Problémes complexes: quelques méthodes pour des cas
particuliers
Variable instrumentale Z: elle doit remplir deux conditions
E(Zε) = 0
cov(X, Z) = 0
L’estimateur IV est donné comme solution de l’équation:
ˆβ IV
telle que
n
i=1
Yi − x t i ˆ β IV
z t i = 0

AGENDA
MODELE
ESTIMATION
OUTLIERS
ROBUSTESSE
EXEMPLE
CONCLUSION
SH
CONCLUSION
Régression linéaire et robustesse: théorie et applications 46 / 46
Catherine Dehon 3 Août 2011
CONCLUSION
Il faut être très prudent avant de considérer qu’il y a un
effet de causalité
Il est parfois possible de créer une expérience randomisée
La littérature statistique et économétrique est en
développement
G. W. Imbens and J. M. Wooldridge (2009), Recent
Developments in the Econometrics of Program Evaluation,
Journal of Economic Literature, 47:1, 5-86