Un método de remuestreo para la regresión lineal simple

Un método de remuestreo para la regresión linealsimpleSupongamos que tenemos el modelo de regresión lineal simple (con diseño jo)Y i = β 0 + β 1 x i + ε i , i = 1, . . . , n,donde ε i son variables aleatorias independientes con media cero y varianza σ 2 .Dado un conjunto de observaciones (x 1 , y 1 ), . . . , (x n , y n ) los estimadores de mínimoscuadrados de β 0 y β 1 vienen dados por las fórmulasˆβ 1 =∑ ni=1 (x i − x)y iSS x, ˆβ0 = y − ˆβ 1 x,donde SS x = ∑ ni=1 (x i−x) 2 . Recordemos que σ 2 se estima insesgadamente mediantedondeson los residuos ys 2 = 1n − 2n∑e 2 i , i = 1, . . . , n,i=1e i = y i − ˆµ i , i = 1, . . . , nˆµ i = ˆβ 0 + ˆβ 1 x i , i = 1, . . . , n,es la estimación de µ i = β 0 + β 1 x i . Es conocido queE( ˆβ 1 ) = β 1 , V ar( ˆβ 1 ) = σ2SS x.Si los errores siguen una distribución normal entoncesT = ˆβ 1 − β 1ˆσ( ˆβ 1 ) ,sigue una distribución t de Student con n − 2 grados de libertad, siendoˆσ 2 ( ˆβ 1 ) =s2SS x.Así el intervalo de conanza para β 1 de nivel (1 − α) vendría dado por[ ˆβ 1 − c uˆσ ˆβ1, ˆβ 1 − c lˆσ ˆβ1],

dondeP (c l = −t n−2,α/2 ≤ T n−2 ≤ c u = t n−2,α/2 ) = 1 − α.Si la hipótesis de normalidad no es cierta los valores de c l y c u pueden ser diferentesde los valores críticos de una t de Student. Por supuesto, por el teorema centraldel límite, esto no ocurrirá si la muestra es grande. Sin embargo, para muestraspequeñas y con errores claramente no normales el intervalo anterior puede no seradecuado. En esta situación puede ser útil utilizar el bootstrap para aproximar ladistribución de T . ¾Cómo podemos generar la muestra bootstrap? Una primeraidea, si los errores ε i siguen una distribución normal, sería seleccionar los erroresbootstrap ε ∗ 1, . . . , ε ∗ n aleatoriamente según una N(0, s 2 ) y generar yi∗ mediante lafórmulayi ∗ = ˆβ 0 + ˆβ 1 x i + ε ∗ i , i = 1, . . . , n.Esta idea se puede seguir usando en un contexto no paramétrico. Para ello necesitamostener una buena aproximación de la distribución de los errores. Los valoresde los residuos {e 1 , . . . , e n } nos dan una idea de esa distribución. Sin embargo, sudistribución no es del todo el a la de los errores originales ya que, por ejemplo, suvarianza no es constante. Se tiene quedonde,V ar(e i ) = σ 2 (1 − h i ),h i = 1 n + (x i − x) 2SS x, i = 1, . . . , n.Para corregir este problema se construyen los residuos modicadosr i =e i, i = 1, . . . , n.(1 − h i ) 1 2Estos residuos ya tienen varianza constante σ 2 , como los errores ε i . Sin embargono tienen media cero. Por ello los errores bootstrap se escogen al azar del conjunto{r 1 − r, . . . , r n − r}. El plan de remuestreo bootstrap para construir un intervalode conanza para β 1 sería el siguiente:1. Para i = 1, . . . , na) Poner x ∗ i = x i .b) Seleccionar al azar ε ∗ i del conjunto {r 1 − r, . . . , r n − r}.c) Hacer y ∗ i = ˆβ 0 + ˆβ 1 x i + ε ∗ i2. Estimar ˆβ ∗ 0, ˆβ ∗ 1 y los residuos e ∗ 1, . . . , e ∗ n a partir de (x ∗ 1, y ∗ 1), . . . , (x ∗ n, y ∗ n)

3. Evaluar T ∗ en la muestra bootstrap. Para cada muestra boostrap se obtienet ∗ = ˆβ ∗ 1 − ˆβ 1ˆσ( ˆβ ∗ 1) ,dondeˆσ 2 ( ˆβ ∗ 1) = s∗2SS x, s ∗2 = 1n − 2n∑i=1e ∗2i ,4. Repetir los pasos anteriores B veces obteniendo t ∗ 1, . . . , t ∗ B5. Ordenar de menor a mayor los valores calculados de T ∗ y tomar el valor queocupa la posición α/2 ∗ B, c ∗ l , y el que ocupa la posición (1 − α/2) ∗ B, c∗ u.El intervalo bootstrap para β 1 de nivel (1 − α) es[ˆβ1 − c ∗ uˆσ( ˆβ 1 ), ˆβ 1 − c ∗ l ˆσ( ˆβ 1 )]Ejercicio: Comprueba el funcionamiento del método anterior. Para ello toma comovalores de x 15 puntos equiespaciados en el intervalo [0, 1], x = 0, 1/15, 2/17, . . . ,.Supongamos además que los errores de medida, ε i , siguen una distribución t deStudent con 3 grados de libertad.1. Genera el modelocon β 0 = β 1 = 1.Y i = β 0 + β 1 x i + ε i , i = 1, . . . , 15,2. Calcula el intervalo bootstrap para β 1 . Toma B = 500 y α = 0,053. Comprueba si β 1 está en el intervalo construido.4. Repite los pasos anteriores M = 500 veces. Calcula el porcentaje de veces enque β 1 está en el intervalo bootstrap. Este porcentaje debería estar próximoal 95 %5. Con las mismas M muestras generadas anteriormente, calcula el porcentajede veces que β 1 está contenido en el intervalo construido suponiendo que loserrores son normales. ¾Qué método da mejores aproximaciones del nivel deconanza?6. Realiza la misma comparación cuando los errores siguen una distribuciónnormal de media cero y σ 2 = 3.