El método presentado a continuación es el descrito en la Sección 6.3.3 de Davidson y Hinckley (1997),
Bootstrap Methods and These Application . Gracias a Glen_b y su comentario aquí . Dado que había varias preguntas sobre Cross Validated sobre este tema, pensé que valía la pena escribirlo.
El modelo de regresión lineal es:
Yi=Xiβ+ϵi
Tenemos datos, , que utilizamos para estimar la β como:
beta MCOi=1,2,…,Nβ
β^OLS=(X′X)−1X′Y
Ahora, queremos predecir qué será para un nuevo punto de datos, dado que conocemos X para él. Este es el problema de predicción. Llamemos a la nueva X (que conocemos) X N + 1 y a la nueva Y (que nos gustaría predecir), Y N + 1 . La predicción habitual (si suponemos que ϵ i es iid y no está correlacionada con X ) es:
Y p N + 1YXXXN+1YYN+1ϵiX
YpN+1=XN+1β^OLS
El error de pronóstico realizado por esta predicción es:
epN+1=YN+1−YpN+1
Podemos reescribir esta ecuación como:
YN+1=YpN+1+epN+1
Ahora, ya hemos calculado. Entonces, si queremos vincular Y N + 1 en un intervalo, digamos, el 90% del tiempo, todo lo que tenemos que hacer es estimar consistentemente los percentiles / cuantiles de 5 t h y 95 t h de e p N + 1 , llame al ellos e 5 , e 95 , y el intervalo de predicción será [ YYpN+1YN+15th95thepN+1e5,e95.[YpN+1+e5,YpN+1+e95]
¿Cómo estimar los cuantiles / percentiles de ? Bueno, podemos escribir:
e p N + 1epN+1
epN+1=YN+1−YpN+1=XN+1β+ϵN+1−XN+1β^OLS=XN+1(β−β^OLS)+ϵN+1
La estrategia será muestrear (en forma de arranque) muchas veces a partir de y luego calcular los percentiles de la manera habitual. Entonces, tal vez muestrearemos 10,000 veces de e p N + 1 , y luego estimaremos los percentiles 5 t h y 95 t h como los 500 t h y 9 , 500 t h miembros más pequeños de la muestra.epN+1epN+15th95th500th9,500th
Para dibujar en , podemos iniciarla errores (casos estaría bien, también, pero estamos asumiendo errores iid de todos modos). Así, en cada replicación de inicio, se dibuja N veces con la sustitución de los residuos de la varianza ajustados (véase el siguiente párrafo) para obtener ε * i , a continuación, hacer nuevos Y * i = X i β MCO +XN+1(β−β^OLS)Nϵ∗i , a continuación, ejecutar MCO en el nuevo conjunto de datos, ( Y ∗ , X )Y∗i=Xiβ^OLS+ϵ∗i(Y∗,X)para obtener esta replicación . En el último, el sorteo de esta replicación en X N + 1 ( β - β OLS ) es X N + 1 ( β OLS - β * r )β∗rXN+1(β−β^OLS)XN+1(β^OLS−β∗r)
Dado que asumimos iid , la forma natural de tomar muestras de la parte ϵ N + 1 de la ecuación es usar los residuos que tenemos de la regresión, { e ∗ 1 , e ∗ 2 , ... , e ∗ N } . Los residuos tienen variaciones diferentes y generalmente demasiado pequeñas, por lo que tendremos que tomar muestras de { s 1 - ¯ s , s 2 -ϵϵN+1{e∗1,e∗2,…,e∗N}{s1−s¯¯¯,s2−s¯¯¯,…,sN−s¯¯¯}, los residuos con corrección de varianza, donde yhies el apalancamiento de la observacióni.si=e∗i/(1−hi)−−−−−−√hii
Y, finalmente, el algoritmo para hacer un intervalo de predicción del 90% para , dado que X es X N + 1 es:YN+1XXN+1
- Hacer la predicción .YpN+1=XN+1β^OLS
- {s1−s¯¯¯,s2−s¯¯¯,…,sN−s¯¯¯}si=ei/(√1−hi)
- r=1,2,…,R
- N{ϵ∗1,ϵ∗2,…,ϵ∗N}
- Generate bootstrap Y∗=Xβ^OLS+ϵ∗
- Calculate bootstrap OLS estimator for this replication,
β∗r=(X′X)−1X′Y∗
- Obtain bootstrap residuals from this replication, e∗r=Y∗−Xβ∗r
- Calculate bootstrap variance-adjusted residuals from this
replication, s∗−s∗¯¯¯¯¯
- Draw one of the bootstrap variance-adjusted residuals from this
replication, ϵ∗N+1,r
- Calculate this replication's draw on
epN+1, ep∗r=XN+1(β^OLS−β∗r)+ϵ∗N+1,r
- Find 5th and 95th percentiles of epN+1, e5,e95
- 90% prediction interval for YN+1 is
[YpN+1+e5,YpN+1+e95].
Here is R
code:
# This script gives an example of the procedure to construct a prediction interval
# for a linear regression model using a bootstrap method. The method is the one
# described in Section 6.3.3 of Davidson and Hinckley (1997),
# _Bootstrap Methods and Their Application_.
#rm(list=ls())
set.seed(12344321)
library(MASS)
library(Hmisc)
# Generate bivariate regression data
x <- runif(n=100,min=0,max=100)
y <- 1 + x + (rexp(n=100,rate=0.25)-4)
my.reg <- lm(y~x)
summary(my.reg)
# Predict y for x=78:
y.p <- coef(my.reg)["(Intercept)"] + coef(my.reg)["x"]*78
y.p
# Create adjusted residuals
leverage <- influence(my.reg)$hat
my.s.resid <- residuals(my.reg)/sqrt(1-leverage)
my.s.resid <- my.s.resid - mean(my.s.resid)
reg <- my.reg
s <- my.s.resid
the.replication <- function(reg,s,x_Np1=0){
# Make bootstrap residuals
ep.star <- sample(s,size=length(reg$residuals),replace=TRUE)
# Make bootstrap Y
y.star <- fitted(reg)+ep.star
# Do bootstrap regression
x <- model.frame(reg)[,2]
bs.reg <- lm(y.star~x)
# Create bootstrapped adjusted residuals
bs.lev <- influence(bs.reg)$hat
bs.s <- residuals(bs.reg)/sqrt(1-bs.lev)
bs.s <- bs.s - mean(bs.s)
# Calculate draw on prediction error
xb.xb <- coef(my.reg)["(Intercept)"] - coef(bs.reg)["(Intercept)"]
xb.xb <- xb.xb + (coef(my.reg)["x"] - coef(bs.reg)["x"])*x_Np1
return(unname(xb.xb + sample(bs.s,size=1)))
}
# Do bootstrap with 10,000 replications
ep.draws <- replicate(n=10000,the.replication(reg=my.reg,s=my.s.resid,x_Np1=78))
# Create prediction interval
y.p+quantile(ep.draws,probs=c(0.05,0.95))
# prediction interval using normal assumption
predict(my.reg,newdata=data.frame(x=78),interval="prediction",level=0.90)
# Quick and dirty Monte Carlo to see which prediction interval is better
# That is, what are the 5th and 95th percentiles of Y_{N+1}
#
# To do it properly, I guess we would want to do the whole procedure above
# 10,000 times and then see what percentage of the time each prediction
# interval covered Y_{N+1}
y.np1 <- 1 + 78 + (rexp(n=10000,rate=0.25)-4)
quantile(y.np1,probs=c(0.05,0.95))