Sesgo de optimismo: estimaciones del error de predicción

El libro Elementos del aprendizaje estadístico (disponible en PDF en línea) analiza el sesgo optimista (7.21, página 229). Establece que el sesgo de optimismo es la diferencia entre el error de entrenamiento y el error en la muestra (error observado si tomamos muestras de nuevos valores de resultado en cada uno de los puntos de entrenamiento originales) (por debajo).

ingrese la descripción de la imagen aquí

A continuación, establece que este sesgo de optimismo ( $\omega$ ) es igual a la covarianza de nuestros valores y estimados y los valores y reales (fórmula a continuación). Tengo problemas para entender por qué esta fórmula indica el sesgo de optimismo; ingenuamente, habría pensado que una fuerte covarianza entre real $y$ y predijo $y$ se limita a describir la precisión - No optimismo. Avíseme si alguien puede ayudar con la derivación de la fórmula o compartir la intuición.

ingrese la descripción de la imagen aquí

error bias validation

— usuario1885116
fuente

Muy útil, gracias! Creo que una de las ecuaciones tiene un error tipográfico menor y debería ser:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

Respuestas:

Comencemos con la intuición.

$y_i$ $\hat{y}_i$ $y_i$

$\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

$y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Consulte este bonito folleto de Ryan Tibshirani para obtener más detalles sobre esta intuición.

Ahora una prueba similar a la otra respuesta, pero con un poco más de explicación.

Recuerde que, por definición, el optimismo promedio es:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Ahora use una función de pérdida cuadrática y expanda los términos al cuadrado:

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - {\hat{y}}_{i})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

$Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
fuente

Debo señalar que su nombre se deletrea "Ryan Tibshirani" Rob Tibshirani

— robert tibshirani

Bienvenido a nuestro sitio, Rob. ¡Es un privilegio tenerte aquí, aunque solo sea para corregir un error! Si ve más, infórmenos: y, por supuesto, nos complacería recibir cualquier respuesta que usted (o sus estudiantes) puedan publicar. Su trabajo está ampliamente referenciado en este sitio, particularmente ESL e Introducción a Bootstrap.

— whuber

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

$\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{i n} - \bar{e r r}] \\ = E_{y} [E r r_{i n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}))] - E_{y} [\frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - E_{y} [(y_{i} - {\hat{y}}_{i})^{2}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i} - y_{i} E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}] {\hat{y}}_{i} + E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [({\hat{y}}_{i} - E_{y} [{\hat{y}}_{i}]) ([y_{i} - E_{y} [y_{i}])] \\ = \frac{2}{N} \sum_{i = 1}^{N} c o v ({\hat{y}}_{i}, y_{i}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$

— Maciej Lazarewicz
fuente

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$