Es el residual, e, un estimador del error,

Esta pregunta ha surgido en otro hilo que comencé, así que pensé que obtendría la opinión de más personas al respecto. Mi pregunta es

¿Es el residual, e, un estimador del error, ?$\epsilon$

La razón por la que pregunto es la siguiente. En OLS, la varianza de los residuos, , se conoce como la varianza de la regresión (donde RSS es la suma residual de los cuadrados). De manera similar, la raíz cuadrada de esta varianza, , es el error estándar de la regresión. Dado que la raíz cuadrada de la varianza, , es un error estándar, debe significar que esta varianza es la varianza de un estimador. Ya sabemos que es la varianza de los residuos, por lo tanto, ¿el residual es un estimador? (Asumo de )$\frac{\text{RSS}}{(n - K )}$$\sqrt\frac{\text{RSS}}{(n - K )}$$\frac{\text{RSS}}{(n - K )}$$\epsilon$

Pensamientos ??

Ciertamente, los residuos son algún tipo de estimadores de$\epsilon$(para ser claros, la definición del residual es el estimador, el residual observado es una estimación). Si el modelo es correcto, a veces pueden ser una estimación bastante buena.

En efecto

$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$,

dónde $H = X(X'X)^{-1} X'$ es la matriz de sombreros (porque "se pone el sombrero" $y$) - también llamada a veces matriz de proyección.

http://en.wikipedia.org/wiki/Hat_matrix

Eso es el $e$son una combinación lineal de $\epsilon$'s; Si$1-h_{ii}$ es razonablemente grande en relación con $\sum_{j\neq i}h_{ij}$ (Si $H$ es 'pequeño' en relación con I), entonces la mayor parte del peso está en el $i^\textrm{th}$ error (sin embargo, este no suele ser el caso).

Tenga en cuenta que $e_i/\sqrt{1-h_{ii}}$ tendrá la misma expectativa y varianza que $\epsilon_i$y si los elementos de $H$ son pequeños , de la manera que se acaba de describir, estarán altamente correlacionados con él; de hecho, si he hecho bien mi álgebra, la correlación entre$e_i$ y $\epsilon_i$ es en realidad: $\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$.