¿Cuál es la importancia de la matriz del sombrero, , en regresión lineal?

¿Cuál es la importancia de la matriz del sombrero, , en el análisis de regresión?$H=X(X^{\prime}X )^{-1}X^{\prime}$

¿Es solo para un cálculo más fácil?

En el estudio de la regresión lineal, el punto de partida básico es el proceso de generación de datos donde y determinista. Después de minimizar el criterio de mínimos cuadrados, se encuentra un estimador para , es decir, . Después de conectar el estimador en la fórmula inicial, se obtiene como modelo lineal del proceso de generación de datos. Ahora, uno puede sustituir el estimador por$\textbf{y= XB + u} \quad$$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$y obtiene$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Entonces, es en realidad una matriz de proyección. Imagine que toma todas las variables en . Las variables son vectores y abarcan un espacio. Por lo tanto, si multiplica por , proyecta sus valores observados en en el espacio que abarcan las variables en . Le da a uno las estimaciones para y esa es la razón por la que se llama matriz de sombrero y por qué tiene tanta importancia. Después de todo, la regresión lineal no es más que una proyección y con la matriz de proyección no solo podemos calcular las estimaciones para$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$pero también para y puede, por ejemplo, verificar si realmente se distribuye normalmente.$\textbf{u}$

Encontré esta bonita foto en internet y visualiza esta proyección. Tenga en cuenta que se usa lugar de . Además, la imagen enfatiza que el vector de los términos de error es ortogonal a la proyección y, por lo tanto, no está correlacionado con las estimaciones para$\beta$$\textbf{B}$$\textbf{y}$

La matriz de sombreros es muy útil por algunas razones:

1. En lugar de tener , obtenemos que donde es la matriz del sombrero. Esto nos da que es un mapeo lineal de los valores observados.$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. A partir de la matriz de sombreros , es fácil calcular los residuos . Vemos que .$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

No es más que encontrar la solución "más cercana" para Ax = b donde b no está en el espacio de la columna de A. Proyectamos b en el espacio de la columna, y resolvemos para Ax (hat) = p donde p es la proyección de b en espacio de columna