Interpretación geométrica del coeficiente de correlación múltiple

Estoy interesado en el significado geométrico de la correlación múltiple $R$ y el coeficiente de determinación $R^2$ en la regresión $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$ , o en notación vectorial ,

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

Aquí la matriz de diseño $\mathbf{X}$ tiene $n$ filas y $k$ columnas, de las cuales la primera es $\mathbf{x}_1 = \mathbf{1}_n$ , un vector de 1s que corresponde a la intersección $\beta_1$ .

La geometría es más interesante en el espacio sujeto $n$ dimensional que en el espacio variable $k$ dimensional. Defina la matriz del sombrero:

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

Esta es una proyección ortogonal en el espacio de la columna de $\mathbf{X}$ , es decir, el plano a través del origen atravesado por los $k$ vectores que representan cada variable $\mathbf{x}_i$ , el primero de los cuales es $\mathbf{1}_n$ . Entonces $\mathbf{H}$ proyecta el vector de las respuestas observadas $\mathbf{y}$ sobre su "sombra" en el piso, el vector de valores ajustados , y si miramos a lo largo del camino de la proyección vemos el vector de residuos $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ forma el tercer lado de un triángulo. Esto debería proporcionarnos dos rutas para una interpretación geométrica de $R^2$ :

El cuadrado del coeficiente de correlación múltiple, $R$ , que se define como la correlación entre $\mathbf{y}$ y . Esto aparecerá geométricamente como el coseno de un ángulo. $\mathbf{\hat{y}}$
$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Estaría encantado de ver una breve cuenta que explica:

Los detalles más finos para (1) y (2),
Por qué (1) y (2) son equivalentes,
Brevemente, cómo la visión geométrica nos permite visualizar las propiedades básicas de , por ejemplo, por qué va a 1 cuando la variación de ruido va a 0. (Después de todo, si no podemos intuir a partir de nuestra visualización, entonces no es más que un bonita foto) $R^2$

Aprecio que esto sea más sencillo si las variables se centran primero, lo que elimina la intercepción de la pregunta. Sin embargo, en la mayoría de las cuentas de libros de texto que introducen regresión múltiple, la matriz de diseño es la que expuse. Por supuesto, está bien si una exposición profundiza en el espacio abarcado por las variables centradas, pero para conocer el álgebra lineal del libro de texto, sería muy útil relacionar esto con lo que está sucediendo geométricamente en la situación no centrada. Una respuesta realmente perspicaz podría explicar qué se descompone exactamente geométricamente cuando se cae el término de intercepción, es decir, cuando el vector $\mathbf{X}$ $\mathbf{1}_n$ se elimina del conjunto de expansión. No creo que este último punto pueda abordarse considerando solo las variables centradas.

— Lepisma
fuente

Si hay un término constante en el modelo, entonces encuentra en el espacio de columna de (al igual que , que será útil más adelante). La ajustada es la proyección ortogonal de la observada en el plano formado por ese espacio de columna. Esto significa que el vector de residuos es perpendicular al plano, y por lo tanto a . Considerando el producto punto podemos ver , entonces los componentes de deben sumar cero. Como , concluimos que $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ para que las respuestas ajustadas y observadas tengan media . $\bar{Y}$

Vectores en el espacio sujeto de regresión múltiple

Las líneas discontinuas del diagrama representan y , que son los vectores centrados para las respuestas observadas y ajustadas. El coseno del ángulo entre estos vectores será por lo tanto la correlación de y , que por definición es el coeficiente de correlación múltiple . El triángulo que forman estos vectores con el vector de residuos está en ángulo recto ya que encuentra en el plano, pero es ortogonal a él. Por lo tanto: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

También podríamos aplicar Pitágoras al triángulo:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

Que puede ser más familiar como:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

Esta es la descomposición de las sumas de cuadrados, . $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

La definición estándar para el coeficiente de determinación es:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Cuando las sumas de cuadrados se pueden dividir, se necesita un poco de álgebra directa para mostrar que esto es equivalente a la formulación de "proporción de varianza explicada",

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Hay una forma geométrica de ver esto desde el triángulo, con un mínimo de álgebra. La fórmula de definición da y con la trigonometría básica podemos simplificar esto a . Este es el enlace entre y . $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

Observe cuán vital fue para este análisis haber ajustado un término de intercepción, de modo que estuviera en el espacio de la columna. Sin esto, los residuos no se han resumido a cero, y la media de los valores ajustados no han coincidido con la media de . En ese caso no podríamos haber dibujado el triángulo; las sumas de cuadrados no se habrían descompuesto de manera pitagórica; no habría tenido la forma citada con frecuencia- ni ser el cuadrado de . En esta situación, algún software (incluido ) usa una fórmula diferente para completo . $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— Lepisma
fuente

+1 Muy buen relato y figura. Me sorprende que solo tenga mi voto solitario.

— ameba dice Reinstate Monica

+1. Tenga en cuenta que la figura de su respuesta, con "espacio de columna X", Y, Ypred como vectores, etc. es lo que se conoce en estadísticas multivariantes como "representación de espacio de sujeto (reducido)" ( vea , con enlaces adicionales donde lo he usado) )

— ttnphns