¿Hay una manera elegante / perspicaz de comprender esta identidad de regresión lineal para múltiples

En regresión lineal, he encontrado un resultado encantador que si encajamos en el modelo

mi [Y] = β_{1} X_{1} + β_{2} X_{2} + C,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

entonces, si estandarizamos y centramos los datos , y , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Esto me parece una versión de 2 variables de para la regresión , lo cual es agradable. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Pero la única prueba que conozco no es de ninguna manera constructiva o perspicaz (ver más abajo), y sin embargo, al mirarlo, parece que debería ser fácilmente comprensible.

Pensamientos de ejemplo:

Los parámetros y nos dan la 'proporción' de y en , por lo que estamos tomando las proporciones respectivas de sus correlaciones ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
Las s son correlaciones parciales, es la correlación múltiple al cuadrado ... correlaciones multiplicadas por correlaciones parciales ... $\beta$ $R^2$
Si ortogonalizamos primero, entonces los s serán ... ¿este resultado tiene algún sentido geométrico? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Ninguno de estos hilos parece llevarme a ningún lado. ¿Alguien puede proporcionar una explicación clara de cómo entender este resultado?

Prueba insatisfactoria

R^{2} = \frac{S S_{r mi sol}}{S S_{T o t}} = \frac{S S_{r mi sol}}{norte} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED

— Korone
fuente

Debe utilizar variables estandarizadas, de lo contrario no se garantiza que su fórmula para

se encuentre entre

. Aunque esta suposición aparece en su prueba, ayudaría a hacerla explícita desde el principio. También estoy desconcertado sobre lo que realmente está haciendo: su

claramente es una función del modelo solo, no tiene nada que ver con los datos, pero comienza a mencionar que ha "ajustado" el modelo a algo.

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

¿Su resultado superior no se mantiene si X1 y X2 no están correlacionados?

— gung - Restablece a Monica

@gung No lo creo, la prueba en la parte inferior parece decir que funciona independientemente. Este resultado también me sorprende, por lo tanto, quiero una "prueba de comprensión clara"

— Korone

@whuber No estoy seguro de lo que quieres decir con "función del modelo solo". Me refiero simplemente a la

de OLS sencillos con dos variables predicter. Es decir, esta es la versión de 2 variables de

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

No puedo decir si su

son los parámetros o las estimaciones.

β_{i}

$\beta_i$

— whuber

Respuestas:

La matriz del sombrero es idempotente.

(Esta es una forma lineal-algebraica de afirmar que OLS es una proyección ortogonal del vector de respuesta en el espacio abarcado por las variables).

Recordemos que por definición

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

dónde

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

es la suma de los cuadrados de los valores predichos (centrados) y

T S S = Y^{'} Y

$TSS = Y^\prime Y$

es la suma de cuadrados de los valores de respuesta (centrados). Estandarizar antemano a la varianza de la unidad también implica $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Recordemos también que los coeficientes estimados están dados por

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

De dónde

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

donde es la "matriz hat" efectuar la proyección de sobre su ajuste de mínimos cuadrados . Es simétrico (que es obvio por su propia forma) e idempotente . Aquí hay una prueba de esto último para aquellos que no están familiarizados con este resultado. Es solo barajar paréntesis: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Por lo tanto

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

El movimiento crucial en el medio utilizó la idempotencia de la matriz del sombrero. El lado derecho es tu fórmula mágica porque es el (fila) vector de coeficientes de correlación entrey las columnas de. $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
fuente

(+1) Muy buen artículo. ¿Pero por qué en ^{-}lugar de en ^{-1}todas partes?

— ameba

@amoeba Es un inverso generalizado , puesto allí para manejar los casos donde

puede ser singular.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, en su artículo original ( A Generalized Inverse for Matrices , 1954) usó la notación

. Me gusta ni eso ni el

notación, ya que se confunden fácilmente con conjugados, traspuestas, o traspuestas conjugadas, mientras que la

notación es tan sugerente de un inverso al lector casual puede salirse con pensar en ello como

si les gusta. Eres un buen lector, pero gracias por notarlo.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Motivación interesante y convincente, pero ¿puedo preguntar si esta notación es algo que ocasionalmente se usa en otro lugar o es su propia invención?

— ameba

@amoeba: Sí, esta notación aparece en otra parte, incluso en los textos clásicos de Graybill sobre el modelo lineal.

— cardenal

Las siguientes tres fórmulas son bien conocidas, se encuentran en muchos libros sobre regresión lineal. No es difícil derivarlos.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Si sustituye las dos betas en su ecuación , obtendrá la fórmula anterior para R-cuadrado. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Aquí hay una "visión" geométrica. A continuación hay dos imágenes que muestran la regresión de por y . Este tipo de representación se conoce como variables como vectores en el espacio temático ( lea de qué se trata). Las imágenes se dibujan después de centrar las tres variables y, por lo tanto, (1) la longitud de cada vector = st. desviación de la variable respectiva y (2) ángulo (su coseno) entre cada dos vectores = correlación entre las variables respectivas. $Y$ $X_1$ $X_2$

ingrese la descripción de la imagen aquí

es la predicción de regresión (proyección ortogonal deen "plano X"); es el término de error; , coeficiente de correlación múltiple. $\hat{Y}$ $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

La imagen de la izquierda representa las coordenadas oblicuas de sobre las variables y . Sabemos que tales coordenadas relacionan los coeficientes de regresión. A saber, las coordenadas son: y . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

Y la imagen de la derecha muestra las coordenadas perpendiculares correspondientes . Sabemos que tales coordenadas relacionan los coeficientes de correlación de orden cero (estos son cosenos de proyecciones ortogonales). Si es la correlación entre y y es la correlación entre y entonces la coordenada es $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ . Del mismo modo para la otra coordenada, . $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Hasta ahora eran explicaciones generales de la representación del vector de regresión lineal. Ahora pasamos a la tarea para mostrar cómo puede conducir a . $R^2 = r_1 \beta_1 + r_2 \beta_2$

En primer lugar, recuerde que en su pregunta @Corone propuso la condición de que la expresión es verdadera cuando las tres variables están estandarizadas , es decir, no solo centradas sino también escaladas a la varianza 1. Entonces (es decir, implicando para ser las "partes de trabajo" de los vectores) tenemos coordenadas iguales a: ; ; $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ ; ; así como. Redibuje, bajo estas condiciones, solo el "plano X" de las imágenes de arriba: $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

ingrese la descripción de la imagen aquí

$\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

$r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Lo mismo es cierto para cualquier cantidad de predictores X. Desafortunadamente, es imposible dibujar imágenes similares con muchos predictores.

— ttnphns
fuente

También es agradable ver que se construyó de esta manera, pero esto no agrega tanta información en comparación con la respuesta de Whuber

— Korone

@Corone, agregué algunas "ideas" que podrías tomar.

— ttnphns

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

Edición realmente genial, cambio aceptado.

— Korone