¿Cuál es la interpretación de la covarianza de los coeficientes de regresión?

La función lm en R puede imprimir la covarianza estimada de los coeficientes de regresión. ¿Qué nos brinda esta información? ¿Podemos ahora interpretar mejor el modelo o diagnosticar problemas que podrían estar presentes en el modelo?

r multiple-regression least-squares

— mss
fuente

¿La misma interpretación que todas las demás covarianzas --- covarianza lineal? El uso principal es calcular la varianza de los contrastes de interés seleccionados, por ejemplo para probar los contrastes.

— kjetil b halvorsen

Respuestas:

El uso más básico de la matriz de covarianza es obtener los errores estándar de las estimaciones de regresión. Si el investigador solo está interesado en los errores estándar de los parámetros de regresión individuales, puede tomar la raíz cuadrada de la diagonal para obtener los errores estándar individuales.

Sin embargo, a menudo puede interesarle una combinación lineal de parámetros de regresión. Por ejemplo, si tiene una variable indicadora para un grupo dado, puede estar interesado en la media del grupo, que sería

$\beta_0 + \beta_{\rm grp}$ .

Luego, para encontrar el error estándar para la media estimada de ese grupo, tendría

$\sqrt{X^\top S X}$ ,

donde es un vector de sus contrastes y es la matriz de covarianza. En nuestro caso, si solo tenemos la covariable de suma "grp", entonces ( para la intersección, para pertenecer al grupo). $X$ $S$ $X = (1,1)$ $1$ $1$

Además, la matriz de covarianza (o más, la matriz de correlación, que se identifica de manera única a partir de la matriz de covarianza pero no al revés) puede ser muy útil para ciertos diagnósticos de modelo. Si dos variables están altamente correlacionadas, una forma de pensarlo es que el modelo tiene problemas para determinar qué variable es responsable de un efecto (porque están tan estrechamente relacionadas). Esto puede ser útil para una gran variedad de casos, como elegir subconjuntos de covariables para usar en un modelo predictivo; Si dos variables están altamente correlacionadas, es posible que solo desee utilizar una de las dos en su modelo predictivo.

— Acantilado
fuente

Gracias por la explicación. En su último párrafo, está describiendo los problemas que pueden surgir cuando las variables independientes son altamente colineales. Parece que sería más fácil observar la covarianza / correlación de s reales que s. hay un inverso en la fórmula.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— mss

Hay dos "tipos" de coeficientes de regresión:

Coeficientes de regresión "verdaderos" (generalmente denotados ) que describen el proceso subyacente de generación de datos de los datos. Estos son números fijos o "parámetros". Un ejemplo sería la velocidad de la luz , que (suponemos) es siempre la misma en todas partes del universo accesible. $\beta$ $c$
Coeficientes de regresión estimados (generalmente denotados por o ) que se calculan a partir de muestras de los datos. Las muestras son colecciones de variables aleatorias, por lo que los coeficientes de regresión estimados también son variables aleatorias. Un ejemplo sería una estimación de obtenida en un experimento. $b$ $\hat \beta$ $c$

Ahora piense en lo que significa covarianza. Tomemos dos variables aleatorias e . Ifes alto, entonces cada vez que dibuje un valor absoluto grande de también puede esperar dibujar un valor absoluto grande de en la misma dirección. Tenga en cuenta que "alto" aquí es relativo a la cantidad de variación en e , como se señala en los comentarios. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

La covarianza (estimada) de dos coeficientes de regresión es la covarianza de las estimaciones , . Si la covarianza entre los coeficientes estimados y es alta, entonces en cualquier muestra donde sea alta, también puede esperar que sea alta. En un sentido más bayesiano, contiene información sobre . $b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

Tenga en cuenta de nuevo que "alto" es relativo. Aquí " es alto" significa que " es alto en relación con su error estándar", y su covarianza es "alta" significa "alto en relación con el producto de sus errores estándar". Una forma de suavizar estos inconvenientes interpretativos es estandarizar cada entrada de regresión dividiéndola por su desviación estándar (o dos desviaciones estándar en algunos casos). $b_1$ $b_1$

Un usuario en este sitio describió como "un poco fudge", pero no estoy totalmente de acuerdo. Por un lado, podría usar esta interpretación para obtener antecedentes informativos en regresión bayesiana. $\mathrm{Cov}\left(b_1,b_2\right)$

En cuanto a para qué se usa esto realmente, la respuesta de Cliff AB es un buen resumen.

— Shadowtalker
fuente

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuber gracias, y en realidad escribí "correlación" en un punto. Lo

— limpiaré

Como es posible que no vuelva a este hilo por un tiempo, ¡+1 por adelantado para las modificaciones!

— whuber

cometió el mismo error en mi descripción!

— Cliff AB

@whuber ahora estoy realmente adivinando mi propia comprensión de la covarianza. ¿Es mi problema solo que no enfaticé el hecho de que las escalas podrían ser diferentes, o me estoy perdiendo algo más? Me encontré con su explicación de "cajas" y no veo qué podría ser

— eso