¿Las estimaciones de los coeficientes de regresión no están correlacionadas?

Considere una regresión simple (normalidad no asumida): donde es con media y desviación estándar . ¿Las estimaciones de mínimos cuadrados de y no están correlacionadas?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— arnab
fuente

¿Qué piensas? en.wikipedia.org/wiki/Ordinary_least_squares , sección "Propiedades de muestras finitas". Esta pregunta fue respondida muchas veces en este sitio.

— mpiktas

Esta es una consideración importante en el diseño de experimentos, donde puede ser deseable no tener (o muy poca) correlación entre las estimaciones y . Tal falta de correlación se puede lograr controlando los valores de . $\hat a$ $\hat b$ $X_i$

Para analizar los efectos de en las estimaciones, los valores (que son vectores de fila de longitud ) se ensamblan verticalmente en una matriz , la matriz de diseño, que tiene tantas filas como datos y (obviamente ) Dos columnas. Los correspondientes se ensamblan en un vector largo (columna) . En estos términos, escribiendo para los coeficientes ensamblados, el modelo es $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

Se (generalmente) que las son variables aleatorias independientes cuyas variaciones son una constante para algunos desconocidos . Se considera que las observaciones dependientes son una realización de la variable aleatoria valor vectorial . $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

La solución OLS es

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

suponiendo que esta matriz inversa exista. Por lo tanto, usando propiedades básicas de multiplicación de matriz y covarianza,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

La matriz tiene solo dos filas y dos columnas, que corresponden a los parámetros del modelo . La correlación de con es proporcional a los elementos fuera de la diagonal de que por la Regla de Cramer son proporcionales al producto escalar de los dos columnas de . Dado que una de las columnas es todo s, cuyo producto de punto con la otra columna (que consiste en ) es su suma, encontramos $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ y no están correlacionados si y solo la suma (o equivalentemente la media) de es cero. $\hat b$ $X_i$

Esta condición de ortogonalidad frecuentemente se logra al volver a centrar el (restando su media de cada uno). Aunque esto no alterará la pendiente estimada , sí cambia la intersección estimada . Si eso es importante o no depende de la aplicación. $X_i$ $\hat b$ $\hat a$

Este análisis se aplica a la regresión múltiple: la matriz de diseño tendrá columnas para variables independientes (una columna adicional consta de s) y será un vector de longitud , pero de lo contrario todo pasará como antes. $p+1$ $p$ $1$ $\beta$ $p+1$

En lenguaje convencional, dos columnas de se llaman ortogonales cuando su producto punto es cero. Cuando una columna de (digamos la columna ) es ortogonal a todas las otras columnas, es un hecho algebraico fácilmente demostrado que todas las entradas fuera de la diagonal en la fila y la columna de son cero (es decir, los componentes y para todos son cero). Por consiguiente, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

Dos estimaciones de coeficientes de regresión múltiple y no están correlacionadas siempre que cualquiera (o ambas) de las columnas correspondientes de la matriz de diseño sean ortogonales a todas las demás columnas. $\hat\beta_i$ $\hat\beta_j$

Muchos diseños experimentales estándar consisten en elegir valores de las variables independientes para hacer que las columnas sean mutuamente ortogonales. Esto "separa" las estimaciones resultantes al garantizar, antes de que se recopilen datos, que las estimaciones no estarán correlacionadas. (Cuando las respuestas tienen distribuciones normales, esto implica que las estimaciones serán independientes, lo que simplifica enormemente su interpretación).

— whuber
fuente

La respuesta dice "elementos [...] fuera de la diagonal, que son solo los productos de punto de las dos columnas de X". Sin embargo, ¿ esto es cierto para , no ?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Heisenberg

@Heisenberg Ese es un buen punto. No estaba claro sobre esto. No hay ambigüedad en el caso de dos columnas, pero necesito pensar cómo mejorar la presentación para el caso de más columnas.

— whuber

@Heisenberg Estoy agradecido por su observación perceptiva: me permitió corregir un error sustancial en la discusión del caso de regresión múltiple.

— whuber