La primera oración de esta página wiki afirma que "en econometría, un problema de endogeneidad ocurre cuando una variable explicativa se correlaciona con el término de error. 1 "

Mi pregunta es: ¿cómo puede suceder esto? ¿No se elige la regresión beta de modo que el término de error sea ortogonal al espacio de la columna de la matriz de diseño?

Está combinando dos tipos de término "error". Wikipedia en realidad tiene un artículo dedicado a esta distinción entre errores y residuos .

En una regresión OLS, los residuos (sus estimaciones del término de error o son de hecho la garantía de ser correlacionado con las variables de predicción, suponiendo que la regresión contiene un término de intersección.$\hat \varepsilon$

Pero los errores "verdaderos" pueden estar correlacionados con ellos, y esto es lo que cuenta como endogeneidad.$\varepsilon$

Para simplificar las cosas, considere el modelo de regresión (puede ver esto descrito como el " proceso generador de datos " subyacente o "DGP", el modelo teórico que suponemos que genera el valor de ):$y$

En principio, no hay ninguna razón por la cual no pueda correlacionarse con en nuestro modelo, por mucho que preferiríamos que no violara los supuestos estándar de OLS de esta manera. Por ejemplo, podría ser que depende de otra variable que se ha omitido de nuestro modelo, y esto se ha incorporado al término de perturbación ( es donde agrupamos todas las cosas que no sean que afectan a ). Si esta variable omitida también se correlaciona con , entonces a su vez se correlacionará con y tenemos endogeneidad (en particular, sesgo de variable omitida ).$x$y ε x y x ε $\varepsilon$$y$$\varepsilon$$x$$y$$x$$\varepsilon$$x$

Cuando estima su modelo de regresión en los datos disponibles, obtenemos

Debido a la forma de MCO trabajos *, los residuos ε será correlacionada con x . Pero eso no significa que tengamos endógeno evitado - sólo significa que no podemos detectar mediante el análisis de la correlación entre ε y X , que será (hasta error numérico) cero. Y debido a que se han violado los supuestos de OLS, ya no tenemos garantizadas las buenas propiedades, como la imparcialidad, disfrutamos mucho de OLS. Nuestra estimación β 2 estará sesgada.$\hat \varepsilon$$x$$\hat \varepsilon$$x$$\hat \beta_2$

El hecho de que ε es correlacionado con x sigue inmediatamente de las ecuaciones "normales" que usamos para elegir nuestras mejores estimaciones de los coeficientes.$(*)$$\hat \varepsilon$$x$

Si no está acostumbrado a la configuración de la matriz, y me apego al modelo bivariado utilizado en mi ejemplo anterior, entonces la suma de los residuos al cuadrado es y para encontrar el óptimo b 1 = β 1 y b 2 $S(b_1, b_2) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i-b_1 - b_2 x_i)^2$$b_1 = \hat \beta_1$que minimizan esto encontramos las ecuaciones normales, en primer lugar la condición de primer orden para la intersección estimada:$b_2 = \hat \beta_2$

lo que muestra que la suma (y por lo tanto la media) de los residuos es cero, por lo que la fórmula de la covarianza entre ε y cualquier variable x entonces se reduce a 1$\hat \varepsilon$$x$. Vemos que esto es cero al considerar la condición de primer orden para la pendiente estimada, que es que$\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$

Si está acostumbrado a trabajar con matrices, podemos generalizar esto a regresión múltiple definiendo ; la condición de primer orden para minimizar S ( b ) en óptima b = β es:$S(b) = \varepsilon' \varepsilon = (y-Xb)'(y-Xb)$$S(b)$$b = \hat \beta$

Esto implica cada fila de , y por lo tanto cada columna de X , es ortogonal a ε . Entonces, si la matriz de diseño X tiene una columna de unos (lo que ocurre si el modelo tiene un término de intersección), debemos tener Σ n i = 1 ε i = 0 por lo que los residuos tienen cero suma y media cero. La covarianza entre ε y cualquier variable x es de nuevo $X'$$X$$\hat \varepsilon$$X$$\sum_{i=1}^n \hat \varepsilon_i = 0$$\hat \varepsilon$$x$y para cualquier variablexincluido en nuestro modelo que conocemos esta suma es cero, porque ε es ortogonal a cada columna de la matriz de diseño. Por lo tanto no es cero covarianza y la correlación cero, entre ε y cualquier variable predictorx.$\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$$x$$\hat \varepsilon$$\hat \varepsilon$$x$

Si prefiere una visión más geométrica de las cosas , nuestro deseo de que Y mentiras tan cerca como sea posible y en una especie de Pitágoras de forma , y el hecho de que Y está limitada al espacio columna de la matriz de diseño X , dictan que y debería ser la proyección ortogonal de la y observada en ese espacio de columna. Por lo tanto el vector de residuos ε = y - y es ortogonal a cada columna de X , incluyendo el vector de unos 1 n$\hat y$$y$ $\hat y$$X$$\hat y$$y$$\hat \varepsilon = y - \hat y$$X$$\mathbf{1_n}$si se incluye un término de intercepción en el modelo. Como antes, esto implica que la suma de los residuos es cero, por lo que la ortogonalidad del vector residual con las otras columnas de asegura que no está correlacionada con cada uno de esos predictores.$X$

Pero nada de lo que hemos hecho aquí dice nada sobre los verdaderos errores . Suponiendo que hay un término de intersección en nuestro modelo, los residuos ε solamente están correlacionadas con x como consecuencia matemática de la forma en que elegimos para estimar los coeficientes de regresión beta . La forma en que seleccionamos nuestra β afecta nuestros valores predichos y y por lo tanto nuestros residuos ε = y - y . Si elegimos β por MCO, hay que resolver las ecuaciones normales y estos valer que nuestros residuos estimados$\varepsilon$$\hat \varepsilon$$x$$\hat \beta$$\hat \beta$$\hat y$$\hat \varepsilon = y - \hat y$$\hat \beta$ están correlacionados conx. Nuestra elección de β afecta y pero noE(Y)y por lo tanto no impone condiciones a los verdaderos erroresε=Y-E(Y). Sería un error pensar que ε ha de alguna manera "heredada" de su uncorrelatedness conxde la suposición de que OLSεdebe ser correlacionada conx. La falta de correlación surge de las ecuaciones normales.$\hat \varepsilon$$x$$\hat \beta$$\hat y$$\mathbb{E}(y)$$\varepsilon = y - \mathbb{E}(y)$$\hat \varepsilon$$x$$\varepsilon$$x$

Ejemplo simple:

• Sea la cantidad de hamburguesas que compro en la visita $x_{i,1}$$i$
• Sea la cantidad de bollos que compro.$x_{i,2}$
• Sea el precio de una hamburguesa$b_1$
• Sea el precio de un bollo.$b_2$
• Independientemente de mis compras de hamburguesas y bollos, permítanme gastar una cantidad aleatoria donde a es un escalar y ϵ i es una variable aleatoria media cero. Tenemos E [ ϵ i | X ] = 0 .$a + \epsilon_i$$a$$\epsilon_i$$\operatorname{E}[\epsilon_i | X] = 0$
• Let ser mi gasto en un viaje a la tienda de comestibles.$y_i$

El proceso de generación de datos es:

Si nos encontramos con que la regresión, que se pueden conseguir estimaciones un , b 1 y b 2 , y con datos suficientes, que convergerían en un , b 1 y b 2 , respectivamente.$\hat{a}$$\hat{b}_1$$\hat{b}_2$$a$$b_1$$b_2$

(Nota técnica: Necesitamos un poco de aleatoriedad para no comprar exactamente un bollo por cada hamburguesa que compramos en cada visita a la tienda de comestibles. Si hiciéramos esto, y x 2 serían colineales ).$x_1$$x_2$

Un ejemplo de sesgo variable omitido:

Ahora consideremos el modelo:

Observe que . De ahí Cov ( x 1 , u $u_i = b_2x_{i,2} + \epsilon_i$

¿Es esto cero? Casi seguro que no! ¡La compra de hamburguesas y la compra de bollos x 2 están casi seguramente correlacionadas! ¡Por lo tanto, u y x 1 están correlacionadas!$x_1$$x_2$$u$$x_1$

¿Qué sucede si intentaste ejecutar la regresión?

Si intentaste correr:

$\hat{b}_1$$b_1$$\hat{a}, \hat{b}, \hat{u}$$\hat{u}$$x_1$$u$$x_1$

$\hat{b}_1$

Supongamos que estamos construyendo una regresión del peso de un animal en su altura. Claramente, el peso de un delfín se mediría de manera diferente (en diferentes procedimientos y utilizando diferentes instrumentos) del peso de un elefante o una serpiente. Esto significa que los errores del modelo dependerán de la altura, es decir, la variable explicativa. Podrían ser dependientes de muchas maneras diferentes. Por ejemplo, tal vez tendemos a sobrestimar ligeramente los pesos de los elefantes y subestimar ligeramente a las serpientes, etc.

Entonces, aquí establecimos que es fácil terminar con una situación en la que los errores están correlacionados con las variables explicativas. Ahora, si ignoramos esto y procedemos a la regresión como de costumbre, notaremos que los residuos de regresión no están correlacionados con la matriz de diseño. Esto se debe a que, por diseño, la regresión obliga a los residuos a no estar correlacionados. Tenga en cuenta que los residuales no son los errores , son las estimaciones.de errores Entonces, independientemente de si los errores mismos están correlacionados o no con las variables independientes, las estimaciones de error (residuales) no estarán correlacionadas por la construcción de la solución de ecuación de regresión.