¿Qué significa "todo lo demás igual" en la regresión múltiple?

Cuando hacemos regresiones múltiples y decimos que estamos viendo el cambio promedio en la variable para un cambio en una variable , manteniendo todas las demás variables constantes, ¿en qué valores mantenemos constantes las otras variables? Su media? ¿Cero? ¿Algún valor? $y$ $x$

Me inclino a pensar que tiene cualquier valor; solo buscando aclaraciones. Si alguien tuviera una prueba, eso también sería genial.

— EconStats
fuente

Encontré el ejemplo 10 en el artículo de Peter Kennedy muy útil para entender esto.

— Dimitriy V. Masterov

Sí, el poco sobre aumentar el número de habitaciones mientras se mantienen constantes los pies cuadrados es un punto realmente observador. Ese documento es en realidad una mina de oro de ideas útiles, va en las notas de doctorado.

— EconStats

Esta es realmente una pregunta muy interesante. Me pregunto si los economistas se preguntan qué significa exactamente "ceteris paribus".

— mugen

Tienes razón. Técnicamente, es cualquier valor . Sin embargo, cuando enseño esto, generalmente le digo a las personas que estás obteniendo el efecto de un cambio de una unidad en cuando todas las demás variables se mantienen en sus respectivos medios. Creo que esta es una forma común de explicarlo que no es específica para mí. $X_j$

Normalmente menciono que si no tiene interacciones, será el efecto de un cambio de una unidad en , sin importar cuáles sean los valores de sus otras variables. Pero me gusta comenzar con la formulación media. La razón es que hay dos efectos de incluir múltiples variables en un modelo de regresión. Primero, obtienes el efecto de controlando las otras variables (mira mi respuesta aquí ). La segunda es que la presencia de otras variables (típicamente) reduce la varianza residual del modelo, haciendo que sus variables (incluyendo $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'más significativo'. Es difícil para la gente entender cómo funciona esto si las otras variables tienen valores que están por todas partes. Parece que aumentaría la variabilidad de alguna manera. Si piensa ajustar cada punto de datos hacia arriba o hacia abajo para el valor de cada variable hasta que el resto de las variables se hayan movido a sus respectivos medios, es más fácil ver que la variabilidad residual se ha reducido. $X$

No llego a las interacciones hasta una o dos clases después de haber introducido los conceptos básicos de la regresión múltiple. Sin embargo, cuando llego a ellos, vuelvo a este material. Lo anterior se aplica cuando no hay interacciones. Cuando hay interacciones, es más complicado. En ese caso, la variable que interactúa [s] se mantiene constante (muy específicamente) en , y en ningún otro valor. $0$

Si quieres ver cómo se desarrolla esto algebraicamente, es bastante sencillo. Podemos comenzar con el caso de no interacción. Determinemos el cambio en cuando todas las demás variables se mantienen constantes en sus respectivas medias. Sin pérdida de generalidad, digamos que hay tres variables y estamos interesados en comprender cómo el cambio en está asociado con un cambio de una unidad en , manteniendo y constantes en sus respectivos medios: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{yo} & = {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 yo} \\ {\hat{Y}}_{{yo}^{'}} & = {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 yo} + 1) \\ restando la primera ecuación de la segunda: \\ {\hat{Y}}_{{yo}^{'}} - {\hat{Y}}_{yo} & = {\hat{β}}_{0 0} - {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 yo} + 1) - {\hat{β}}_{3} X_{3 yo} \\ Δ Y & = {\hat{β}}_{3} X_{3 yo} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 yo} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Ahora es obvio que podríamos haber puesto cualquier valor para y en las dos primeras ecuaciones, siempre que pongamos el mismo valor para ( ) en ambas. Es decir, siempre que mantengamos y constantes . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Por otro lado, no funciona de esta manera si tiene una interacción. Aquí muestro el caso donde hay un término de interacción : $X_1X_3$

\begin{aligned} {\hat{Y}}_{yo} & = {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 yo} + {\hat{β}}_{4 4} {\bar{X}}_{1} X_{3 yo} \\ {\hat{Y}}_{{yo}^{'}} & = {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 yo} + 1) + {\hat{β}}_{4 4} {\bar{X}}_{1} (X_{3 yo} + 1) \\ restando la primera ecuación de la segunda: \\ {\hat{Y}}_{{yo}^{'}} - {\hat{Y}}_{yo} & = {\hat{β}}_{0 0} - {\hat{β}}_{0 0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 yo} + 1) - {\hat{β}}_{3} X_{3 yo} + \\ {\hat{β}}_{4 4} {\bar{X}}_{1} (X_{3 yo} + 1) - {\hat{β}}_{4 4} {\bar{X}}_{1} X_{3 yo} \\ Δ Y & = {\hat{β}}_{3} X_{3 yo} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 yo} + {\hat{β}}_{4 4} {\bar{X}}_{1} X_{3 yo} + {\hat{β}}_{4 4} {\bar{X}}_{1} - {\hat{β}}_{4 4} {\bar{X}}_{1} X_{3 yo} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4 4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

En este caso, no es posible mantener todo lo demás constante. Debido a que el término de interacción es una función de y , no es posible cambiar sin que el término de interacción cambie también. Por lo tanto, es igual al cambio en asociado con un cambio de una unidad en solo cuando la variable interactiva ( ) se mantiene en lugar de (o cualquier otro valor que no sea ), en cuyo caso el último término en la ecuación inferior se cae. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

En esta discusión, me he centrado en las interacciones, pero en general, el problema es cuando hay una variable que es función de otra, de modo que no es posible cambiar el valor de la primera sin cambiar el valor respectivo de la otra variable . En tales casos, el significado de vuelve más complicado. Por ejemplo, si tenía un modelo con y , entonces es la derivada manteniendo todo lo demás igual y manteniendo (vea mi respuesta aquí ). También son posibles otras formulaciones aún más complicadas. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— gung - Restablece a Monica
fuente

Gracias, esta respuesta es genial en un par de niveles. En primer lugar, responde al punto principal en el que estaba interesado. En segundo lugar, pronosticó cuál sería mi pregunta de seguimiento, porque iba a preguntar cómo cambió esto con la introducción de términos de interacción. Gracias por las matemáticas también. Sé que esta pregunta es bastante básica, pero creo que nunca puedes ser demasiado explícito con estos conceptos.

— EconStats

De nada, @EconStats. No hay ningún problema en incluir las matemáticas, a veces es mucho más fácil entender lo que está sucediendo.

— gung - Restablece a Monica

Bueno, tengo que decir que cuando restaste la primera ecuación de la segunda ecuación, finalmente confirmó mis pensamientos originales de que no importa cuáles sean los valores de y , siempre que sean iguales en ambas ecuaciones. Me parece muy obvio, pero nunca antes había pensado en calcular el esa manera. Momento definitivo de bombilla para mí.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

También puede tomar la derivada de wrt y lo llevará al mismo lugar, pero esto es matemática más fácil (esencialmente álgebra de la escuela secundaria), por lo que será accesible para un público más amplio.

Y

$Y$

X_{j}

$X_j$

— gung - Restablece a Monica

@beetroot, si te entiendo correctamente, solo mantenlo en un nivel específico. (De lo contrario, podría pedir esto como una nueva pregunta.)

— Gung - Restablecer Mónica

La matemática es simple, solo tome la diferencia entre 2 modelos con una de las variables x cambiadas por 1 y verá que no importa cuáles sean las otras variables (dado que no hay interacciones, polinomios u otros términos complicados).

Un ejemplo:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
fuente

Creo que te refieres a la dependencia en covariables ( ). Entonces, si el modelo es el efecto de sobre siendo iguales todas las demás cosas sería $X_i$

Y = β_{0 0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

para cualquier

con todos los demás

mantenidos constantes en cualquier valor.

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Tenga en cuenta que es posible que y sean dependientes (por ejemplo, funciones entre sí) sin mostrar necesariamente una interacción significativa en el modelo lineal ( en ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Justo como una tangente interesante aquí hay un ejemplo: Sea y entonces claramente cualquier cambio en afectará a . Sin embargo, la covarianza entre los dos es cero. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

do o v (X_{1}, X_{2}) = mi (X_{1} X_{2}) - mi (X_{1}) mi (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= mi [X_{1} (X_{1}^{2} + una)] - mi (X_{1}) . mi (X_{1}^{2} - una) w yo t h una \sim norte (0 0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= mi (X_{1}^{3}) - mi (X_{1} . una) - 0. mi (X_{1}^{2} - una) = 0 0 - 0 0 - 0 0 = 0 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Entonces, en realidad, un cambio en estaría asociado con un cambio en y que $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

$\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
fuente

Gracias Hans, en realidad estaba tratando de llegar al punto que hizo Gung, pero este es un buen ejemplo para cuando las dos variables son dependientes.

— EconStats