Efecto de la respuesta de conmutación y la variable explicativa en regresión lineal simple

Digamos que existe una relación "verdadera" entre y tal que , donde y son constantes y es en ruido normal. Cuando genero datos aleatoriamente a partir de ese código R: y luego me ajusto a un modelo como , obviamente obtengo estimaciones razonablemente buenas para y .$y$$x$$y = ax + b + \epsilon$$a$$b$$\epsilon$x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x$a$$b$

(x ~ y)Sin embargo, si cambio el papel de las variables como en , y luego reescribo el resultado para como una función de , la pendiente resultante siempre es más pronunciada (ya sea más negativa o más positiva) que la estimada por la regresión. Estoy tratando de entender exactamente por qué es así y agradecería si alguien pudiera darme una idea de lo que está sucediendo allí.$y$$x$y ~ x

Dados puntos de datos , en el plano, dibujemos una línea recta . Si predecimos como el valor de , entonces el error es , el error al cuadrado es , y el error al cuadrado total . Le pedimos( x i , y i ) , i = 1 , 2 , ... n y = un x + b una x i + b y i y i ( y i - y i ) = ( y i - un x i - b ) ( y i - a x i - $n$$(x_i,y_i), i = 1,2,\ldots n$$y = ax+b$$ax_i+b$$\hat{y}_i$$y_i$$(y_i-\hat{y}_i) = (y_i-ax_i-b)$∑ n i = 1 ( y i - a x i - b ) $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

¿Qué opción de y minimiza ?b S = n ∑ i = 1 ( y i - a x i - b ) $a$$b$$S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Dado que es la distancia vertical de desde la línea recta, estamos pidiendo la línea de manera que la suma de los cuadrados de las distancias verticales de los puntos desde la línea sea tan pequeña como posible. Ahora es una función cuadrática de y y alcanza su valor mínimo cuando y son tales que De la segunda ecuación, obtenemos donde ( x i , y i ) S a b a b ∂ $(y_i-ax_i-b)$$(x_i,y_i)$$S$$a$$b$$a$$b$ b=

$$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$$ μy= $$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$$ yixia=($\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$ son el promedio aritmético valores de 's y ' s respectivamente. Sustituyendo en la primera ecuación, obtenemos Por lo tanto, la línea que minimiza se puede expresar como y el valor mínimo de es $y_i$$x_i$Sy=ax+b=μy+(( $$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$$ $S$SSmin=[( $$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$$ $S$ $$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$$

Si intercambiamos los roles de e , dibuje una línea , y solicite los valores de y que minimizan es decir, queremos la línea tal que la suma de los cuadrados de las distancias horizontales de los puntos desde el la línea es lo más pequeña posible, entonces obtenemos$x$$y$$x = \hat{a}y + \hat{b}$$\hat{a}$$\hat{b}$

$$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$$

$$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$$ y el valor mínimo de es $T$ $$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$$

Tenga en cuenta que ambas líneas pasan por el punto pero las pendientes son son diferentes en general. De hecho, como @whuber señala en un comentario, las pendientes son las mismas cuando todos los puntos encuentran en la misma línea recta. Para ver esto, tenga en cuenta que $(\mu_x,\mu_y)$

$$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$$ $(x_i,y_i)$ $$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$$

Solo para ilustrar la respuesta de Dilip: en las siguientes imágenes,

• los puntos negros son puntos de datos;
• a la izquierda, la línea negra es la línea de regresión obtenida por y ~ x, que minimiza los cuadrados de la longitud de los segmentos rojos;
• a la derecha, la línea negra es la línea de regresión obtenida por x ~ y, que minimiza los cuadrados de la longitud de los segmentos rojos.

Editar (regresión de mínimos rectángulos)

Si no hay una forma natural de elegir una "respuesta" y una "covariable", sino que las dos variables son interdependientes, es posible que desee conservar un papel simétrico para y ; en este caso puede usar "regresión de mínimos rectángulos".$y$$x$

• escriba , como de costumbre;$Y = aX + b + \epsilon$
• denotan y las estimaciones de condicional a y de condicional para ;$\hat y_i = a x_i + b$$\hat x_i = {1\over a} (y_i - b)$$Y_i$$X = x_i$$X_i$$Y = y_i$
• minimizar, que lleva a $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $$\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$$

Aquí hay una ilustración con los mismos puntos de datos, para cada punto, se calcula un "rectángulo" como el producto de la longitud de dos segmentos rojos, y la suma de los rectángulos se minimiza. No sé mucho sobre las propiedades de esta regresión y no encuentro mucho con google.

Solo una breve nota sobre por qué ves la pendiente más pequeña para una regresión. Ambas pendientes dependen de tres números: desviaciones estándar de e ( y ), y correlación entre e ( ). La regresión con como respuesta tiene pendiente y la regresión con como respuesta tiene pendiente , de ahí el La relación entre la primera pendiente y la recíproca de la segunda es igual a .y s x s y x y r y r s $x$$y$$s_{x}$$s_{y}$$x$$y$$r$$y$ xrs$r\frac{s_{y}}{s_{x}}$$x$ r2≤$r\frac{s_{x}}{s_{y}}$$r^2\leq 1$

Entonces, cuanto mayor sea la proporción de varianza explicada, más cercanas serán las pendientes obtenidas de cada caso. Tenga en cuenta que la proporción de varianza explicada es simétrica e igual a la correlación al cuadrado en la regresión lineal simple.

Una manera simple de ver esto es observar que, si para el modelo verdadero , ejecuta dos regresiones:$y=\alpha+\beta x+\epsilon$

• $y=a_{y\sim x}+b_{y\sim x} x$
• $x=a_{x\sim y}+b_{x\sim y} y$

Luego tenemos, usando :$b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

$$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$$

Entonces, si obtienes una pendiente más pronunciada o no, solo depende de la relación . Esta relación es igual a, basada en el modelo verdadero supuesto:$\frac{var(y)}{var(x)}$

$$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$$

Enlace con otras respuestas

Puede conectar este resultado con las respuestas de otros, que dijeron que cuando , debería ser el recíproco. De hecho, , y también, (sin error de estimación), por lo tanto:$R^2=1$$R^2=1\Rightarrow var(\epsilon) = 0$$b_{y\sim x}=\beta$

$$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$$

Entonces$b_{x\sim y}=1/\beta$

Se vuelve interesante cuando también hay ruido en sus entradas (lo que podríamos argumentar es siempre el caso, ningún comando u observación es perfecto).

He construido algunas simulaciones para observar el fenómeno, basado en una relación lineal simple , con ruido gaussiano tanto en x como en y. Generé las observaciones de la siguiente manera (código de Python):$x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Vea los diferentes resultados (odr aquí es la regresión de distancia ortogonal , es decir, lo mismo que la regresión de mínimos rectángulos):

Todo el código está ahí:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

La línea de regresión no es (siempre) la misma que la relación verdadera

Puede tener alguna relación causal 'verdadera' como

$$y = a + bx + \epsilon$$

pero las líneas de regresión ajustadas y ~ xo x ~ yno significan lo mismo que esa relación causal (incluso cuando en la práctica la expresión de una de las líneas de regresión puede coincidir con la expresión de la relación 'verdadera' causal)

---

Relación más precisa entre pendientes

Para dos regresiones lineales simples conmutadas:

$$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$$

Puede relacionar las pendientes de la siguiente manera:

$$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$$

Entonces las pendientes no son inversas entre sí.

---

Intuición

La razón es que

• Las líneas de regresión y las correlaciones no corresponden necesariamente una relación uno a uno con una relación causal.
• Las líneas de regresión se relacionan más directamente con una probabilidad condicional o la mejor predicción.

Puedes imaginar que la probabilidad condicional se relaciona con la fuerza de la relación. Las líneas de regresión reflejan esto y las pendientes de las líneas pueden ser poco profundas cuando la fuerza de la relación es pequeña o ambas pronunciadas cuando la fuerza de la relación es fuerte. Las pendientes no son simplemente inversas entre sí.

Ejemplo

Si dos variables e relacionan entre sí por alguna relación lineal (causal) Entonces puedes imaginar que no sería bueno revertir por completo esa relación en caso de que desee expresar en base a un valor dado de .$X$$Y$

$$Y = \text{a little bit of $X + $ a lot of error}$$ $X$$Y$

En lugar de

$$X = \text{a lot of $Y + $ a little of error}$$

sería mejor usar también

$$X = \text{a little bit of $Y + $ a lot of error}$$

Vea las siguientes distribuciones de ejemplo con sus respectivas líneas de regresión. Las distribuciones son multivariadas normales con y$\Sigma_{11} \Sigma_{22}=1$$\Sigma_{12} = \Sigma_{21} = \rho$

Los valores esperados condicionales (lo que obtendría en una regresión lineal) son

$$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$$

y en este caso con una distribución normal multivariada, entonces las distribuciones marginales son$X,Y$

$$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$$

Entonces puede ver que la variable Y es una parte y una parte de ruido con varianza . Lo mismo es cierto al revés.$\rho X$$1-\rho^2$

Cuanto mayor sea el coeficiente de correlación , más cercanas estarán las dos líneas. Pero cuanto menor sea la correlación, menos fuerte será la relación, menos pronunciadas serán las líneas (esto es cierto para ambas líneas y )$\rho$Y ~ XX ~ Y

La respuesta corta

El objetivo de una regresión lineal simple es obtener las mejores predicciones de la yvariable, dados los valores de la xvariable. Este es un objetivo diferente que tratar de llegar a la mejor predicción de la xvariable, dados los valores de la yvariable.

La regresión lineal simple de y ~ xle da el "mejor" modelo posible para predecir ydado x. Por lo tanto, si se ajusta a un modelo x ~ yy lo invierte algebraicamente, ese modelo solo podría funcionar tan bien como el modelo y ~ x. Pero la inversión de un modelo adecuado x ~ ygeneralmente empeorará en la predicción ydada x, en comparación con el y ~ xmodelo 'óptimo' , porque el " x ~ ymodelo invertido " se creó para cumplir un objetivo diferente.

Ilustración

Imagine que tiene el siguiente conjunto de datos:

Cuando ejecuta una regresión OLS de y ~ x, se le ocurre el siguiente modelo

y = 0.167 + 1.5*x

Esto optimiza las predicciones yal hacer las siguientes predicciones, que tienen errores asociados:

Las predicciones de la regresión OLS son óptimas en el sentido de que la suma de los valores en la columna más a la derecha (es decir, la suma de los cuadrados) es lo más pequeña posible.

Cuando ejecuta una regresión OLS de x ~ y, se le ocurre un modelo diferente:

x = -0.07 + 0.64*y

Esto optimiza las predicciones de x haciendo las siguientes predicciones, con errores asociados.

Nuevamente, esto es óptimo en el sentido de que la suma de los valores de la columna más a la derecha es lo más pequeña posible (igual a 0.071).

Ahora, imagina que intentas invertir el primer modelo y = 0.167 + 1.5*x, usando álgebra, dándote el modelo x = -0.11 + 0.67*x.

Esto le daría las siguientes predicciones y errores asociados:

La suma de los valores en la columna de la derecha es 0.074, que es mayor que la suma correspondiente del modelo que obtiene al retroceder x en y, es decir, el x ~ ymodelo. En otras palabras, el " y ~ xmodelo invertido " está haciendo un peor trabajo al predecir x que el modelo OLS de x ~ y.