¿Cuál es la necesidad de supuestos en la regresión lineal?

15

En regresión lineal, hacemos los siguientes supuestos

La media de la respuesta,

E (Y_{i})

$E(Y_i)$ , en cada conjunto de valores de los predictores,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , es una función lineal de los predictores.

Los errores, , son independientes.

ε_{i}

$ε_i$

Los errores,

ε_{i}

$ε_i$ , en cada conjunto de valores de los predictores,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , se distribuyen normalmente.

Los errores,

ε_{i}

$ε_i$ , en cada conjunto de valores de los predictores,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , tienen variaciones iguales (denotado

σ 2

$σ2$ ).

Una de las formas en que podemos resolver la regresión lineal es a través de ecuaciones normales, que podemos escribir como

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Desde un punto de vista matemático, la ecuación anterior solo necesita que $X^TX$ sea invertible. Entonces, ¿por qué necesitamos estos supuestos? Pregunté a algunos colegas y mencionaron que es para obtener buenos resultados y las ecuaciones normales son un algoritmo para lograrlo. Pero en ese caso, ¿cómo ayudan estos supuestos? ¿Cómo ayuda su defensa para obtener un mejor modelo?

regression assumptions

— Reloj esclavo
fuente

2

Se necesita una distribución normal para calcular los intervalos de confianza del coeficiente utilizando fórmulas habituales. Otras fórmulas de cálculo de CI (creo que era blanco) permiten una distribución no normal.

— keiv.fly

No siempre necesita esas suposiciones para que el modelo funcione. En las redes neuronales, tiene regresiones lineales en el interior y minimizan el rmse al igual que la fórmula que proporcionó, pero lo más probable es que ninguno de los supuestos se cumpla. Sin distribución normal, sin varianza igual, sin función lineal, incluso los errores pueden ser dependientes.

— keiv.fly

2

Ver stats.stackexchange.com/q/16381/35989

— Tim

1

@Alexis Las variables independientes que son iid definitivamente no son una suposición (y la variable dependiente que es iid tampoco es una suposición; imagínense que si asumiéramos que la respuesta era iid, no tendría sentido hacer nada más que estimar la media). Y la "no omitir variables" no es realmente una suposición adicional, aunque es bueno evitar omitir variables: la primera suposición enumerada es realmente lo que se ocupa de eso.

— Dason

1

@Dason Creo que mi enlace proporciona un ejemplo bastante sólido de que "no se omiten variables" son requisitos para una interpretación válida. También creo que iid (condicional en los predictores, sí) es necesario, con caminatas aleatorias que proporcionan un excelente ejemplo de dónde puede fallar la estimación no iid (siempre recurriendo a estimar solo la media).

— Alexis

19

Tienes razón: no es necesario que cumplas estos supuestos para ajustar una línea de mínimos cuadrados a los puntos. Necesita estos supuestos para interpretar los resultados. Por ejemplo, suponiendo que no haya una relación entre una entrada e , ¿cuál es la probabilidad de obtener un coeficiente al menos tan grande como lo que vimos en la regresión? $X_1$ $Y$ $\beta_1$

— rinspy
fuente

17

Pruebe la imagen del cuarteto de Anscombe de Wikipedia para tener una idea de algunos de los posibles problemas con la interpretación de la regresión lineal cuando algunos de esos supuestos son claramente falsos: la mayoría de las estadísticas descriptivas básicas son las mismas en los cuatro (y los valores individuales son idénticos en todos, pero en la parte inferior derecha) $x_i$

— Enrique
fuente

Hice una ilustración después de Anscombe que muestra cómo puede verse la violación del supuesto de no omitir variables . Todavía estoy trabajando en una ilustración similar a Anscombe de una violación de la suposición de iid .

— Alexis

3

No necesita esos supuestos para adaptarse a un modelo lineal. Sin embargo, sus estimaciones de parámetros podrían estar sesgadas o no tener la varianza mínima. Violar los supuestos te hará más difícil interpretar los resultados de la regresión, por ejemplo, construir un intervalo de confianza.

— Hola Mundo
fuente

1

Ok, las respuestas hasta ahora son así: si violamos los supuestos, entonces pueden suceder cosas malas. Creo que la dirección interesante es: cuando se cumplen todos los supuestos que necesitamos (en realidad un poco diferentes de los anteriores), ¿por qué y cómo podemos estar seguros de que la regresión lineal es el mejor modelo?

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

— Fabian Werner
fuente

0

Los dos supuestos clave son

Independencia de observaciones
La media no está relacionada con la varianza

Ver La discusión en el libro de Julian Faraway .

Si esto es cierto, OLS es sorprendentemente resistente a las infracciones en los otros supuestos que ha enumerado.

— astaines
fuente