Supuestos de distribución residual de regresión

12

¿Por qué es necesario colocar el supuesto de distribución en los errores, es decir?

$y_i = X\beta + \epsilon_{i}$ , con . $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Porque no escribir

$y_i = X\beta + \epsilon_{i}$ , con , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

donde en cualquier caso . Lo he visto enfatizado en que los supuestos de distribución se colocan en los errores, no en los datos, pero sin explicación. $\epsilon_i = y_i - \hat{y}$

Realmente no entiendo la diferencia entre estas dos formulaciones. En algunos lugares veo suposiciones de distribución que se colocan en los datos (Bayesian encendido. Parece que en su mayoría), pero la mayoría de las veces las suposiciones se colocan en los errores.

Al modelar, ¿por qué debería / debería elegir comenzar con suposiciones sobre uno u otro?

— bill_e
fuente

Primero, no es "necesario", depende de lo que pretendes hacer. Hay algunas buenas respuestas, pero creo que el quid es el supuesto subyacente de causalidad, en el sentido de que las X "causan" la y, y si la miras de esa manera, verás que la distribución de y es "causada" por la distribución de los rhs, es decir, las X y los errores (si los hay). Puede hacer una gran cantidad de econometría con supuestos de distribución muy limitados y, en particular, sin normalidad. Gracias a Dios.

— PatrickT

3

no es

, y la media de la población de la

NO es la misma que la estimación de la muestra de la misma. Lo cual quiere decir que la segunda cosa que en realidad no es lo mismo que la primera, pero si que se sustituya por su expectativa (

), los dos sería equivalente.

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Reinstala a Mónica el

¿Qué es

? Y si

varía con

, ¿por qué

varía? Por favor, decida qué notación desea usar, el vector o la matriz. Ahora bien, si asumimos que

su notación es más de bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ , es decir, usted define la distribución de

en términos de sí mismo y todas las demás observaciones

!

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

He rechazado la pregunta porque creo que la notación es confusa y esto ya dio como resultado varias respuestas sutilmente conflictivas.

— mpiktas

9

En una configuración de regresión lineal, es común hacer análisis y derivar resultados condicionales a , es decir, condicionales a "los datos". Por lo tanto, lo que necesita es que sea normal, es decir, necesita que sea normal. Como lo ilustra el ejemplo de Peter Flom, uno puede tener una normalidad de sin tener una normalidad de , y, por lo tanto, dado que lo que necesita es normalidad de , esa es la suposición sensata. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
fuente

8

Escribiría la segunda definición como

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

o (como Karl Oskar sugiere +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

es decir, el supuesto de modelado es que la variable de respuesta normalmente se distribuye alrededor de la línea de regresión (que es una estimación de la media condicional), con una varianza constante . Esto no es lo mismo que sugerir que se distribuye normalmente, porque la media de la distribución depende de . $\sigma^2$ $y_i$ $X_i$

Creo que he visto formulaciones similares a esto en la literatura de aprendizaje automático; por lo que yo puedo ver que es equivalente a la primera definición, todo lo que he hecho es rexpress la segunda formulación un poco diferente para eliminar la 's y el s. $\epsilon_i$ $\hat{y}$

— Dikran Marsupial
fuente

3

La diferencia es más fácil de ilustrar con un ejemplo. Aquí hay uno simple:

Supongamos que Y es bimodal, con la modalidad explicada por una variable independiente. Por ejemplo, suponga que Y es altura y su muestra (por cualquier razón) consiste en jinetes y jugadores de baloncesto. por ejemplo enR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

La primera densidad es muy no normal. Pero los residuos del modelo son extremadamente cercanos a lo normal.

En cuanto a por qué las restricciones se colocan de esta manera, dejaré que otra persona responda esa.

— Peter Flom - Restablece a Monica
fuente

1

¡Gracias! Veo lo que quieres decir con una distribución bimodal. Pregunta de seguimiento: ¿Qué pasa si las variaciones de los datos son diferentes (heteroscedasticidad?) Diga ... todos los jinetes son pequeños, pero las alturas de los jugadores de baloncesto varían mucho. Quizás para ellos, alto <- rnorm (100,78,10). ¿Cómo una situación como esta cambia sus suposiciones sobre

o

?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e

En ese caso, la heterocedasticidad sería un problema y necesitaría usar alguna otra forma de regresión, o posiblemente alguna transformación, o podría agregar otra variable (en este ejemplo tonto, la posición que se juega en el baloncesto podría hacerlo).

— Peter Flom - Restablece a Monica

No estoy seguro de que la formulación pretenda sugerir que las ys están normalmente distribuidas, solo que tienen una distribución condicional normal.

— Dikran Marsupial

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$

Entonces la pregunta es, ¿hay alguna razón para preferir presentar la idea usando la primera formulación?

Creo que la respuesta es sí por dos razones:

$Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
$Y|\bf X$ $Y|\bf X$

Creo que estas confusiones tienen más probabilidades de usar la segunda formulación que la primera.

— gung - Restablece a Monica
fuente

1

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$