Distribución muestral de coeficientes de regresión

Anteriormente aprendí sobre las distribuciones de muestreo que daban resultados para el estimador, en términos del parámetro desconocido. Por ejemplo, para las distribuciones de muestreo de y en el modelo de regresión lineal $\hat\beta_0$ $\hat\beta_1$ $Y_i = \beta_o + \beta_1 X_i + \varepsilon_i$

{\hat{β}}_{0} \sim N (β_{0}, σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}))

$\hat{\beta}_0 \sim \mathcal N \left(\beta_0,~\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right)\right)$ y

{\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{S_{x x}})

$\hat{\beta}_1 \sim \mathcal N \left(\beta_1,~\frac{\sigma^2}{S_{xx}}\right)$

donde $S_{xx} = \sum_{i=1}^n (x_i^2) -n \bar{x}^2$

Pero ahora he visto lo siguiente en un libro :

Supongamos que ajustamos el modelo por mínimos cuadrados de la manera habitual. Considere la distribución posterior bayesiana, y elija las anteriores para que sea equivalente a la distribución de muestreo frecuente habitual, es decir ...

$(\begin{matrix} β_{0} \\ β_{1} \end{matrix}) \sim N_{2} [(\begin{matrix} {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{matrix}), {\hat{σ}}^{2} {(\begin{matrix} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{matrix})}^{- 1}]$ $\left( \begin{matrix} \beta_0 \\ \beta_1 \end{matrix} \right) \sim \mathcal N_2\left[\left(\begin{matrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{matrix} \right),~\hat{\sigma}^2 \left(\begin{matrix} n & \sum_{i=1}^{n}x_i \\ \sum_{i=1}^{n}x_i & \sum_{i=1}^{n}x_i^2 \end{matrix} \right) ^{-1}\right]$

Esto me confunde porque:

¿Por qué aparecen las estimaciones en el lado izquierdo (lhs) de las 2 primeras expresiones y en el lado derecho (rhs) de la última expresión?
¿Por qué los sombreros beta en la última expresión tienen subíndices 1 y 2 en lugar de 0 y 1?
¿Son estas simplemente representaciones diferentes de la misma cosa? Si lo son, ¿alguien podría mostrarme cómo son equivalentes? Si no, ¿alguien podría explicar la diferencia?
¿Es el caso que la última expresión es la "inversión" de las dos primeras? ¿Es por eso que la matriz de 2x2 en la última expresión se invierte y las estimaciones / parámetros se cambian de ? Si es así, ¿alguien podría mostrarme cómo pasar de uno a los otros? $\leftrightarrow$

— Joe King
fuente

Esta parte se relaciona principalmente con su primera, tercera y cuarta pregunta:

Hay una diferencia fundamental entre las estadísticas bayesianas y las estadísticas frecuentas.

Las estadísticas frecuentes hacen inferencia sobre qué valores de parámetros fijos son consistentes con los datos vistos como aleatorios, generalmente a través de la probabilidad. Toma (algunos parámetros o parámetros) como fijos pero desconocidos, y ve cuáles hacen que los datos sean más probables; analiza las propiedades del muestreo de algún modelo dados los parámetros para hacer inferencia sobre dónde podrían estar los parámetros. (Un Bayesiano podría decir que el enfoque frecuentista se basa en 'las frecuencias de las cosas que no sucedieron') $\theta$

Las estadísticas bayesianas observan la información sobre los parámetros en términos de una distribución de probabilidad sobre ellos, que se actualiza mediante datos, a través de la probabilidad. Los parámetros tienen distribuciones, por lo que observa . $P(\theta|\underline{x})$

Esto da como resultado cosas que a menudo parecen similares, pero donde las variables en una se ven "al revés" vistas a través de la lente de la otra forma de pensar al respecto.

Entonces, fundamentalmente son cosas algo diferentes , y el hecho de que las cosas que están en el LHS de uno están en el RHS del otro no es un accidente.

Si trabajas un poco con ambos, pronto queda razonablemente claro.

La segunda pregunta me parece relacionarse simplemente con un error tipográfico.

---

la declaración "equivalente a la distribución de muestreo frecuente habitual, es decir": entendí que los autores indicaban la distribución de muestreo frecuente. ¿He leído esto mal?

Hay dos cosas que suceden allí: han expresado algo un poco vagamente (la gente hace este tipo particular de expresión demasiado flexible todo el tiempo), y creo que también lo estás interpretando de manera diferente a la intención.

Entonces, ¿qué significa exactamente la expresión que dan?

Con suerte, la discusión a continuación ayudará a aclarar el sentido deseado.

Si puede proporcionar una referencia (pref. En línea ya que no tengo un buen acceso a la biblioteca) donde se deriva esta expresión, se lo agradecería.

Se sigue desde aquí:

http://en.wikipedia.org/wiki/Bayesian_linear_regression

tomando prioridades planas en y creo que también es una prioridad plana para . $\beta$ $\sigma^2$

La razón es que el posterior es proporcional a la probabilidad y los intervalos generados a partir de los posteriores en los parámetros coinciden con los intervalos de confianza frecuentas para los parámetros.

Puede encontrar las primeras páginas aquí útiles también.

— Glen_b -Reinstate a Monica
fuente

Gracias, esto es útil. Ya he hecho un poco de estadísticas bayesianas. Sin embargo, todavía estoy algo confundido, debido a la afirmación "equivalente a la distribución habitual de muestreo frecuentista, es decir" : entendí que los autores indicaban la distribución de muestreo frecuentista. ¿He leído esto mal? Entonces, ¿qué significa exactamente la expresión que dan? Si puede proporcionar una referencia (pref. En línea ya que no tengo un buen acceso a la biblioteca) donde se deriva esta expresión, se lo agradecería.

— Joe King

Joe - mira mi edición arriba

— Glen_b -Reinstate Monica