¿Cuál debería ser un previo poco informativo para la pendiente al hacer una regresión lineal?


10

Cuando se realiza una regresión lineal bayesiana, hay que asignar un previa para la pendiente y la intersección . Como es un parámetro de ubicación, tiene sentido asignar un uniforme previo; sin embargo, me parece que es similar a un parámetro de escala y no parece natural asignarle un uniforme antes.abba

Por otro lado, no parece correcto asignar el habitual Jeffrey anterior ( ) no informativo para una pendiente de una regresión lineal. Por un lado, puede ser negativo. Pero no veo qué más podría ser.1/a

Entonces, ¿cuál es el "desinformativo" previo adecuado para la pendiente de una regresión lineal bayesiana? (Cualquier referencia sería apreciada).


La pendiente no es realmente como un parámetro de escala; por ejemplo, puede ser negativo. No existe una información previa "adecuada" no informativa ("poca información" puede ser un término mejor). Hay algunas opciones comunes, que pueden adaptarse a diferentes personas o diferentes situaciones.
Glen_b -Reinstale a Monica el

Respuestas:


10

De Bayesian Data Analysis 3rd ed., P. 355:

La distribución previa no informativa estándar

En el modelo de regresión normal, una distribución previa conveniente no informativa es uniforme en o, de manera equivalente,(β,logσ)

p(β,σ2|X)σ2

( refiere a los regresores). El libro contiene una discusión adicional útil más allá del alcance de esta pregunta: cuando este prior es útil, cuando otros son más adecuados, su posterior y la comparación con las estimaciones clásicas.X


9

Los bayesianos normalmente eligen los antecedentes que hacen que su vida matemáticamente desafiante sea más fácil de soportar. Esto significa antecedentes gaussianos, a menos que el modelo lo prohíba absolutamente. Recuerde que necesita un previo bivariado en su situación, ya que debe modelar la correlación entre la pendiente y la ubicación, así como sus comportamientos marginales. La normalidad multivariante es su boleto.

Un previo gaussiano sobre los parámetros combina perfectamente con el error de medición gaussiano (sin duda) que ya tiene su modelo de regresión.

Por cierto, no asocio pendientes con parámetros de escala, ya que las pendientes pueden ser negativas y los parámetros de escala no.

Ahora, la distribución gaussiana no es un previo poco informativo, pero si realmente no tiene información previa, tal vez debería ser frecuente. O use un gaussiano con una variación muy grande.

No conozco una referencia moderna a la inferencia bayesiana. A riesgo de usar una bazuca para disparar a un conejo, puedes buscar a Rasmussen y Williams, que está disponible en línea . La primera sección del capítulo 2 pasa por la regresión bayesiana con cierto detalle.


3

Por lo general, se usa un previo uniforme en la pendiente y el desplazamiento, sin embargo, me gusta la idea de poner anteriores planos en y siendo el ángulo entre línea y y = 0. Esto da un previo de que favorece las pendientes alrededor de cero. Esto se deriva en http://jakevdp.github.io/blog/2014/06/14/frequentism-and-bayesianism-4-bayesian-in-python/#The-Prior , y Frequentism and Bayesianism: A Python-driven Imprimación de Jake Vanderblas b cos theta theta p ( un , b ) = ( 1 + a 2 ) - 3 / 2tan1(a)bcosθθ

p(a,b)=(1+a2)3/2
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.