Diferencia entre Priors no informativos e impropios


10

Me pregunto cuál es la diferencia entre estos dos tipos de antecedentes:

  • No informativo
  • Incorrecto

44
Podría ser útil si pudiera proporcionar algún contexto aquí. ¿Qué entiendes sobre estos ya? ¿Hay un punto particular de confusión?
gung - Restablece a Monica


@Tim gracias. Estaba buscando no informativo en lugar de débilmente informativo .
Bram

Respuestas:


17

Los previos impropios son -finito no negativo medidas en el espacio de parámetros tal que Como tal, generalizan el noción de una distribución previa, que es una distribución de probabilidad en el espacio de parámetros tal que Son útiles de varias maneras para caracterizard π Θ Θ d π ( θ ) = + Θ Θ d π ( θ ) = 1σreπΘ

Θreπ(θ)=+
Θ
Θreπ(θ)=1
  1. el conjunto de límites de procedimientos bayesianos adecuados, que no son todos procedimientos bayesianos adecuados;
  2. procedimientos óptimos frecuentes como en (admisibilidad) teoremas de clase completos como el de Wald;
  3. los mejores estimadores invariantes frecuentes (ya que pueden expresarse como estimaciones de Bayes bajo la medida de Haar derecha correspondiente, generalmente inadecuada);
  4. los anteriores derivados de la forma de la función de verosimilitud, como los prioritarios no informativos (por ejemplo, Jeffreys).

Debido a que no se integran a un número finito, no permiten una interpretación probabilística pero, sin embargo, pueden usarse en inferencia estadística si la probabilidad marginal es finita desde la distribución posterior está bien definido. Esto significa que se puede usar exactamente de la misma manera que se usa una distribución posterior derivada de un previo apropiado, para derivar cantidades posteriores para la estimación, como medios posteriores o intervalos creíbles posteriores.( θ | x ) d π ( θ )

Θ(θEl |X)reπ(θ)<+
(θEl |X)reπ(θ)Θ(θEl |X)reπ(θ)

Advertencia: Una rama de la inferencia bayesiana no hace frente muy bien a los antecedentes impropios, es decir, al probar hipótesis agudas. De hecho, esas hipótesis requieren la construcción de dos distribuciones anteriores, una debajo de la nula y otra debajo de la alternativa, que son ortogonales. Si uno de estos antecedentes es incorrecto, no se puede normalizar y el factor Bayes resultante es indeterminado.

En la teoría de decisión bayesiana, cuando se busca un procedimiento de decisión óptimo bajo la función de pérdida un previo incorrecto es útil en casos en que el problema de minimización permite una solución no trivial (incluso cuando la distribución posterior no está definida). La razón de esta distinción es que la decisión solo depende del producto , lo que significa que es invariante bajo los cambios del previo por términos multiplicativos siempre que la función de pérdida esté dividida por los mismos términos multiplicativos ,L ( d , θ ) d π arg min d Θ L ( d , θ ) ( θ | x ) d π ( θ ) L ( d , θ ) d π ( θ ) ϖ ( θ ) ϖ ( θ ) L ( d , θ ) d π ( θ )δL(re,θ)reπ

argminreΘL(re,θ)(θEl |X)reπ(θ)
L(re,θ)reπ(θ)ϖ(θ)ϖ(θ)
L(re,θ)reπ(θ)=L(re,θ)ϖ(θ)×ϖ(θ)reπ(θ)

Los antecedentes no informativos son clases de distribuciones anteriores (propias o impropias) que se determinan en términos de un determinado criterio informativo que se relaciona con la función de probabilidad, como

  1. Razón insuficiente de Laplace plana anterior;
  2. Jeffreys (1939) anteriores invariables;
  3. previos de entropía máxima (o MaxEnt) (Jaynes, 1957);
  4. descripción mínima longitud previa (Rissanen, 1987; Grünwald, 2005);
  5. referencias anteriores (Bernardo, 1979, 1781; Berger y Bernardo, 1992; Bernardo y Sun, 2012)
  6. Probabilidad previa de coincidencia (Welsh & Peers, 1963; Scricciolo, 1999; Datta, 2005)

y otras clases, algunas de las cuales se describen en Kass y Wasserman (1995). El nombre no informativo es un nombre inapropiado ya que ningún previo nunca es completamente no informativo. Vea mi discusión en este foro. O la diatriba de Larry Wasserman . (Los antecedentes no informativos suelen ser inadecuados).


9

Un previo no informativo, rigurosamente hablando, no es una distribución previa. Esta es una función tal que, si la consideramos como una distribución y aplicamos la fórmula de Bayes, obtenemos una cierta distribución posterior, que tiene como objetivo reflejar lo mejor posible la información contenida en los datos y solo en los datos, o para lograr una buena propiedad de coincidencia frecuente (es decir, un intervalo creíble posterior del es aproximadamente un intervalo de confianza del ).95%95%

Un previo no informativo es a menudo "impropio". Una distribución tiene una propiedad bien conocida: su integral es igual a una. Se dice que un previo no informativo es incorrecto cuando su integral es infinita (por lo tanto, en tal caso está claro que no es una distribución).


3
¡Considero que esta definición de "no informativo" antes de ser súper restrictiva!
Xi'an

@ Xi'an En vista de la brevedad del OP, creo que esta respuesta corta es bastante apropiada.
Stéphane Laurent

@ Xi'an Es una cita de Bernardo (más o menos). Yo estoy de acuerdo ^^
Stéphane Laurent

1
@ Xi'an Todavía no estoy en casa pero, por ejemplo, aquí. Las referencias posteriores se obtienen mediante el uso formal del teorema de Bayes con una función previa de referencia . Benardo dice referencia a la función previa , no a la distribución.
Stéphane Laurent

2
Más en serio @ Xi'an, ¿quieres decir que es restrictivo para los antecedentes no informativos bernardianos? Así es, y algunos otros tal vez. Sé que tienes más conocimiento que yo en este tema. Pero estoy orientado a Bernardo (y anteriores coincidentes).
Stéphane Laurent
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.