Bayesiana vs máxima entropía


8

Suponga que la cantidad que queremos inferir es una distribución de probabilidad. Todo lo que sabemos es que la distribución proviene de un conjunto determinado, por ejemplo, por algunos de sus momentos y tenemos una previa .miQ

El principio de entropía máxima (MEP) dice que que tiene la entropía menos relativa de (es decir, ) es el mejor para seleccionar. Mientras que la regla de selección bayesiana tiene un proceso de selección de la posterior dada la anterior que es compatible con el teorema de Bayes.PAGSmiQPAGS=argminPAGSmire(PAGSQ)

Mi pregunta es si existe alguna conexión entre estos dos métodos de inferencia (es decir, si los dos métodos se aplican al mismo problema y tienen algo en común). ¿O si en la inferencia bayesiana la configuración es completamente diferente de la configuración mencionada anteriormente? ¿O no tengo sentido?


¿Q es una distribución sobre E?
Simon Byrne

¿Quieres decir, es Qmi ? Necesita no ser.
Ashok

1
Puede encontrar esta pregunta útil: stats.stackexchange.com/q/4978/495
Simon Byrne

2
Robin, el hecho es que no conozco el método de inferencia bayesiano por completo. De lo contrario, esta pregunta ni siquiera me habría surgido. Ahora estoy tratando de encontrar tiempo para aprender sobre Bayesian. Todo lo que sabía (aproximadamente) era que usando el teorema de Bayes si se proporciona información previa y alguna información adicional, se pueden actualizar las probabilidades. No lo sé rigurosamente. Mientras que sé MaxEnt rigurosamente lo que significa. Si es posible, explíqueme o guíeme (es decir, señale alguna referencia) para aprender la inferencia bayesiana rigurosamente. Gracias.
Ashok

1
La conexión más frecuente de @Ashok que busca surge de la descripción de conjuntos convexos con una medida de probabilidad en sus puntos extremos (teoría de Choquet).
robin girard

Respuestas:


6

Esto puede llegar un poco tarde, pero la pregunta debe reformularse: según lo definido por Jaynes , la entropía máxima es una forma de construir una distribución previa que (a) satisfaga las restricciones impuestas por y (b) tenga la entropía máxima, en relación con una medida de referencia en el caso continuo: Por lo tanto, la entropía máxima (de Jaynes) es claramente parte de la caja de herramientas bayesiana. Y la máxima entropía previa no proporciona la distribución previa más cercana a la verdadera anterior, como lo sugiere la pregunta de Ashok .mi

-Iniciar sesión[π(θ)]reμ(θ).

La inferencia bayesiana sobre una distribución es un problema completamente diferente, manejado por no paramétricos bayesianos (véase, por ejemplo, este libro reciente de Hjort et al.). Requiere tener observaciones de , que no parece ser el escenario de la pregunta actual ...QQ

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.