Estoy buscando métodos que permitan estimar la entropía de la información de una distribución cuando las únicas formas prácticas de muestreo de esa distribución son los métodos de Monte Carlo.
Mi problema no es diferente al modelo estándar de Ising que se usa típicamente como el ejemplo introductorio para el muestreo de Metrópolis-Hastings. Tengo una distribución de probabilidad sobre un conjunto , es decir, tengo para cada . Los elementos son de naturaleza combinatoria, como los estados de Ising, y hay un número muy elevado de ellos. Esto significa que en la práctica nunca obtengo la misma muestra dos veces cuando tomo muestras de esta distribución en una computadora. no puede calcularse directamente (debido a que no conoce el factor de normalización), pero la relación es fácil de calcular.p ( a ) a ∈ A a ∈ A p ( a ) p ( a 1 ) / p ( a 2 )
Quiero estimar la entropía de información de esta distribución,
Alternativamente, quiero estimar la diferencia de entropía entre esta distribución y una obtenida restringiéndola a un subconjunto (y, por supuesto, re-normalizando).