Robusto estimador MCMC de probabilidad marginal?

9

Estoy tratando de calcular la probabilidad marginal de un modelo estadístico por los métodos de Monte Carlo:

F (X) = \int F (X ∣ θ) π (θ) re θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

La probabilidad es de buen comportamiento - suave, cóncavo logarítmico - pero de alta dimensión. He intentado tomar muestras importantes, pero los resultados son inestables y dependen en gran medida de la propuesta que estoy usando. Brevemente consideré hacer Hamiltoniano Monte Carlo para calcular muestras posteriores asumiendo un uniforme anterior sobre y tomando la media armónica, hasta que vi esto . Lección aprendida, la media armónica puede tener una varianza infinita. ¿Existe un estimador MCMC alternativo que sea casi tan simple, pero que tenga una varianza de buen comportamiento? $\theta$

monte-carlo likelihood marginal

— David Pfau
fuente

También podría considerar el muestreo básico de monte carlo del anterior.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— probabilidad

1

Esa es una posible solución. En este caso, recuerde que ya no se permiten priors inadecuados, y los prior con un soporte muy extendido probablemente dificultarán la aproximación de Monte Carlo.

— Zen

1

Un libro completo sobre el tema es Chen, Shao e Ibrahim (2001) . También puede buscar palabras clave como muestreo anidado, muestreo puente, muestreo defensivo, filtros de partículas, Savage-Dickey.

— Xi'an

8

¿Qué tal el muestreo recocido de importancia ? Tiene una varianza mucho menor que el muestreo de importancia regular. Lo he visto llamado el "estándar de oro", y no es mucho más difícil de implementar que el muestreo de importancia "normal". Es más lento en el sentido de que tiene que hacer un montón de movimientos MCMC para cada muestra, pero cada muestra tiende a ser de muy alta calidad, por lo que no necesita tantos antes de que sus estimaciones se calmen.

La otra alternativa importante es el muestreo de importancia secuencial. Mi sensación es que también es bastante sencillo de implementar, pero requiere cierta familiaridad con el Monte Carlo secuencial (filtrado de partículas AKA), que me falta.

¡Buena suerte!

Editado para agregar : Parece que la publicación del blog de Radford Neal a la que se vinculó también recomienda el muestreo de importancia recocido. Háganos saber si funciona bien para usted.

— David J. Harris
fuente

2

Esto podría ayudar a arrojar algo de luz sobre el cálculo de la distribución marginal. Además, recomendaría usar un método a través de posteriores de potencia introducidos por Friel y Pettitt . Este enfoque parece bastante prometedor, aunque tiene algunas limitaciones. O podría aproximar la distribución posterior de Laplace por distribución normal: si el histograma de MCMC parece simétrico y normal, entonces esta podría ser una aproximación bastante buena.

— Tomás
fuente