Ejemplos de errores en algoritmos MCMC

Estoy investigando un método para la verificación automática de los métodos de Monte Carlo de la cadena de Markov, y me gustaría algunos ejemplos de errores que pueden ocurrir al construir o implementar tales algoritmos. Puntos de bonificación si se utilizó el método incorrecto en un artículo publicado.

Estoy particularmente interesado en los casos en que el error significa que la cadena tiene una distribución invariante incorrecta, aunque otros tipos de errores (por ejemplo, cadena no ergódica) también serían interesantes.

Un ejemplo de tal error sería no generar un valor cuando Metropolis-Hastings rechaza un movimiento propuesto.

mcmc

— Simon Byrne
fuente

Uno de mis ejemplos favoritos es el estimador de la media armónica porque tiene buenas propiedades asintóticas pero no funciona en la práctica. Radford Neal analiza esto en su blog: "La mala noticia es que la cantidad de puntos necesarios para que este estimador se acerque a la respuesta correcta a menudo será mayor que la cantidad de átomos en el universo observable". Este método ha sido ampliamente implementado en aplicaciones.

Otra cortesía del Prof. Neal.

— Cian

@Cyan Para que Neal sea tomado en serio, creo que debería haber encontrado una revista que acepte su artículo en lugar de simplemente enviarlo por Internet. Puedo creer fácilmente que tiene razón y que los árbitros y el autor son incorrectos. Aunque es difícil publicar artículos que contradigan los resultados publicados y el rechazo de JASA es desalentador, creo que debería haber intentado varias otras publicaciones hasta que tuvo éxito. Necesita un árbitro parcial e independiente para agregar credibilidad a sus hallazgos.

— Michael R. Chernick

¡Uno siempre debe tomar en serio al Prof. Neal! ; o) En serio, es una pena que resultados como este sean difíciles de publicar, y desafortunadamente la cultura académica moderna no parece valorar ese tipo de cosas, por lo que es comprensible si no es una actividad de alta prioridad para él. Pregunta interesante, estoy muy interesado en las respuestas.

— Dikran Marsupial

@Michael: Quizás. Habiendo estado en todos lados de situaciones similares, incluso en la posición del Prof. Neal, en muchas ocasiones, mis observaciones anecdóticas son que el rechazo de papel lleva muy, muy poco contenido de información en la mayoría de los casos, al igual que muchas aceptaciones. La revisión por pares es mucho más ruidosa de lo que la gente quiere admitir y, a menudo, como puede ser el caso aquí, hay partes e intereses parciales e interesados (es decir, no independientes) en juego. Dicho esto, no tenía la intención de que mi comentario original nos llevara tan lejos del tema en cuestión. Gracias por compartir tus pensamientos sobre el asunto.

— cardenal

Respuestas:

1. Probabilidad marginal y estimador de media armónica

La probabilidad marginal se define como la constante de normalización de la distribución posterior.

p (x) = \int_{Θ} p (x | θ) p (θ) d θ .

$p({\bf x})=\int_{\Theta}p({\bf x}\vert\theta)p(\theta)d\theta.$

La importancia de esta cantidad proviene del papel que juega en la comparación de modelos a través de factores de Bayes .

Se han propuesto varios métodos para aproximar esta cantidad. Raftery y col. (2007) proponen el estimador de media armónica , que rápidamente se hizo popular debido a su simplicidad. La idea consiste en utilizar la relación.

\frac{1}{pags (X)} = \int_{Θ} \frac{pags (θ El | X)}{pags (X El | θ)} re θ .

$\dfrac{1}{p({\bf x})}=\int_{\Theta}\dfrac{p(\theta\vert{\bf x})}{p({\bf x}\vert\theta)}d\theta.$

Por lo tanto, si tenemos una muestra de la parte posterior, por ejemplo , esta cantidad se puede aproximar por $(\theta_1,...,\theta_N)$

\frac{1}{pags (X)} \approx \frac{1}{norte} \sum_{j = 1}^{norte} \frac{1}{pags (X El | θ_{j})} .

$\dfrac{1}{p({\bf x})}\approx\dfrac{1}{N}\sum_{j=1}^N \dfrac{1}{p({\bf x}\vert\theta_j)}.$

Esta aproximación está relacionada con el concepto de muestreo de importancia .

Según la ley de los grandes números, como se discutió en el blog de Neal , tenemos que este estimador es consistente . El problema es que el requerido para una buena aproximación puede ser enorme. Vea el blog de Neal o el blog de Robert 1 , 2 , 3 , 4 para ver algunos ejemplos. $N$

Alternativas

Hay muchas alternativas para aproximar . Chopin y Robert (2008) presentan algunos métodos basados en el muestreo de importancia. $p({\bf x})$

2. No ejecuta su muestreador MCMC el tiempo suficiente (especialmente en presencia de multimodalidad)

Mendoza y Gutiérrez-Peña (1999) deducen la referencia anterior / posterior para la razón de dos medias normales y presentan un ejemplo de las inferencias obtenidas con este modelo utilizando un conjunto de datos real. Usando métodos MCMC, obtienen una muestra de tamaño de la parte posterior de la relación de medias que se muestra a continuación $2000$ $\varphi$

ingrese la descripción de la imagen aquí

$\varphi$ $(0.63,5.29)$ $0$ $0$

ingrese la descripción de la imagen aquí

$(0,7.25)$

3. En esta discusión , Gelman, Carlin y Neal pueden encontrar otros temas , como la evaluación de la convergencia, la elección de valores iniciales, el mal comportamiento de la cadena .

4. Muestreo de importancia

$g$

yo = \int F (X) re X = \int \frac{F (X)}{sol (X)} sol (X) re X .

$I=\int f(x)dx = \int \dfrac{f(x)}{g(x)}g(x)dx.$

$g$ $(x_1,...,x_N)$ $I$

yo \approx \frac{1}{norte} \sum_{j = 1}^{norte} \frac{F (X_{j})}{sol (X_{j})} .

$I\approx \dfrac{1}{N}\sum_{j=1}^N \dfrac{f(x_j)}{g(x_j)}.$

$g$ $f$ $N$

# Integrating a Student's t with 1 d.f. using a normal importance function   
x1 = rnorm(10000000)   # N=10,000,000
mean(dt(x1,df=1)/dnorm(x1))

# Now using a Student's t with 2 d.f. function
x2 = rt(1000,df=2)
mean(dt(x2,df=1)/dt(x2,df=2))

Son algunos buenos ejemplos. Para cualquiera que esté interesado, la carta al editor con la figura está aquí: onlinelibrary.wiley.com/doi/10.1002/bimj.200800256/abstract

— Simon Byrne

Muy bonito y claro resumen !! (+1)

— gui11aume

Darren Wilkinson en su blog da un ejemplo detallado de un error común en el paseo aleatorio Metropolis-Hastings. Recomiendo leerlo en su totalidad, pero aquí está la versión tl; dr.

Si la distribución objetivo es positiva (como las distribuciones Gamma, etc. ) en una dimensión, es tentador rechazar propuestas que tengan un valor negativo en esa dimensión de inmediato. El error es descartar las propuestas como nunca ocurrieron y evaluar la relación de aceptación de Metropolis-Hastings (MH) de las otras solamente. Esto es un error porque equivale a usar una densidad de propuesta no simétrica.

El autor sugiere aplicar una de dos correcciones.

Cuente los "aspectos negativos" como una aceptación fallida (y pierda un poco de eficiencia).
Utilice la relación MH correcta en ese caso, que es

\frac{π (X^{*})}{π (X)} \frac{Φ (X)}{Φ (X^{*})},

$\frac{\pi(x^*)}{\pi(x)} \frac{\Phi(x)}{\Phi(x^*)},$

$\pi$ $\Phi$ $\phi$ $\Phi(x) = \int_0^{\infty} \phi(y-x)dy$

— gui11aume
fuente

+1 Ejemplo interesante. También estaba pensando en otros problemas con MH relacionados con la tasa de aceptación. Creo que la tasa óptima de 0.234 se ha usado en exceso.

@Procrastinator conoces muy bien la literatura de MCMC. ¿Es este tu dominio de experiencia?

— gui11aume

Gracias por tu comentario. Me gustan las estadísticas bayesianas, luego necesito llevar la cruz MCMC;).

Un caso muy claro (relacionado con la aproximación de probabilidad marginal mencionada en la primera respuesta) donde la convergencia verdadera es el ejemplo del problema del cambio de etiqueta en modelos mixtos junto con el uso del estimador de Chib (1995) . Como señaló Radford Neal (1999), si la cadena MCMC no converge correctamente, en el sentido de que explora parte del modo de distribución objetivo, la aproximación de Monte Carlo de Chib no alcanza el valor numérico correcto.

— Xi'an
fuente