Montecarlo hamiltoniano vs. Montecarlo secuencial

Estoy tratando de tener una idea de los méritos y los inconvenientes relativos, así como los diferentes dominios de aplicación de estos dos esquemas MCMC.

¿Cuándo usarías cuál y por qué?
Cuándo podría uno fallar pero el otro no (por ejemplo, dónde es aplicable HMC pero SMC no, y viceversa)
¿Podría uno, concedido muy ingenuamente, poner una medida de utilidad en un método en comparación con el otro (es decir, es uno, generalmente, mejor )?

Actualmente estoy leyendo el excelente artículo de Betancourt sobre HMC .

— Astrid
fuente

SMC no es una técnica MCMC, es decir, no se construye una cadena de Markov cuando se usa SMC.

— jaradniemi

En algún momento usas mcmc dentro de smc. Y a veces usas smc dentro de mcmc. Sin embargo, al momento de escribir esto, no conozco ningún documento que combine el uso de hmc y smc.

— Taylor

Yo mismo quisiera entender mejor la relación entre SMC (también conocido como filtrado de partículas) y HMC. Gracias por la pregunta! Observo este documento, que a primera vista parece representar algún tipo de fusión de los dos enfoques: arxiv.org/pdf/1504.05715v2.pdf

— David C. Norris

Hamiltonian Monte Carlo funciona bien con distribuciones continuas de objetivos con formas "extrañas". Requiere que la distribución objetivo sea diferenciable ya que básicamente usa la pendiente de la distribución objetivo para saber a dónde ir. El ejemplo perfecto es una función en forma de plátano.

Aquí hay una Metropolis Hastings estándar en una función Banana: tasa de aceptación del 66% y muy poca cobertura.

Aquí está con HMC: 99% de aceptación con buena cobertura.

PAGS (θ El | y_{1}), PAGS (θ El | y_{1}, y_{2}), . . ., PAGS (θ El | y_{1}, y_{2}, . . ., y_{norte})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

Por ejemplo, esta secuencia es un objetivo excelente para SMC:

La naturaleza paralela del SMC lo hace particularmente adecuado para la computación distribuida / paralela.

Resumen:

HMC: bueno para objetivos extraños alargados. No funciona con función no continua.
SMC: bueno para casos multimodales y no continuos. Podría converger más lentamente o usar más potencia informática para formas extrañas de alta dimensión.

Fuente: La mayoría de las imágenes provienen de un artículo que escribí combinando los 2 métodos (Hamiltoniano secuencial Monte Carlo). Esta combinación puede simular prácticamente cualquier distribución que podamos lanzarle, incluso en dimensiones muy altas.

— RemiDav
fuente

Agradable y claro; +1. ¡Ni idea de por qué esto no tiene más votos a favor!

— arboviral

Aquí está el documento para los interesados: remidaviet.com/files/HSMC-paper.pdf

— stackoverflax