Tamaño de muestra efectivo para la inferencia posterior del muestreo de MCMC

Al obtener muestras de MCMC para hacer inferencia sobre un parámetro en particular, ¿cuáles son buenas guías para la cantidad mínima de muestras efectivas a las que se debe apuntar?

Y, ¿cambia este consejo a medida que el modelo se vuelve más o menos complejo?

— Matt Albrecht
fuente

Supongo que probablemente dependerá de la "constante" en la

error, que variará entre los modelos.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— Probabilidadlogística

La pregunta que hace es diferente de "diagnóstico de convergencia". Digamos que ha ejecutado todos los diagnósticos de convergencia (elija su (s) favorito (s)), y ahora está listo para comenzar a tomar muestras desde la parte posterior.

Hay dos opciones en términos de tamaño de muestra efectivo (ESS): puede elegir un ESS univariado o un ESS multivariado. Un ESS univariante proporcionará un tamaño de muestra efectivo para cada parámetro por separado, y los métodos conservadores dictan que elija la estimación más pequeña. Este método ignora todas las correlaciones cruzadas entre los componentes. Esto es probablemente lo que la mayoría de la gente ha estado usando durante un tiempo.

Recientemente, se introdujo una definición multivariada de ESS. El ESS multivariante devuelve un número para el tamaño de muestra efectivo para las cantidades que desea estimar; y lo hace contabilizando todas las correlaciones cruzadas en el proceso. Personalmente, prefiero ESS multivariante. Suponga que está interesado en el vector de medias de la distribución posterior. El mESS se define de la siguiente manera $p$ aquí

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

es la estructura de covarianza de la parte posterior (también la covarianza asintótica en el CLT si tenía muestras independientes) $\Lambda$
es la matriz de covarianza asintótica en la cadena CLT de Markov (diferente de ya que las muestras están correlacionadas. $\Sigma$ $\Lambda$
es el número de cantidades que se estiman (o en este caso, la dimensión de la parte posterior. $p$
Es el determinante. $|\cdot|$

mESS se puede estimar utilizando la matriz de covarianza de muestra para estimar y el lote significa matriz de covarianza para estimar . Esto ha sido codificado en la función en el paquete R mcmcse . $\Lambda$ $\Sigma$ multiESS

Este artículo reciente proporciona un límite inferior teóricamente válido del número de muestras efectivas requeridas. Antes de la simulación, debes decidir

$\epsilon$ $\epsilon$
$\alpha$
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Esto es cierto para cualquier problema (en condiciones de regularidad). La forma en que este método se adapta de un problema a otro es que mezclar lentamente las cadenas de Markov toma más tiempo para alcanzar ese límite inferior, ya que el MESS será más pequeño. Así que ahora puede verificar un par de veces usando multiESSsi su cadena de Markov ha alcanzado ese límite; si no, ve y toma más muestras.

— Greenparker
fuente

(+1) Excelente respuesta. ¿Sabes si la función multiESSha sido codificada para otros idiomas, como MATLAB? (¿o sería difícil reimplementar?)

— lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Me alegra que hayas podido codificarlo en Matlab. Si es posible, responda a este comentario cuando esté listo, para que pueda usarlo. Gracias

— Greenparker

Mi implementación MATLAB de multiESS está disponible aquí . Es una versión que funciona, aunque necesitaría más pruebas (no estoy familiarizado con R, de lo contrario lo compararía con la implementación de R).

— lacerbi

La convergencia depende de varias cosas: el número de parámetros, el modelo en sí, el algoritmo de muestreo, los datos ...

Sugeriría evitar cualquier regla general y emplear un par de herramientas de diagnóstico de convergencia para detectar el número apropiado de iteraciones de quemado y adelgazamiento en cada ejemplo específico. Véase también http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Monte Cristo
fuente