Contabilización de parámetros discretos o binarios en el criterio de información bayesiano

BIC penaliza en función del número de parámetros. ¿Qué pasa si algunos de los parámetros son algún tipo de variables indicadoras binarias? ¿Cuentan como parámetros completos? Pero puedo combinar parámetros binarios en una variable discreta que toma valores en . ¿Deben contarse como parámetros o un parámetro? $m$ $\{0,1,...,2^m-1\}$ $m$

— highBandWidth
fuente

Es en parte debido a esta imprecisión en el "número de parámetros" en BIC que DIC (el criterio de información de desviación ) introdujo un número efectivo de parámetros como donde y

{pag}_{re} (X) = mi [re (θ) El | X] - re (mi [θ El | X])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$

re (θ) = - 2 Iniciar sesión F (X El | θ)

$D(\theta)=-2\log f(x|\theta)$

Tenga en cuenta que

depende de los datos. (Como se discutióallí, ¡DIC también tiene sus propios problemas!)

DIC (X) = {pag}_{re} (X) + mi [re (θ) El | X]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$

p_{D} (x)

$p_D(x)$

— Xi'an
fuente

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$

Sí, BIC es una aproximación de la probabilidad marginal. Sin embargo, es solo una aproximación que converge a la "verdad" cuando el tamaño de la muestra crece hasta el infinito. Por lo tanto, no es directamente bayesiano (¡no usa el anterior, por un lado!) Y no tiene ninguna relación con MCMC (donde la aproximación es de tipo Monte Carlo: si aumento el número de simulaciones, la aproximación mejora). DIC se considera más bayesiano por muchos (incluidos B. Carlin y D. Spiegelhatler)

— Xi'an

Supongo que mi pregunta era, ¿el DIC es una aproximación de la probabilidad del modelo marginal también? Creo que debería leerlo yo mismo, pero como lo estábamos discutiendo, pensé que explicar esto haría que la respuesta fuera más completa. ¡Gracias!

— highBandWidth