¿Cuándo debería preocuparme la paradoja de Jeffreys-Lindley en la elección del modelo bayesiano?

Estoy considerando un espacio grande (pero finito) de modelos de complejidad variable que exploro usando RJMCMC . Lo anterior en el vector de parámetros para cada modelo es bastante informativo.

1. ¿En qué casos (si corresponde) debería preocuparme la paradoja de Jeffreys-Lindley que favorece modelos más simples cuando uno de los modelos más complejos sería más adecuado?

2. ¿Hay ejemplos simples que resalten los problemas de la paradoja en la elección del modelo bayesiano?

He leído un par de artículos, a saber, el blog de Xian y el blog de Andrew Gelman , pero todavía no acabo de entender el problema.

Perdón por no estar claro en mi blog !

Nota: proporcioné algunos antecedentes sobre la elección del modelo bayesiano y la paradoja de Jeffreys-Lindley en esta otra respuesta en Cross validada.

La paradoja de Jeffreys-Lindley está relacionada con la elección del modelo bayesiano en que la probabilidad marginal deja de tener sentido cuando es una medida -finita (es decir, una medida con masa infinita) en lugar de una medida de probabilidad. La razón de esta dificultad es que la masa infinita hace que y indistinguibles para cualquier constante positiva . En particular, el factor Bayes no puede usarse y no debe usarse cuando un modelo está dotado de un "plano" anterior.π σ π c

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

La paradoja original de Jeffreys-Lindley utiliza la distribución normal como ejemplo. Al comparar los modelos y el factor Bayes es Está bien definido cuando es un prior apropiado pero si toma un previo normal en y deje que vaya al infinito, el denominador va a cero para cualquier valor de diferente de cero y cualquier valor de . (A menos que yx ~ N ( θ , 1 ) B 12 = exp { - n ( ˉ x n ) 2 / 2

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$están relacionados, ¡pero esto se vuelve más complicado!) Si en su lugar usa directamente donde es una constante necesariamente arbitraria, el factor de Bayes será tanto, depende directamente de . $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

Ahora, si sus antecedentes son informativos (y por lo tanto correctos), no hay razón para que ocurra la paradoja de Jeffreys-Lindley. Con un número suficiente de observaciones, el factor Bayes seleccionará de manera consistente el modelo que generó los datos. (O, más precisamente, el modelo dentro de la colección de modelos considerados para la elección del modelo más cercano al modelo "verdadero" que generó los datos).