¿Por qué la probabilidad marginal es difícil / intratable de estimar?

Tengo una pregunta generalmente básica que hacer aquí que me ha estado preocupando por un tiempo. A través de la mayoría de mis lecturas de estadísticas bayesianas, se afirmaba de hecho que la probabilidad marginal a menudo es intratable o difícil de estimar. ¿Por qué?

Las razones a menudo expresadas incluyen declaraciones sobre la naturaleza de alta dimensión de la integral / suma a estimar, o que el ámbito de los posibles modelos es infinito.

Me gustaría que esta comunidad me señale algo que explique por qué y explique este problema en un lenguaje simple.

También se agradecerán los enlaces a los recursos. Busqué en Google los términos en busca de recursos que expliquen esto claramente, pero la mayoría de ellos simplemente mencionan el problema sin explicación. También tengo el reconocimiento de patrones de libros en aprendizaje automático y el libro de aprendizaje automático Kevin Murphy. No estoy satisfecho con las explicaciones de estos textos, por lo que estoy buscando algo claro y simple.

Aquí hay una respuesta con un ejemplo. Suponga que tiene el siguiente modelo jerárquico para los grupos y observaciones dentro de un grupo y valores conocidos y . Con la probabilidad marginal es La dimensión de la integral es

$$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$$ $g=1,\ldots,G$$i=1,\ldots,n_g$$m,k,a,$$b$ $$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$$ $$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$$ $G+2$ y si es grande, entonces esta es una integral de alta dimensión. La mayoría de las técnicas de integración numérica necesitarán un número extremo de muestras o iteraciones para obtener una aproximación razonable a esta integral.$G$

Esta integral tiene una probabilidad marginal en forma cerrada, por lo que puede evaluar qué tan bien una técnica de integración numérica puede estimar la probabilidad marginal. Para entender por qué es difícil calcular la probabilidad marginal, puede comenzar de manera simple, por ejemplo, tener una sola observación, tener un solo grupo, conocer y , etc. Puede hacer que el problema sea cada vez más difícil y difícil. vea cómo las técnicas de integración numérica funcionan en relación con la verdad. Notará que empeoran cada vez más, es decir, necesitarán más y más muestras o iteraciones para obtener la misma precisión, a medida que aumenta la dimensión del problema, es decir ,Finalmente, deje$\mu$$\sigma^2$$G$$Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$y ahora tienes una probabilidad marginal sin forma cerrada. Con base en su experiencia cuando sabía la verdad, ¿cuánto va a creer una estimación numérica cuando no sabe la verdad? Supongo que no vas a tener mucha confianza en la estimación numérica.