¿Cuáles son los factores que hacen que las distribuciones posteriores sean intratables?

En las estadísticas bayesianas, a menudo se menciona que la distribución posterior es intratable y, por lo tanto, se debe aplicar una inferencia aproximada. ¿Cuáles son los factores que causan esta intratabilidad?

El problema es principalmente que el análisis bayesiano involucra integrales , a menudo multidimensionales en problemas realistas, y son estas integrales las que típicamente son intratables analíticamente (excepto en algunos casos especiales que requieren el uso de conjugados anteriores).

Por el contrario, gran parte de las estadísticas no bayesianas se basa en la máxima probabilidad : encontrar el máximo de una función (generalmente multidimensional), que implica el conocimiento de sus derivados , es decir, la diferenciación. Aun así, los métodos numéricos se utilizan en muchos problemas más complejos, pero es posible llegar más lejos sin ellos, y los métodos numéricos pueden ser más simples (incluso si los menos simples pueden funcionar mejor en la práctica).

Entonces diría que todo se reduce al hecho de que la diferenciación es más manejable que la integración.

Tuve la oportunidad de hacerle esta pregunta a David Blei en persona y me dijo que la intratabilidad en este contexto significa una de dos cosas:

1. La integral no tiene una solución de forma cerrada. Esto podría ser cuando estamos modelando algunos datos complejos del mundo real y simplemente no podemos escribir la distribución en papel.

2. La integral es computablemente intratable. Me recomendó que me sentara con un bolígrafo y un papel y que en realidad resolviera la evidencia marginal de la mezcla bayesiana de gaussianos. Verá que es computablemente intratable, es decir, exponencial. Da un buen ejemplo de esto en un artículo reciente (ver 2.1 El problema de la inferencia aproximada ).

FWIW, encuentro esta elección de palabra confusa, ya que (1) está sobrecargada de significado y (2) ya se usa ampliamente en CS para referirse solo a la intratabilidad computacional.

En realidad, hay una gama de posibilidades:

1. $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$

Las personas generalmente quieren decir algo así como (2) cuando hablan de una parte posterior (analíticamente) no tratable y algo así como (3) cuando hablan de una probabilidad no tratable. Es el tercer caso cuando el cálculo bayesiano aproximado es una de las opciones, mientras que en el segundo caso los métodos MCMC son generalmente factibles (lo que puede argumentar que son, en cierto sentido, aproximados). No estoy completamente seguro, a cuál de estos dos se refiere la cita que proporcionó.

La trazabilidad está relacionada con la forma cerrada de una expresión .

Se dice que los problemas son manejables si se pueden resolver en términos de una expresión de forma cerrada.

En matemáticas, una expresión de forma cerrada es una expresión matemática que se puede evaluar en un número finito de operaciones. Puede contener constantes, variables, ciertas operaciones "bien conocidas" (por ejemplo, + - × ÷) y funciones (por ejemplo, raíz enésima, exponente, logaritmo, funciones trigonométricas y funciones hiperbólicas inversas), pero generalmente no tiene límite. El conjunto de operaciones y funciones admitidas en una expresión de forma cerrada puede variar según el autor y el contexto.

Por lo tanto, la intratabilidad significa que hay algún tipo de límite / infinito involucrado (como la suma infinita en integrales) que no se puede evaluar en un número finito de operaciones y, por lo tanto, se deben usar técnicas de aproximación (como MCMC).

El artículo de Wikipedia apunta a la tesis de Cobham que trata de formalizar esta "cantidad de operaciones" y, por lo tanto, de trazabilidad.