¿Por qué el problema del desorden es intratable para muestras de gran tamaño?

Supongamos que tenemos un conjunto de puntos . Cada punto se genera utilizando la distribución Para obtener posterior para escribimos De acuerdo con el documento de Minka en Expectativa Propagación tenemos cálculos para obtener posterior y, así, se convierte en un problema insoluble para grandes tamaños de muestra . Sin embargo, no puedo entender por qué necesitamos tal cantidad de cálculos en este caso, porque para un solo $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ la probabilidad tiene la forma

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Usando esta fórmula, obtenemos posterior por simple multiplicación de , por lo que solo necesitamos operaciones y, por lo tanto, podemos resolver este problema exactamente para grandes tamaños de muestra. $p(y_i| x)$ $N$

Hago un experimento numérico para comparar si realmente obtengo el mismo posterior en caso de que calcule cada término por separado y en caso de que use el producto de densidades para cada . Los posteriores son iguales. Ver ¿Dónde me equivoco? ¿Alguien puede aclararme por qué necesitamos operaciones para calcular posterior para dado y muestra ? $y_i$ ingrese la descripción de la imagen aquí $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
fuente

Una operación por término y términos, por lo que necesitamos operaciones . Además, miro nuevamente el artículo de Minka y el capítulo de Bishop sobre inferencia aproximada. Ambos sugieren que queremos estimar y obtener posterior para .

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev

¿Entiendo correctamente que tus son univariantes? Si es así, puede resolver esto en que se considera manejable independientemente de

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey Después de volver a leer este párrafo, creo que el autor no menciona las operacionesSimplemente señala que "el estado de creencia para es una mezcla de gaussianos" .

2^{N}

$2^N$ $x$ $2^N$

@Procrastinator de acuerdo con el documento, queremos usar la propagación de creencias, pero no podemos usarla porque necesitamos proceder con una mezcla de gaussianos. Entonces la pregunta es ¿por qué queremos usar BP? Otra pregunta surge en caso de que leamos el capítulo 10.7.1 en el PRML de Bishop o veamos la videolectura de Minka . Después de eso, la respuesta no es tan clara.

2^{N}

$2^N$

— Alexey Zaytsev

@Alexey Creo que la lógica detrás de esto es diferente. El autor describe lo que sucede si usa la propagación de creencias, para enfatizar algunas dificultades cuando es grande, y luego promueve su "propagación de expectativas". Menciona que la propagación de creencias requiere el uso de una mezcla de gaussianos para el estado de creencia para que se complica cuando es grande. No se menciona la cantidad de operaciones requeridas sino la complejidad del estado de creencia para .

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

Tienes razón en que el periódico dice algo incorrecto. Ciertamente puede evaluar la distribución posterior de en una ubicación conocida utilizando operaciones . El problema es cuando quieres calcular momentos de la parte posterior. Para calcular la media posterior de exactamente, necesitaría operaciones. Este es el problema que el documento está tratando de resolver. $x$ $O(n)$ $x$ $2^N$

— Tom Minka
fuente

Se perdió el punto de que la distribución es una mezcla de gaussianos: cada muestra se distribuye según con probabilidad y como (distribución de desorden para , independiente de ) con probabilidad . $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

Deje ser la variable de indicador que indica que la muestra era sacar de la distribución desorden; por lo tanto, si es , indica que la muestra se extrajo de . Obviamente, si la muestra se extrajo de la distribución del desorden, su valor es irrelevante para la estimación de . $c_i$ $i$ $0$ $p(y|x)$ $x$

Es la presencia de los posibles estados conjuntos para estas variables indicadoras lo que causa el problema. $2^N$

— Dave
fuente

Sin embargo, podemos descartar variables adicionales de

, porque necesitamos obtener una solución posterior máxima del problema. Posterior para

tiene una forma clara, por lo que no estamos obligados a tener en cuenta los

estados actuales. Entonces, la pregunta es "¿Por qué necesitamos esta cantidad de cálculos en caso de que queramos encontrar una solución posterior máxima?"

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

— Alexey Zaytsev

La maximización necesita ser tomada sobre los estados para las variables

c

$c$

— Dave

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$