¿Por qué se utiliza el algoritmo de maximización de expectativas?

Por lo poco que sé, el algoritmo EM se puede usar para encontrar la probabilidad máxima cuando se establece en cero las derivadas parciales con respecto a los parámetros de la probabilidad, da un conjunto de ecuaciones que no se pueden resolver analíticamente. Pero, ¿es necesario el algoritmo EM en lugar de utilizar alguna técnica numérica para tratar de encontrar un máximo de probabilidad con respecto a la restricción del conjunto de ecuaciones mencionadas?

La pregunta es legítima y tuve la misma confusión cuando aprendí el algoritmo EM.

En términos generales, el algoritmo EM define un proceso iterativo que permite maximizar la función de probabilidad de un modelo paramétrico en el caso de que algunas variables del modelo estén (o sean tratadas como) "latentes" o desconocidas.

En teoría, para el mismo propósito, puede usar un algoritmo de minimización para encontrar numéricamente el máximo de la función de probabilidad para todos los parámetros. Sin embargo, en una situación real, esta minimización sería:

1. mucho más computacionalmente intensivo
2. menos robusto

Una aplicación muy común del método EM es ajustar un modelo de mezcla. En este caso, considerando la variable que asigna cada muestra a uno de los componentes como variables "latentes", el problema se simplifica enormemente.

Veamos un ejemplo. Tenemos N muestras extraídas de una mezcla de 2 distribuciones normales. Para encontrar los parámetros sin EM debemos minimizar:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Por el contrario, usando el algoritmo EM, primero "asignamos" cada muestra a un componente ( paso E ) y luego ajustamos (o maximizamos la probabilidad de) cada componente por separado ( paso M ). En este ejemplo, el paso M es simplemente una media ponderada para encontrar y σ k . Iterar sobre estos dos pasos es una forma más simple y robusta de minimizar : log L ( x , θ ) .$\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

$X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$. Luego repita estos pasos hasta que el método converja en algún valor que será su estimación.

Si necesita más información sobre el método, sus propiedades, pruebas o aplicaciones, solo eche un vistazo al artículo Wiki correspondiente .

EM se usa porque a menudo es inviable o imposible calcular directamente los parámetros de un modelo que maximiza la probabilidad de un conjunto de datos dado ese modelo.