Derivando el algoritmo K-means como límite de Maximización de Expectativas para Mezclas Gaussianas

Christopher Bishop define el valor esperado de la función de probabilidad de registro de datos completos (es decir, suponiendo que se nos dan tanto los datos observables X como los datos latentes Z) de la siguiente manera:

\begin{matrix} (1) & E_{Z} [\ln p (X, Z ∣ μ, Σ, π)] = \sum_{n = 1}^{N} \sum_{k = 1}^{K} γ (z_{n k}) {\ln π_{k} + \ln N (x_{n} ∣ μ_{k}, Σ_{k})} \end{matrix}

$\mathbb{E}_\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})\{\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\} \tag 1$

donde se define como: $\gamma(z_{nk})$

\begin{matrix} (2) & \frac{π_{k} N (x_{n} ∣ μ_{k}, Σ_{k})}{\sum_{j = 1}^{K} π_{j} N (x_{n} ∣ μ_{j}, Σ_{j})} \end{matrix}

$\frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2$

La idea, como se describe, es considerar un modelo de mezcla gaussiana en el que las matrices de covarianza de los componentes de la mezcla estén dadas por $\epsilon \textbf{I}$ , donde $\epsilon$ es un parámetro de varianza compartido por todos los componentes, como ese:

\begin{matrix} (3) & p (x ∣ μ_{k}, Σ_{k}) = \frac{1}{(2 π ϵ)^{\frac{M}{2}}} \exp {- \frac{1}{2 ϵ} ‖ x - μ_{k} ‖^{2}} \end{matrix}

$p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big\{{-\frac{1}{2 \epsilon} \|\textbf x - \boldsymbol \mu_k\|^2}\big\} \tag 3$

entonces, $\gamma(z_{nk})$ ahora se define como:

\begin{matrix} (4) & \frac{π_{k} \exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- ‖ x_{n} - μ_{j} ‖^{2} / 2 ϵ}} \end{matrix}

$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}} \tag 4$

El argumento ahora es el siguiente:

si consideramos el límite , vemos que en el denominador el término para el cual es el más pequeño, irá a cero más lentamente y, por lo tanto, las responsabilidades para el punto de datos irán a cero, excepto para el término j, para lo cual la responsabilidad irá a la unidad. Por lo tanto, en este límite, obtenemos una asignación difícil de puntos de datos a grupos, al igual que en el algoritmo medias, de modo que $\epsilon \to 0$ $\| \textbf x_n - \boldsymbol \mu_j\|^2$ $\gamma(z_{nk})$ $\textbf x_n$ $\gamma(z_{nk})$ $K$ $\gamma(z_{nk}) \to r_{nk}$

donde se define como: $r_{nk}$

\begin{matrix} (5) & f (n) = {\begin{cases} 1 & if k = arg {min}_{j} ‖ x_{n} - μ_{j} ‖^{2} \\ 0 & otherwise \end{cases} \end{matrix}

$\begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j \|\textbf x_n - \boldsymbol \mu_j\|^2\\ 0 & \text{otherwise}\\ \tag 5 \end{cases} \end{equation*}$

Mi pregunta es ¿cómo se sostiene el argumento anterior? A saber, ¿qué significa que un término vaya a cero ? ¿Y cómo llevar el límite en la ecuación resulta en una responsabilidad binaria? $\textbf{most slowly}$ $\epsilon \to 0$ $4$

— BitRiver
fuente

Cuando llega a cero, va a cero para todas las 's pero a diferentes velocidades dependiendo de , la más pequeña luego reúne todo el peso en el límite.

ϵ

$\epsilon$

\exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ} = \exp {- δ_{n} / ϵ}

$\exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}=\exp\{-\delta_n/\epsilon\}$

n

$n$

δ_{n}

$\delta_n$

δ_{n}

$\delta_n$

— Xi'an

(explicación adicional) Si toma como el más , puede reescribir todos los términos como , lo que significa que todos los términos van a cero con excepto uno, aquel para el cual .

δ^{*}

$\delta^*$

δ_{n}

$\delta_n$

\exp {(δ^{*} - δ_{n}) / ϵ}

$\exp\{(\delta^*-\delta_n)/\epsilon\}$

ϵ

$\epsilon$

δ^{*} - δ_{n} = 0

$\delta^*-\delta_n=0$

— Xi'an

@ Xi'an ¿Te gustaría dar más detalles? ¿A qué te refieres con "el más entonces reúne todo el peso en el límite"? ¿Y cómo se evalúa a la unidad el término para el que = 0? Quiero decir, el numerador es 0, ¿verdad?

δ_{n}

$\delta_n$

δ^{*} - δ_{n}

$\delta^* - \delta_n$

— BitRiver

Escribamos Entonces Si tomamos tenemos donde excepto para donde

‖ x_{n} - μ_{k} ‖^{2} = δ_{k} .

$\|\textbf x_n - \boldsymbol \mu_k\|^2=\delta_k\,.$

\frac{π_{k} \exp {- ‖ x_{n} - μ_{k} ‖^{2} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- ‖ x_{n} - μ_{j} ‖^{2} / 2 ϵ}} = \frac{π_{k} \exp {- δ_{k} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- δ_{j} / 2 ϵ}}

$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}}=\frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}$

δ^{*} = min_{n} δ_{n},

$\delta^*=\min_n\delta_n\,,$

\begin{aligned} \frac{π_{k} \exp {- δ_{k} / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {- δ_{j} / 2 ϵ}} & = \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} \end{aligned}

$\begin{align*} \frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}&=\frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}} \end{align*}$

δ^{*} - δ_{k} < 0

$\delta^*-\delta_k<0$

k = k^{*}

$k=k^*$

δ^{*} - δ_{k^{*}} = 0

$\delta^*-\delta_{k^*}=0$ . Entonces, para todos , ya que, para , while

k \neq k^{*}

$k\ne k^*$

lim_{ϵ \to 0} \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = lim_{ϵ \to 0} \frac{π_{k} \exp {(δ^{*} - δ_{k}) / 2 ϵ}}{π_{k^{*}} + \sum_{j \neq k^{*}} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = 0

$\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=0$

a > 0

$a>0$

lim_{ϵ \to 0} \exp {- a / ϵ} = 0

$\lim_{\epsilon\to 0}\exp\{-a/\epsilon \}=0$

lim_{ϵ \to 0} \frac{π_{k^{*}} \exp {(δ^{*} - δ_{k^{*}}) / 2 ϵ}}{\sum_{j = 1}^{K} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = lim_{ϵ \to 0} \frac{π_{k^{*}} \times 1}{π_{k^{*}} + \sum_{j \neq k^{*}} π_{j} \exp {(δ^{*} - δ_{j}) / 2 ϵ}} = 1

$\lim_{\epsilon\to 0} \frac{\pi_{k^*} \exp\{(\delta^*- \delta_{k^*})/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_{k^*} \times 1}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=1$

— Xi'an
fuente