¿Cómo probar esta desigualdad de la mezcla gaussiana? (Ajuste / sobreajuste)

Sea f [x] una mezcla de Gauss pdf con n términos de peso uniforme, significa $\{\mu_{1},...,\mu_{n}\}$ , y las variaciones correspondientes $\{\sigma_{1},...,\sigma_{n}\}$ :

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i}^{2}}} e^{- \frac{(x - μ_{i})^{2}}{2 σ_{i}^{2}}}

$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$

Parece intuitivo que la probabilidad logarítmica muestreada en los n centros gaussianos sería mayor que (o igual a) la probabilidad logarítmica media:

\frac{1}{n} \sum_{j = 1}^{n} l n (f (μ_{j})) \geq \int f (x) l n (f (x)) d x

$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$

Esto es obviamente cierto para pequeñas variaciones (cada $\mu_{i}$ está encima de un gaussiano estrecho) y para variaciones muy grandes (todos los $\mu_{i}$ están encima de un amplio Gaussiano juntos), y ha sido cierto para cada conjunto de $\mu_i$ 's y $\sigma_i$ He generado y optimizado, pero no puedo entender cómo demostrar que siempre es cierto. ¿Ayuda?

machine-learning gaussian-mixture

— Jerry Guern
fuente

¿Probablemente te estás perdiendo una expectativa sobre el lhs?

— lacerbi

@lacerbi No, no lo soy. No falta nada. En el LHS, el

f (x)

$f(x)$ se evalúa en el indexado

x_{i}

$x_i$ 's

— Jerry Guern

Sí, lo siento, tenía demasiado sueño y leí mal la definición.

— lacerbi

Respuestas:

Este es más un comentario extendido, así que tómalo como tal. Definir:

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} N (x | x_{i}, σ_{i}^{2})

$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$ (Estoy usando la notación estándar para distribuciones gaussianas).

Quieres probar que:

\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i}) - \int f (x) \log f (x) d x \geq 0

$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$ cual es

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq 0.

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$

Debido a la desigualdad de Jensen (véase, por ejemplo, Huber et al., On Entropy Approximation for Gaussian Mixture Random Vectors, 2008 ),

H [f] \geq - \frac{1}{n} \sum_{i = 1}^{n} \log \int f (x) N (x | x_{i}, σ_{i}^{2}) d x = - \frac{1}{n} \sum_{i = 1}^{n} \log g_{i} (x_{i})

$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$ con

g_{i} (x) \equiv \frac{1}{n} \sum_{j = 1}^{n} N (x | x_{j}, σ_{i}^{2} + σ_{j}^{2})

$g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$ , que proviene de la convolución de dos densidades gaussianas. Entonces obtenemos:

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq \frac{1}{n} \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g_{i} (x_{i})} .

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$ Curiosamente, el

g_{i}

$g_i$ siguen siendo mezclas de gaussianos con medios componentes iguales a los de

f

$f$ , pero cada componente de

g_{i}

$g_i$ tiene una varianza estrictamente mayor que su componente correspondiente en

f

$f$ . ¿Puedes hacer algo con esto?

— lacerbi
fuente

Gracias. Parece que habría demostrado que el RHS final es> = 0, lo que también parece intuitivo pero difícil de probar, pero este es realmente un paso en la dirección correcta. He visto ese papel antes.

— Jerry Guern

Es tentador pensar que el RHS final siempre es positivo, pero tampoco puedo probarlo.

— Jerry Guern

Creo que lo tengo. Solo toma pasos elementales, aunque debe combinarlos correctamente.

Vamos a denotar por $f_i$ la densidad de $i$ -th Gaussian, eso es $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

Comenzamos con la desigualdad de Jensen. La función $g(x) = x log(x)$ es convexo, por lo tanto tenemos: $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$ . Después de integrar obtenemos:

\int f (x) \log (f (x)) d x \leq \frac{1}{n} \sum_{i = 1}^{n} \int f_{i} (x) \log (f_{i} (x)) d x

$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$ Editar: la desigualdad a continuación es incorrecta y también lo es la solución en sí

Ahora el RHS. Para todos $i$ tenemos $f \geq f_i$ , entonces:

l o g (f (μ_{i})) \geq l o g (f_{i} (μ_{i}))

$log(f(\mu_i)) \geq log(f_i(\mu_i))$ Por lo tanto:

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$ Nos queda por demostrar:

\frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} f_{i} (x) \log (f_{i} (x))

$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$ Pero tenemos:

l o g (f_{i} (μ_{i})) = \int f_{i} (x) l o g (f_{i} (μ_{i})) d x \geq \int f_{i} (x) l o g (f_{i} (x)) d x

$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$ Resumiendo

i

$i$ y dividiendo por

n

$n$ obtenemos lo que necesitábamos

— sjm.majewski
fuente

Estoy confundido. Definiste ag (x) pero nunca lo usaste, y no sé qué significa tu f_i.

— Jerry Guern

Agregué la definición de

f_{i}

$f_i$ , Lo siento por eso. yo suelo

g

$g$ solo por la desigualdad de Jensen, eso es

g (\frac{1}{n} \sum_{i = 1}^{n} f_{i} (x)) \leq \frac{1}{n} \sum_{i = 1}^{n} g (f_{i} (x))

$g(\frac{1}{n}\sum_{i=1}^n f_i(x)) \leq \frac{1}{n}\sum_{i=1}^n g(f_i(x))$

— sjm.majewski 01 de

Usted declara que

f >= f_{i}

$f>=f_i$ solo es correcto si el

1 / n

$1/n$ el peso es parte de la definición de

f_{i}

$f_i$ pero no lo es, y agregarlo nuevamente en mal estado es la primera parte de su prueba.

— Jerry Guern

Esta afirmación no es correcta:

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

— Jerry Guern

Sí, me di cuenta ayer. Parece que esta desigualdad es bastante difícil, dejaré mi respuesta de todos modos con una edición.

— sjm.majewski