Estime la divergencia de Kullback Leibler (KL) con monte carlo

9

Quiero estimar la divergencia KL entre dos distribuciones continuas f y g. Sin embargo, no puedo escribir la densidad para f o g. Puedo tomar muestras de f y g a través de algún método (por ejemplo, markov chain monte carlo).

La divergencia KL de f a g se define así

{re}_{K L} (F El | El | sol) = \int_{- \infty}^{\infty} F (X) Iniciar sesión (\frac{F (X)}{sol (X)}) re X

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

Esta es la expectativa de con respecto a f para que puedas imaginar alguna estimación de monte carlo $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Donde i indexa N muestras extraídas de f (es decir, para i = 1, ..., N) $x_i \sim f()$

Sin embargo, como no sé f () yg (), ni siquiera puedo usar esta estimación de Monte Carlo. ¿Cuál es la forma estándar de estimar el KL en esta situación?

EDITAR: NO conozco la densidad no normalizada para f () o g ()

kullback-leibler

— Frelk
fuente

¿Has considerado usar los ecdfs?

— Toby

esto funcionará, pero puede ser arbitrariamente lento para la difícil elección de fyg (cerrar o cerrar colas). Si decide ignorar las muestras lejos de las colas, entonces podría tener más suerte con el límite superior del roc.

— 2017

Esencialmente un duplicado: stats.stackexchange.com/questions/211175/…

— kjetil b halvorsen

6

Aquí supongo que solo puede tomar muestras de los modelos; una función de densidad no normalizada no está disponible.

Tu escribes eso

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

donde he definido la razón de probabilidades para ser . Alex Smola escribe, aunque en un contexto diferente que puede estimar estas proporciones "fácilmente" simplemente entrenando a un clasificador. Supongamos que ha obtenido un clasificador , que puede indicarle la probabilidad de que haya generado una observación . Tenga en cuenta que . Entonces: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

donde el primer paso se debe a Bayes y el último se deduce de la suposición de que . $p(g) = p(f)$

Obtener un clasificador de este tipo puede ser bastante fácil por dos razones.

Primero, puedes hacer actualizaciones estocásticas. Eso significa que si está utilizando un optimizador basado en gradiente, como es típico para la regresión logística o las redes neuronales, simplemente puede extraer muestras de cada $f$ y y hacer una actualización. $g$

En segundo lugar, dado que tiene datos prácticamente ilimitados, puede simplemente muestrear y hasta la muerte, no tiene que preocuparse por el sobreajuste o similares. $f$ $g$

— bayerj
fuente

6

Supongo que puede evaluar y hasta una constante de normalización. Denote y $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$ .

Un estimador consistente que puede usarse es , donde

\hat{{re}_{K L}} (F El | El | sol) = {[{norte}^{- 1} \sum_{j} F_{tu} (X_{j}) / / π_{F} (X_{j})]}^{- 1} \frac{1}{norte} \sum_{yo}^{norte} [Iniciar sesión (\frac{F_{tu} (z_{yo})}{{sol}_{tu} (z_{yo})}) \frac{F_{tu} (z_{yo})}{π_{r} (z_{yo})}] - Iniciar sesión (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

es un estimador de muestreo importante para la relación

. Aquí usa

y

como densidades instrumentales para

y

respectivamente, y

para apuntar a la relación logarítmica de densidades no normalizadas.

\begin{matrix} (1) & \hat{r} = \frac{1 / / norte}{1 / / norte} \frac{\sum_{j} F_{tu} (X_{j}) / / π_{F} (X_{j})}{\sum_{j} {sol}_{tu} (y_{j}) / / π_{sol} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

Deje que , , y . El numerador de (1) converge a . El denominador converge a $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$ . La relación es consistente por el teorema de mapeo continuo. El registro de la relación es consistente mediante el mapeo continuo nuevamente.

En cuanto a la otra parte del estimador, por la ley de los grandes números.

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

Mi motivación es la siguiente:

Así que solo lo rompo en pedazos manejables.

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + Iniciar sesión [\frac{C_{sol}}{C_{F}}]} re X \\ = {mi}_{F} [Iniciar sesión \frac{F_{tu} (X)}{{sol}_{tu} (X)}] + Iniciar sesión [\frac{C_{sol}}{C_{F}}] \\ = C_{F}^{- 1} {mi}_{π_{r}} [Iniciar sesión \frac{F_{tu} (X)}{{sol}_{tu} (X)} \frac{F_{tu} (X)}{π_{r} (X)}] + Iniciar sesión [\frac{C_{sol}}{C_{F}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$

Para obtener más ideas sobre cómo simular la razón de probabilidad, encontré un artículo que tiene algunas: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Taylor
fuente

(+1) Vale la pena señalar aquí que el muestreo de importancia puede tener una varianza extremadamente alta (incluso una varianza infinita) si la distribución objetivo tiene colas más gruesas que la distribución de la que está muestreando y / o el número de dimensiones es en general grande.

— David J. Harris

@ DavidJ.Harris muy muy cierto

— Taylor

0

Además del método clasificador probabilístico mencionado por @bayerj, también puede usar el límite inferior de la divergencia KL derivada en [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

$f$ $g$ $T(x)$

Referencias

[1] Nguyen, X., Wainwright, MJ y Jordan, MI, 2010. Estimación de las funciones de divergencia y la razón de probabilidad por minimización convexa del riesgo. IEEE Transactions on Information Theory, 56 (11), pp.5847-5861.

[2] Nowozin, S., Cseke, B. y Tomioka, R., 2016. f-gan: Capacitación de muestreadores neuronales generativos utilizando minimización de divergencia variacional. En Avances en sistemas de procesamiento de información neuronal (pp. 271-279).

— Cuong
fuente