El límite de la información mutua da límites a la información mutua puntual

Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente. $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

La información mutua entre e se define como: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

es decir, es el valor promedio de la información mutua puntual pmi . $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

Supongamos que conozco los límites superior e inferior en pmi : es decir, sé que para todo cumple lo siguiente: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

¿Qué límite superior implica esto en $I(X; Y)$ . Por supuesto, implica $I(X; Y) \leq k$ , pero me gustaría un límite más estricto si es posible. Esto me parece plausible porque p define una distribución de probabilidad, y pmi $(x,y)$ no puede tomar su valor máximo (o incluso no ser negativo) para cada valor de $x$ e $y$ .

entropy mutual-information information-theory

— Florian
fuente

Cuando las probabilidades conjuntas y marginales son uniformes, pmi (

x

$x$ ,

y

$y$ ) es uniformemente cero (y, por lo tanto, no negativo, aparentemente contradiciendo su último enunciado, pero apenas). Me parece, si no me equivoco, que perturbar esta situación en pequeños subconjuntos de

X \times Y

$X \times Y$ indica que los límites en pmi no dicen casi nada sobre

I (X; Y)

$I(X;Y)$ sí.

— whuber

De hecho, si

X

$X$ e

Y

$Y$ son independientes, entonces

p m i (x, y)

$\mathrm{pmi}(x,y)$ es constante, independientemente de las distribuciones marginales. Entonces, hay una clase completa de distribuciones

p (x, y)

$p(x,y)$ para la cual

p m i (x, y)

$\mathrm{pmi}(x,y)$ obtiene su valor máximo para cada

x

$x$ e

y

$y$ .

— cardenal

Sí, es cierto que pmi puede ser igual para todas las e , pero eso no descarta un límite más estricto. Por ejemplo, no es difícil demostrar que . Esto es cuando , y es un fortalecimiento no trivial del límite cuando . Me pregunto si hay límites no triviales que se mantienen de manera más general.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

Dudo que obtenga un mejor límite que para . Si desea mirar más detenidamente, intente reformular su pregunta en términos de la divergencia KL entre p (x) p (y) y p (x, y). La desigualdad de Pinsker proporciona un límite inferior en el MI que podría confirmar mi presentimiento. Consulte también la Sección 4 de ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Respuestas:

Mi contribución consiste en un ejemplo. Ilustra algunos límites sobre cómo se puede limitar la información mutua dados los límites de la información mutua puntual.

Tome y para todos los . Para cualquier sea la solución a la ecuación Luego colocamos la masa de punto en puntos en el espacio del producto de tal manera que haya de estos puntos en cada fila y cada columna. (Esto se puede hacer de varias maneras. Comience, por ejemplo, con los primeros puntos en la primera fila y luego complete las filas restantes desplazando la $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ señala uno a la derecha con una condición de límite cíclico para cada fila). Colocamos la masa puntual en los puntos restantes . La suma de estas masas puntuales es por lo que dan una medida de probabilidad. Todas las probabilidades de puntos marginales son entonces ambas distribuciones marginales son uniformes.

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Por la construcción, está claro que para todo , y (después de algunos cálculos) con la información mutua se comporta como para y como para . $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
fuente

No estoy seguro de si esto es lo que está buscando, ya que es principalmente algebraico y no aprovecha las propiedades de p como una distribución de probabilidad, pero aquí hay algo que puede probar.

Debido a los límites en pmi, claramente y por lo tanto . Podemos sustituir en para obtener $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

No estoy seguro de si eso es útil o no.

EDITAR: Tras una revisión adicional, creo que esto es realmente menos útil que el límite superior original de k. Sin embargo, no eliminaré esto en caso de que pueda insinuar un punto de partida.

— Michael McGowan
fuente

El valor de este límite se hace evidente después de que nota y (desde ) que .

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

Sí, cuando me di cuenta de que hice mi edición.

— Michael McGowan