¿Una conversación con la desigualdad de Fano?

10

La desigualdad de Fano puede expresarse de muchas formas, y una particularmente útil se debe (con una modificación menor) a Oded Regev :

Sea una variable aleatoria, y sea donde es un proceso aleatorio. Suponga la existencia de un procedimiento que dado puede reconstruir con probabilidad . Entonces $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

En otras palabras, si puedo reconstruir, hay mucha información mutua en el sistema.

¿Hay un "inverso" a la desigualdad de Fano: algo de la forma

"Dado un canal con suficiente información mutua, existe un procedimiento para reconstruir la entrada de la salida con error que depende de la información mutua"

Sería demasiado esperar que este procedimiento también fuera eficiente, pero también sería interesante ver ejemplos (naturales) donde existe la reconstrucción pero debe ser ineficiente.

it.information-theory randomized-algorithms

— Suresh Venkat
fuente

12

Considere el siguiente procedimiento de reconstrucción : dado , salida tal que se maximiza. La probabilidad de que este procedimiento tenga éxito es . Esto también es , donde es la entropía mínima de la variable aleatoria condicionada en . Sabemos que , donde es la entropía de Shannon estándar de la variable aleatoria . Ahora solo tenemos que hacer un límite superior $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ en términos de la información mutua . $I(X:Y)$

Escriba . Usando la desigualdad mencionada anteriormente, , o . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

La probabilidad de que el procedimiento tenga éxito donde e se eligen al azar es , que por concavidad es al menos . Por lo tanto, la probabilidad de que el procedimiento tenga éxito es al menos . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Este procedimiento es óptimo: dado cualquier procedimiento de aleatoriedad , la probabilidad de éxito es , que se maximiza puntualmente cuando genera de manera determinista la más probable . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
fuente

1

Entonces, ¿hay una declaración cuantitativa que sea inversa de la desigualdad de Fano que se sigue de este argumento?

— mobius dumpling

¿Qué quieres decir con cuantitativo? El argumento que mencioné anteriormente debería decir: "Dado un canal con información mutua , hay un procedimiento de reconstrucción con error como máximo ".

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Buena respuesta y prueba. Entonces, el límite en su respuesta también puede reescribirse ya que por definición. Esto apareció en IEEE ISIT 1994, en una charla de Baumer, que yo sepa.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

En una línea similar, uno puede obtener donde es la entropía de Renyi de ordenAquí, por lo que el límite (2) es más estricto que (1).

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
fuente