¿La utilidad de las entropías de Renyi?

14

La mayoría de nosotros estamos familiarizados, o al menos hemos oído hablar, de la entropía de Shannon de una variable aleatoria, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ , y todas las medidas teóricas relacionadas con la información, como la entropía relativa, información mutua, etc. Hay algunas otras medidas de entropía que se usan comúnmente en la informática teórica y la teoría de la información, como la entropía mínima de una variable aleatoria.

He comenzado a ver estas llamadas entropías de Renyi con más frecuencia mientras navego por la literatura. Ellos generalizan la entropía de Shannon y la entropía mínima, y de hecho proporcionan un espectro completo de medidas entrópicas de una variable aleatoria. Trabajo principalmente en el área de información cuántica, donde la versión cuántica de la entropía de Renyi también se considera con bastante frecuencia.

Lo que realmente no entiendo es por qué son útiles. He oído que a menudo son más fáciles de trabajar analíticamente que decir entropía o minentropía de Shannon / von Neumann. Pero también pueden relacionarse con la entropía / min-entropía de Shannon.

¿Alguien puede proporcionar ejemplos (clásicos o cuánticos) de cuando usar las entropías de Renyi es "lo correcto"? Lo que estoy buscando es un "gancho mental" o "plantilla" para saber cuándo podría querer usar las entropías de Renyi.

¡Gracias!

it.information-theory quantum-information

— Henry Yuen
fuente

Anexo a mi respuesta: Parece que hay una definición probabilística de la entropía q-Renyi (

) i, e

q \in Z^{+}

$q \in \mathbb{Z}^+$

. Entonces

y esto RHS es llamado el `` Shannon Entropy" Se define también el otro límite es decir.

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

. Estas ideas parecen haber encontrado usos en la construcción de expansores como se ve aquí, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MYPAPERS/CRVW01/crvw01.pdf, arxiv. org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Considerar tratando de hacer conjeturas atómicas para una variable aleatoria desconocida distribuidos en un conjunto finito En la entropía de Shannon, se supone que puede consultar bit por bit, es decir, si puede preguntar: $X$ $A.$ $A=\{1,\ldots,N\}$

¿Es ? $X\in \{1,\ldots,N/2\}$ (asuma incluso o use las funciones de piso / techo) $N$

En criptografía y algunos escenarios de decodificación esto no es realista. Intentando adivinar una contraseña desconocida necesita hacer consultas atómicas, es decir, preguntar si es un valor específico. $X$

Resulta que el número esperado de consultas para adivinar una variable aleatoria luego depende estrechamente de la entropía de Renyi de orden También lo hacen algunos momentos más altos. Por ejemplo $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

y el numerador es esencialmente el logaritmo de la entropía de Renyi de orden También se puede hacer que la entropía de Shannon sea muy grande, mientras que la entropía de Renyi y la expectativa del número de conjeturas es muy pequeña. Si confiaras en la entropía de Shannon por seguridad, estarías en problemas en ese caso. $1/2.$

Consulte también la pregunta relacionada Adivinar un valor de entropía bajo en múltiples intentos

Algunas referencias:

JO Pliam, Sobre la incompatibilidad de la entropía y las conjeturas marginales en los ataques de fuerza bruta. INDOCRYPT 2000: 67-79
E. Arikan, Una desigualdad en adivinar y su aplicación a la decodificación secuencial. IEEE Transactions on Information Theory 42 (1): 99-105,1996.
S. Boztas, Sobre las entropías de Renyi y sus aplicaciones para adivinar ataques en criptografía, Transacciones IEICE sobre Fundamentos de Electrónica, Comunicaciones y Ciencias de la Computación 97 (12): 2542-2548, 2014.

— kodlu
fuente

No puedo acceder a este documento de S.Boztas. ¿Tienes un enlace de acceso público?

— Anirbit

@Anirbit vea el repositorio de investigación RMIT, researchbank.rmit.edu.au

— kodlu

He buscado a través de ese enlace. Solo me llevó en círculos. ¡Nunca encontré un archivo pdf accesible al público!

— Anirbit

@Anirbit, lo siento, ¡pensé que realmente estaba depositado allí!

— kodlu

18

La entropía de Renyi es análoga, en cierto sentido, a las normas , así que primero recordemos por qué esas normas son útiles. $\ell_p$

Supongamos que tenemos un vector de números . Queremos tener un solo número que represente, en cierto sentido, cómo se ve el elemento típico de . $a \in \mathbb{R}^n$ $a$

Una forma de hacerlo es tomar el promedio de los números en , que corresponde aproximadamente a la norma : . Esto a menudo es útil, pero para algunas aplicaciones tiene los siguientes problemas: Primero, la norma no nos da un buen límite superior en el elemento más grande de , porque si hay un solo elemento grande y muchos ceros, el norma será significativamente más pequeña que el elemento más grande. Por otro lado, el $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ norma también no nos da una buena cota lo pequeño que los elementos de son, por ejemplo, el número de ceros cuenta - este problema se produce exactamente en la misma situación que antes. $a$ $a$

Por supuesto, cuando los elementos de tienen mucha varianza, como en el escenario extremo anterior, ningún número puede resolver los dos problemas anteriores. Tenemos un compromiso. Por ejemplo, si solo queremos conocer el elemento más grande, podemos usar la norma , pero luego perderemos toda la información sobre los elementos más pequeños. Si queremos el número de ceros, podemos mirar la norma , que es solo el tamaño del soporte de . $a$ $\ell_\infty$ $\ell_0$ $a$

Ahora, la razón para considerar las normas es que nos dan todo el equilibrio continuo entre los dos extremos. Si queremos más información sobre los elementos grandes, consideramos que es más grande y viceversa. $\ell_p$ $p$

Lo mismo ocurre con las entropías de Renyi: la entropía de Shanon es como la norma : nos dice algo sobre la probabilidad "típica" de un elemento, pero nada sobre la varianza o los extremos. La entropía mínima nos da información sobre el elemento con la mayor probabilidad, pero pierde toda la información sobre el resto. El tamaño del soporte da el otro extremo. Las entropías de Renyi nos dan una compensación continua entre los dos extremos. $\ell_1$

Por ejemplo, muchas veces la entropía Renyi-2 es útil porque está, por un lado, cerca de la entropía de Shanon, y por lo tanto contiene información sobre todos los elementos de la distribución, y por otro lado, brinda más información sobre los elementos con mayor probabilidad. En particular, se sabe que los límites de la entropía Renyi-2 dan límites a la entropía mínima, véase, por ejemplo, el Apéndice A aquí: http://people.seas.harvard.edu/~salil/research/conductors-prelim .PD

— O meir
fuente

11

La entropía de Renyi (de orden 2) es útil en criptografía para analizar la probabilidad de colisiones.

Recuerde que la entropía de Renyi de orden 2 de una variable aleatoria viene dada por $X$

H_{2} (X) = - {Iniciar sesión}_{2} \sum_{X} Pr [X = X]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

Resulta que nos permite medir la probabilidad de que dos valores dibujados en función de la distribución de sean iguales ("colisionar"): esta probabilidad es exactamente . Después de extraer veces de esta distribución, el número esperado de colisiones entre estos sorteos es . $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Estos hechos son útiles en la criptografía, donde las colisiones a veces pueden ser problemáticas y permitir ataques.

Para algunos análisis de otros usos en criptografía, recomiendo la siguiente tesis doctoral:

Christian Cachin. Medidas de entropía y seguridad incondicional en criptografía . Tesis doctoral, ETH Zurich, mayo de 1997.

— DW
fuente

¿Existe una definición probabilística tan directa de cualquier entropía q-Renyi? (Como puede ver en mi respuesta, la única forma en que sé definir esto en q arbitraria es mediante la definición de funciones de partición correspondientes a un sistema físico que se ha especificado a través de su Lagrangian o Hamiltonian o su acción)

— Anirbit

@ Anirbit, no sé. Ninguna que recuerde haber visto (aunque es posible que la entropía q-Renyi pueda llevar a límites en otros límites que nos interesan ...)

— DW

También parece que la "entropía de la información" parece ser básicamente la "entropía termodinámica". Entonces, incluso en (q = 1) -enentropía Renyi, es decir, entropía de enredo, hay una brecha conceptual sobre la interpretación compleja de la misma.

— Anirbit

- \infty

$-\infty$

@DW Parece haber una interpretación probabilística. Ve mi comentario sobre la pregunta original.

— Anirbit

3

Esta otra respuesta de stackexchange y esta publicación de blog pueden ser muy útiles para tener una idea rápida de un ejemplo básico,

Hablando en términos generales, las entropías de Renyi conocen los estados excitados de un sistema cuántico, pero la entropía de enredos conoce los estados fundamentales. ADVERTENCIA: Esta intuición podría ser terriblemente tosca, pero podría ser un buen "gancho mental": ¡DI estaría MUY feliz de saber de una manera mejor y precisa de decir esto!

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

Siempre hay muchos problemas sobre la existencia y la buena postura cuando uno intenta hacer estas continuaciones analíticas, pero para alguien como yo que se crió en una dieta diaria de integrales de ruta Feynman es un problema muy común con el que lidiar y nosotros tener muchas herramientas para abordar esto. Tres buenos documentos para analizar estos problemas son, http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (el último de estos documentos podría ser un punto de partida más fácil) Esta presentación también podría ayudar, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

¡Lo que dice la entropía de Renyi en términos de teoría de la complejidad cuántica podría ser una pregunta emocionante! ¿Se puede pensar que el índice de Renyi está parametrizando de alguna manera una jerarquía de clases de complejidad? ¡Eso debería ser divertido si es verdad! Déjame saber :)

— Anirbit
fuente

0

La entropía de Renyi ha encontrado su camino en las definiciones de flujo de información cuantitativa , un área o investigación de seguridad. Ver la encuesta de G. Smith .

— Kai
fuente