Preguntas etiquetadas con it.information-theory

¿Cuáles son sus ejemplos favoritos donde la teoría de la información se usa para probar una declaración combinatoria ordenada de una manera simple? Algunos ejemplos que se me ocurren se relacionan con los límites para disminuir localmente códigos descifrables, por ejemplo, en este documento: supongamos que para un montón de …

54 co.combinatorics  big-list  it.information-theory 

Hablando informalmente, la complejidad de Kolmogorov de una cadena es la longitud de un programa más corto que genera x . Podemos definir una noción de 'cadena aleatoria' usándola ( x es aleatoria si K ( x ) ≥ 0.99 | x | ) Es fácil ver que la mayoría …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

Esta pregunta se le hizo a Jeannette Wing después de su presentación PCAST sobre informática. “Desde una perspectiva física, ¿hay un volumen máximo de información que podamos tener?” (Una buena pregunta desafiante para la comunidad teórica de la informática ya que creo que plantea la pregunta “¿Qué es la información?”) …

33 it.information-theory  physics 

La complejidad del prefijo de Kolmogorov (es decir, K(x)K(x)K(x) es el tamaño del programa mínimo de auto delimitación que genera xxx ) tiene varias características agradables: Corresponde a una intuición de dar cadenas con patrones o estructura de menor complejidad que las cadenas sin ellas. Que nos permite definir la …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

Estoy buscando códigos de corrección de errores del siguiente tipo: códigos binarios con tasa constante, decodificable a partir de una fracción constante de errores, por un decodificador implementable como un circuito booleano de tamaño , donde es la longitud de codificación.O ( N)O(norte)O(N)nortenorteN Algunos antecedentes: Spielman, en códigos de corrección …

27 co.combinatorics  it.information-theory  coding-theory 

El código de Huffman para una distribución de probabilidad ppp es el código de prefijo con la longitud de palabra de código promedio ponderada mínima ∑piℓi∑piℓi\sum p_i \ell_i , donde ℓiℓi\ell_i es la longitud de la iii ésima palabra de código. Es un teorema bien conocido que la longitud promedio …

21 optimization  it.information-theory  coding-theory 

En la teoría de la información cuántica, la distancia entre dos canales cuánticos a menudo se mide utilizando la norma del diamante. También hay varias formas de medir la distancia entre dos estados cuánticos, como la distancia de rastreo, la fidelidad, etc. El isomorfismo de Jamiołkowski proporciona una dualidad entre …

19 quantum-computing  it.information-theory  quantum-information 

La complejidad de la información ha sido una herramienta muy útil en la complejidad de la comunicación, utilizada principalmente para reducir la complejidad de la comunicación de los problemas distribuidos. ¿Existe un análogo de la complejidad de la información para la complejidad de la consulta? Hay muchos paralelos entre la …

15 it.information-theory  communication-complexity  query-complexity 

Al implementar un filtro Bloom, el enfoque tradicional requiere múltiples funciones hash independientes. Kirsch y Mitzenmacher demostraron que en realidad solo necesitas dos, y puedes generar el resto como combinaciones lineales de los mismos. Mi pregunta es: ¿cuál es realmente la diferencia entre dos funciones hash y una con el …

15 ds.data-structures  it.information-theory  hash-function 

La mayoría de nosotros estamos familiarizados, o al menos hemos oído hablar, de la entropía de Shannon de una variable aleatoria, H(X)=−E[logp(X)]H(X)=-mi[Iniciar sesión⁡pag(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , y todas las medidas teóricas relacionadas con la información, como la entropía relativa, información mutua, etc. Hay algunas otras medidas de …

14 it.information-theory  quantum-information 

Lema: Suponiendo equivalencia eta tenemos eso (\x -> ⊥) = ⊥ :: A -> B. Prueba: ⊥ = (\x -> ⊥ x)por equivalencia eta y (\x -> ⊥ x) = (\x -> ⊥)por reducción bajo la lambda. El informe Haskell 2010, sección 6.2 especifica la seqfunción mediante dos ecuaciones: seq …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Últimamente he estado tratando con algoritmos relacionados con la compresión, y me preguntaba cuál es la mejor relación de compresión que puede lograrse mediante la compresión de datos sin pérdida. Hasta ahora, la única fuente que pude encontrar sobre este tema fue Wikipedia: La compresión sin pérdida de datos digitalizados …

14 it.information-theory  data-streams 

El popular algoritmo DEFLATE utiliza la codificación Huffman sobre Lempel-Ziv. En general, si tenemos una fuente de datos aleatoria (= entropía de 1 bit / bit) , es probable que ninguna codificación, incluida Huffman, la comprima en promedio. Si Lempel-Ziv fuera "perfecto" (que se acerca a la mayoría de las …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

Hay investigadores que muestran que el bit de borrado tiene que consumir energía, ¿hay alguna investigación sobre el consumo promedio de energía del algoritmo con complejidad computacional ? Supongo que la complejidad computacional está correlacionada con el consumo promedio de energía, espero poder obtener alguna respuesta aquí.F(n)F(n)F(n)F(n)F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

Digamos que tenemos una función f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} , de modo que ∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1 (por lo que podemos pensar en como una distribución). Es natural definir la entropía de dicha función de la siguiente manera: {f(x)2}x∈Zn2{f(x)2}x∈Z2n\{ f(x)^2\} _{x\in \mathbb{Z}_2^n}H(f)=−∑x∈Zn2f(x)2log(f(x)2).H(f)=−∑x∈Z2nf(x)2log⁡(f(x)2).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x)^2 \log …

12 it.information-theory  boolean-functions  fourier-analysis