Preguntas etiquetadas con information-theory

En el trabajo, se me ha encomendado la tarea de inferir cierta información sobre un lenguaje dinámico. Reescribo secuencias de declaraciones en letexpresiones anidadas , así: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Al tratar de comprender las relaciones entre la codificación Huffman, la codificación aritmética y la codificación por rango, comencé a pensar en las deficiencias de la codificación Huffman en relación con el problema del empaquetado de bits fraccional . Es decir, suponga que tiene 240 valores posibles para un símbolo, …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

En la teoría de la codificación, "qué tan bueno es un código" significa cuántos errores de canal pueden corregirse, o mejor dicho, el nivel de ruido máximo con el que puede lidiar el código. Para obtener mejores códigos, los códigos están diseñados con un alfabeto grande (en lugar de uno …

10 information-theory  coding-theory 

El problema es probar o refutar la existencia de , st, ; ; d (c_i, c_j) \ geq2,1 \ leq i &lt;j \ leq32 . ( d significa distancia de hamming)CCC|c|=6,∀c∈C|c|=6,∀c∈C|c| = 6,\forall c\in C|C|=32|C|=32|C| = 32d(ci,cj)≥2,1≤i&lt;j≤32d(ci,cj)≥2,1≤i&lt;j≤32d(c_i,c_j)\geq2,1\leq i<j\leq32ddd Traté de construir un código satisfactorio. Lo mejor que puedo obtener es …

9 information-theory  coding-theory  encoding-scheme 

El requisito de que la codificación esté libre de prefijos da como resultado árboles grandes debido a que el árbol debe estar completo. ¿Existe un umbral en el que el almacenamiento no codificado de datos de longitud fija sería más eficiente que codificar los datos?

9 information-theory  data-compression 

Estoy leyendo un artículo que se refiere al límite cuando n va al infinito de la entropía de Rényi. Lo define comoHn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Luego dice que el límite comon→∞n→∞n\to \infty es . Vi otro artículo que usa el máximo de lugar de . Creo que …

8 information-theory  entropy