Preguntas etiquetadas con entropy

Esta idea se me ocurrió cuando era un niño aprendiendo a programar y en el primer encuentro con PRNG. Todavía no sé cuán realista es, pero ahora hay intercambio de pila. Aquí hay un esquema de 14 años para un sorprendente algoritmo de compresión: Tome un PRNG y siembre con …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

De acuerdo con Wikipedia : La entropía de Shannon mide la información contenida en un mensaje en oposición a la parte del mensaje que se determina (o es predecible). Ejemplos de esto último incluyen redundancia en la estructura del lenguaje o propiedades estadísticas relacionadas con las frecuencias de aparición de …

35 information-theory  data-compression  entropy 

Digamos que necesito simular la siguiente distribución discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La forma más obvia es dibujar bits aleatorios y verificar si todos equivalen a (o ). …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Alan Turing propuso un modelo para una máquina (Turing Machine, TM) que computa (números, funciones, etc.) y demostró el Teorema de detención . Un TM es un concepto abstracto de una máquina (o motor si lo desea). El teorema de detención es un resultado imposible. Un Carnot Engine (CE) es …

31 turing-machines  halting-problem  entropy 

Algún tipo dijo lo siguiente: Cualquiera que intente generar números aleatorios por medios deterministas está, por supuesto, viviendo en un estado de pecado. Eso siempre se entiende que no puede generar números aleatorios verdaderos con solo una computadora. Y dijo que cuando las computadoras tenían el tamaño equivalente de un …

25 randomness  data-compression  entropy  random-number-generator 

En Linux, los archivos /dev/randomy los/dev/urandom archivos son las fuentes de bloqueo y no bloqueo (respectivamente) de bytes pseudoaleatorios. Se pueden leer como archivos normales: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c …

19 operating-systems  cryptography  randomness  security  entropy 

Tiene una matriz de elementos distintos. Tiene acceso a un comparador (una función de la caja negro teniendo dos elementos un y b y devolver verdadero si y sólo si un < b ) y una fuente verdaderamente aleatoria de bits (una función de la caja negro sin argumentos y …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Dada una cadena de valores A A A A A A A A B CUNUNUNUNUNUNUNUNsiCAAAAAAAABC , la entropía de Shannon en la base de registro 222 llega a 0.9220.9220.922 . Por lo que entiendo, en la base 222 la entropía de Shannon redondeada es el número mínimo de bits en …

14 information-theory  mathematical-foundations  entropy  binary 

En el trabajo, se me ha encomendado la tarea de inferir cierta información sobre un lenguaje dinámico. Reescribo secuencias de declaraciones en letexpresiones anidadas , así: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Al tratar de comprender las relaciones entre la codificación Huffman, la codificación aritmética y la codificación por rango, comencé a pensar en las deficiencias de la codificación Huffman en relación con el problema del empaquetado de bits fraccional . Es decir, suponga que tiene 240 valores posibles para un símbolo, …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

Tengo un problema de optimización restringido en la entropía de la matriz (Shannon) (sum(entr(eig(A))))(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))} . La matriz AAA se puede escribir como la suma de las matrices de rango 1 de la forma [vivTi][viviT][v_i\,v_i^T] dondeviviv_i es un vector normalizado dado. Los coeficientes de las matrices de rango uno son las …

10 optimization  entropy 

Estoy tratando de medir ahora mucha información no redundante (real) que contiene mi archivo. Algunos llaman a esto la cantidad de entropía. Por supuesto, existe el estándar p (x) log {p (x)}, pero creo que Shannon solo lo estaba considerando desde el punto de vista de transmitir a través de …

9 entropy 

Estoy leyendo un artículo que se refiere al límite cuando n va al infinito de la entropía de Rényi. Lo define comoHn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Luego dice que el límite comon→∞n→∞n\to \infty es . Vi otro artículo que usa el máximo de lugar de . Creo que …

8 information-theory  entropy