Preguntas etiquetadas con information-theory

¿Son todas las cadenas de código Morse exclusivamente descifrables? Sin los espacios, ......-...-..---.-----.-..-..-.. podría ser, Hello Worldpero tal vez la primera letra es una 5, de hecho, parece muy poco probable que una secuencia arbitraria de puntos y guiones deba tener una traducción única. Posiblemente se pueda usar la desigualdad …

54 information-theory  coding-theory 

Esta idea se me ocurrió cuando era un niño aprendiendo a programar y en el primer encuentro con PRNG. Todavía no sé cuán realista es, pero ahora hay intercambio de pila. Aquí hay un esquema de 14 años para un sorprendente algoritmo de compresión: Tome un PRNG y siembre con …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

De acuerdo con Wikipedia : La entropía de Shannon mide la información contenida en un mensaje en oposición a la parte del mensaje que se determina (o es predecible). Ejemplos de esto último incluyen redundancia en la estructura del lenguaje o propiedades estadísticas relacionadas con las frecuencias de aparición de …

35 information-theory  data-compression  entropy 

Digamos que necesito simular la siguiente distribución discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La forma más obvia es dibujar bits aleatorios y verificar si todos equivalen a (o ). …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Tengo un archivo que contiene números binarios ordenados de a 2 n - 1 :0 0002norte- 12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z no comprimió este archivo de manera muy eficiente (para n = 20, 22 MB se comprimieron a 300 kB). ¿Existen algoritmos que puedan …

27 information-theory  data-compression 

Estoy leyendo el libro: " Código: el lenguaje oculto del hardware y software de la computadora " y en el Capítulo 2 el autor dice: Se dice que el código Morse es un código binario (que significa literalmente dos por dos) porque los componentes del código consisten en solo dos …

27 information-theory  coding-theory  encoding-scheme 

Recientemente me topé con el siguiente artículo interesante que afirma comprimir eficientemente conjuntos de datos aleatorios en siempre más del 50%, independientemente del tipo y formato de los datos. Básicamente, usa números primos para construir de manera única una representación de fragmentos de datos de 4 bytes que son fáciles …

22 information-theory  data-compression  primes 

Comparando un par ordenado (x, y) con un par desordenado {x, y} (conjunto), entonces la información teóricamente, la diferencia es solo un bit, ya que si x viene primero o y requiere exactamente un solo bit para representar. Entonces, si se nos da un conjunto {x, y} donde x, y …

20 information-theory  data-compression 

Para cifrar un mensaje con una tecla de teclado de una sola vez , debe hacer . k E n c ( m 1 , k ) = m 1 ⊕ kmetro1m1m_1kkkmin c ( m1, k ) = m1⊕ kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k Si usa la misma para cifrar …

20 cryptography  information-theory  encryption 

Tiene una matriz de elementos distintos. Tiene acceso a un comparador (una función de la caja negro teniendo dos elementos un y b y devolver verdadero si y sólo si un < b ) y una fuente verdaderamente aleatoria de bits (una función de la caja negro sin argumentos y …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Estaba leyendo sobre algoritmos de compresión de datos y el límite teórico para la compresión de datos. Recientemente encontré un método de compresión llamado "Codificación de entropía combinatoria", la idea principal de este método es codificar el archivo como los caracteres presentados en el archivo, sus frecuencias y el índice …

17 information-theory  data-compression 

De acuerdo con Wikipedia : Informalmente, desde el punto de vista de la teoría de la información algorítmica, el contenido de información de una cadena es equivalente a la longitud de la representación autónoma más corta posible de esa cadena. ¿Cuál es la definición rigurosa informal análoga de "información útil"? …

16 information-theory  terminology  kolmogorov-complexity 

Especificar cualquier cuadrícula arbitraria de 9x9 requiere dar la posición y el valor de cada cuadrado. Una codificación ingenua para esto podría dar 81 tripletes (x, y, valor), que requieren 4 bits para cada x, y, y valor (1-9 = 9 valores = 4 bits) para un total de 81x4x3 …

16 combinatorics  modelling  information-theory  sudoku 

Dada una cadena de valores A A A A A A A A B CUNUNUNUNUNUNUNUNsiCAAAAAAAABC , la entropía de Shannon en la base de registro 222 llega a 0.9220.9220.922 . Por lo que entiendo, en la base 222 la entropía de Shannon redondeada es el número mínimo de bits en …

14 information-theory  mathematical-foundations  entropy  binary 

Actualmente estoy escribiendo un código para generar datos binarios. Necesito específicamente generar números de 64 bits con un número determinado de bits establecidos; más precisamente, el procedimiento debería tomar algunos y devolver un número pseudoaleatorio de 64 bits con exactamente bits establecidos en , y el resto establecido en 0.0<n<640<n<640 …

12 algorithms  information-theory  coding-theory  pseudo-random-generators