Preguntas etiquetadas con shannon-entropy

Lema: Suponiendo equivalencia eta tenemos eso (\x -> ⊥) = ⊥ :: A -> B. Prueba: ⊥ = (\x -> ⊥ x)por equivalencia eta y (\x -> ⊥ x) = (\x -> ⊥)por reducción bajo la lambda. El informe Haskell 2010, sección 6.2 especifica la seqfunción mediante dos ecuaciones: seq …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Estoy en busca de una cota en la entropía de la suma de dos variables aleatorias discretas independientes X y Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Sin embargo, aplicado a la suma de n …

12 it.information-theory  shannon-entropy 

Por lo general, la entropía de Shannon se usa para probar los resultados de la codificación del canal. Incluso para los resultados de separación del canal fuente se utiliza la entropía de shannon. Dada la equivalencia entre las nociones de información de Shannon (global) frente a Kolmogorov (local), ¿ha habido …

12 it.information-theory  kolmogorov-complexity  shannon-entropy 

Sé del trabajo de Shannon con la entropía, pero últimamente he trabajado en estructuras de datos sucintas en las que la entropía empírica se usa a menudo como parte del análisis de almacenamiento. Shannon definió la entropía de la información producida por una fuente de información discreta como , donde …

9 reference-request  shannon-entropy  succinct 

Digamos que tengo una variable aleatoria de un bit , y que sea ​​un número natural. Quiero una secuencia de variables aleatorias stX∈{0,1}X∈{0,1}X \in \{0,1\}nnn0=X0,X1,…,Xn=X0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H(X | {X0,…,Xk})=1−knH(X | {X0,…,Xk})=1−knH\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n} Es decir, cada adicional proporciona de la información de , hasta …

8 it.information-theory  shannon-entropy