Preguntas etiquetadas con entropy

La entropía de Shannon es el negativo de la suma de las probabilidades de cada resultado multiplicado por el logaritmo de probabilidades para cada resultado. ¿Para qué sirve el logaritmo en esta ecuación? ¡Una respuesta intuitiva o visual (a diferencia de una respuesta profundamente matemática) recibirá puntos extra!

72 entropy  intuition  sequence-analysis 

Quiero medir la entropía / densidad de información / similitud de patrón de una matriz binaria bidimensional. Déjame mostrarte algunas fotos para aclarar: Esta pantalla debería tener una entropía bastante alta: UNA) Esto debería tener una entropía media: SI) Estas imágenes, finalmente, deberían tener una entropía cercana a cero: C) …

53 algorithms  binary-data  entropy  pattern-recognition  information 

He visto algunas preguntas aquí sobre lo que significa en términos simples, pero estas son demasiado simples para mi propósito aquí. Estoy tratando de entender matemáticamente qué significa el puntaje AIC. Pero al mismo tiempo, no quiero una prueba de rigor que me haga no ver los puntos más importantes. …

34 self-study  model-selection  aic  entropy  information-theory 

Estoy leyendo sobre entropía y me cuesta mucho conceptualizar lo que significa en el caso continuo. La página wiki dice lo siguiente: La distribución de probabilidad de los eventos, junto con la cantidad de información de cada evento, forma una variable aleatoria cuyo valor esperado es la cantidad promedio de …

32 entropy 

Sé que la entropía es la medida de aleatoriedad de un proceso / variable y se puede definir de la siguiente manera. para una variable aleatoria conjunto : - . En el libro sobre entropía y teoría de la información de MacKay, él proporciona esta declaración en Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i …

32 uniform  entropy  maximum-entropy 

En este artículo , la talentosa investigadora Cosma Shalizi argumenta que para aceptar completamente una visión bayesiana subjetiva, uno también debe aceptar un resultado no físico de que la flecha del tiempo (dada por el flujo de entropía) debería ir hacia atrás . Esto es principalmente un intento de argumentar …

31 bayesian  entropy  maximum-entropy  philosophical 

Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = …

25 entropy  kullback-leibler  cross-entropy 

Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la …

23 inference  entropy  information-theory  kullback-leibler  compression 

He utilizado el principio de máxima entropía para justificar el uso de varias distribuciones en diversos entornos; sin embargo, todavía tengo que poder formular una interpretación estadística, en oposición a la teoría de la información, de la entropía máxima. En otras palabras, ¿qué implica maximizar la entropía acerca de las …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

De ninguna manera soy estadístico (he tenido un curso de estadística matemática pero nada más que eso), y recientemente, mientras estudiaba teoría de la información y mecánica estadística, conocí esta cosa llamada "medida de incertidumbre" / "entropía". Leí la derivación de Khinchin como una medida de incertidumbre y tenía sentido …

21 entropy  inference 

¿Cuál es la forma correcta más teórica de información / física para calcular la entropía de una imagen? En este momento no me importa la eficiencia computacional; teóricamente, quiero que sea lo más correcta posible. Comencemos con una imagen en escala de grises. Un enfoque intuitivo es considerar la imagen …

21 spatial  entropy  image-processing 

En la definición de conjuntos típicos conjuntos (en "Elementos de la teoría de la información", cap. 7.6, p. 195), utilizamos como laentropía empíricade unasecuencianconp(xn)=∏ n i = 1 p(xi). Nunca me encontré con esta terminología antes. No se define explícitamente en ninguna parte según el índice del libro.−1nlogp(xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)}nnnp(xn)=∏ni=1p(xi)p(xn)=∏i=1np(xi)p(x^n) = …

19 information-theory  entropy 

Estoy buscando un libro o un recurso en línea que explique diferentes tipos de entropía, como Sample Entropy y Shannon Entropy, y sus ventajas y desventajas. ¿Alguien me puede apuntar en la dirección correcta?

18 references  entropy 

Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY La información mutua entre e se define como: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) es decir, es el valor promedio de la información mutua puntual pmi …

18 entropy  mutual-information  information-theory 

Me gustaría saber si el bosque aleatorio de Breiman (bosque aleatorio en el paquete R randomForest) usa como criterio de división (criterio para la selección de atributos) la ganancia de información o el índice de Gini. Traté de encontrarlo en http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm y en la documentación del paquete randomForest en R. …

15 r  random-forest  entropy  gini