Preguntas etiquetadas con kullback-leibler

Necesito determinar la divergencia KL entre dos gaussianos. Estoy comparando mis resultados con estos , pero no puedo reproducir su resultado. Mi resultado es obviamente incorrecto, porque el KL no es 0 para KL (p, p). Me pregunto dónde estoy cometiendo un error y pregunto si alguien puede detectarlo. Sea …

79 normal-distribution  kullback-leibler 

Aprendí acerca de la intuición detrás de la divergencia de KL sobre cuánto difiere una función de distribución del modelo de la distribución teórica / verdadera de los datos. La fuente que estoy leyendo pasa a decir que la comprensión intuitiva de 'distancia' entre estas dos distribuciones es útil, pero …

48 distributions  distance  intuition  kullback-leibler 

Tengo problemas para derivar la fórmula de divergencia KL suponiendo dos distribuciones normales multivariadas. He hecho el caso univariado con bastante facilidad. Sin embargo, ha pasado bastante tiempo desde que tomé las estadísticas de matemáticas, por lo que tengo algunos problemas para extenderlo al caso multivariante. Estoy seguro de que …

46 normal-distribution  kullback-leibler  proof 

En mi opinión, la divergencia KL de la distribución de la muestra a la distribución verdadera es simplemente la diferencia entre entropía cruzada y entropía. ¿Por qué utilizamos la entropía cruzada para ser la función de costo en muchos modelos de aprendizaje automático, pero utilizamos la divergencia de Kullback-Leibler en …

39 kullback-leibler  tsne  cross-entropy 

Puedo ver que hay muchas diferencias formales entre las medidas de distancia de Kullback-Leibler vs Kolmogorov-Smirnov. Sin embargo, ambos se usan para medir la distancia entre distribuciones. ¿Existe una situación típica en la que se debe usar uno en lugar del otro? ¿Cuál es la razón para hacerlo?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Estoy buscando una explicación intuitiva para las siguientes preguntas: En estadística y teoría de la información, ¿cuál es la diferencia entre la distancia de Bhattacharyya y la divergencia de KL, como medidas de la diferencia entre dos distribuciones de probabilidad discretas? ¿No tienen absolutamente ninguna relación y miden la distancia …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

¿Hay alguna medida de similitud o distancia entre dos matrices de covarianza simétrica (ambas tienen las mismas dimensiones)? Estoy pensando aquí en análogos a la divergencia KL de dos distribuciones de probabilidad o la distancia euclidiana entre vectores, excepto que se aplica a las matrices. Me imagino que habría bastantes …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Mira esta imagen: Si extraemos una muestra de la densidad roja, se espera que algunos valores sean inferiores a 0.25, mientras que es imposible generar dicha muestra a partir de la distribución azul. Como consecuencia, la distancia Kullback-Leibler de la densidad roja a la densidad azul es infinita. Sin embargo, …

28 kullback-leibler 

¿Cuál es la diferencia práctica entre la métrica de Wasserstein y la divergencia de Kullback-Leibler ? La métrica de Wasserstein también se conoce como la distancia del motor de la Tierra . De Wikipedia: La métrica de Wasserstein (o Vaserstein) es una función de distancia definida entre distribuciones de probabilidad …

25 distributions  kullback-leibler  metric  wasserstein 

Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = …

25 entropy  kullback-leibler  cross-entropy 

Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la …

23 inference  entropy  information-theory  kullback-leibler  compression 

Estoy estudiando árboles de clasificación y regresión, y una de las medidas para la ubicación dividida es el puntaje GINI. Ahora estoy acostumbrado a determinar la mejor ubicación dividida cuando el registro de la razón de probabilidad de los mismos datos entre dos distribuciones es cero, lo que significa que …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

¿Alguien puede probar la siguiente conexión entre la métrica de información de Fisher y la entropía relativa (o divergencia KL) de una manera puramente matemática rigurosa? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) donde a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Consideremos las siguientes dos distribuciones de probabilidad P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 He calculado la divergencia de Kullback-Leibler que es igual a 0.4928202580.4928202580.492820258 , quiero saber en general ¿qué me muestra este número? En general, …

18 interpretation  information-theory  kullback-leibler 

¿Por qué la divergencia KL no es negativa? Desde la perspectiva de la teoría de la información, tengo una comprensión tan intuitiva: Digamos que hay dos conjuntos y que se componen del mismo conjunto de elementos etiquetados por . y son diferentes distribuciones de probabilidad sobre el conjunto y respectivamente.AAABBBxxxp(x)p(x)p(x)q(x)q(x)q(x)AAABBB …

18 information-theory  kullback-leibler