Preguntas etiquetadas con cross-entropy

Estoy entrenando una red neuronal para clasificar un conjunto de objetos en n-clases. Cada objeto puede pertenecer a múltiples clases al mismo tiempo (multi-clase, multi-etiqueta). Leí que para problemas de varias clases generalmente se recomienda usar softmax y entropía cruzada categórica como la función de pérdida en lugar de mse …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Estoy tratando de entender cómo funciona la retropropagación para una capa de salida softmax / cross-entropy. La función de error de entropía cruzada es E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con ttt y ooo como objetivo y salida en la neurona jjj , respectivamente. La suma está sobre cada neurona en la …

40 backpropagation  derivative  softmax  cross-entropy 

En mi opinión, la divergencia KL de la distribución de la muestra a la distribución verdadera es simplemente la diferencia entre entropía cruzada y entropía. ¿Por qué utilizamos la entropía cruzada para ser la función de costo en muchos modelos de aprendizaje automático, pero utilizamos la divergencia de Kullback-Leibler en …

39 kullback-leibler  tsne  cross-entropy 

En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases a través de una codificación en caliente. ¿Es esto correcto? Sin embargo, ¿es la entropía cruzada binaria solo para predicciones con una sola clase? Si tuviera que usar una pérdida …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

En 5.5, Deep Learning (por Ian Goodfellow, Yoshua Bengio y Aaron Courville), afirma que Cualquier pérdida que consiste en una probabilidad logarítmica negativa es una entropía cruzada entre la distribución empírica definida por el conjunto de entrenamiento y la distribución de probabilidad definida por el modelo. Por ejemplo, el error …

28 machine-learning  normal-distribution  cross-entropy 

Al entrenar una red neuronal de segmentación de píxeles, como redes completamente convolucionales, ¿cómo toma la decisión de utilizar la función de pérdida de entropía cruzada versus la función de pérdida de coeficiente de dados? Me doy cuenta de que esta es una pregunta corta, pero no estoy muy seguro …

27 neural-networks  loss-functions  cross-entropy 

Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = …

25 entropy  kullback-leibler  cross-entropy 

Estoy experimentando un poco de autoencoders, y con tensorflow creé un modelo que intenta reconstruir el conjunto de datos MNIST. Mi red es muy simple: X, e1, e2, d1, Y, donde e1 y e2 son capas de codificación, d2 e Y son capas de decodificación (e Y es la salida …

21 mse  autoencoders  tensorflow  cross-entropy 

¿Tiene sentido el costo de la entropía cruzada en el contexto de la regresión (en oposición a la clasificación)? Si es así, ¿podría dar un ejemplo de juguete a través de TensorFlow? ¿Si no, porque no? Estaba leyendo acerca de la entropía cruzada en Redes Neurales y Aprendizaje Profundo por …

13 regression  entropy  tensorflow  cross-entropy 

Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada como: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) …

12 neural-networks  loss-functions  softmax  cross-entropy 

Entiendo que dado un conjunto de observaciones independientes el Estimador de máxima verosimilitud (o, de manera equivalente, el MAP con anterior plano / uniforme) que identifica los parámetros \ mathbf {θ} que producen la distribución del modelo p_ {modelo} \ izquierda (\, \ cdot \,; \ mathbf {θ} \ right) …

12 maximum-likelihood  deep-learning  cross-entropy 

Para dos distribuciones discretas y , la entropía cruzada se define comopppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Me pregunto por qué esto sería una medida intuitiva de la distancia entre dos distribuciones de probabilidad. Veo que es la entropía de , que mide la "sorpresa" de . es la medida que reemplaza …

11 probability  distributions  cross-entropy 

He estado tratando de crear un programa para entrenar redes neuronales en mi computadora. Para la red en cuestión, he decidido usar la función Error de entropía cruzada: mi= -∑jtjEnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Dónde tjtjt_j es la salida objetivo para la neurona jjjy ojojo_j es la salida de esa neurona, …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations