Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada como:
Sin embargo, al leer la introducción de Tensorflow , la pérdida de entropía cruzada se define como:
(cuando se usan los mismos símbolos que arriba)
Luego, buscando alrededor para encontrar lo que estaba pasando, encontré otro conjunto de notas: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) que usa una definición completamente diferente de la pérdida de entropía cruzada, aunque esto tiempo para un clasificador softmax en lugar de una red neuronal.
¿Alguien puede explicarme qué está pasando aquí? ¿Por qué hay discrepancias por cierto? ¿Cómo define la gente la pérdida de entropía cruzada? ¿Hay algún principio general?