Preguntas etiquetadas con softmax

¿Qué decide la elección de la función (Softmax vs Sigmoid) en un clasificador logístico? Supongamos que hay 4 clases de salida. Cada una de las funciones anteriores da las probabilidades de que cada clase sea la salida correcta. Entonces, ¿cuál tomar para un clasificador?

63 machine-learning  logistic  classification  softmax 

Estoy tratando de entender cómo funciona la retropropagación para una capa de salida softmax / cross-entropy. La función de error de entropía cruzada es E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con ttt y ooo como objetivo y salida en la neurona jjj , respectivamente. La suma está sobre cada neurona en la …

40 backpropagation  derivative  softmax  cross-entropy 

Leí esta página: http://neuralnetworksanddeeplearning.com/chap3.html y dijo que la capa de salida sigmoidea con entropía cruzada es bastante similar a la capa de salida softmax con log-verosimilitud. ¿Qué sucede si uso sigmoide con log-verosimilitud o softmax con entropía cruzada en la capa de salida? ¿está bien? porque veo que solo hay …

31 neural-networks  maximum-likelihood  softmax 

He estado trabajando con las redes neuronales convolucionales (CNN) durante algún tiempo, principalmente en datos de imágenes para la segmentación semántica / segmentación de instancias. A menudo he visualizado el softmax de la salida de la red como un "mapa de calor" para ver qué tan altas son las activaciones …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

La aplicación de la función softmax en un vector producirá "probabilidades" y valores entre y . 000111 Pero también podemos dividir cada valor por la suma del vector y eso producirá probabilidades y valores entre y .000111 Leí la respuesta aquí, pero dice que la razón es porque es diferenciable, …

20 machine-learning  neural-networks  softmax 

Tengo una red neuronal configurada para predecir algo donde la variable de salida es ordinal. Describiré a continuación usando tres salidas posibles A <B <C. Es bastante obvio cómo usar una red neuronal para generar datos categóricos: la salida es solo un softmax de la última capa (generalmente completamente conectada), …

20 neural-networks  ordinal-data  softmax 

Parece haber mucha confusión en la comparación de usar glmnetdentro caretpara buscar una lambda óptima y usar cv.glmnetpara hacer la misma tarea. Se plantearon muchas preguntas, por ejemplo: Modelo de clasificación train.glmnet vs. cv.glmnet? ¿Cuál es la forma correcta de usar glmnet con caret? Validación cruzada de `glmnet` usando` caret` …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada como: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) …

12 neural-networks  loss-functions  softmax  cross-entropy 

La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en termodinámica. Puedo ver algunas razones heurísticas …

12 machine-learning  neural-networks  softmax 

Estoy estudiando e intentando implementar redes neuronales convolucionales, pero supongo que esta pregunta se aplica a los perceptrones multicapa en general. Las neuronas de salida en mi red representan la activación de cada clase: la neurona más activa corresponde a la clase predicha para una entrada dada. Para considerar un …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Esperando el próximo curso de Andrew Ng en Coursera, estoy tratando de programar en Python un …

11 softmax  numerics 

En la literatura de aprendizaje automático, para representar una distribución de probabilidad, a menudo se usa la función softmax. ¿Hay alguna razón para esto? ¿Por qué no se usa otra función?

10 machine-learning  distributions  softmax 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 10 meses . Necesito aplicar la función de activación Softmax al Perceptrón multicapa en scikit. La documentación de scikit …

9 neural-networks  scikit-learn  multi-class  softmax 

Observé que Caffe (un marco de aprendizaje profundo) utilizó la capa de pérdida Softmax SoftmaxWithLoss como capa de salida para la mayoría de las muestras de modelos . Hasta donde sé, la capa de pérdida Softmax es la combinación de la capa de pérdida logística multinomial y la capa Softmax …

9 multinomial  entropy  sums-of-squares  softmax