Preguntas etiquetadas con backpropagation

Muchos libros y tutoriales de redes neuronales dedican mucho tiempo al algoritmo de retropropagación, que es esencialmente una herramienta para calcular el gradiente. Supongamos que estamos construyendo un modelo con ~ 10K parámetros / pesos. ¿Es posible ejecutar la optimización usando algunos algoritmos de optimización sin gradiente? Creo que calcular …

94 machine-learning  neural-networks  optimization  backpropagation 

Entiendo que el descenso de gradiente estocástico puede usarse para optimizar una red neuronal usando la propagación hacia atrás actualizando cada iteración con una muestra diferente del conjunto de datos de entrenamiento. ¿Qué tan grande debe ser el tamaño del lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Específicamente, supongo que me pregunto acerca de esta declaración: Las futuras versiones principales de TensorFlow permitirán que los gradientes fluyan a la entrada de etiquetas en backprop de forma predeterminada. Que se muestra cuando lo uso tf.nn.softmax_cross_entropy_with_logits. En el mismo mensaje me insta a echar un vistazo tf.nn.softmax_cross_entropy_with_logits_v2. Revisé la …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Estoy tratando de entender cómo funciona la retropropagación para una capa de salida softmax / cross-entropy. La función de error de entropía cruzada es E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con ttt y ooo como objetivo y salida en la neurona jjj , respectivamente. La suma está sobre cada neurona en la …

40 backpropagation  derivative  softmax  cross-entropy 

He leído algunos documentos que discuten los pros y los contras de cada método, algunos argumentan que GA no mejora en encontrar la solución óptima, mientras que otros muestran que es más eficaz. Parece que GA generalmente se prefiere en la literatura (aunque la mayoría de las personas lo modifican …

34 neural-networks  genetic-algorithms  backpropagation 

En el curso de Redes neuronales y aprendizaje profundo de Andrew Ng en Coursera , dice que usar es casi siempre preferible a usar .tanhtanhtanhsigmoidsigmoidsigmoid La razón que da es que las salidas que usan centran alrededor de 0 en lugar de 's 0.5, y esto "hace que el aprendizaje …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

¿Por qué es peligroso inicializar pesos con ceros? ¿Hay algún ejemplo simple que lo demuestre?

30 neural-networks  backpropagation 

Leí aquí lo siguiente: Las salidas sigmoideas no están centradas en cero . Esto no es deseable ya que las neuronas en las capas posteriores de procesamiento en una red neuronal (más sobre esto pronto) recibirían datos que no están centrados en cero. Esto tiene implicaciones en la dinámica durante …

26 neural-networks  deep-learning  backpropagation 

Tengo curiosidad acerca de cómo los gradientes se propagan hacia atrás a través de una red neuronal utilizando módulos ResNet / conexiones de omisión. He visto un par de preguntas sobre ResNet (por ejemplo, red neuronal con conexiones de capa de salto ), pero esta pregunta específicamente sobre la propagación …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Al entrenar una red neuronal usando el algoritmo de propagación hacia atrás, el método de descenso de gradiente se usa para determinar las actualizaciones de peso. Mi pregunta es: en lugar de utilizar el método de descenso de gradiente para localizar lentamente el punto mínimo con respecto a un cierto …

22 neural-networks  gradient-descent  backpropagation 

En el entrenamiento de redes neuronales profundas y superficiales, ¿por qué los métodos de gradiente (p. Ej., Descenso de gradiente, Nesterov, Newton-Raphson) se usan comúnmente, en oposición a otras metaheurísticas? Por metaheurística me refiero a métodos como el recocido simulado, la optimización de colonias de hormigas, etc., que se desarrollaron …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

¿Por qué no funciona la propagación hacia atrás cuando inicializa todo el peso con el mismo valor (digamos 0.5), pero funciona bien cuando se le dan números aleatorios? ¿No debería el algoritmo calcular el error y trabajar desde allí, a pesar de que los pesos son inicialmente los mismos?

20 machine-learning  neural-networks  backpropagation 

Tengo una ligera confusión sobre el algoritmo de retropropagación utilizado en el perceptrón multicapa (MLP). El error se ajusta mediante la función de costo. En la retropropagación, estamos tratando de ajustar el peso de las capas ocultas. El error de salida que puedo entender, es decir, e = d - …

19 machine-learning  neural-networks  backpropagation 

Cuando implementé el mini lote de gradiente decente, solo promedié los gradientes de todos los ejemplos en el lote de capacitación. Sin embargo, me di cuenta de que ahora la tasa de aprendizaje óptima es mucho más alta que para el gradiente en línea decente. Mi intuición es que esto …

15 neural-networks  gradient-descent  backpropagation 

En una red neuronal recurrente, generalmente reenviaría la propagación a través de varios pasos de tiempo, "desenrollaría" la red y luego la propagación hacia atrás a través de la secuencia de entradas. ¿Por qué no simplemente actualizar los pesos después de cada paso individual en la secuencia? (el equivalente a …

14 time-series  neural-networks  backpropagation  rnn