Preguntas etiquetadas con gradient-descent

Estoy leyendo la documentación de PyTorch y encontré un ejemplo donde escriben gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) donde x era una variable inicial, a partir de la cual se construyó y (un 3-vector). La pregunta es, ¿cuáles son los argumentos 0.1, 1.0 y 0.0001 del tensor de gradientes? …

112 neural-network  gradient  pytorch  torch  gradient-descent 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 6 horas . Mejora esta pregunta Estoy tratando de construir una red neuronal desde cero. …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

He notado que se NANestá introduciendo una ocurrencia frecuente durante el entrenamiento . A menudo, parece ser introducido por pesos en capas de producto interno / completamente conectadas o de convolución que explotan. ¿Esto ocurre porque el cálculo del gradiente está explotando? ¿O se debe a la inicialización del peso …

85 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

Estoy tratando de escribir mi propio algoritmo de aumento de gradiente. Entiendo que hay paquetes existentes como gbmy, xgboost,pero quería entender cómo funciona el algoritmo escribiendo el mío. Estoy usando el irisconjunto de datos y mi resultado es Sepal.Length(continuo). Mi función de pérdida es mean(1/2*(y-yhat)^2)(básicamente el error cuadrático medio con …

10 r  machine-learning  gradient-descent  gbm  boosting