Preguntas etiquetadas con gradient-descent

Esto es algo que me ha estado molestando por un tiempo, y no pude encontrar ninguna respuesta satisfactoria en línea, así que aquí va: Después de revisar un conjunto de conferencias sobre optimización convexa, el método de Newton parece ser un algoritmo muy superior al descenso de gradiente para encontrar …

132 machine-learning  optimization  gradient-descent  hessian 

Supongamos que tenemos un conjunto de entrenamiento para . Supongamos también que ejecutamos algún tipo de algoritmo de aprendizaje supervisado en el conjunto de entrenamiento. Las hipótesis se representan como . Necesitamos encontrar los parámetros que minimicen la "distancia" entre y . Deje(x(i),y(i))(x(i),y(i))(x_{(i)}, y_{(i)})i=1,…,mi=1,…,metroi = 1, \dots, mhθ( x( i …

101 optimization  gradient-descent  sgd 

Estoy tomando los cursos de Machine Learning en línea y aprendí sobre Gradient Descent para calcular los valores óptimos en la hipótesis. h(x) = B0 + B1X ¿Por qué necesitamos usar el Descenso de degradado si podemos encontrar fácilmente los valores con la siguiente fórmula? Esto parece sencillo y sencillo …

74 regression  machine-learning  gradient-descent 

En el curso de aprendizaje automático de Andrew Ng , introduce la regresión lineal y la regresión logística, y muestra cómo ajustar los parámetros del modelo utilizando el descenso de gradiente y el método de Newton. Sé que el descenso de gradiente puede ser útil en algunas aplicaciones de aprendizaje …

72 regression  machine-learning  logistic  gradient-descent 

Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.kkk Pero esto parece innecesario. …

69 neural-networks  deep-learning  gradient-descent 

El descenso de gradiente y muchos otros métodos son útiles para encontrar mínimos locales en las funciones de costos. Pueden ser eficientes cuando la función de costo se puede evaluar rápidamente en cada punto, ya sea numérica o analíticamente. Tengo lo que me parece una situación inusual. Cada evaluación de …

59 gradient-descent  optimization  bayesian-optimization 

En la mayoría de los códigos de Tensorflow, he visto que Adam Optimizer se usa con una tasa de aprendizaje constante de 1e-4(es decir, 0,0001). El código generalmente tiene el siguiente aspecto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Entiendo que el descenso de gradiente estocástico puede usarse para optimizar una red neuronal usando la propagación hacia atrás actualizando cada iteración con una muestra diferente del conjunto de datos de entrenamiento. ¿Qué tan grande debe ser el tamaño del lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Entonces, el descenso de gradiente basado en el impulso funciona de la siguiente manera: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g donde es la actualización de peso anterior, y g es el gradiente actual con respecto …

48 optimization  gradient-descent 

He escrito un MLP simple en TensorFlow que está modelando un XOR-Gate . Entonces para: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] debería producir lo siguiente: output_data = [[0.], [1.], [1.], [0.]] La red tiene una capa de entrada, una capa oculta y una capa de salida …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

Estoy familiarizado con los algoritmos básicos de descenso de gradiente para entrenar redes neuronales. He leído el documento que propone a Adam: ADAM: UN MÉTODO PARA LA OPTIMIZACIÓN ESTOCÁSTICA . Si bien definitivamente tengo algunas ideas (al menos), el documento parece tener un nivel demasiado alto para mí en general. …

45 neural-networks  optimization  gradient-descent  adam 

Momentum se usa para disminuir las fluctuaciones en los cambios de peso en iteraciones consecutivas:αα\alpha dondeE(w)es la función de error,w- el vector de pesos,η- tasa de aprendizaje.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta La disminución de peso penaliza los cambios de peso:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial …

41 neural-networks  optimization  regularization  gradient-descent 

Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de activación …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Estoy tratando de entender la historia del descenso de gradiente y el descenso de gradiente estocástico . El descenso del gradiente fue inventado en Cauchy en 1847. Méthode générale pour la résolution des systèmes d'équations simultanées . pp. 536–538 Para obtener más información al respecto, consulte aquí . Desde entonces, …

36 references  gradient-descent  history  sgd 

Estaba tratando de aprender el aprendizaje automático usando el material de Coursera . En esta conferencia, Andrew Ng usa un algoritmo de descenso de gradiente para encontrar los coeficientes del modelo de regresión lineal que minimizará la función de error (función de costo). Para la regresión lineal, ¿necesitamos un descenso …

31 regression  machine-learning  linear-model  gradient-descent