Preguntas etiquetadas con gradient-descent

El descenso de gradiente es un algoritmo de optimización iterativa de primer orden. Para encontrar un mínimo local de una función usando el descenso de gradiente, se toman pasos proporcionales al negativo del gradiente (o del gradiente aproximado) de la función en el punto actual. Para el descenso de gradiente estocástico también existe la etiqueta [sgd].

Descenso de gradiente en funciones no convexas

¿Qué situaciones sabemos de dónde se puede mostrar que el descenso de gradiente converge (ya sea a un punto crítico o a un mínimo local / global) para funciones no convexas? Para SGD en funciones no convexas, se ha revisado un tipo de prueba aquí, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent gradient sgd non-convex

Definición de complejidad de un árbol en xgboost

Investigando sobre el algoritmo xgboost, revisé la documentación . En este enfoque, los árboles se regularizan utilizando la definición de complejidad donde y son parámetros, es el número de hojas terminales y es la puntuación en cada hoja.Ω ( f) = γT+12λ∑j = 1Tw2jΩ(F)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 …

9 cart regularization boosting gradient-descent overfitting

¿Cómo se propagan los gradientes en una red neuronal recurrente desenrollada?

Estoy tratando de entender cómo se pueden usar los rnn para predecir secuencias trabajando con un ejemplo simple. Aquí está mi red simple, que consta de una entrada, una neurona oculta y una salida: La neurona oculta es la función sigmoidea, y se considera que la salida es una salida …

8 machine-learning neural-networks deep-learning gradient-descent

Gradiente de log-verosimilitud gaussiana multivariante

Estoy tratando de encontrar la estimación MAP para un modelo por gradiente de descenso. Mi anterior es gaussiano multivariante con una matriz de covarianza conocida. A nivel conceptual, creo que sé cómo hacer esto, pero esperaba ayuda con los detalles. En particular, si hay una manera más fácil de abordar …

8 normal-distribution covariance-matrix regularization gradient-descent ridge-regression

Ajuste de un modelo de mezcla gaussiana usando descenso de gradiente estocástico

Estoy trabajando en un modelo de aprendizaje de categoría en línea que utiliza el descenso de gradiente estocástico para adaptarse a un modelo de mezcla gaussiana. El modelo se basa en el modelo de aprendizaje en línea utilizado en Toscano y McMurray (2010). Si bien el descenso de gradiente parece …

8 python online gaussian-mixture gradient-descent

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.

Licensed under cc by-sa 3.0 with attribution required.