La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje profundo, sin embargo, parecen no existir fuera de las redes neuronales. Hay alguna razón para esto? Si es que a las personas simplemente no les importa, ¿hay alguna razón por la que no tengamos que preocuparnos fuera de las redes neuronales?
2
Creo que la búsqueda de línea o el método de región de confianza son tasas de aprendizaje "no constantes".
—
Haitao Du
Hay muchos métodos de gradiente no constante que se desarrollaron independientemente de las NN. Barzilai-Borwein GD y Nesterov GD son dos ejemplos destacados.
—
Sycorax dice Reinstate Monica
@Sycorax, pero ¿se usan realmente a diario fuera de las NN?
—
Tim
@Tim no puedo decir. Cuando necesito hacer una búsqueda local fuera de las NN, tengo el lujo de usar métodos de segundo orden. Pero estaba emocionado de aprender sobre métodos GD más rápidos para la ocasión en que podría tener un lindo truco en mi bolsillo trasero.
—
Sycorax dice Reinstate Monica
Vale la pena señalar que (para mi sorpresa) me he encontrado con casos en que los GBM no usan tasas de aprendizaje constantes, para sorpresa de la gente. Un ejemplo particular ha sido la implementación de DART en LightGBM. Si bien los documentos originales no usan un LR cada vez más pequeño, la implementación real sí lo hace por defecto.
—
usεr11852 dice Reinstate Monic el