Gradient Descent tiene el problema de quedarse atascado en los mínimos locales. Necesitamos correr tiempos exponenciales de descenso de gradiente para encontrar mínimos globales.
¿Alguien puede decirme acerca de las alternativas de descenso de gradiente que se aplican en el aprendizaje de redes neuronales, junto con sus pros y sus contras?
Respuestas:
Esto es más un problema que hacer con la función que se minimiza que el método utilizado, si es importante encontrar el mínimo global verdadero, entonces utilice un método de recocido simulado . Esto podrá encontrar el mínimo global, pero puede llevar mucho tiempo hacerlo.
En el caso de las redes neuronales, los mínimos locales no son necesariamente un gran problema. Algunos de los mínimos locales se deben al hecho de que puede obtener un modelo funcionalmente idéntico permutando las unidades de capa ocultas, o negando los pesos de entrada y salida de la red, etc. Además, si los mínimos locales son solo un poco no óptimos, entonces la diferencia en el rendimiento será mínima y, por lo tanto, realmente no importará. Por último, y este es un punto importante, el problema clave en la adaptación de una red neuronal es el sobreajuste, por lo que la búsqueda agresiva de los mínimos globales de la función de costo probablemente resulte en un sobreajuste y un modelo que funcione mal.
Agregar un término de regularización, por ejemplo, pérdida de peso, puede ayudar a suavizar la función de costo, lo que puede reducir un poco el problema de los mínimos locales, y es algo que recomendaría de todos modos como un medio para evitar el sobreajuste.
Sin embargo, el mejor método para evitar los mínimos locales en las redes neuronales es utilizar un modelo de proceso gaussiano (o una red neuronal de función de base radial), que tienen menos problemas con los mínimos locales.
El descenso de gradiente es un algoritmo de optimización .
Existen muchos algoritmos de optimización que operan en un número fijo de valores reales que están correlacionados ( no separables ). Podemos dividirlos aproximadamente en 2 categorías: optimizadores basados en gradientes y optimizadores sin derivados. Por lo general, desea utilizar el gradiente para optimizar las redes neuronales en un entorno supervisado porque es significativamente más rápido que la optimización sin derivadas. Existen numerosos algoritmos de optimización basados en gradientes que se han utilizado para optimizar las redes neuronales:
Y se han propuesto muchos otros algoritmos para la optimización de las redes neuronales, puede buscar en Google para la optimización sin Hessian o v-SGD (hay muchos tipos de SGD con tasas de aprendizaje adaptativo, consulte, por ejemplo, aquí ).
¡La optimización para NN no es un problema resuelto! En mi experiencia, el mayor desafío es no encontrar un buen mínimo local. Sin embargo, los desafíos son salir de regiones muy planas, lidiar con funciones de error mal condicionadas, etc. Esa es la razón por la cual LMA y otros algoritmos que usan aproximaciones del hessiano generalmente funcionan tan bien en la práctica y las personas intentan desarrollar versiones estocásticas. que usan información de segundo orden con baja complejidad. Sin embargo, a menudo un conjunto de parámetros muy bien ajustado para el minibatch SGD es mejor que cualquier algoritmo de optimización complejo.
Por lo general, no desea encontrar un óptimo global. Porque eso generalmente requiere sobreajustar los datos de entrenamiento.
Una alternativa interesante al descenso por gradiente son los algoritmos de entrenamiento basados en la población, como los algoritmos evolutivos (EA) y la optimización de enjambre de partículas (PSO). La idea básica detrás de los enfoques basados en la población es que se crea una población de soluciones candidatas (vectores de peso NN), y las soluciones candidatas exploran iterativamente el espacio de búsqueda, intercambian información y eventualmente convergen en un mínimo. Debido a que se utilizan muchos puntos de partida (soluciones candidatas), las posibilidades de converger en los mínimos globales aumentan significativamente. Se ha demostrado que PSO y EA tienen un rendimiento muy competitivo, a menudo (aunque no siempre) superando el descenso de gradiente en problemas complejos de entrenamiento de NN.
Sé que este hilo es bastante antiguo y otros han hecho un gran trabajo para explicar conceptos como mínimos locales, sobreajuste, etc. Sin embargo, como OP estaba buscando una solución alternativa, intentaré aportar una y espero que inspire ideas más interesantes.
La idea es reemplazar cada peso w a w + t, donde t es un número aleatorio que sigue a la distribución gaussiana. La salida final de la red es entonces la salida promedio sobre todos los valores posibles de t. Esto se puede hacer analíticamente. Luego puede optimizar el problema ya sea con descenso de gradiente o LMA u otros métodos de optimización. Una vez que se realiza la optimización, tiene dos opciones. Una opción es reducir la sigma en la distribución gaussiana y hacer la optimización una y otra vez hasta que sigma llegue a 0, entonces tendrá un mínimo local mejor (pero potencialmente podría causar un sobreajuste). Otra opción es seguir usando el que tiene el número aleatorio en sus pesos, generalmente tiene una mejor propiedad de generalización.
El primer enfoque es un truco de optimización (lo llamo como túnel convolucional, ya que utiliza la convolución sobre los parámetros para cambiar la función objetivo), suaviza la superficie del paisaje de la función de costo y elimina algunos de los mínimos locales, por lo tanto facilitará la búsqueda del mínimo global (o mejor mínimo local).
El segundo enfoque está relacionado con la inyección de ruido (en pesas). Tenga en cuenta que esto se realiza analíticamente, lo que significa que el resultado final es una sola red, en lugar de múltiples redes.
Los siguientes son salidas de ejemplo para problemas de dos espirales. La arquitectura de red es la misma para los tres: solo hay una capa oculta de 30 nodos y la capa de salida es lineal. El algoritmo de optimización utilizado es LMA. La imagen de la izquierda es para la configuración de vainilla; el medio está usando el primer enfoque (es decir, reducir repetidamente sigma hacia 0); el tercero usa sigma = 2.
Puede ver que la solución de vainilla es la peor, el túnel convolucional hace un mejor trabajo y la inyección de ruido (con túnel convolucional) es la mejor (en términos de propiedad de generalización).
Tanto el túnel convolucional como la forma analítica de inyección de ruido son mis ideas originales. Quizás son la alternativa que alguien podría estar interesado. Los detalles se pueden encontrar en mi artículo Combinando Infinity Number Of Neural Networks Into One . Advertencia: no soy un escritor académico profesional y el artículo no es revisado por pares. Si tiene preguntas sobre los enfoques que mencioné, deje un comentario.
Máquinas de aprendizaje extremas Esencialmente, son una red neuronal donde los pesos que conectan las entradas a los nodos ocultos se asignan aleatoriamente y nunca se actualizan. Los pesos entre los nodos ocultos y las salidas se aprenden en un solo paso resolviendo una ecuación lineal (matriz inversa).
Cuando se trata de tareas de optimización global (es decir, tratar de encontrar un mínimo global de una función objetivo), puede echar un vistazo a:
Como se mencionó anteriormente, el recocido simulado, la optimización del enjambre de partículas y los algoritmos genéticos son buenos algoritmos de optimización global que navegan bien a través de grandes espacios de búsqueda y, a diferencia de Gradient Descent , no necesitan ninguna información sobre el gradiente y podrían usarse con éxito con funciones y problemas objetivos de caja negra. que requieren ejecutar simulaciones.