Redes neuronales modernas que crean su propia topología.

Una limitación de los algoritmos de red neuronal estándar (como backprop) es que debe tomar una decisión de diseño de cuántas capas ocultas y neuronas por capa desea. Por lo general, la tasa de aprendizaje y la generalización son muy sensibles a estas elecciones. Esta ha sido la razón por la cual los algoritmos de redes neuronales como la correlación en cascada han generado interés. Comienza con una topología mínima (solo unidades de entrada y salida) y recluta nuevas unidades ocultas a medida que avanza el aprendizaje.

Fahlman introdujo el algoritmo CC-NN en 1990 y la versión recurrente en 1991. ¿Cuáles son algunos algoritmos de redes neuronales más recientes (posteriores a 1992) que comienzan con una topología mínima?

Preguntas relacionadas

CogSci.SE: redes neuronales con explicaciones biológicamente plausibles de neurogénesis

La pregunta implícita aquí es cómo puede determinar la topología / estructura de una red neuronal o un modelo de aprendizaje automático para que el modelo sea "del tamaño correcto" y no se ajuste demasiado o no se ajuste demasiado.

Desde la correlación en cascada en 1990, ha habido una gran cantidad de métodos para hacerlo ahora, muchos de ellos con propiedades estadísticas o computacionales mucho mejores:

• Impulso: capacite a un alumno débil a la vez, y cada alumno débil recibirá un conjunto de capacitación ponderado para que aprenda cosas que los alumnos anteriores no han aprendido.
• regularización que induce la escasez, como el lazo o la determinación automática de relevancia: comience con un modelo / red grande y use un regularizador que aliente a las unidades innecesarias a "apagarse", dejando activas aquellas que sean útiles.
• No paramétricos bayesianos: olvide intentar encontrar el tamaño de modelo "correcto". Solo use un modelo grande y tenga cuidado con la regularización / ser bayesiano, para que no se sobreajuste. Por ejemplo, una red neuronal con un número infinito de unidades y antecedentes gaussianos puede derivarse como un proceso gaussiano, que resulta mucho más sencillo de entrenar.
• Aprendizaje profundo: como se señaló en otra respuesta, capacite una red profunda capa por capa. En realidad, esto no resuelve el problema de determinar el número de unidades por capa; a menudo, esto todavía se establece a mano o con validación cruzada.

¿Qué hay de NeuroEvolution of Augmenting Topologies (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

Parece funcionar para problemas simples, pero es INCREÍBLEMENTE lento para converger.

Según tengo entendido, la parte superior del arte de hoy es "Aprendizaje de funciones sin supervisión y aprendizaje profundo". en pocas palabras: la red se está entrenando de manera no supervisada, cada capa a la vez:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Ya se ha mencionado NEAT (Evolución neuronal con topologías aumentadas). Hay avances en esto incluyendo especiación e HyperNEAT. HyperNEAT utiliza una red 'meta' para optimizar la ponderación de un fenotipo completamente conectado. Esto le da a la red una 'conciencia espacial' que es invaluable en el reconocimiento de imágenes y los problemas de tipo juego de mesa. Tampoco estás limitado a 2D. Lo estoy usando en 1D para el análisis de señal y es posible en 2D hacia arriba, pero se vuelve pesado en el requisito de procesamiento. Busque los documentos de Ken Stanley, y hay un grupo en Yahoo. Si tiene un problema que se puede solucionar con una red, entonces NEAT y / o HyperNEAT pueden ser aplicables.

Hay un artículo algo reciente sobre este tema: RP Adams, H. Wallach y Zoubin Ghahramani. Aprender la estructura de modelos gráficos muy dispersos. Esto está un poco fuera de la comunidad habitual de redes neuronales y más en el lado del aprendizaje automático. El documento utiliza inferencia bayesiana no paramétrica en la estructura de la red.