Modelos icónicos (de juguete) de redes neuronales

Mis profesores de física en la escuela de posgrado, así como el premio Noble Feynman, siempre presentaban lo que llamaban modelos de juguete para ilustrar conceptos y métodos básicos en física, como el oscilador armónico, el péndulo, la peonza y la caja negra.

¿Qué modelos de juguetes se utilizan para ilustrar los conceptos y métodos básicos que subyacen a la aplicación de redes neuronales? (Referencias por favor)

Por un modelo de juguete me refiero a una red particularmente simple, de tamaño mínimo, aplicada a un problema altamente restringido a través del cual se pueden presentar métodos básicos y se puede probar y mejorar la comprensión a través de la implementación real, es decir, construir el código básico y preferiblemente hasta cierto punto haciendo / comprobar las matemáticas básicas a mano o con la ayuda de una aplicación matemática simbólica.

Uno de los más clásicos es el Perceptron en 2 dimensiones, que se remonta a la década de 1950. Este es un buen ejemplo porque es una plataforma de lanzamiento para técnicas más modernas:

1) No todo es separable linealmente (de ahí la necesidad de activaciones no lineales o métodos de núcleo, capas múltiples, etc.).

2) El Perceptron no convergerá si los datos no son linealmente separables (medidas continuas de separación como softmax, disminución de la tasa de aprendizaje, etc.).

3) Si bien hay infinitas soluciones para dividir datos, está claro que algunas son más deseadas que otras (separación máxima de límites, SVM, etc.)

Para redes neuronales multicapa, puede que le gusten los ejemplos de clasificación de juguetes que vienen con esta visualización .

Para las redes neuronales convolucionales, el MNIST es el estándar de oro clásico, con una linda visualización aquí y aquí .

Para los RNN, un problema realmente simple que pueden resolver es la suma binaria , que requiere memorizar 4 patrones.

1. El problema XOR es probablemente el problema canónico del juguete ANN.

   Richard Bland Junio ​​1998 Universidad de Stirling, Departamento de Ciencias de la Computación y Matemáticas Informe Técnico de Ciencias de la Computación " Aprendizaje XOR: explorando el espacio de un problema clásico "

2. El TensorFlow Playground es una interfaz interactiva para varias redes neuronales de juguete, incluidos XOR y Jellyroll.

3. Calcular el valor propio más grande de una matriz simétrica de tamaño fijo (2x2 o 3x3) es uno que uso en las demostraciones en el aula.

   A. Cichocki y R. Unbehauen. " Redes neuronales para calcular valores y vectores propios " Cibernética biológica, diciembre de 1992, volumen 68, número 2, págs. 155–164

Problemas como MNIST son definitivamente canónicos, pero no se verifican fácilmente a mano, a menos que tenga un enorme tiempo libre. El código tampoco es especialmente básico.

En cuanto a las tareas de PNL, el Penn Tree Bank es un conjunto de datos de referencia muy estándar, utilizado por ejemplo en Wojciech Zaremba, Ilya Sutskever, " Regularización de red neuronal recurrente " de Oriol Vinyals , y probablemente en cientos de otros documentos.

No conozco un juguete físico, pero el mejor ejemplo que conozco es una IA de múltiples capas generada a través de un algoritmo genético para jugar a Super Mario Brothers. El código fuente está en la descripción del video.

MarI / O - Aprendizaje automático para videojuegos: https://www.youtube.com/watch?v=qv6UVOQ0F44