Aquí hay un libro interesante Neural Networks: Tricks of the Trade , una versión actualizada de 2012 del libro. Muchos artículos de algunos de los pioneros de las redes neuronales.
Ypx tocó maravillosamente muchos problemas prácticos con la capacitación, así que toca los otros problemas que planteó: muchos de los laboratorios industriales de élite aún publican sus resultados. Por ejemplo, el equipo de Microsoft Research acaba de ganar ImageNet 2015 y publicaron un informe técnico que describe su nuevo módulo de red profunda: Aprendizaje residual profundo para el reconocimiento de imágenes , el equipo de Google también publicó su arquitectura Inception, Going Deeper with Convolutions . En un grado no trivial, todavía existe una cultura en el aprendizaje automático (por ahora) de compartir las grandes innovaciones. Posiblemente porque la clave es el acceso a los datos. Google y Facebook simplemente tienen acceso a datos que nosotros no tenemos. Es difícil decir cuánto crédito se destina a la innovación algorítmica sin procesar y cuánto se destina a grandes cantidades de datos.
¿Con respecto a lo que sucederá en el futuro? Difícil de decir. Es un problema que mucha gente ha planteado dado lo valiosas que se han vuelto estas empresas basadas en datos y lo competitivo que es el mercado. Pero por ahora, creo que hay un balance lo suficientemente bueno de lo que comparten y no comparten los laboratorios de investigación industrial. Entiendo que no comparten la implementación exacta de su código. Pero sí comparten algunas innovaciones muy novedosas.
Encuentre investigadores que publiquen resultados importantes y lea, lea, lea. Creo en el AMA de Yann LeCun en Reddit, mencionó que es un lector voraz. Creo que esto es lo más importante. Y en la medida en que sea práctico, intente recrear sus puntos de referencia o aplique su método a un conjunto de datos que esté dentro de su presupuesto.
Creo que, independientemente de dónde se encuentre o cuál sea su posición en la vida, esta es la mejor manera de mantenerse alerta y continuar desarrollando sus habilidades. Sé un lector voraz e implementa cosas y construye intuición. Personalmente no tengo los recursos para participar en las competiciones de ImageNet, pero leer todos los artículos del grupo ImageNet de alto rendimiento me ha ayudado enormemente.