5 años después, ¿las redes de maxout están muertas y por qué?

Las redes de Maxout eran una idea simple pero brillante de Goodfellow et al. desde 2013 hasta max mapas de características para obtener un aproximador universal de activaciones convexas. El diseño se diseñó para su uso junto con el abandono (recientemente introducido) y, por supuesto, dio como resultado resultados de vanguardia en puntos de referencia como CIFAR-10 y SVHN.

Cinco años después, la deserción definitivamente sigue en el juego, pero ¿qué pasa con maxout? El documento todavía es ampliamente citado en artículos recientes según Google Scholar, pero parece que casi ninguno está utilizando la técnica.

Entonces, ¿maxout es cosa del pasado? Y si es así, ¿por qué? ¿Qué lo convirtió en uno de los mejores en 2013 pero no en 2018?

deep-learning dropout

— usuario209974
fuente

Luego investígalo más a fondo, y puedes ser el próximo Goodfellow.

— FauChristian

Básicamente, si lee el documento completo (especialmente, el resumen y la sección 7), encontrará que el logro principal sigue siendo una contribución marginal además del abandono.

Si ve los resultados empíricos en la Tabla 5 (de la página 5) del documento original de maxout , encontrará que la tasa de clasificación errónea es muy, muy levemente menor que la de los abandonos. (2.47% en lugar de 2.78%)

Eso podría explicar el relativamente menor interés en el trabajo.

— Amrinder Arora
fuente

Gracias por tu respuesta. Reducir el error de 2.78% a 2.47% es en realidad una disminución de 11% en la tasa de error. No es un cambio de juego, pero sigue siendo interesante y definitivamente no es pequeño.

— user209974

Punto justo. Si eso es de interés para su aplicación específica, vale la pena investigarlo.

— Amrinder Arora