¿Existen redes neuronales con muy pocos nodos que resuelvan decentemente problemas no triviales?

Estoy interesado en saber si existe alguna red neuronal, que resuelva (con> = 80% de precisión) cualquier problema no trivial, que use muy pocos nodos (donde 20 no es un límite estricto). Quiero desarrollar una intuición sobre los tamaños de las redes neuronales.

neural-networks

— Guillermo Mosse
fuente

Teorema de aproximación universal: una red neuronal con una capa oculta puede aproximarse a cualquier función "razonable" dado un número suficiente de nodos en la capa oculta.

— nbro

Creo que no será fácil responder tu pregunta. ¿Qué quiere decir con "problema no trivial"?

— nbro

Quiero pocos nodos incluso en capas ocultas.

— Guillermo Mosse

@nbro mi sentido de "no trivial" en este contexto es intratable o no resuelto.

— DukeZhou

Incluso si es imposible responder a esta pregunta correctamente, ya que no es trivial no está bien definido (tal vez el autor editará estas preguntas más adelante, para especificarlo mejor), aprovecho la oportunidad para señalar este documento que me parece interesante.

La red neuronal más pequeña para aprender la crítica de Ising

Suponiendo que tenga una idea general del Modelo de Ising , creo que el problema de identificar la temperatura crítica desde una perspectiva basada en datos puede considerarse no trivial y el documento muestra cómo los autores han mejorado el rendimiento relacionado para resolver esta tarea con NN pasando de 100 neuronas ocultas, tal como se realiza en este documento Fases del aprendizaje automático de la materia desde 2017, a solo 2 neuronas ocultas

Solo mis centavos:

La reducción de las neuronas, al tiempo que se mantiene un buen rendimiento, debería ayudar en términos de interpretación del procesamiento neural que es notoriamente oscura y su complejidad crece (exponencialmente) con el número de neuronas

— Nicola Bernini
fuente

Solo quería ejemplos que la comunidad misma encontrara interesantes. Creo que en realidad no es trivial definir no trivialidad. ¿Derecho?

— Guillermo Mosse

@GuillermoMosse No, es bastante trivial definir no trivial. La definición es más o menos arbitraria dependiendo de lo que mejor se adapte a la situación. Estoy seguro de que un NN muy simple podría aprender a decir si un número dado es o no una raíz cuadrada no trivial ...

— bosque