Eficiencia energética de cerebros humanos versus redes neuronales

¿Qué tan grandes redes neuronales artificiales podemos ejecutar ahora (ya sea con un ciclo completo de preparación del tren o simplemente evaluando las salidas de la red) si nuestro presupuesto total de energía para el cálculo es equivalente al presupuesto de energía del cerebro humano ( 12.6 vatios )?

Supongamos un ciclo por segundo, que parece coincidir aproximadamente con la tasa de activación de las neuronas biológicas .

neural-networks human-like

— liori
fuente

Iba a hacer esta pregunta. Estoy feliz de que alguien más lo haya hecho :)

— Eka

126 millones de neuronas artificiales a 12,6 vatios, con el verdadero norte de IBM

En 2014, el chip True North de IBM estaba empujando 1 millón de neuronas a menos de 100 mW.

Eso es aproximadamente 126 millones de neuronas artificiales a 12.6 vatios.

Un ratón tiene 70 millones de neuronas.

IBM cree que pueden construir un mainframe True North a escala de cerebro humano a una "mera" 4kW.

Una vez que los transistores 3D lleguen al mercado, creo que alcanzaremos la eficiencia del cerebro animal bastante rápido.

— Doxosophoi
fuente

> Entonces eso es aproximadamente 126 millones de neuronas artificiales a 12.6 vatios. > Un ratón tiene 70 millones de neuronas. El problema es que no sabemos si una sola "neurona" artificial es realmente un equivalente uno a uno para una neurona biológica real.

— mindcrime

Además del delito mental, tenga en cuenta que durante aproximadamente 60 años, los neurocientíficos / investigadores de IA han subestimado constantemente el poder de procesamiento del cerebro humano. ¡Vi estimaciones iniciales de grandes nombres de que nuestras mentes solo podían almacenar unos 100 MB! Todavía tenemos que tener en cuenta cosas como profundidad de bits, arquitectura adecuada, posibles estados cuánticos en las células cerebrales, etc. Es probable que IBM construya una red neuronal de 70 millones de neuronas con eficiencia energética que ni siquiera puede aproximarse al comportamiento de los parásitos de un ratón . Los investigadores de IA siempre han sobrestimado históricamente sus propias capacidades.

— SQLServerSteve

De hecho, se olvidó de los chips de IBM. Ni siquiera los tomé en cuenta al escribir la pregunta, ya que hay críticas conocidas sobre su eficiencia (ver, por ejemplo, facebook.com/yann.lecun/posts/10152184295832143 ). Aunque técnicamente todavía implementan redes neuronales, por lo que hago +1.

— liori

@mindcrime y SQLServerSteve Bueno, la pregunta podría haber sido específicamente acerca de los ANN de alimentación de vainilla que se ejecutan en hardware de stock. Sin embargo, esa no es la impresión que obtuve de la pregunta.

— Doxosophoi

Tampoco parecía tratarse de redes neuronales artificiales que aún no se han imaginado.

— Doxosophoi

Si te limitaras a 12,6 vatios, no harías mucho. Simplemente busque el consumo de energía para una GPU moderna, observe el tamaño de las redes que las personas están entrenando en ellas y luego reduzca la escala. Como referencia, las GPU modernas parecen consumir entre 52-309 vatios bajo un uso intensivo .

Claramente, la eficiencia energética es un área en la que el cerebro humano todavía está lejos de la cabeza de ANN.

— crimen mental
fuente