Bueno, depende de una arquitectura de red y una capa particular. En general, las NN no son interpretables, este es su principal inconveniente en el análisis de datos comerciales (donde su objetivo es descubrir información procesable de su modelo).
Pero me encantan las redes convolucionales, ¡porque son diferentes! Aunque sus capas superiores aprenden conceptos muy abstractos, utilizables para el aprendizaje y la clasificación de transferencia, que no se pueden entender fácilmente, sus capas inferiores aprenden filtros de Gabor directamente de datos sin procesar (y, por lo tanto, son interpretables como tales filtros). Eche un vistazo al ejemplo de una conferencia de Le Cun:
Además, M. Zeiler ( pdf ) y muchos otros investigadores inventaron un método muy creativo para "comprender" la red de comunicación y asegurarse de que aprendiera algo útil denominado redes desconvolucionales , en la que 'rastrean' alguna red de comunicación haciendo pasar las imágenes de entrada y recordando qué Las neuronas tenían activaciones más grandes para las cuales las fotos. Esto proporciona una introspección sorprendente como esta (a continuación se muestran un par de capas):
Las imágenes grises en el lado izquierdo son activaciones neuronales (a mayor intensidad, mayor activación) por imágenes en color en el lado derecho. Vemos que estas activaciones son representaciones esqueléticas de fotos reales, es decir, las activaciones no son aleatorias. Por lo tanto, tenemos una sólida esperanza de que nuestra conexión aprendió algo útil y tendrá una generalización decente en imágenes invisibles.