¿Las redes neuronales tienen explicabilidad como los árboles de decisión?

13

En árboles de decisión, podemos entender el resultado de la estructura de árbol y también podemos visualizar cómo el árbol de decisión toma decisiones. Por lo tanto, los árboles de decisión tienen explicabilidad (su salida se puede explicar fácilmente).

¿Tenemos explicabilidad en redes neuronales como con árboles de decisión?

neural-network

— navya
fuente

1

Un marco reciente modelo-agnóstico es el modelo LIME .

— Emre

En el campo del reconocimiento / clasificación de objetos utilizando redes neuronales, los mapas de calor son populares para visualizar / explicar una decisión como en heatmapping.org . Hay tutoriales y demostraciones interactivas disponibles.

— Nikolas Rieble

9

No estoy de acuerdo con la respuesta anterior y con su sugerencia por dos razones:

1) Los árboles de decisión se basan en decisiones lógicas simples que combinadas pueden tomar decisiones más complejas. PERO si su entrada tiene 1000 dimensiones, y las características aprendidas son altamente no lineales, obtendrá un árbol de decisión realmente grande y pesado que no podrá leer / comprender simplemente mirando los nodos.

2) Las redes neuronales son similares a las de la función que aprenden solo si son muy pequeñas. Cuando te haces grande, necesitas otros trucos para entenderlos. Como sugirió @SmallChess, puede leer este artículo llamado Visualizar y comprender las redes convolucionales que explica el caso particular de las redes neuronales convolucionales, cómo puede leer los pesos para comprender cosas como "detectó un automóvil en esta imagen, principalmente debido a ruedas, no el resto de los componentes ".

Estas visualizaciones ayudaron a muchos investigadores a comprender realmente las debilidades en sus arquitecturas neuronales y ayudaron a mejorar los algoritmos de entrenamiento.

— Robin
fuente

:-) Encontré el documento en sí más difícil de entender que la red convolucional profunda en sí. Es un trabajo muy matemático.

— HelloWorld

1

Lo siento, he citado el artículo equivocado :-) Acabo de cambiarlo, este es más gráfico, la idea de revertir el convnet no es realmente difícil si sabes cómo funcionan los convnets. De la misma manera, Google Deep Dream utiliza la propagación hacia atrás para proyectar una salida particular en el espacio de entrada.

— Robin

Hay un video en el que Matt Zeiler amplía muchas de estas ideas, llamadas redes de desconvolución

— Alex

7

No. La red neuronal es generalmente difícil de entender. Cambia el poder predictivo por la complejidad del modelo. Si bien es posible visualizar gráficamente los pesos NN, no le dicen exactamente cómo se toma una decisión. Buena suerte tratando de entender una red profunda.

Hay un paquete Python popular (y tiene un documento) que puede modelar un NN localmente con un modelo más simple. Es posible que desee echar un vistazo.

https://github.com/marcotcr/lime

— Hola Mundo
fuente

1

jaja. Sé lo que se siente. abrazos : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 proporciona una herramienta de explicación local específica de NN: elevación profunda. Funciona propagando la diferencia de activación entre la instancia que desea explicar y una instancia de referencia. Obtener una referencia es un poco complicado, pero la herramienta parece ser interpretable y escalable en general. Lo usamos en datos tabulares.

— lcrmorin
fuente