¿No se puede decir que los modelos de aprendizaje profundo ahora son interpretables? ¿Son las características de los nodos?

Para los modelos estadísticos y de aprendizaje automático, existen múltiples niveles de interpretación: 1) el algoritmo en su conjunto, 2) partes del algoritmo en general 3) partes del algoritmo en entradas particulares, y estos tres niveles se dividen en dos partes cada uno, uno para entrenamiento y otro para la función eval. Las dos últimas partes están mucho más cerca que la primera. Estoy preguntando sobre el n. ° 2, que generalmente conduce a una mejor comprensión del n. ° 3). (Si eso no es lo que significa "interpretabilidad", ¿qué debería estar pensando?)

En cuanto a la interpretabilidad, la regresión logística es una de las más fáciles de interpretar. ¿Por qué esta instancia pasó el umbral? Porque esa instancia tenía esta característica positiva particular y tiene un coeficiente mayor en el modelo. ¡Es muy obvio!

Una red neuronal es el ejemplo clásico de un modelo que es difícil de interpretar. ¿Qué significan todos esos coeficientes significan ? Todos se suman de maneras tan locas y complicadas que es difícil decir qué hace realmente un coeficiente en particular.

Pero con todas las redes neuronales profundas que salen, parece que las cosas se están aclarando. Los modelos DL (por ejemplo, la visión) parecen capturar cosas como bordes u orientación en las primeras capas, y en las capas posteriores parece que algunos nodos son realmente semánticos (como la proverbial 'célula de la abuela' ). Por ejemplo:

( de 'Aprender sobre el aprendizaje profundo' )

Este es un gráfico ( de muchos por ahí ) creado a mano para su presentación, así que soy muy escéptico. Pero es evidencia de que alguien piensa que así es como funciona.

Quizás en el pasado simplemente no había suficientes capas para que pudiéramos encontrar características reconocibles; los modelos fueron exitosos, pero no es fácil analizarlos post-hoc en particular.

Pero tal vez el gráfico es solo una ilusión. Quizás las NN son realmente inescrutables.

Pero los muchos gráficos con sus nodos etiquetados con imágenes también son realmente convincentes.

¿Los nodos DL realmente corresponden a las características?

La interpretación de modelos profundos sigue siendo un desafío.

1. Su publicación solo menciona CNN para aplicaciones de visión por computadora, pero las redes de retroalimentación (profundas o poco profundas) y las redes recurrentes siguen siendo difíciles de entender.

2. Incluso en el caso de las CNN que tienen estructuras obvias de "detector de características", como bordes y orientación de parches de píxeles, no es completamente obvio cómo estas características de nivel inferior se agregan hacia arriba, o qué sucede, precisamente, cuando estas características de visión se agregan en una capa completamente conectada.

3. Los ejemplos adversarios muestran cómo la interpretación de la red es difícil. Un ejemplo de confrontación tiene una pequeña modificación, pero resulta en un cambio dramático en la decisión tomada por el modelo. En el contexto de la clasificación de imágenes, una pequeña cantidad de ruido agregado a una imagen puede cambiar la imagen de un lagarto para tener una clasificación altamente segura como otro animal, como un (especie de) perro.

Esto está relacionado con la interpretabilidad en el sentido de que existe una relación fuerte e impredecible entre la cantidad (pequeña) de ruido y el cambio (grande) en la decisión de clasificación. Pensando en cómo operan estas redes, tiene sentido: los cálculos en las capas anteriores se propagan hacia adelante, de modo que una serie de errores, pequeños errores sin importancia para un ser humano, se magnifican y acumulan a medida que se realizan más y más cálculos utilizando entradas "corruptas".

Por otro lado, la existencia de ejemplos adversos muestra que la interpretación de cualquier nodo como una característica o clase particular es difícil, ya que el hecho de que el nodo esté activado podría tener poco que ver con el contenido real de la imagen original, y que Esta relación no es realmente predecible en términos de la imagen original. Pero en las imágenes de ejemplo a continuación, ningún ser humano se engaña sobre el contenido de las imágenes: no confundirías la asta de la bandera con un perro. ¿Cómo podemos interpretar estas decisiones, ya sea en conjunto (un pequeño patrón de ruido "transmuta" un lagarto en perro, o un asta de bandera en un perro) o en piezas más pequeñas (que varios detectores de características son más sensibles al patrón de ruido que la imagen real contenido)?

HAAM es un nuevo método prometedor para generar imágenes adversas utilizando funciones armónicas. ("Método de Ataque Adversario Armónico" Wen Heng, Shuchang Zhou, Tingting Jiang.) Las imágenes generadas con este método pueden usarse para emular los efectos de iluminación / sombra y, en general, son aún más difíciles de detectar para los humanos por haber sido alteradas.

Como ejemplo, vea esta imagen, tomada de " Perturbaciones adversas universales ", por Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi y Pascal Frossard. Elegí esta imagen solo porque era una de las primeras imágenes adversas que encontré. Esta imagen establece que un patrón de ruido particular tiene un efecto extraño en la decisión de clasificación de la imagen, específicamente que puede hacer una pequeña modificación en una imagen de entrada y hacer que el clasificador piense que el resultado es un perro. Tenga en cuenta que la imagen original subyacente sigue siendo obvia: en todos los casos, un humano no se confundirá al pensar que cualquiera de las imágenes que no son perros son perros.

Aquí hay un segundo ejemplo de un artículo más canónico, " EXPLICANDO Y APROVECHANDO EJEMPLOS ADVERSARIALES " por Ian J. Goodfellow, Jonathon Shlens y Christian Szegedy. El ruido agregado es completamente indistinguible en la imagen resultante, sin embargo, el resultado se clasifica con mucha confianza como el resultado incorrecto, un gibón en lugar de un panda. En este caso, al menos, hay al menos una similitud pasajera entre las dos clases, ya que los gibones y los pandas son al menos algo biológicamente y estéticamente similares en el sentido más amplio.

Este tercer ejemplo está tomado de " Detección de ejemplos adversarios generalizables basada en un desajuste de decisión bi-modelo " por João Monteiro, Zahid Akhtar y Tiago H. Falk. Establece que el patrón de ruido puede ser indistinguible para un humano y aun así confundir al clasificador.

Como referencia, un mudpuppy es un animal de color oscuro con cuatro extremidades y una cola, por lo que realmente no se parece mucho a un pez dorado.

4. Acabo de encontrar este artículo hoy. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. " Propiedades intrigantes de las redes neuronales ". El resumen incluye esta cita intrigante:

Primero, encontramos que no hay distinción entre unidades individuales de alto nivel y combinaciones lineales aleatorias de unidades de alto nivel, de acuerdo con varios métodos de análisis de unidades. Sugiere que es el espacio, en lugar de las unidades individuales, el que contiene la información semántica en las capas altas de las redes neuronales.

Entonces, en lugar de tener 'detectores de características' en los niveles más altos, los nodos simplemente representan coordenadas en un espacio de características que la red usa para modelar los datos.

Las capas no se asignan sucesivamente a características más abstractas tan claramente como nos gustaría. Una buena manera de ver esto es comparar dos arquitecturas muy populares.

VGG16 consta de muchas capas convolucionales apiladas una encima de la otra con la capa de agrupación ocasional, una arquitectura muy tradicional.

Desde entonces, las personas han pasado a diseñar arquitecturas residuales, donde cada capa está conectada no solo a la capa anterior, sino también a una (o posiblemente más) capas más abajo en el modelo. ResNet fue uno de los primeros en hacer esto, y tiene alrededor de 100 capas, dependiendo de la variante que use.

Si bien VGG16 y redes similares tienen capas que actúan de una manera más o menos interpretable, aprendiendo características de niveles cada vez más altos, ResNets no hace esto. En cambio, las personas han propuesto que sigan refinando las características para hacerlas más precisas o que solo sean un grupo de redes superficiales disfrazadas , ninguna de las cuales coincide con las "vistas tradicionales" de lo que aprenden los modelos profundos.

Si bien ResNet y arquitecturas similares superan fácilmente a VGG en la clasificación de imágenes y la detección de objetos, parece que hay algunas aplicaciones para las cuales la jerarquía de características ascendentes simples de VGG es muy importante. Ver aquí para una buena discusión.

Entonces, dado que las arquitecturas más modernas ya no parecen encajar en la imagen, diría que todavía no podemos decir que las CNN sean interpretables.

El tema de mi disertación de doctorado fue revelar las propiedades de caja negra de las redes neuronales, específicamente las redes neuronales de avance, con una o dos capas ocultas.

Asumiré el desafío de explicar a todos lo que significan los términos de peso y sesgo, en una red neuronal de alimentación de una capa. Se abordarán dos perspectivas diferentes: una paramétrica y una probabilística.

$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• $0$$1$
• $v$$v$$7$

Dicha representación de sus datos de entrada es necesaria para poder interpretar el tamaño (valor absoluto) de los pesos en la capa de entrada.

Significado paramétrico:

• $0$
• el peso de un nodo oculto a un nodo de salida indica que la amplificación ponderada de las variables de entrada que están en sentido absoluto más amplificadas por esa neurona oculta, que promueven o amortiguan el nodo de salida particular. El signo del peso indica promoción (positiva) o inhibición (negativa).
• $1$$3$$2$
• $\beta$

$1$$i$$l$$t$$s$$i$$l$$1$$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

Los nodos ocultos más importantes son para un nodo de salida (hablando en frecuencias, sobre el conjunto de entrenamiento), ¿qué 'pesos de entrada multiplicados por frecuencias de entrada' son los más importantes? Luego nos acercamos a la importancia de los parámetros de las redes neuronales de retroalimentación.

Interpretación probabilística:

$x_{input}$

Caso individual - patrón

$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$, o cualquier otro día de la semana), y el resultado más probable cambia, entonces esa variable enumerada tiene influencia potencial en el resultado de la clasificación.

$x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

Inclinación profunda - y el significado de los parámetros NN

Cuando se aplica a la visión por computadora, las redes neuronales han mostrado un progreso notable en la última década. Las redes neuronales convolucionales introducidas por LeCunn en 1989 han resultado funcionar realmente bien en términos de reconocimiento de imágenes. Se ha informado que pueden superar a la mayoría de los otros enfoques de reconocimiento basados ​​en computadora.

Aparecen propiedades emergentes interesantes cuando las redes neuronales convolucionales están siendo entrenadas para el reconocimiento de objetos. La primera capa de nodos ocultos representa detectores de características de bajo nivel, similares a los operadores de espacio de escala T. Lindeberg, Detección de características con selección automática de escala, 1998 . Estos operadores de espacio de escala detectan

• líneas,
• esquinas,
• Uniones en T

y algunas otras características básicas de la imagen.

Aún más interesante es el hecho de que se ha demostrado que las neuronas perceptivas en cerebros de mamíferos se parecen a esta forma de trabajar en los primeros pasos del procesamiento de imágenes (biológicas). Entonces, con las CNN, la comunidad científica se está acercando a lo que hace que la percepción humana sea tan fenomenal. Esto hace que valga la pena continuar esta línea de investigación.