Fondo de introducción

Dentro de una red neuronal convolucional, generalmente tenemos una estructura / flujo general que se ve así:

1. imagen de entrada (es decir, un vector 2D x)

(La primera capa convolucional (Conv1) comienza aquí ...)

2. Convolucionar un conjunto de filtros ( w1) a lo largo de la imagen 2D (es decir, hacer las z1 = w1*x + b1multiplicaciones del producto de puntos), donde z1es 3D y b1es sesgo.
3. aplicar una función de activación (por ejemplo, ReLu) para hacer z1no lineal (por ejemplo a1 = ReLu(z1)), donde a1es 3D.

(La segunda capa convolucional (Conv2) comienza aquí ...)

4. Convolucionar un conjunto de filtros a lo largo de las activaciones recién calculadas (es decir, hacer las z2 = w2*a1 + b2multiplicaciones del producto de puntos), donde z2es 3D y b2sesgos.
5. aplicar una función de activación (por ejemplo, ReLu) para hacer z2no lineal (por ejemplo a2 = ReLu(z2)), donde a2es 3D.

 La pregunta

La definición del término "mapa de características" parece variar de una literatura a otra. Concretamente:

• Para la capa de convolución primero, hace "mapa de características" corresponde al vector de entrada x, o el producto punto de salida z1, o las activaciones de salida a1, o el "proceso" convertir xa a1, o algo más?
• Del mismo modo, para la capa de convolucional segunda, hace "mapa de características" corresponde a las activaciones de entrada a1, o el producto de punto de salida z2, o la activación de la salida a2, o el "proceso" conversión a1a a2, o algo más?

Además, ¿es cierto que el término "mapa de características" es exactamente el mismo que "mapa de activación"? (¿o realmente significan dos cosas diferentes?)

 Referencias adicionales:

Fragmentos de redes neuronales y aprendizaje profundo - Capítulo 6 :

* La nomenclatura se está utilizando libremente aquí. En particular, estoy usando "mapa de características" para significar no la función calculada por la capa convolucional, sino más bien la activación de las neuronas ocultas que salen de la capa. Este tipo de abuso leve de la nomenclatura es bastante común en la literatura de investigación.

Fragmentos de visualización y comprensión de redes convolucionales por Matt Zeiler :

En este artículo presentamos una técnica de visualización que revela los estímulos de entrada que excitan los mapas de características individuales en cualquier capa del modelo. [...] Nuestro enfoque, por el contrario, proporciona una vista no paramétrica de la invariancia, que muestra qué patrones del conjunto de entrenamiento activan el mapa de características. [...] una operación de contraste local que normaliza las respuestas en los mapas de características. [...] Para examinar una activación de convnet dada, establecemos todas las demás activaciones en la capa a cero y pasamos los mapas de características como entrada a la capa deconvnet adjunta. [...] El convnet utiliza no linealidades relu, que rectifican los mapas de características asegurando así que los mapas de características sean siempre positivos. [...] El convnet utiliza filtros aprendidos para convolucionar los mapas de características de la capa anterior. [...] Fig. 6, estas visualizaciones son representaciones precisas del patrón de entrada que estimula el mapa de características dado en el modelo [...] cuando las partes de la imagen de entrada original correspondiente al patrón están ocluidas, vemos una clara caída en la actividad dentro del mapa de características. [...]

Observaciones: también introduce el término "mapa de características" y "mapa de características rectificado" en la figura 1.

Fragmentos del capítulo de Stanford CS231n en CNN :

[...] Una trampa peligrosa que se puede notar fácilmente con esta visualización es que algunos mapas de activación pueden ser cero para muchas entradas diferentes, lo que puede indicar filtros muertos y puede ser un síntoma de altas tasas de aprendizaje [...] Activaciones de aspecto típico en la primera capa CONV (izquierda) y la quinta capa CONV (derecha) de un AlexNet entrenado mirando una imagen de un gato. Cada cuadro muestra un mapa de activación correspondiente a algún filtro. Observe que las activaciones son escasas (la mayoría de los valores son cero, en esta visualización se muestra en negro) y principalmente locales.

Fragmentos de A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks

[...] Cada ubicación única en el volumen de entrada produce un número. Después de deslizar el filtro sobre todas las ubicaciones, descubrirá que lo que le queda es una matriz de números de 28 x 28 x 1, que llamamos un mapa de activación o mapa de características.

Un mapa de características, o mapa de activación, son las activaciones de salida para un filtro dado (a1 en su caso) y la definición es la misma independientemente de en qué capa se encuentre.

El mapa de características y el mapa de activación significan exactamente lo mismo. Se llama un mapa de activación porque es un mapeo que corresponde a la activación de diferentes partes de la imagen, y también un mapa de características porque también es un mapeo de dónde se encuentra un cierto tipo de característica en la imagen. Una activación alta significa que se encontró cierta característica.

Un "mapa de características rectificado" es solo un mapa de características creado con Relu. Posiblemente podría ver el término "mapa de características" utilizado para el resultado de los productos de punto (z1) porque este también es realmente un mapa de dónde se encuentran ciertas características en la imagen, pero eso no es común de ver.

antes de hablar sobre lo que significa el mapa de características, simplemente defina el término del vector de características.

El vector de características es una representación vectorial de los objetos. Por ejemplo, un automóvil puede ser representado por [número de ruedas, puerta. windows, age ..etc].

El mapa de características es una función que toma vectores de características en un espacio y los transforma en vectores de características en otro. Por ejemplo, dado un vector de características [volumen, peso, altura, ancho], puede devolver [1, volumen / peso, altura * ancho] o [altura * ancho] o incluso solo [volumen]