¿Qué significa "invariante de permutación" en el contexto de redes neuronales que realizan reconocimiento de imágenes?

He visto una versión del término "invariante de permutación" de la tarea de reconocimiento de dígitos MNIST. Qué significa eso?

— RockTheStar
fuente

Respuestas:

En este contexto, esto se refiere al hecho de que el modelo no asume ninguna relación espacial entre las características. Por ejemplo, para el perceptrón multicapa, puede permutar los píxeles y el rendimiento sería el mismo. Este no es el caso de las redes convolucionales, que asumen relaciones vecinales.

— bayerj
fuente

Sí, esa es la parte confusa. ¿No debería haber una relación espacial en la clasificación de dígitos?

— RockTheStar

MNIST es ampliamente utilizado como punto de referencia (o verificación de cordura) en redes neuronales. Si su modelo puede obtener <1% de error en MNIST invariante de permutación, está en algo.

— bayerj

Sí, quiero decir, ¿no hay una relación espacial en los dígitos también? Si permutas los píxeles de los dígitos, ¿cambiará el orden de los píxeles, lo que esencialmente afecta el rendimiento?

— RockTheStar

Solo si el modelo lo asume. mlps no, convnets sí. Es por eso que comparar una conexión a Internet con un mlp en mnist es algo injusto.

— bayerj

¡Veo! Entonces, en el conjunto de datos mnist, ¿mlps funciona mejor o convnet?

— RockTheStar

Una función de un argumento vectorial es invariante de permutación si el valor de no cambia si permutamos los componentes de , es decir, cuando : $f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— kjetil b halvorsen
fuente

Esta respuesta es un poco engañosa, porque el aprendizaje automático en el algoritmo de aprendizaje es a menudo invariante de permutación, mientras que la función que devuelve no lo es.

— bayerj

@bayerj: Esa es una información interesante, pero no puedo ver que haga que la definición que he dado sea engañosa , es una definición correcta, pero tal vez no sea una respuesta completa en este contexto.

— kjetil b halvorsen

Tienes razón, la definición es correcta. Pero no es aplicable en la forma en que lo escribe. En el contexto de la permutación MNIST invariante, sobre la cual el OP estaba preguntando, las funciones de la forma que usted escribe no ocurren.

— bayerj