Detección de compresión versus codificación dispersa

Aparentemente, se utilizan diferentes terminologías para referirse al mismo campo llamado "detección de compresión" como (ver esta página wiki ): detección comprimida, muestreo compresivo o muestreo disperso. Sin embargo, me pregunto acerca de la "detección dispersa".

Sin embargo, y después de algunas búsquedas en Internet, lo que las personas llaman "codificación dispersa" parece no referirse al campo "detección de compresión" como las otras terminologías que he citado anteriormente.

¿Existe realmente una diferencia entre la detección de compresión y la codificación dispersa?

¿Qué pasa con el aprendizaje del diccionario?

Un par de obras de referencia ofrecen una explicación:

• Una interpretación neurológica descrita en Scholarpedia
• Tutorial no supervisado de aprendizaje de características y aprendizaje profundo de Stanford

Si observamos la definición del término en el contexto del aprendizaje del diccionario, por ejemplo en K-SVD: un algoritmo para diseñar diccionarios sobrecompletos para una representación dispersa , el término se define:

Sparse de codificación es el proceso de cálculo de los coeficientes de representación en base a la señal dada y el diccionario .$\mathbf x$$\mathbf y$$\mathbf D$

Entonces, la codificación dispersa es la operación de encontrar una representación dispersa de una señal dada en un diccionario dado. En relación con la detección comprimida, esta me parece la interpretación más relevante del término. Como tal, escaso de codificación está estrechamente relacionado con la detección comprimido, pero comprime detectar específicamente se ocupa de encontrar la solución más dispersa a un bajo-determinado conjunto de ecuaciones lineales que, como muestra la teoría, es la solución correcta en este caso con alta probabilidad. La codificación escasa es entonces más general en el sentido de que no necesariamente trata con un conjunto de ecuaciones infradeterminadas.

Como notó correctamente , la detección comprimida , el muestreo compresivo y el muestreo disperso significan lo mismo. Algunos autores también lo llaman detección dispersa. La idea detrás de la detección comprimida es que se puede recuperar una señal dispersa de muy pocas mediciones lineales. En símbolos, si$\mathbf x$ es $N\times 1$ escaso$^\ddagger$ vector y $\mathbf A$ es un $M\times N$ matriz con $M\ll N$y medimos $\mathbf y=\mathbf{Ax}$, entonces la teoría de detección comprimida nos dice$^\dagger$ que podemos recuperar exactamente $\mathbf x$ desde $\mathbf y$. Esto es notable porque dice que podemos recuperar la señal original de menos mediciones.

El aprendizaje de diccionarios, por otro lado, trata un problema completamente diferente de representar un conjunto de vectores de datos de manera parsimoniosa. Dado un conjunto de vectores de datos$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$, nos gustaría encontrar otro conjunto de vectores $\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$ (llamados "átomos") de modo que cada vector de datos $\mathbf x_i$ se puede representar como una combinación lineal de estos $\mathbf v_j$'s. El conjunto de átomos se llama diccionario. El objetivo aquí es aprender un diccionario que sea mucho más pequeño que el número de vectores de datos.$^*$ es decir $L < K$.

Dado un conjunto de átomos en un diccionario y un vector $\mathbf y$, el objetivo de la codificación dispersa es representar$\mathbf y$ como una combinación lineal de la menor cantidad de átomos posible.

Finalmente, el aprendizaje de diccionario disperso es una combinación de aprendizaje de diccionario y codificación dispersa. El objetivo aquí es doble: encontrar una representación parsimoniosa del conjunto de vectores de datos y garantizar que cada vector de datos se pueda escribir como una combinación lineal de la menor cantidad posible de átomos.

Detección comprimida v / s Codificación dispersa
Ambas técnicas tratan de encontrar una representación dispersa, pero existen diferencias sutiles.

La detección comprimida se ocupa específicamente del problema de resolver un sistema subdeterminado de ecuaciones lineales, es decir, menos puntos de datos que la señal original. De una señal escasa desconocida$\mathbf x$ y matriz de detección $\mathbf A$, observamos el vector de datos $\mathbf y = \mathbf{Ax}$. $\mathbf A$tiene menos filas que columnas. La teoría de la detección comprimida trata los siguientes tipos de preguntas:

1. ¿En qué condiciones se puede resolver el conjunto subdeterminado de ecuaciones lineales y cómo lo resolvemos de manera robusta y manejable desde el punto de vista computacional?

2. ¿Cómo diseñamos matrices de detección? $\mathbf A$ para varias aplicaciones?

Por el contrario, la codificación dispersa no aborda la cuestión del diseño $\mathbf A$. Además, no está interesado en resolver un sistema de ecuaciones infradeterminado ---$\mathbf A$ se le permite tener más filas que columnas.$^\%$

Referencias

Detección de compresión [Notas de clase]

Diccionario de aprendizaje

Aprendizaje de diccionarios en línea para codificación dispersa

Notas al pie:

$^\ddagger$ Escaso significa que el vector tiene muy pocos elementos distintos de cero.

$^\dagger$ $\mathbf A$ y $M$ Necesidad de satisfacer algunas condiciones técnicas.

$^*$A diferencia de los métodos de transformación estándar, como la transformación de Fourier, el aprendizaje del diccionario es adaptable a los datos. Al tomar una transformada de Fourier, los vectores base$\mathbf v_j$'s se fijan por adelantado (exponenciales complejos). En el aprendizaje del diccionario, se aprenden de los datos.

$^\%$ Esto se llama un diccionario demasiado completo.