¿Por qué tratamos con los vectores propios de la autocorrelación en lugar de los datos en sí?

¿Cuán intuitivamente entender por qué se usan vectores propios de la matriz de autocorrelación, pero los vectores propios de la matriz construida a partir de muestras temporales no tienen sentido y no se usan? Por ejemplo, en la detección de una señal armoniosa en ruido aditivo.

Algunas razones de "nivel intestinal" explican por qué es mejor trabajar con la matriz de autocorrelación en lugar de una matriz con sus observaciones:

• Si desea tener en cuenta todas sus observaciones y tiene muchos datos, terminará manipulando (invirtiendo, multiplicando) matrices bastante grandes. Si trabaja con la matriz de autocorrelación, "resume" sus datos una vez (en un paso bastante eficiente que requiere solo una FFT y una FFT inversa), y desde entonces, simplemente manipula su matriz de autocorrelación de tamaño donde es su orden de modelo (por ejemplo, para modelado AR o modelado sinusoidal).$P \times P$$P$
• Con algunos datos simplemente no funciona numéricamente para usar las observaciones sin procesar porque se encuentra con situaciones en las que tiene que lidiar con matrices que no se garantiza que sean definitivas positivas.

Por ejemplo, consideremos dos enfoques para la adaptación del modelo AR.

Uso directo de la matriz de datos.

El error de reconstrucción cuadrática empírica en sus datos es:

$$\epsilon = \mathbf{x}^T\mathbf{x} + \mathbf{x}^T\Gamma \mathbf{a} + \mathbf{a}^T\Gamma^T\mathbf{x} + \mathbf{a}^T\Gamma^T \Gamma \mathbf{a}$$

donde es el vector de los coeficientes AR, es su vector de observaciones y la matriz con sus observaciones retrasadas. Debe encontrar el valor de que minimice esto. Después de la derivación y un poco de barajado, su solución se ve así:$\mathbf{a}$$\mathbf{x}$$\Gamma$$\mathbf{a}$

$$\mathbf{a} = - (\Gamma^T \Gamma)^{-1} \Gamma^T \mathbf{x}$$

Y está jodido porque no tiene absolutamente ninguna garantía de que pueda invertirse. En el proceso, numéricamente hablando, tenía que lidiar con productos matriciales bastante grandes si tenía una larga secuencia de observaciones.$\Gamma^T \Gamma$

Vista de proceso aleatorio

Si adapta un ángulo de "proceso aleatorio" al problema, la cantidad que debe minimizar (el valor esperado del error) es:

$$\epsilon = r_x(0) + 2 \mathbf{r} \mathbf{a} + \mathbf{a}^T \mathbf{R} \mathbf{a}$$

Y terminas con la solución más sabrosa:

$$\mathbf{a} = - \mathbf{R}^{-1} \mathbf{r}$$

¡Con una garantía sólida de que esto será computable porque es positivo definitivo!$\mathbf{R}$

Parece que su problema es el del modelado sinusoidal (en lugar del modelado AR). Aquí se agita mucho la mano, pero lo que he dicho sobre el modelado AR y los obstáculos del uso de la matriz de datos sin procesar; también se aplica al modelado sinusoidal: la descomposición del valor propio es la operación problemática en lugar de la inversión de la matriz.

En primer lugar, los vectores propios y los valores propios se definen para los operadores. La correlación es una operación.

En segundo lugar, los vectores propios de la autocorrelación son particularmente interesantes porque explican de manera más eficiente la varianza de la señal en una regresión lineal. En otras palabras, para un número fijo de vectores, la selección de los vectores propios minimiza el error cuadrático medio donde la señal se modela como una suma lineal de los vectores. Esta técnica se conoce como análisis de componentes principales .

Si puede ampliar su noción de una señal "armoniosa", tal vez pueda hacer más comentarios.