SVD de una matriz de datos (PCA) después del suavizado

Digamos que tengo un $n \times m$ matriz de datos centrada $A$ con SVD $A = U \Sigma V^{T}$.

Por ejemplo, $m=50$ columnas (medidas) que son espectros con $n=100$diferentes frecuencias La matriz está centrada de modo que las filas de la matriz tienen sus medias restadas. Esto es para interpretar los vectores singulares izquierdos como componentes principales.

Estoy interesado en comprender cómo cambia la SVD cuando suavizo cada vector de columna. Por ejemplo, suavicemos cada columna de 100x1 por un núcleo simple como [1/3, 2/3, 1/3].

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

Entonces la nueva matriz de datos es $A'=SA$ y tiene algo de SVD $A' = U' \Sigma' V'^{T}$.

Mi primer pensamiento fue que desde $SA = SU \Sigma V^{T}$, Debería esperar el ${U'}_i$ vectores para ser suavizados al igual que el $A_i$ vectores

Esta primera ecuación se parece a la $(SU)_i$ son vectores propios de $A' A'^T$:

$$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$$

Pero no estoy seguro acerca de este próximo si es válido decir que el $V_i$ son vectores propios de $A'^T A'$:

$$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$$

Cuando comparo SVDs de $A$ y $A'$ numéricamente, los vectores singulares izquierdos no son lo que espero, $U' \neq SU$, pero tienen una apariencia suave.

¿Alguien puede ayudarme a relacionarme? $U \Sigma V^{T}$ y la SVD $U' \Sigma' V'^{T}$ después de esta simple transformación?

Por qué tus primeros pensamientos te llevaron por mal camino:

Cuando tomas la SVD de una matriz, $U$ y $V$son unitarios (ortogonales) Entonces, si bien es cierto que$SA = SU \Sigma V^{T}$, esa no es (generalmente) la SVD de$SA$. Sólo si$S$ es unitario (que en el caso de una matriz de suavizado, no lo es) ¿sería cierto que $U' = SU$.

¿Hay alguna forma elegante y simbólica de relacionar las dos SVD? No puedo encontrar uno. Sin embargo, su matriz de suavizado es una matriz de Toeplitz. Es posible que tales matrices tengan algunas propiedades especiales que podrían hacer un análisis más fructífero. Si descubres algo, compártelo con el resto.

El caso de suavizado extremo:

Una forma de pensar sobre el suavizado es un continuo desde el no suavizado hasta el extremo donde suavizamos cada columna a su valor medio. Ahora, en ese caso extremo, la matriz tendría un rango de 1, y solo habría un valor singular distinto de cero. Veamos la SVD:

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

La última ecuación representa la SVD truncada. Tenga en cuenta que los vectores izquierdo y derecho son de longitud 1. Puede expandir$\frac{\mathbf{1}}{\sqrt{n}}$en una matriz ortogonal. Similarmente para$\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$. Luego, simplemente rellena con cero la matriz del medio, y obtienes la SVD completa.

Alisado intermedio

Presumiblemente no vas a hacer un suavizado tan extremo. ¿Entonces que significa esto para usted? A medida que ampliamos el suavizado, el espectro se reduce gradualmente a un solo valor. Por ejemplo, en mis simulaciones *:

Como sugiere la derivación anterior, $U'_1$ se acercará al vector 1 normado, y $V'_1$se acercará al vector medio normado. ¿Pero qué hay de los otros vectores?

A medida que se reducen sus valores singulares correspondientes, el otro $U'_i$'s y $V'_i$'s variará cada vez más salvajemente hasta que sean solo opciones arbitrarias para las bases de los subespacios ortogonales a $U'_1$ y $V'_1$. Es decir, se convertirá en ruido.

Si necesita algo de intuición de por qué son "solo ruido", tenga en cuenta que $SA$ es una suma ponderada de díadas: $\displaystyle \sum \sigma_i U'_i V'^T_i$. Podríamos cambiar completamente las direcciones de$U'_i$ y $V'_i$, y solo afectará las entradas de $SA$ por menos de $\sigma_i$.

Otra visualización

Aquí hay otra forma de ver el suavizado de columnas. Imagen de cada fila en la matriz como un punto en$m$-espacio. A medida que suavizamos las columnas, cada punto se acercará al punto anterior y al siguiente. En general, la nube de puntos se reduce †:

¡Espero que esto ayude!

_{[*]: Definí una familia de suavizadores cada vez más amplios. Hablando en términos generales, tomé el núcleo [1/4, 1/2, 1/4], lo envolví$z$ veces, lo recorté a $d$ dimensiones, y normalizado por lo que se suma a 1. Luego graficé el suavizado progresivo de una matriz ortogonal aleatoria y una matriz normal aleatoria.}

_{[†]: suavizadores generados de la misma manera. $A$ se construye como una serie de puntos en $2$-espacio que parece interesante.}