SVD de una matriz de datos después de una proyección ortogonal a un subespacio

Digamos que puedo conocer la SVD de alguna matriz $X$ :

X = U S V^{T}

$X = USV^T$

Si tengo una matriz ortogonal $A$ (es decir, $A$ es cuadrado y tiene columnas ortonormales), entonces la SVD de $XA$ es

X A = U S W^{T}

$XA = USW^T$ dónde

W = A^{T} V

$W = A^TV$ .

Pero, ¿se puede decir algo sobre la SVD de $XB$ Si $B$ tiene columnas ortonormales pero no es necesariamente cuadrado? En otras palabras, si la SVD de $XB$ es $XB = DEF^T$ , pueden las matrices $D$ , $E$ o $F$ estar escrito en términos de la SVD de $X$ y $B$ ?

Actualización: @whuber sugiere que puedo extender $B$ ser ortogonal agregando columnas ortonormales hasta $B$ es cuadrado Llame a esta matriz ortogonal $\tilde B$ .

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Conozco la SVD de $X\tilde B$ es $US(\tilde B^TV)^T$ (véase más arriba). Pero ahora estoy luchando para ver si hay una manera en que pueda escribir el SVD de $XB$ en términos de la SVD de $X\tilde B$ .

pca svd matrix-decomposition

— mobeets
fuente

Por ejemplo, no es el caso que la SVD de

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$ , que es lo que tenemos si sabemos

B

$B$ es cuadrado Esto es porque

B^{T} V

$B^TV$ no es una matriz cuadrada, lo que debería ser cierto para la SVD.

B^{T} V

$B^TV$ todavía tiene columnas ortonormales.

— Mobeets

B

$B$ se puede prolongar uniendo columnas ortonormales adicionales en una matriz ortogonal (use el proceso de Gram-Schmidt, por ejemplo), reduciendo así su pregunta al primer caso.

— whuber

Genial, gracias @whuber. Así que di

B^{'}

$B'$ es la versión ortogonalizada de

B

$B$ . Will sabiendo la SVD de

X B^{'}

$XB'$ dime algo sobre la SVD de

X B

$XB$ ?

— Mobeets

Escríbalo y verá cuán simple y clara es la relación.

— whuber

@whuber No puedo verlo ... Esto es lo que he intentado: dejar

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$ . Entonces

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$ .

— Mobeets

Respuestas:

En la SVD $X = USV^\prime$ , dónde $X$ es un $n\times p$ matriz, $V$ es un ortogonal $p\times p$ matriz.

Suponer $B$ es un ortogonal $p\times q$ matriz: es decir, $B^\prime B = 1_q$ . Dejar

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

ser un SVD de $S V^\prime B$ . Así, por definición, $T$ es un $p\times q$ matriz, $D$ es una matriz diagonal de dimensión $q$ y $W$ es un ortogonal $q\times q$ matriz.

Calcular

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Porque $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ , $UT$ Tiene columnas ortonormales. Porque $D$ y $W^\prime$ son parte de una SVD, entonces por definición $D$ es diagonal con entradas no negativas y $W$ es un $q\times q$ matriz ortogonal En consecuencia, la ecuación $(2)$ da una SVD de $XB$ . Ecuación $(1)$ muestra cómo esta SVD está relacionada con la de $X$ y $B$ .

— whuber
fuente

Gracias por la respuesta. Aunque parece que esta es una forma de encontrar la SVD de

X B

$XB$ a través de la computación de la SVD de

S V^{'} B

$SV'B$ , en lugar de usar solo la SVD de

X

$X$ . Esperaba saber si hay una manera de encontrar la SVD de

X B

$XB$ sin tener que calcular SVD adicionales, como es posible cuando

B

$B$ es cuadrado

— Mobeets

Para una matriz $B$ con columnas ortonormales (pero no cuadradas), me gustaría encontrar una SVD de $XB$ en términos de la SVD de $X = USV^T$ .

Como lo sugiere @whuber, un primer paso para encontrar la SVD de $XB$ es agregar columnas a $B$ para hacerlo cuadrado (y por lo tanto ortogonal). Llama a esta matriz $\tilde B = [B; B_{\perp}]$ , y deja $k$ ser el número de columnas de $B_{\perp}$ . Entonces porque $\tilde B$ es ortogonal, si $X = USV^T$ es una SVD de $X$ , entonces $X\tilde B = US(\tilde B^TV)^T$ es una SVD de $X \tilde B$ .

Porque $XB$ se puede obtener de $X\tilde B$ dejando caer el último $k$ columnas, mi problema original ahora se reduce a lo siguiente: Dada la SVD de una matriz $Y = DEF^T$ , ¿hay alguna manera de encontrar la SVD de $Y' = D'E'F'^T$ , dónde $Y'$ es la matriz resultante de soltar el último $k$ columnas de $Y$ ? (Aquí tengo $Y = X\tilde B$ y $Y' = XB$ .)

Este problema se conoce como "desactualizar la SVD" y, en general, parece haber muchos enfoques para hacerlo. Aquí se encuentra un enfoque relevante , y más discusión aquí .

Pero en general, dado que los algoritmos para reducir la SVD parecen ser un área de investigación activa, estoy concluyendo que no hay una manera simple de encontrar la SVD de $XB$ dado solo la SVD de $X$ .

— mobeets
fuente

+1. Creo que identifica el problema correctamente: no existe una forma "simple". Me parece bastante intuitivo si considera un ejemplo simple de juguete: por ejemplo, una nube de datos 2D alargada en dirección diagonal. Los dos vectores singulares originales son diagonales. Multiplicar la matriz de datos con una matriz ortogonal cuadrada simplemente gira toda la nube, por lo que los vectores singulares permanecen igual, hasta la rotación. Pero proyectar la nube de datos a, por ejemplo, la línea horizontal (subespacios 1D) cambiará su forma por completo; ahora el único vector singular es horizontal. Los nuevos vectores singulares no están relacionados con los antiguos.

— ameba

Esa es una gran explicación intuitiva de la diferencia. Al principio, me pareció bastante molesto que pudiera haber una relación tan simple para las matrices ortogonales, pero luego ya no se elimina una sola columna de esa matriz. Pero todo tiene sentido ahora. ¡Gracias!

— Mobeets

Estoy de acuerdo. Cuando leí tu publicación por primera vez, pensé: ¡qué pregunta tan ingenua! :-) claramente uno simplemente tiene que rotar los vectores singulares (con una matriz "extendida" para ser una matriz de rotación, como escribió Whuber) y luego soltar algunos de ellos (correspondientes a la parte "extendida"). Pero esto, por supuesto, está mal.

— ameba