¿Cuál es la intuición detrás de SVD?

He leído sobre la descomposición de valores singulares (SVD). En casi todos los libros de texto se menciona que factoriza la matriz en tres matrices con especificación dada.

Pero, ¿cuál es la intuición detrás de dividir la matriz en tal forma? PCA y otros algoritmos para la reducción de dimensionalidad son intuitivos en el sentido de que el algoritmo tiene una buena propiedad de visualización, pero con SVD no es el caso.

— SHASHANK GUPTA
fuente

Es posible que desee comenzar desde la intuición de la descomposición de vector propio de valor propio, ya que SVD es una extensión de este para todo tipo de matrices, en lugar de solo cuadrados.

— JohnK

Hay muchas notas en internet y respuestas aquí en CV sobre SVD y su funcionamiento.

— Vladislavs Dovgalecs

SVD puede ser pensado como un algoritmo de compresión / aprendizaje. Es un compresor descompresor lineal. Una matriz M puede ser representada por la multiplicación de SVD. S es el compresor V determina cuánto error le gustaría tener (compresión con pérdida) y D es el descompresor. Si mantiene todos los valores diagonales de V, entonces tiene un compresor sin pérdidas. Si comienza a tirar pequeños valores singulares (poniéndolos a cero), entonces no puede reconstruir la matriz inicial exactamente, pero seguirá estando cerca. Aquí el término cerrar se mide con la norma Frobenius.

— Cagdas Ozgenc

@Cagdas si haces eso, define cuidadosamente lo que estás tomando "S", "V" y "D" para que sean matemáticamente. No he visto las iniciales sobrecargadas en la propia notación antes (¿qué tiene los valores singulares, por ejemplo?). Parece ser una fuente probable de confusión,

— Glen_b

¿Sabes cómo estimar PCA con SVD? Si lo hace, ¿puede explicar por qué siente que falta algo en su comprensión de SVD? Ver esto

— Aksakal

Respuestas:

Escriba la SVD de la matriz (real, ) como donde es , es diagonal y es . En términos de las columnas de las matrices y podemos escribir $X$ $n\times p$

X = U D V^{T}

$X = U D V^T$

U

$U$

n \times p

$n\times p$

D

$D$

p \times p

$p\times p$

V^{T}

$V^T$

p \times p

$p\times p$

U

$U$

V

$V$

X = \sum_{i = 1}^{p} d_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^p d_i u_i v_i^T$ . Eso muestra

escrito como una suma de

matrices de rango 1. ¿Cómo se ve una matriz de rango 1? Veamos:

Las filas son proporcionales y las columnas son proporcionales.

X

$X$

p

$p$

(\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}) (\begin{matrix} 4 & 5 & 6 \end{matrix}) = (\begin{matrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{matrix})

$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$

Piense ahora en como que contiene los valores de escala de grises de una imagen en blanco y negro, cada entrada en la matriz representa un píxel. Por ejemplo, la siguiente imagen de un babuino: $X$

Luego lea esta imagen en R y obtenga la parte de matriz de la estructura resultante, tal vez usando la biblioteca pixmap.

Si desea una guía paso a paso sobre cómo reproducir los resultados, puede encontrar el código aquí .

Calcule la SVD:

baboon.svd  <-  svd(bab) # May take some time

$512 \times 512$ $512$ $512$ $1$ $20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

resultando en las siguientes dos imágenes:

A la izquierda podemos ver fácilmente las rayas verticales / horizontales en la imagen de rango 1.

$20$

Lo cual es bastante interesante: vemos las partes de la imagen original que son difíciles de representar como superposición de líneas verticales / horizontales, principalmente pelo de nariz diagonal y algo de textura, ¡y los ojos!

— kjetil b halvorsen
fuente

Creo que querías decir reconstrucción de bajo rango, no bajo rango. No importa. Esta es una muy buena ilustración (+1). Por eso es un compresor descompresor lineal. La imagen se aproxima con líneas. Si realmente realiza un codificador automático similar con una red neuronal con funciones de activación lineal, verá que también permite líneas con cualquier pendiente, no solo líneas verticales y horizontales, lo que lo hace un poco más potente que SVD.

— Cagdas Ozgenc

X = U Σ V^{*}

$X = U \Sigma V^*$

n \times p

$n \times p$

X

$X$

U

$U$

n \times n

$n \times n$

Σ

$\Sigma$

n \times p

$n \times p$

V

$V$

p \times p

$p \times p$

Consulte math.stackexchange.com/questions/92171/… para ver otros ejemplos

— kjetil b halvorsen

@ kjetil-b-halvorsen Estoy interesado en saber cómo cambiaría la descripción si hubiera utilizado PCA para la aplicación de denosing. Le agradecería que respondiera mi pregunta aquí stats.stackexchange.com/questions/412123/…

— Dushyant Kumar

@CowboyTrader observación interesante. Mi comprensión del aprendizaje automático / red neuronal es bastante limitada. Entonces, no entiendo que si uno tiene una sola imagen ruidosa y nada más para entrenar, ¿cómo funcionaría la red neuronal?

— Dushyant Kumar

$A$ $m \times n$ $m \geq n$ $v$ $A$

\begin{aligned} (1) & v_{1} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$

v_{1}

$v_1$

A

$A$

\begin{aligned} v_{2} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ⟨ v_{1}, v ⟩ = 0, \\ ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$

v_{1}, \dots, v_{n}

$v_1, \ldots, v_n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

A

$A$

Sea (entonces cuantifica el poder explosivo de en la dirección ). Suponga que los vectores unitarios están definidos de modo que Las ecuaciones (2) se pueden expresar de manera concisa usando la notación matricial como donde es la matriz cuya th columna es , es la matriz cuyo La columna es y $\sigma_i = \|A v_i \|_2$ $\sigma_i$ $A$ $v_i$ $u_i$

\begin{matrix} (2) & A v_{i} = σ_{i} u_{i} for i = 1, \dots, n . \end{matrix}

$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$

\begin{matrix} (3) & A V = U Σ, \end{matrix}

$\tag{3} A V = U \Sigma,$

V

$V$

n \times n

$n \times n$

i

$i$

v_{i}

$v_i$

U

$U$

m \times n

$m \times n$

i

$i$

u_{i}

$u_i$

Σ

$\Sigma$ es la matriz diagonal cuya entrada diagonal es . La matriz es ortogonal, por lo que podemos multiplicar ambos lados de (3) por para obtener Puede parecer que ahora hemos derivado la SVD de con casi cero esfuerzo. Ninguno de los pasos hasta ahora ha sido difícil. Sin embargo, falta una parte crucial de la imagen: todavía no sabemos si es ortogonal.

n \times n

$n \times n$

i

$i$

σ_{i}

$\sigma_i$

V

$V$

V^{T}

$V^T$

A = U Σ V^{T} .

$A = U \Sigma V^T.$

A

$A$

U

$U$

Aquí está el hecho crucial, la pieza que falta: resulta que es ortogonal a : Afirmo que si esto no fuera cierto, entonces no sería óptimo para el problema (1). De hecho, si (4) no estuviera satisfecho, entonces sería posible mejorar perturbándolo un poco en la dirección . $A v_1$ $A v_2$

\begin{matrix} (4) & ⟨ A v_{1}, A v_{2} ⟩ = 0. \end{matrix}

$\tag{4} \langle A v_1, A v_2 \rangle = 0.$ $v_1$

v_{1}

$v_1$

v_{2}

$v_2$

Suponga (por contradicción) que (4) no está satisfecho. Si se perturba ligeramente en la dirección ortogonal , la norma de no cambia (o al menos, el cambio en la norma de es insignificante). Cuando camino sobre la superficie de la tierra, mi distancia desde el centro de la tierra no cambia. Sin embargo, cuando se perturba en la dirección , el vector se perturba en la dirección no ortogonal , por lo que el cambio en la norma de no es despreciable . La norma de $v_1$ $v_2$ $v_1$ $v_1$ $v_1$ $v_2$ $A v_1$ $A v_2$ $A v_1$ $A v_1$ se puede aumentar en una cantidad no despreciable. Esto significa que no es óptimo para el problema (1), lo cual es una contradicción. Me encanta este argumento porque: 1) la intuición es muy clara; 2) la intuición puede convertirse directamente en una prueba rigurosa. $v_1$

Un argumento similar muestra que es ortogonal a y , y así sucesivamente. Los vectores son ortogonales por pares. Esto significa que los vectores unitarios se pueden elegir para ser ortogonales por pares, lo que significa que la matriz anterior es una matriz ortogonal. Esto completa nuestro descubrimiento de la SVD. $A v_3$ $A v_1$ $A v_2$ $A v_1, \ldots, A v_n$ $u_1, \ldots, u_n$ $U$

Para convertir el argumento intuitivo anterior en una prueba rigurosa, debemos confrontar el hecho de que si se perturba en la dirección , el vector perturbado no es realmente un vector unitario. (Su norma es .) Para obtener una prueba rigurosa, defina El vector es realmente un vector unitario. Pero como puede mostrar fácilmente, si (4) no está satisfecho, entonces para valores suficientemente pequeños de tenemos (suponiendo que el signo de $v_1$ $v_2$

{\tilde{v}}_{1} = v_{1} + ϵ v_{2}

$\tilde v_1 = v_1 + \epsilon v_2$

\sqrt{1 + ϵ^{2}}

$\sqrt{1 + \epsilon^2}$

{\bar{v}}_{1} (ϵ) = \sqrt{1 - ϵ^{2}} v_{1} + ϵ v_{2} .

$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$

{\bar{v}}_{1} (ϵ)

$\bar v_1(\epsilon)$

ϵ

$\epsilon$

f (ϵ) = ‖ A {\bar{v}}_{1} (ϵ) ‖_{2}^{2} > ‖ A v_{1} ‖_{2}^{2}

$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$

ϵ

$\epsilon$ se elige correctamente). Para mostrar esto, simplemente verifique que . Esto significa que no es óptimo para el problema (1), lo cual es una contradicción.

f^{'} (0) \neq 0

$f'(0) \neq 0$

v_{1}

$v_1$

(Por cierto, recomiendo leer la explicación de Qiaochu Yuan de la SVD aquí . En particular, eche un vistazo al "Lema clave # 1", que es lo que discutimos anteriormente. Como dice Qiaochu, el lema clave # 1 es "el corazón técnico de descomposición de valor singular ".)

— littleO
fuente

Amigo, tómate una hora de tu día y mira esta conferencia: https://www.youtube.com/watch?v=EokL7E6o1AE

Este tipo es súper directo, es importante no omitir nada porque al final todo se junta. Incluso si puede parecer un poco lento al principio, ¡está tratando de precisar un punto crítico, lo que hace!

Lo resumiré para usted, en lugar de simplemente darle las tres matrices que todos hacen (porque eso me confundió cuando leí otras descripciones). ¿De dónde vienen esas matrices y por qué lo configuramos así? ¡La conferencia lo clava! Cada matriz (siempre en la historia de la eternidad) puede construirse a partir de una matriz base con las mismas dimensiones, luego rotarla y estirarla (este es el teorema fundamental del álgebra lineal). Cada una de esas tres matrices que la gente arroja representa una matriz inicial (U), una matriz de escala (sigma) y una matriz de rotación (V).

La matriz de escala muestra qué vectores de rotación están dominando, estos se llaman valores singulares. La descomposición está resolviendo para U, sigma y V.

— Tim Johnsen
fuente