Relación entre SVD y PCA. ¿Cómo usar SVD para realizar PCA?

352

El análisis de componentes principales (PCA) generalmente se explica a través de una descomposición propia de la matriz de covarianza. Sin embargo, también se puede realizar a través de descomposición en valores singulares (SVD) de la matriz de datos . ¿Como funciona? ¿Cuál es la conexión entre estos dos enfoques? ¿Cuál es la relación entre SVD y PCA? $\mathbf X$

O, en otras palabras, ¿cómo usar SVD de la matriz de datos para realizar la reducción de dimensionalidad?

— ameba
fuente

Escribí esta pregunta de estilo de preguntas frecuentes junto con mi propia respuesta, porque con frecuencia se hace de varias formas, pero no hay un hilo canónico y, por lo tanto, es difícil cerrar los duplicados. Proporcione meta comentarios en este meta thread adjunto .

— ameba

stats.stackexchange.com/questions/177102/…

— kjetil b halvorsen

Además de una excelente y detallada respuesta de la ameba con sus enlaces adicionales, podría recomendar comprobar esto , donde PCA se considera junto a otras técnicas basadas en SVD. La discusión allí presenta álgebra casi idéntica a la de la ameba con una pequeña diferencia de que el discurso allí, al describir PCA, trata sobre la descomposición svd de [o ] en lugar de , que es simplemente conveniente ya que se relaciona con el PCA realizado a través de la descomposición propia de la matriz de covarianza.

X / \sqrt{n}

$\mathbf X/\sqrt{n}$

X / \sqrt{n - 1}

$\mathbf X/\sqrt{n-1}$

X

$\bf X$

— ttnphns

PCA es un caso especial de SVD. PCA necesita los datos normalizados, idealmente la misma unidad. La matriz es nxn en PCA.

— Orvar Korvar

@OrvarKorvar: ¿De qué matriz nxn estás hablando?

— Cbhihe

Respuestas:

412

Deje que la matriz de datos tenga un tamaño , donde es el número de muestras y es el número de variables. Supongamos que está centrado , es decir, las medias de columna se han restado y ahora son iguales a cero. $\mathbf X$ $n \times p$ $n$ $p$

Entonces la matriz de covarianza viene dada por . Es una matriz simétrica y, por lo tanto, se puede diagonalizar: donde es una matriz de vectores propios (cada columna es un vector propio) y es una matriz diagonal con valores propios en orden decreciente en la diagonal. Los vectores propios se denominan ejes principales o direcciones principales de los datos. Las proyecciones de los datos en los ejes principales se denominan componentes principales , también conocidos como puntajes de PC $p \times p$ $\mathbf C$ $\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

C = V L V^{⊤},

$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$

V

$\mathbf V$

L

$\mathbf L$

λ_{i}

$\lambda_i$ ; Estos pueden ser vistos como variables nuevas y transformadas. El -ésimo componente principal viene dado por la -ésima columna de . Las coordenadas del punto de datos -ésimo en el nuevo espacio de PC están dadas por la fila -ésima de .

j

$j$

j

$j$

X V

$\mathbf {XV}$

i

$i$

i

$i$

X V

$\mathbf{XV}$

Si ahora realizamos una descomposición de valores singulares de , obtenemos una descomposición donde es una matriz unitaria y es la matriz diagonal de valores singulares . Desde aquí se puede ver fácilmente que lo que significa que los vectores singulares derechos son direcciones principales y que los valores singulares están relacionados con los valores propios de la matriz de covarianza a través de . Los componentes principales están dados por $\mathbf X$

X = U S V^{⊤},

$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$

U

$\mathbf U$

S

$\mathbf S$

s_{i}

$s_i$

C = V S U^{⊤} U S V^{⊤} / (n - 1) = V \frac{S^{2}}{n - 1} V^{⊤},

$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$

V

$\mathbf V$

λ_{i} = s_{i}^{2} / (n - 1)

$\lambda_i = s_i^2/(n-1)$

X V = U S V^{⊤} V = U S

$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$ .

Para resumir:

Si , entonces las columnas de son direcciones / ejes principales. $\mathbf X = \mathbf U \mathbf S \mathbf V^\top$ $\mathbf V$
Las columnas de son componentes principales ("puntajes"). $\mathbf {US}$
Los valores singulares están relacionados con los valores propios de la matriz de covarianza a través de . Los valores propios muestran las variaciones de las PC respectivas. $\lambda_i = s_i^2/(n-1)$ $\lambda_i$
Los puntajes estandarizados están dados por columnas de y las cargas están dadas por columnas de . Vea, por ejemplo, aquí y aquí por qué las "cargas" no deben confundirse con las instrucciones principales. $\sqrt{n-1}\mathbf U$ $\mathbf V \mathbf S/\sqrt{n-1}$
Lo anterior es correcto solo si está centrado. $\mathbf X$ Solo entonces la matriz de covarianza es igual a . $\mathbf X^\top \mathbf X/(n-1)$
Lo anterior es correcto solo para tiene muestras en filas y variables en columnas. Si las variables están en filas y las muestras en columnas, entonces y intercambian interpretaciones. $\mathbf X$ $\mathbf U$ $\mathbf V$
Si se desea realizar PCA en una matriz de correlación (en lugar de una matriz de covarianza), entonces las columnas de no solo deben estar centradas, sino también estandarizadas, es decir, divididas por sus desviaciones estándar. $\mathbf X$
Para reducir la dimensionalidad de los datos a partir de para , seleccione primeras columnas de , y parte superior izquierda de . Su producto es la matriz requerida que contiene las primeras PC. $p$ $k<p$ $k$ $\mathbf U$ $k\times k$ $\mathbf S$ $\mathbf U_k \mathbf S_k$ $n \times k$ $k$
Multiplicando aún más las primeras PC por los ejes principales correspondientes produce matrix que tiene la original tamaño pero es de rango inferior (de rango ). Esta matriz proporciona una reconstrucción de los datos originales de las primeras PC. Tiene el error de reconstrucción más bajo posible, vea mi respuesta aquí . $k$ $\mathbf V_k^\top$ $\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$ $n \times p$ $k$ $\mathbf X_k$ $k$
Estrictamente hablando, es de tamaño y es de tamaño. Sin embargo, si , las últimas columnas de son arbitrarias (y las filas correspondientes de son constantes cero); por lo tanto, se debe usar una SVD de tamaño económico (o delgada ) que devuelva de tamaño, dejando caer las columnas inútiles. Para grandes la matriz sería innecesariamente enorme. Lo mismo se aplica para una situación opuesta de $\mathbf U$ $n\times n$ $\mathbf V$ $p \times p$ $n>p$ $n-p$ $\mathbf U$ $\mathbf S$ $\mathbf U$ $n\times p$ $n\gg p$ $\mathbf U$ $n\ll p$ .

Enlaces adicionales

¿Cuál es la relación intuitiva entre SVD y PCA ? Un hilo muy popular y muy similar en matemáticas.
¿Por qué PCA de datos mediante SVD de los datos? - una discusión de cuáles son los beneficios de realizar PCA a través de SVD [respuesta corta: estabilidad numérica].
Análisis de PCA y correspondencia en su relación con Biplot - PCA en el contexto de algunas técnicas congéneres, todas basadas en SVD.
¿Hay alguna ventaja de SVD sobre PCA? - una pregunta que pregunta si hay algún beneficio al usar SVD en lugar de PCA [respuesta corta: pregunta mal planteada].
Tiene sentido el análisis de componentes principales, los vectores propios y los valores propios : mi respuesta ofrece una explicación no técnica de PCA. Para llamar la atención, reproduzco una figura aquí:

— ameba
fuente

@Antoine, la matriz de covarianza es, por definición, igual a , donde los corchetes angulares indican el valor promedio . Si todos están apilados como filas en una matriz , entonces esta expresión es igual a . Si está centrado, entonces se simplifica a . Piensa en la varianza; es igual a . Pero si (es decir, los datos están centrados), entonces es simplemente el valor promedio de .

⟨ (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} ⟩

$\langle (\mathbf x_i - \bar{\mathbf x})(\mathbf x_i - \bar{\mathbf x})^\top \rangle$

x_{i}

$\mathbf x_i$

X

$\mathbf X$

(X - \bar{X}) (X - \bar{X})^{⊤} / (n - 1)

$(\mathbf X - \bar{\mathbf X})(\mathbf X - \bar{\mathbf X})^\top/(n-1)$

X

$\mathbf X$

X X^{⊤} / (n - 1)

$\mathbf X \mathbf X^\top/(n-1)$

⟨ (x_{i} - \bar{x})^{2} ⟩

$\langle (x_i-\bar x)^2 \rangle$

\bar{x} = 0

$\bar x=0$

x_{i}^{2}

$x_i^2$

— ameba

Una muestra de código para PCA de SVD: stackoverflow.com/questions/3181593/…

— optimista el

Amoeba, asumí la responsabilidad de agregar un enlace más en línea con los enlaces proporcionados por usted. Espero que lo encuentres apropiado.

— ttnphns

@amoeba sí, pero ¿por qué usarlo? Además, ¿es posible usar el mismo denominador para ? El problema es que veo fórmulas donde y trato de entender, ¿cómo usarlas?

S

$S$

λ_{i} = s_{i}^{2}

$\lambda_i = s_i^2$

— Dims

@sera Simplemente transponga su matriz y elimine su problema. De lo contrario, solo te confundirás.

— ameba

Escribí un fragmento de Python & Numpy que acompaña la respuesta de @ ameeba y lo dejo aquí en caso de que sea útil para alguien. Los comentarios se toman principalmente de la respuesta de @ ameeba.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

— usuario115202
fuente

Déjame comenzar con PCA. Suponga que tiene n puntos de datos compuestos de d números (o dimensiones) cada uno. Si centra estos datos (resta el punto medio de datos de cada vector de datos ) puede apilar los datos para hacer una matriz $\mu$ $x_i$

X = (\begin{array}{ccccc} x_{1}^{T} - μ^{T} \\ x_{2}^{T} - μ^{T} \\ ⋮ \\ x_{n}^{T} - μ^{T} \end{array}) .

$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$

La matriz de covarianza

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - μ) (x_{i} - μ)^{T} = \frac{1}{n - 1} X^{T} X

$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$

medidas en qué grado las diferentes coordenadas en las que se proporcionan sus datos varían juntas. Por lo tanto, tal vez no sea sorprendente que PCA, que está diseñado para capturar la variación de sus datos, se pueda dar en términos de la matriz de covarianza. En particular, la descomposición del valor propio de resulta ser $S$

S = V Λ V^{T} = \sum_{i = 1}^{r} λ_{i} v_{i} v_{i}^{T},

$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$

donde es el -ésimo componente principal , o PC, y es el -ésimo valor propio de y también es igual a la varianza de los datos a lo largo de la -ésima PC. Esta descomposición proviene de un teorema general de álgebra lineal, y algunos trabajos no tienen que hacer para motivar al relatino a PCA. $v_i$ $i$ $\lambda_i$ $i$ $S$ $i$

PCA de un conjunto de datos gaussiano generado aleatoriamente

SVD es una forma general de entender una matriz en términos de su espacio de columna y espacio de fila. (Es una forma de reescribir cualquier matriz en términos de otras matrices con una relación intuitiva con el espacio de filas y columnas). Por ejemplo, para la matriz podemos encontrar direcciones y en el dominio y rango para que $A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$ $u_i$ $v_i$

SVD para un ejemplo 2x2

Puede encontrarlos considerando cómo como transformación lineal transforma una esfera de unidad en su dominio en una elipse: los semiejes principales de la elipse se alinean con y son sus preimágenes. $A$ $\mathbb S$ $u_i$ $v_i$

En cualquier caso, para la matriz de datos anterior (realmente, solo configure ), SVD nos permite escribir $X$ $A = X$

X = \sum_{i = 1}^{r} σ_{i} u_{i} v_{j}^{T},

$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$

donde y son conjuntos de vectores ortonormales. Una comparación con la descomposición del valor propio de revela que los "vectores singulares derechos" son iguales a las PC, los "vectores singulares derechos" son $\{ u_i \}$ $\{ v_i \}$ $S$ $v_i$

u_{i} = \frac{1}{\sqrt{(n - 1) λ_{i}}} X v_{i},

$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$

y los "valores singulares" están relacionados con la matriz de datos a través de $\sigma_i$

σ_{i}^{2} = (n - 1) λ_{i} .

$\sigma_i^2 = (n-1) \lambda_i\,.$

Es un hecho general de que los vectores singulares derecha abarcan todo el espacio de la columna de . En este caso específico, nos da una proyección a escala de los datos en la dirección del -ésimo componente principal. Los vectores singulares izquierdos en general abarcan el espacio de filas de , lo que nos da un conjunto de vectores ortonormales que abarcan los datos de manera muy similar a las PC. $u_i$ $X$ $u_i$ $X$ $i$ $v_i$ $X$

Entro en más detalles y beneficios de la relación entre PCA y SVD en este artículo más largo .

— Andre P
fuente

Gracias por tu respuesta Andre. Solo dos pequeños errores tipográficos: 1. En el último párrafo estás confundiendo izquierda y derecha. 2. En la fórmula (mayúscula) para X, está utilizando v_j en lugar de v_i.

— Alon