¿Qué norma del error de reconstrucción es minimizada por la matriz de aproximación de bajo rango obtenida con PCA?

Dada una aproximación de PCA (o SVD) de la matriz $X$ con una matriz , sabemos que es la mejor aproximación de bajo rango de . $\hat X$ $\hat X$ $X$

¿Es esto de acuerdo con la norma inducida $\parallel \cdot \parallel_2$ (es decir, la norma de mayor valor propio) o de acuerdo con la norma Frobenius $\parallel \cdot \parallel_F$ ?

pca svd matrix-decomposition

— Donbeo
fuente

Respuesta de una sola palabra: ambas.

$X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA viene dada por la misma descomposición de valores singulares cuando los datos están centrados. $US$ son componentes principales, $V$ son ejes principales, es decir, vectores propios de la matriz de covarianza, y la reconstrucción de $X$ con solo los $k$ componentes principales correspondientes a los $k$ valores singulares más grandes está dada por $X_k = U_k S_k V_k^\top$ .

El teorema de Eckart-Young dice que es la matriz que minimiza la norma del error de reconstrucciónentre todas las matrices de rango . Esto es cierto tanto para la norma Frobenius como para el operador -norm. Como señaló @cardinal en los comentarios, Schmidt (de la fama de Gram-Schmidt) demostró por primera vez en 1907 para el caso Frobenius. Más tarde fue redescubierto por Eckart y Young en 1936 y ahora está asociado principalmente con sus nombres. Mirsky generalizó el teorema en 1958 a todas las normas que son invariables bajo transformaciones unitarias, y esto incluye el operador 2-norma. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Este teorema a veces se llama teorema de Eckart-Young-Mirsky. Stewart (1993) lo llama teorema de aproximación de Schmidt. Incluso lo he visto llamado teorema de Schmidt-Eckart-Young-Mirsky.

Eckart y Young, 1936, La aproximación de una matriz por otra de rango inferior.
Mirsky, 1958, Funciones simétricas de calibre y normas unitarias invariables.
Stewart, 1993, Sobre la historia temprana de la descomposición de valores singulares

Prueba para el operador -norm $2$

Deje ser de rango completo . Como es de rango , su espacio nulo tiene dimensiones. El espacio que abarcan los vectores singulares derechos de correspondientes a los valores singulares más grandes tiene dimensiones. Entonces estos dos espacios deben cruzarse. Sea un vector unitario desde la intersección. Luego obtenemos: QED. $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

Prueba de la norma Frobenius

Queremos encontrar la matriz de rango que minimice . Podemos factorizar , donde tiene columnas ortonormales. Minimizar para fijo es un problema de regresión con la solución . Al enchufarlo, vemos que ahora necesitamos minimizar donde es la matriz de covarianza de , es decir, $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ . Este error de reconstrucción medios que se minimiza tomando como columnas de algunos ortonormal vectores de la maximización de la varianza total de la proyección.

W

$W$

k

$k$

Es bien sabido que estos son los primeros vectores propios de la matriz de covarianza. De hecho, si , entonces . Escribiendo que también tiene columnas ortonormales, obtenemos con el máximo alcanzado cuando . El teorema entonces sigue inmediatamente. $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{i} λ_{i} \sum_{j} R_{i j}^{2} \leq \sum_{i = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Consulte los siguientes tres hilos relacionados:

Intento anterior de una prueba para la norma Frobenius

Esta prueba la encontré en algún lugar en línea pero está mal (contiene un vacío), como explica @cardinal en los comentarios.

La norma de Frobenius es invariante bajo transformaciones unitarias, porque no cambian los valores singulares. Entonces obtenemos: donde . Continuando:Esto se minimiza cuando todos los elementos fuera de la diagonal de son cero y todos los términos diagonales cancelan los valores singulares más grandes [espacio aquí: esto no es obvio] , es decir, y, por lo tanto, .

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— ameba dice Reinstate Monica
fuente

La prueba en el caso de la norma de Frobeniius no es correcta (o al menos completa) ya que el argumento aquí no excluye la posibilidad de que una matriz del mismo rango pueda cancelar algunos de los otros términos diagonales mientras tiene un "pequeño" off- diagonales Para ver la brecha más claramente, tenga en cuenta que mantener las diagonales constantes y "poner a cero" las diagonales a menudo puede aumentar el rango de la matriz en cuestión.

— cardenal

Tenga en cuenta también que el SVD era conocido por Beltrami (al menos en un caso bastante general, aunque especial) y Jordania ya en 1874.

— cardenal

@ cardinal: Hmmmm, no estoy seguro de ver la brecha. Si cancela algunos otros términos diagonales en en lugar de más grandes y tiene algunos términos no diagonales distintos de cero, entonces ambas sumas, y , van a aumentar. Por lo tanto, solo aumentará el error de reconstrucción. ¿No? Aún así, traté de encontrar otra prueba de la norma Frobenius en la literatura, y he leído que de alguna manera debería seguir fácilmente el caso de la norma del operador. Pero hasta ahora no veo cómo debería seguir ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— ameba dice Reinstate Monica

Yo hago como GW Stewart (1993), En la historia temprana de la descomposición en valores singulares, SIAM Revisión , vol. 35, no. 4, 551-566 y, dado su interés demostrado previamente en asuntos históricos, creo que usted también lo hará. Desafortunadamente, creo que Stewart es involuntariamente despreciativo de la elegancia de la prueba de Schmidt de 1907. Oculto dentro de él hay una interpretación de regresión que Stewart pasa por alto y que es realmente bastante bonita. Hay otra prueba que sigue el enfoque de diagonalización inicial que adoptas, pero que requiere un poco de trabajo adicional para llenar el vacío. (cont.)

— cardenal

@cardinal: Sí, tienes razón, ahora también veo la brecha. Muchas gracias por el artículo de Stewart, esa fue una lectura muy interesante. Veo que Stewart presenta las pruebas de Schmidt y Weyl, pero ambas parecen más complicadas de lo que me gustaría copiar aquí (y hasta ahora no he tenido tiempo de estudiarlas detenidamente). Estoy sorprendido: esperaba que este fuera un resultado muy simple, pero parece que es menos trivial de lo que pensaba. En particular, no hubiera esperado que el caso Frobenius fuera mucho más complicado que la norma del operador. Editaré la publicación ahora. ¡Feliz año nuevo!

— ameba dice Reinstate Monica

¿Qué norma del error de reconstrucción es minimizada por la matriz de aproximación de bajo rango obtenida con PCA?

Respuesta de una sola palabra: ambas.

Prueba para el operador -norm222

Prueba de la norma Frobenius

Intento anterior de una prueba para la norma Frobenius

Prueba para el operador -norm $2$