Comprensión de la descomposición del valor singular en el contexto de LSI

Mi pregunta es generalmente sobre la descomposición del valor singular (SVD), y particularmente sobre la indexación semántica latente (LSI).

Digamos que tengo que contiene frecuencias de 5 palabras para 7 documentos. $A_{word \times document}$

A =  matrix(data=c(2,0,8,6,0,3,1,
                   1,6,0,1,7,0,1,
                   5,0,7,4,0,5,6,
                   7,0,8,5,0,8,5,
                   0,10,0,0,7,0,0), ncol=7, byrow=TRUE)
rownames(A) <- c('doctor','car','nurse','hospital','wheel')

Consigo la factorización matriz para mediante el uso de SVD: . $A$ $A = U \cdot D \cdot V^T$

s = svd(A)
D = diag(s$d) # singular value matrix
S = diag(s$d^0.5 ) # diag matrix with square roots of singular values.

En 1 y 2 , se afirma que:

da la matriz de similitud de palabras, donde las filas de representar diferentes palabras. $WordSim = U \cdot S$ $WordSim$

WordSim = s$u %*% S

da al documento una matriz de similituddonde las columnas de representan documentos diferentes. $DocSim= S \cdot V^T$ $DocSim$

DocSim = S %*% t(s$v)

Preguntas:

Algebraicamente, ¿por y matrices de similitud palabra / documento? ¿Hay una explicación intuitiva? $WordSim$ $DocSimS$
Basado en el ejemplo R dado, podemos hacer las observaciones recuento de palabras / similitud intuitivos con sólo mirar y (sin utilizar similitud coseno o coeficiente de correlación entre las filas / columnas)? $WordSim$ $DocSim$

ingrese la descripción de la imagen aquí

r svd natural-language latent-semantic-indexing

— Zhubarb
fuente

Sé muy poco sobre LSI, pero la SVD de una matriz está en el núcleo de la reducción de la dimensionalidad lineal, los métodos de mapeo, como los componentes principales, biplots, análisis de correspondencia. Las "leyes" principales de SVD son que

= proyección de filas de

en los ejes principales; y

= proyección de columnas de

sobre los ejes principales. En cierto sentido, se trata de valores de "similitud" entre los puntos (filas o columnas) y los ejes principales. Creo que si puede tratarse como similitud entre los puntos depende del contexto.

A V = U D

$AV=UD$

A

$A$

A^{'} U = V D^{'}

$A'U=VD'$

A

$A$

— ttnphns

Ah ... veo en Wikipedia que LSI es solo análisis de correspondencia (CA). Eso es mejor. CA es el biplot de una tabla de datos especialmente preparada. Las proyecciones o coordenadas mencionadas anteriormente: las utiliza para trazar puntos de fila y columna en el espacio de los ejes principales. La cercanía entre los puntos fila-fila, col-col y fila-col relaciona su similitud. Sin embargo, el diseño en el gráfico depende de cómo se distribuye la inercia (varianza) sobre la fila y los puntos de col.

— ttnphns

@ttnphns. Gracias, ¿puede dar una referencia sobre: "

= proyección de filas de A en los ejes principales; y

= proyección de columnas de A en los ejes principales"? Creo que eso aclarará las cosas para mí. Por ejes principales, ¿te refieres a los vectores propios correspondientes a los m valores singulares superiores en

? También me encontré con: "Para PCA, no necesitamos calcular los vectores singulares izquierdos", pero no podemos comprender completamente por qué este es el caso.

A V = U D

$AV=UD$

A' U = V D'

$A ′ U=VD ′$

D

$D$

— Zhubarb

Su pregunta podría mejorarse editándola para reflejar correctamente lo que dice ese documento. En P. 22 define

como que contiene las raíces cuadradas de

, "restringido" a las más grandes. Por lo tanto, ni

están involucrados, ni tienen interpretaciones como "matrices de similitud". Las matrices relevantes son, en cambio,

. Se pueden usar para reconstruir una aproximación de

S

$S$

D

$D$

U D

$UD$

D V^{'}

$DV^\prime$

U S

$US$

S V^{'}

$SV^\prime$

A = U D V^{'} \approx U (S^{2}) V^{'} = (U S) (S V^{'}) .

$A=UDV^\prime\approx U(S^2)V^\prime=(US)(SV^\prime).$

— whuber

Supuse D=svd(A)$den los retornos R las raíces cuadradas de los no-cero eigen valores, de ahí que utilizan

. No tengo ningún problema con el aspecto de reducción de dimensionalidad, y entiendo que se puede formar una aproximación de rango inferior de A como se describe. Encontré que la respuesta en este enlace responde parcialmente a mi pregunta.

U D

$UD$

— Zhubarb

La factorización de matrices usando SVD descompone la matriz de entrada en tres partes:

$U$
$D$ $D$ $U$ $V^T$
$V^T$

$WordSim$

— Pieter
fuente