¿Cómo elegir un número óptimo de factores latentes en la factorización matricial no negativa?

Dada una matriz , la factorización de matriz no negativa (NMF) encuentra dos matrices no negativas y (es decir, con todos los elementos ) para representar la matriz descompuesta como: $\mathbf V^{m \times n}$ $\mathbf W^{m \times k}$ $\mathbf H^{k \times n}$ $\ge 0$

V \approx W H,

$\mathbf V \approx \mathbf W\mathbf H,$

por ejemplo, al exigir que y no negativos minimicen el error de reconstrucción $\mathbf W$ $\mathbf H$

‖ V - W H ‖^{2} .

$\|\mathbf V-\mathbf W\mathbf H\|^2.$

¿Existen prácticas comunes para estimar el número en NMF? ¿Cómo podría usarse, por ejemplo, la validación cruzada para ese propósito? $k$

— Steve Sailer
fuente

No tengo ninguna cita (y en realidad hice una búsqueda rápida en Google Académico y no pude encontrar ninguna), pero creo que la validación cruzada debería ser posible.

— ameba dice Reinstate Monica

¿Podría contarme más detalles sobre cómo realizar la validación cruzada para NMF? Los valores de K para la norma Frobenius siempre disminuirán a medida que aumente el número de K.

— Steve Sailer

¿Para qué estás haciendo NMF? ¿Es para representar

en el espacio de dimensión inferior (sin supervisión) o para proporcionar recomendaciones (supervisado)? Cuán grande es su

V

$V$

? ¿Necesita explicar un cierto porcentaje de la varianza? Puede aplicar el CV después de definir su métrica objetiva. Le animo a que piense en la aplicación y encuentre una métrica que tenga sentido.

V

$V$

— ignorante

Respuestas:

Para elegir un número óptimo de factores latentes en la factorización matricial no negativa, utilice la validación cruzada.

Como escribió, el objetivo de NMF es encontrar $\mathbf W$ y $\mathbf H$ baja dimensión con todos los elementos no negativos minimizando el error de reconstrucción $\|\mathbf V-\mathbf W\mathbf H\|^2$ . Imagine que dejamos de lado un elemento de $\mathbf V$ , por ejemplo, $V_{ab}$ , y realizamos NMF de la matriz resultante con una celda faltante. Esto significa encontrar $\mathbf W$ y $\mathbf H$ minimizando el error de reconstrucción en todas las celdas no faltantes:

\sum_{i j \neq a b} (V_{i j} - [W H]_{i j})^{2} .

$\sum_ {ij\ne ab} (V_{ij}-[\mathbf W\mathbf H]_{ij})^2.$

Una vez hecho esto, podemos predecir el elemento izquierdo $V_{ab}$ calculando $[\mathbf W\mathbf H]_{ab}$ y calcular el error de predicción

e_{a b} = (V_{a b} - [W H]_{a b})^{2} .

$e_{ab}=(V_{ab}-[\mathbf W\mathbf H]_{ab})^2.$ Se puede repetir este procedimiento dejando fuera todos los elementos

V_{a b}

$V_{ab}$ uno a la vez, y resumir los errores de predicción sobre todos

a

$a$ y

b

$b$ . Esto dará como resultado un valor de PRENSA general (suma residual de cuadrados prevista)

E (k) = \sum_{a b} e_{a b}

$E(k)=\sum_{ab}e_{ab}$ eso dependerá de

k

$k$ . Ojalá funcionen

E (k)

$E(k)$ tenga un mínimo que pueda usarse como una

k

$k$ 'óptima'.

Tenga en cuenta que esto puede ser costoso desde el punto de vista computacional, ya que el NMF tiene que repetirse para cada valor omitido, y también puede ser difícil de programar (dependiendo de lo fácil que sea realizar el NMF con valores faltantes). En PCA, se puede evitar esto dejando fuera filas completas de $\mathbf V$ (lo que acelera mucho los cálculos), vea mi respuesta en ¿Cómo realizar una validación cruzada para PCA para determinar el número de componentes principales? , pero esto no es posible aquí.

Por supuesto, todos los principios habituales de validación cruzada se aplican aquí, por lo que uno puede omitir muchas celdas a la vez (en lugar de solo una) y / o repetir el procedimiento solo para algunas celdas aleatorias en lugar de recorrer todas las celdas. Ambos enfoques pueden ayudar a acelerar el proceso.

Editar (marzo de 2019): vea este muy bonito artículo ilustrado de @AlexWilliams : http://alexhwilliams.info/itsneuronalblog/2018/02/26/crossval . Alex usa https://github.com/kimjingu/nonnegfac-python para NMF con valores faltantes.

— ameba dice reinstalar Monica
fuente

Que yo sepa, hay dos buenos criterios: 1) el coeficiente de correlación cophenetic y 2) comparar la suma residual de cuadrados con datos aleatorios para un conjunto de rangos (tal vez haya un nombre para eso, pero no lo recuerdo)

Coeficiente de correlación cophenetic: repite NMF varias veces por rango y calcula cuán similares son los resultados. En otras palabras, qué tan estables son los grupos identificados, dado que la semilla inicial es aleatoria. Elija la K más alta antes de que caiga el coeficiente cophenetic
RSS contra datos aleatorios Para cualquier enfoque de reducción de dimensionalidad, siempre hay una pérdida de información en comparación con sus datos originales (estimados por RSS). Ahora realice NMF para aumentar K y calcule RSS con su conjunto de datos original y uno aleatorio. Al comparar RSS en función de K, el RSS disminuye al aumentar K en el conjunto de datos original, pero este no es el caso para el conjunto de datos aleatorio. Al comparar ambas pendientes, debería haber una K donde se cruzan. En otras palabras, cuánta información podría permitirse perder (= K más alta) antes de estar dentro del ruido.

Espero haber sido lo suficientemente claro.

Editar: he encontrado esos artículos.

1.Jean-P. Brunet, Pablo Tamayo, Todd R. Golub y Jill P. Mesirov. Metagenes y descubrimiento de patrones moleculares utilizando factorización matricial. En Actas de la Academia Nacional de Ciencias de los Estados Unidos, 101 (12): 4164-4169, 2004.

2. Atila Frigyesi y Mattias Hoglund. Factorización de matriz no negativa para el análisis de datos complejos de expresión génica: identificación de subtipos de tumores clínicamente relevantes. Cancer Informatics, 6: 275-292, 2008.

— Jean-Paul Abbuehl
fuente

No está claro por qué el RSS de datos aleatorios debería ser menor que el RSS calculado con datos originales cuando K es pequeño. Por lo demás, entiendo que el RSS aleatorio debería disminuir más lentamente que el de los datos originales.

— Malik Koné

En la factorización de NMF, el parámetro (observado en en la mayoría de la literatura) es el rango de la aproximación de y se elige de tal manera que . La elección del parámetro determina la representación de sus datos en una base demasiado completa compuesta por las columnas de ; el . El resultado es que los rangos de las matrices y tienen un límite superior de $k$ $r$ $V$ $k < \text{min}(m, n)$ $V$ $W$ $w_i \text{ , } i = 1, 2, \cdots, k$ $W$ $H$ y el producto es una aproximación de bajo rango de ; También a lo sumo. Por lo tanto, la elección de debería constituir una reducción de dimensionalidad en la que puede generarse / extenderse a partir de los vectores de base mencionados anteriormente. $k$ $WH$ $V$ $k$ $k < \text{min}(m, n)$ $V$

Se pueden encontrar más detalles en el capítulo 6 de este libro de S. Theodoridis y K. Koutroumbas.

Después de minimizar la función de costo elegida con respecto a y , la elección óptima de ( elegida empíricamente al trabajar con diferentes subespacios de características) debería dar , una aproximación de , con características representativas de su matriz de datos inicial . $W$ $H$ $k$ $V^*$ $V$ $V$

Trabajar con diferentes subespacios de características en el sentido de que, el número de columnas en , es el número de vectores base en el subespacio NMF. Y trabajar empíricamente con diferentes valores de es equivalente a trabajar con diferentes espacios de características con dimensiones reducidas. $k$ $W$ $k$

— Gilles
fuente

¡Pero la pregunta era sobre cómo elegir la

óptima ! ¿Puedes darnos alguna idea sobre eso?

k

$k$

— ameba dice Reinstate Monica

@amoeba A menos que haya leído mal la pregunta inicial, es "¿Existen prácticas comunes para estimar el número

en NMF?". El

óptimo se elige empíricamente . He ampliado mi respuesta.

k

$k$

k

$k$

— Gilles

Su explicación de la factorización de NMF tiene sentido total, pero la pregunta inicial fue específicamente sobre las prácticas comunes para estimar k. Ahora escribió que se puede elegir k "empíricamente" (está bien) "trabajando con diferentes subespacios de entidades". No estoy seguro de entender lo que significa "trabajar con subespacios de características diferentes", ¿podría ampliar eso? ¿Cómo debería uno trabajar con ellos? ¿Cuál es la receta para elegir k? De esto se trata la pregunta (al menos como la entendí). ¡Estaré encantado de revertir mi voto negativo!

— ameba dice Reinstate Monica

k

$k$

k

$k$