¿Cuál es el significado de los vectores propios de una matriz de información mutua?

Al observar los vectores propios de la matriz de covarianza, obtenemos las direcciones de varianza máxima (el primer vector propio es la dirección en la que los datos varían más, etc.); Esto se llama análisis de componentes principales (PCA).

Me preguntaba qué significaría mirar los vectores / valores propios de la matriz de información mutua, ¿apuntarían en la dirección de la máxima entropía?

Si bien no es una respuesta directa (ya que se trata de información mutua puntual ), observe el artículo que relaciona word2vec con una descomposición de valor singular de la matriz PMI:

• O. Levy, Y. Goldberg, Incrustación de palabras neuronales como factorización de matriz implícita

Analizamos skip-gram con muestreo negativo (SGNS), un método de inclusión de palabras introducido por Mikolov et al., Y mostramos que está factorizando implícitamente una matriz de contexto de palabras, cuyas celdas son la información mutua puntual (PMI) de los respectivos pares de palabras y contexto, desplazados por una constante global. Encontramos que otro método de inclusión, NCE, está factorizando implícitamente una matriz similar, donde cada celda es la probabilidad condicional de registro (desplazada) de una palabra dado su contexto. Mostramos que el uso de una matriz de contexto de palabras PMI desplazado positivo escaso para representar palabras mejora los resultados en tareas de similitud de dos palabras y una de dos tareas de analogía. Cuando se prefieren los vectores densos de baja dimensión, la factorización exacta con SVD puede lograr soluciones que son al menos tan buenas como las soluciones de SGNS para tareas de similitud de palabras. En cuestiones de analogía, SGNS sigue siendo superior a SVD. Conjeturamos que esto se deriva de la naturaleza ponderada de la factorización de SGNS.