El lema de Johnson-Lindenstrauss permite representar puntos en un espacio de alta dimensión en puntos en una dimensión inferior. Al encontrar espacios dimensionales más bajos de mejor ajuste, una técnica estándar es encontrar la descomposición del valor singular y luego tomar el subespacio generado por los valores singulares más grandes. ¿Cuándo es interesante usar Johnson-Lindenstrauss sobre la SVD?
Respuestas:
Los dos enfoques ofrecen garantías muy diferentes.
El JL Lemma dice esencialmente "me das el error que deseas, y te daré un espacio dimensional bajo que captura las distancias hasta ese error". También es una garantía por pares en el peor de los casos : para cada par de puntos , etc., etc.
La SVD esencialmente promete "dime en qué dimensión quieres vivir, y te daré la mejor integración posible", donde "mejor" se define como en promedio : el error total de similitud real versus similitud proyectada es mínimo.
Entonces, desde una perspectiva teórica, resuelven problemas muy diferentes. En la práctica, cuál desea depende de su modelo para el problema, qué parámetros son más importantes (error o dimensión) y qué tipo de garantías necesita.
SVD y JL también se extrapola a puntos futuros de manera diferente también.
Es decir, si asume que sus datos provienen de alguna distribución subyacente, en principio, la SVD debe permanecer "buena" para cualquier punto futuro siempre que se muestreen de la misma distribución. Por otro lado, la dimensión objetivo de JL depende del número de puntos, lo que significa que la aplicación de una transformación JL a puntos adicionales puede aumentar la probabilidad de error.
Esto se vuelve relevante si, por ejemplo, si está utilizando la reducción de dimensionalidad como un paso de preprocesamiento para algún otro algoritmo. Los límites de SVD para los datos de entrenamiento pueden mantenerse en los datos de prueba, pero los JL no.
Este es un seguimiento de la respuesta de Suresh: busqué en Google un poco después de leer su respuesta y obtuve el siguiente entendimiento. Originalmente iba a publicar esto como un comentario a su respuesta, pero siguió aumentando.
Señale errores en la respuesta, no soy un experto en este campo.
En cierto sentido, JL y SVD son como manzanas y naranjas.
1) Los problemas que resuelven son completamente diferentes. Uno tiene que ver con distancias por pares, el otro con la mejor representación. Uno es el peor de los casos, el otro es el caso promedio.
(Esto no es preciso, comentaré más sobre esto más adelante)
El problema que SVD está resolviendo es (dada una dimensiónarg min P de dim k { Promedio ( | | u - P u | | 2 ) } )
2) Entradas: aunque ambos algoritmos generan subespacios, las entradas que necesitan son diferentes. JL requiere una tolerancia (cuál es el error máximo que está dispuesto a tolerar entre distancias reales y distancias en el subespacio), mientras que SVD requiere varias dimensiones.
3) JL no es constructivo, SVD es constructivo: este punto es un poco vago, ya que el término constructivo no está definido con precisión. Existen algoritmos deterministas para calcular la SVD, pero el algoritmo para encontrar un espacio JL es aleatorio: haga proyecciones aleatorias, si falla, intente nuevamente.
4) SVD es único (el subespacio puede no ser único, pero el valor objetivo será el mismo para todos los subespacios). La ecuación (1) anterior no es precisa en el sentido de que JL en realidad no habla de minimizar la discrepancia en las distancias por pares, sino que garantiza la existencia de un subespacio más pequeño donde las distancias serán casi diferentes de su actual valores. Podría haber muchos de estos subespacios, algunos mejores que otros.
(Consulte los comentarios para obtener una explicación sobre las partes marcadas de la respuesta).
Editar: @ john-myles-white ha escrito una publicación sobre JL para verificar sus afirmaciones y mostrar cómo se puede construir una proyección: http://www.johnmyleswhite.com/notebook/2014/03/24/a-note- on-the-johnson-lindenstrauss-lemma /