¿Son significativas las dimensiones de t-sne?

¿Hay algún significado para las dimensiones de una inserción t-sne? Al igual que con PCA, tenemos esta sensación de maximizaciones de varianza linealmente transformadas, pero para t-sne, ¿hay intuición además del espacio que definimos para el mapeo y la minimización de la distancia KL?

dimensionality-reduction tsne

— Nitro
fuente

No estoy seguro si esto realmente llega a lo que está preguntando, pero creo que las dimensiones de t-sne realmente solo dependen de la separabilidad de los datos. Las dimensiones pueden cambiar dado el mismo conjunto de datos porque esta es una transformación no lineal. Por lo tanto, las dimensiones solo se pueden interpretar realmente dentro del contexto de una instancia determinada. Avíseme si me equivoco, es una pregunta interesante.

— Hobbes

Tal vez es simplemente aburrido viejo ℝ3?

— Nitro

Las dimensiones del espacio de baja dimensión no tienen significado. Tenga en cuenta que la función de pérdida t-SNE se basa únicamente en las distancias entre puntos ( y ) y las distribuciones de probabilidad sobre esas distancias ( y ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{yo}} = 4 4 \sum_{j} ({pag}_{yo j} - q_{yo j}) (y_{yo} - y_{j}) (1 + El | El | y_{yo} - y_{j} El | {El |}^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Por lo tanto, no hay proyección desde todo el espacio de alta dimensión hacia el espacio de baja dimensión, t-SNE solo encuentra un mapeo de un conjunto específico de puntos de alta dimensión a un conjunto específico de puntos de baja dimensión. Como no hay una función de un espacio a otro, tampoco hay un significado inherente a los ejes.

Cosas que puedes imaginar para ilustrar esto:

Girar o traducir el espacio de alta o baja dimensión no influye en las distancias entre los puntos. Por lo tanto, t-SNE no se preocupa por la rotación o traslación en ambos espacios. Por lo tanto, no hay una interpretación absoluta de los ejes.
La distribución t-Student tiene colas gruesas. Esto hace que la representación de baja dimensión sea invariable a los cambios en los puntos que están muy lejos en el espacio de alta dimensión. Esto también hace que los puntos que están muy lejos en el espacio de alta dimensión puedan estar razonablemente muy lejos, muy lejos o muy lejos en el espacio de baja dimensión. En este sentido, estira ciertas partes de los ejes de baja dimensión (en cualquier dirección arbitraria).

Dicho esto, t-SNE es principalmente una técnica de visualización y su efectividad de reducción de dimensiones para otro propósito no es obvia (probablemente no sea adecuada para la agrupación, extracción de características o selección de características).

También: el papel .

— Pieter
fuente