¿Cómo entender "no lineal" como en "reducción de dimensionalidad no lineal"?

24

Estoy tratando de entender las diferencias entre los métodos de reducción de dimensionalidad lineal (por ejemplo, PCA) y los no lineales (por ejemplo, Isomap).

No puedo entender lo que implica la (no) linealidad en este contexto. Leí de Wikipedia que

En comparación, si se utiliza PCA (un algoritmo de reducción de dimensionalidad lineal) para reducir este mismo conjunto de datos en dos dimensiones, los valores resultantes no están tan bien organizados. Esto demuestra que los vectores de alta dimensión (cada uno representa una letra 'A') que muestrean esta variedad varían de manera no lineal.

Que hace

Los vectores de alta dimensión (cada uno representa una letra 'A') que muestrean esta variedad varían de manera no lineal.

¿media? O, en términos más generales, ¿cómo entiendo la (no) linealidad en este contexto?

— Sibbs Gambling
fuente

20

La reducción de dimensionalidad significa que mapea cada vector multidimensional en un vector de baja dimensión. En otras palabras, usted representa (reemplaza) cada vector multidimensional por un vector de baja dimensión.

La reducción de la dimensionalidad lineal significa que los componentes del vector de baja dimensión están dados por funciones lineales de los componentes del vector de alta dimensión correspondiente. Por ejemplo en caso de reducción a dos dimensiones tenemos:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Si f1y f2son funciones (no) lineales, tenemos una reducción de dimensionalidad (no) lineal.

— romano
fuente

3

Para que quede claro, debe agregar que "lineal" en este contexto significa , o algún equivalente generalizado. Por ejemplo, cada dimensión de PCA es una "combinación lineal" de las entradas: .

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

— shadowtalker

1

Lo que quiero decir es: , donde y son los componentes de los vectores de baja y alta dimensión, respectivamente (y creo que no es lo que quieres decir). Pensé que el problema no estaba en comprender qué es una función lineal, sino en dónde aparece la linealidad.

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$

— Romano

49

Una imagen vale mas que mil palabras:

PCA vs Isomap

Aquí estamos buscando una estructura unidimensional en 2D. Los puntos se encuentran a lo largo de una curva en forma de S. PCA intenta describir los datos con una variedad lineal unidimensional, que es simplemente una línea; por supuesto, una línea se ajusta bastante mal a estos datos. Isomap está buscando una variedad unidimensional no lineal (es decir, ¡curvada!), Y debería poder descubrir la curva en forma de S subyacente.

— ameba dice Reinstate Monica
fuente