¿Explicar los pasos del algoritmo LLE (incrustación lineal local)?

Entiendo que el principio básico detrás del algoritmo para LLE consta de tres pasos.

Encontrar la vecindad de cada punto de datos por alguna métrica como k-nn.
Encuentre pesos para cada vecino que denotan el efecto que tiene el vecino en el punto de datos.
Construya la incrustación de baja dimensión de los datos en función de los pesos calculados.

Pero la explicación matemática de los pasos 2 y 3 es confusa en todos los libros de texto y recursos en línea que he leído. No puedo razonar por qué se usan las fórmulas.

¿Cómo se realizan estos pasos en la práctica? ¿Hay alguna forma intuitiva de explicar las fórmulas matemáticas utilizadas?

Referencias: http://www.cs.nyu.edu/~roweis/lle/publications.html

— Usuario1234321232
fuente

La incrustación lineal local (LLE) elimina la necesidad de estimar la distancia entre objetos distantes y recupera la estructura no lineal global mediante ajustes lineales locales. LLE es ventajoso porque no involucra parámetros tales como tasas de aprendizaje o criterios de convergencia. LLE también escala bien con la dimensionalidad intrínseca de $\mathbf{Y}$ . La función objetivo para LLE es

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$ Loselementos dematriz de peso

W

$\mathbf{W}$

w_{i j}

$w_{ij}$ para los objetos

i

$i$ y

j

$j$ se ponen a cero si

j

$j$ no es un vecino más cercano de

i

$i$ , de lo contrario, los pesos para K- los vecinos más cercanos del objeto

i

$i$ se determinan mediante un ajuste de mínimos cuadrados de donde la variable dependientees una

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$ vector de unos, es una matriz Gram para todos los vecinos más cercanos del objeto , y es un vector de pesos que siguen restricciones de suma a la unidad. Sea una matriz de distancia semidefinida positiva simétrica para todos los pares de los vecinos K más cercanos del objeto -dimensional . Se puede demostrar que es igual a la matriz de distancia doblemente centrada con elementos

G

$\mathbf{G}$

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$ Los coeficientes de regresión se determinan numéricamente usando y están marcados para confirmar que suman a la unidad. Los valores de están incrustados en la fila de en las diversas posiciones de columna correspondientes a los vecinos K más cercanos del objeto

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$ , así como los elementos de transposición. Esto se repite para cada ésimo objeto en el conjunto de datos. Vale la pena señalar que si el número de vecinos más cercanos es demasiado bajo, entonces puede ser escaso, lo que puede dificultar el análisis propio. Se observó que vecinos más cercanos dieron como resultado matrices que no contenían patologías durante el análisis propio. La función objetivo se minimiza al encontrar los valores propios distintos de cero más pequeños de La forma reducida de está representada por

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$ donde tiene dimensiones basadas en los dos valores propios más bajos de .

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— NXG Logic
fuente

"K = 9 vecinos más cercanos" ¿No depende esto de la dimensionalidad de ? Por ejemplo, si tiene menos de 9 dimensiones, entonces la matriz de peso no se determina de manera única. ¿Esto causa problemas con LLE?

Y

$Y$

Y

$Y$

W

$W$

— Scott

Sí, pero si hay, digamos, 8 dimensiones, entonces, para datos aleatorios, literalmente, cada punto puede escribirse perfectamente como una combinación lineal de otros 9, en un número infinito de formas.

— Scott el

Siempre hay escenarios de "qué pasaría si" al implementar una técnica, y es por eso que se usan restricciones de parámetros.

— NXG Logic