¿La optimización de PCA es convexa?

12

La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA? ? )

Mi pregunta es que es la optimización de PCA convexa? (Encontré algunas discusiones aquí , pero desearía que alguien pudiera proporcionar una buena prueba aquí en CV).

— Haitao Du
fuente

3

No. Está maximizando una función convexa (bajo restricciones).

— user603

55

Creo que debe ser específico sobre lo que quiere decir con "optimización de PCA". Una formulación estándar es maximizar sujeto a . El problema es que la convexidad ni siquiera tiene sentido: el dominio es una esfera, no un espacio euclidiano.

x^{'} A x

$x^\prime\mathbb{A}x$

x^{'} x = 1

$x^\prime x=1$

x^{'} x = 1

$x^\prime x=1$

— whuber

1

@whuber gracias por tu comentario, es posible que no pueda aclarar la pregunta debido al conocimiento limitado. Puedo esperar algunas respuestas que pueden ayudarme a aclarar la pregunta al mismo tiempo.

— Haitao Du

3

Le recomendaría cualquier definición de "convexo" con la que esté familiarizado. ¿No implican todos ellos un concepto de puntos en el dominio de una función situada "entre" otros puntos? Vale la pena recordarlo, porque le recuerda que debe considerar la geometría del dominio de una función, así como las propiedades algebraicas o analíticas de los valores de la función. En ese sentido, se me ocurre que la formulación que maximiza la varianza puede modificarse ligeramente para hacer que el dominio sea convexo: simplemente requiere lugar de . La solución es la misma, y la respuesta se vuelve bastante clara.

x^{'} x \leq 1

$x^\prime x\le1$

x^{'} x = 1

$x^\prime x=1$

— whuber

17

No, las formulaciones habituales de PCA no son problemas convexos. Pero pueden transformarse en un problema de optimización convexo.

La idea y la diversión de esto es seguir y visualizar la secuencia de transformaciones en lugar de solo obtener la respuesta: se basa en el viaje, no en el destino. Los principales pasos en este viaje son

Obtenga una expresión simple para la función objetivo.
Amplíe su dominio, que no es convexo, en uno que sí lo sea.
Modifique el objetivo, que no es convexo, en uno que lo sea, de una manera que obviamente no cambia los puntos en los que alcanza sus valores óptimos.

Si observa de cerca, puede ver los multiplicadores SVD y Lagrange al acecho, pero son solo un espectáculo secundario, allí por interés paisajístico, y no comentaré más sobre ellos.

La formulación estándar de PCA que maximiza la varianza (o al menos su paso clave) es

\begin{matrix} (*) & Maximize f (x) = x^{'} A x subject to x^{'} x = 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$

donde la matriz es una matriz simétrica, semidefinida positiva construida a partir de los datos (generalmente su suma de cuadrados y matriz de productos, su matriz de covarianza o su matriz de correlación). $n\times n$ $\mathbb A$

(De manera equivalente, podemos tratar de maximizar el objetivo sin restricciones . No solo es una expresión desagradable, ya no es una función cuadrática, sino que graficar casos especiales mostrará rápidamente que no es una función convexa , o bien. Por lo general, se observa que esta función es invariante bajo los cambios de escala y luego se reduce a la formulación restringida .) $x^\prime \mathbb{A} x / x^\prime x$ $x\to \lambda x$ $(*)$

Cualquier problema de optimización puede formularse de manera abstracta como

Encuentre al menos una que haga que la función más grande posible. $x\in\mathcal{X}$ $f:\mathcal{X}\to\mathbb{R}$

Recuerde que un problema de optimización es convexo cuando disfruta de dos propiedades separadas:

El dominio es convexo. $\mathcal{X}\subset\mathbb{R}^n$ Esto se puede formular de muchas maneras. Una es que siempre que e y , también. Geométricamente: siempre que dos puntos finales de una mentira segmento de línea en , toda la mentiras segmento en . $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$ $\lambda x + (1-\lambda)y\in\mathcal{X}$ $\mathcal X$ $\mathcal X$
La función es convexa. $f$ Esto también se puede formular de muchas maneras. Una es que siempre que e y , (Necesitábamos $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$
$f (λ x + (1 - λ) y) \geq λ f (x) + (1 - λ) f (y) .$ $f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$ $\mathcal X$ ser convexo para que esta condición tenga sentido.) Geométricamente: siempre que sea cualquier segmento de línea en , la gráfica de (restringida a este segmento) se encuentra arriba o en el segmento que conecta y en . $\bar{xy}$ $\mathcal X$ $f$ $(x,f(x))$ $(y,f(y))$ $\mathbb{R}^{n+1}$
El arquetipo de una función convexa es localmente parabólico en todas partes con coeficiente principal no positivo: en cualquier segmento de línea se puede expresar en la forma con $y\to a y^2 + b y + c$ $a \le 0.$

Una dificultad con es que es la esfera unitaria , que definitivamente no es convexa. $(*)$ $\mathcal X$ $S^{n-1}\subset\mathbb{R}^n$ Sin embargo, podemos modificar este problema incluyendo vectores más pequeños. Esto se debe a que cuando escalamos por un factor , se multiplica por . Cuando , podemos escalar hasta la longitud de la unidad multiplicándola por $x$ $\lambda$ $f$ $\lambda^2$ $0 \lt x^\prime x \lt 1$ $x$ , aumentando asípero permaneciendo dentro de la bola unitaria. Por lo tanto, reformulemoscomo $\lambda=1/\sqrt{x^\prime x} \gt 1$ $f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ $(*)$

\begin{matrix} (**) & Maximize f (x) = x^{'} A x subject to x^{'} x \leq 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$

Su dominio es que claramente es convexo, por lo que estamos a medio camino. Queda por considerar la convexidad de la gráfica de . $\mathcal{X}=D^n$ $f$

Una buena forma de pensar sobre el problema incluso si no tiene la intención de realizar los cálculos correspondientes, es en términos del Teorema espectral. $(**)$ Dice que por medio de una transformación ortogonal , puede encontrar al menos una base de en la que es diagonal: es decir, $\mathbb P$ $\mathbb{R}^n$ $\mathbb A$

A = P^{'} Σ P

$\mathbb {A = P^\prime \Sigma P}$

$\Sigma$ $\mathbb{P}$ $\mathbb A$ $x\to x^\prime \mathbb{A} x$

$\mathbb A$ $\Sigma$ $\mathbb P$

σ_{1} \geq σ_{2} \geq \dots \geq σ_{n} \geq 0.

$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$

$x=\mathbb{P}^\prime y$ $x$ $y=\mathbb{P}x$ $f$

f (y) = y^{'} A y = x^{'} P^{'} A P x = x^{'} Σ x = σ_{1} x_{1}^{2} + σ_{2} x_{2}^{2} + \dots + σ_{n} x_{n}^{2} .

$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$

$\mathcal X$ $\sigma_i$

$(**)$ $x^\prime x = 1$ $\sigma_1$ $f$ $\mathcal{X}$ $f$ $f$ $\sigma_1$

g (y) = f (y) - σ_{1} y^{'} y .

$g(y) = f(y) - \sigma_1 y^\prime y.$

$\sigma_1$ $f$ $g$ $f$ $\mathcal X$

$-\sigma_1$ $-\sigma_1 y^\prime y$ $\mathbb P$ $y^\prime y = x^\prime x$ $x$ $g$

g (y) = σ_{1} x_{1}^{2} + \dots + σ_{n} x_{n}^{2} - σ_{1} (x_{1}^{2} + \dots + x_{n}^{2}) = (σ_{2} - σ_{1}) x_{2}^{2} + \dots + (σ_{n} - σ_{1}) x_{n}^{2} .

$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$

$\sigma_1 \ge \sigma_i$ $i$ $g$ $g$ $x_2=x_3=\cdots=x_n=0$ $x^\prime x=1$ $x_1=\pm 1$ $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$ $\mathbb P$

$g$ $\partial D^n=S^{n-1}$ $y^\prime y = 1$ $f$ $g$ $\sigma_1$ $g$ $f$ $D^n$ $f$ $g$

— whuber
fuente

44

σ_{1}

$\sigma_1$

@amoeba Justo en todos los aspectos; gracias. He amplificado la discusión de ese punto.

— whuber

3

(+1) En su respuesta, parece definir una función convexa como lo que la mayoría de la gente consideraría una función cóncava (quizás porque un problema de optimización convexa tiene un dominio convexo y una función cóncava sobre la cual se calcula un máximo (o una función convexa sobre la cual se calcula un mínimo ))

— user795305

2

g

$g$

X

$\mathcal X$

f

$f$

2

f

$f$

g

$g$

g

$g$

6

No.

$k$ $M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

$\|\cdot\|_F$

Aunque la norma es convexa, el conjunto sobre el que está optimizado no es convexo.

Una relajación convexa del problema de PCA se llama aproximación convexa de bajo rango

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

( es la norma nuclear . es la relajación convexa del rango, al igual que es la relajación convexa del número de elementos distintos de cero para los vectores) $\|\cdot\|_*$ $\|\cdot\|_1$

Puede ver Aprendizaje estadístico con dispersión , capítulo 6 (descomposiciones de matriz) para más detalles.

Si está interesado en problemas más generales y cómo se relacionan con la convexidad, consulte Modelos generalizados de bajo rango .

— Jakub Bartczuk
fuente

1

Descargo de responsabilidad: las respuestas anteriores hacen un trabajo bastante bueno al explicar cómo la PCA en su formulación original no es convexa, pero puede convertirse en un problema de optimización convexa. Mi respuesta solo está dirigida a esas pobres almas (como yo) que no están tan familiarizadas con la jerga de las Esferas de la Unidad y las SVD, lo cual es, por cierto, bueno saber.

Mi fuente son estas notas de clase del profesor Tibshirani

Para que un problema de optimización se resuelva con técnicas de optimización convexa, hay dos requisitos previos.

La función objetivo tiene que ser convexa.
Las funciones de restricción también deben ser convexas.

La mayoría de las formulaciones de PCA implican una restricción en el rango de una matriz.

$rank(X) = k,$ $J_{11}$ $J_{22}$

— kasa
fuente

X

$X$

k

$k$

X

$X$

k

$k$