¿Es la optimización convexa en P?

Considere un problema de optimización convexa en el formulario

\begin{aligned} f_{0} (x_{1}, \dots, x_{n}) & \to min \\ f_{i} (x_{1}, \dots, x_{n}) & \leq 0, i = 1, \dots, m \end{aligned}

$\begin{align} f_0(x_1, \ldots, x_n) &\to \min \\ f_i(x_1, \ldots, x_n) & \leq 0, \quad i = 1, \ldots, m \end{align}$

donde son funciones convexas. Sin pérdida de generalidad, podemos suponer que es lineal. $f_0, f_1, \dots, f_m$ $f_0$

Nesterov y Nemirovskii mencionan en su libro "Algoritmos polinomiales de punto interior en programación convexa" que hay un algoritmo que es capaz de resolver cualquier programa convexo en tiempo polinómico en el siguiente sentido. Queremos tener una solución dentro de una precisión relativa a costa de cálculos de los valores y cálculos de los subgraduados. Luego, para el método elipsoide, se afirma que $\varepsilon$ $O(p(n,m) \ln (n/\varepsilon))$ $O(q(n,m) \ln(n/\varepsilon))$

p (n, m) = n^{3} (m + n), q (n, m) = n^{2}

$p(n,m) = n^3 (m+ n), \qquad q(n,m) = n^2$

A primera vista, esto parece implicar que un problema de optimización convexa puede resolverse en tiempo polinomial utilizando el método elipsoide (supongamos por simplicidad que los oráculos para calcular los valores y los subgradientes requieren tiempo para la clase de problemas de optimización convexa). $O(1)$

Sin embargo, no entiendo totalmente si las expresiones dependen de alguna manera de las funciones , por ejemplo, de sus Hesse, o no. En este caso, la complejidad puede tener una explosión exponencial debido a las propiedades de curvatura de las funciones. Además, se afirma misteriosamente que "el método elipsoide no funciona bien en la práctica". Parece que no hay consenso en Internet sobre si la respuesta a mi pregunta es afirmativa o negativa, consulte, por ejemplo, esta discusión en MathOverflow. $O(\cdot)$ $f_i$

He buscado en todos los libros sobre optimización convexa que pude encontrar, y tuve la impresión de que este realmente depende del problema, pero no pude encontrar ninguna confirmación clara de esta suposición. Entonces, mi única esperanza es preguntar directamente a las personas que están investigando en este campo. $O(\cdot)$

Los métodos de punto interior que se han desarrollado más tarde parecen explicar explícitamente la curvatura utilizando la noción de barreras autoconcentrantes. Pero cuando la gente dice que estos métodos son eficientes en la práctica, generalmente no especifican esto en el nivel de complejidad.

convex-optimization complexity

— Sergey Dovgal
fuente

Estos problemas (que pueden ser sutiles) se explican en detalle en el libro Algoritmos geométricos y optimización combinatoria de Groetschel, Lovasz y Schrijver. La respuesta aproximada es que con el método elipsoide 1) solo obtiene una solución aproximadamente factible y aproximadamente óptima, y 2) necesita conocer una bola de radio que contiene la región factible, y el tiempo de ejecución también depende de . Ignorando la complejidad de obtener un gradiente, no debería haber otras dependencias ocultas.

R

$R$

\log R

$\log R$

— Sasho Nikolov

En mi caso, , por lo que mi intuición es que los métodos de barrera pueden funcionar en algunos casos incluso cuando . Pero esto significa que no existe un teorema general de que, independientemente de , exista un algoritmo polinomial.

R = \infty

$R = \infty$

R = \infty

$R = \infty$

R

$R$

— Sergey Dovgal

por "métodos de barrera" me refiero a los métodos de tipo de punto interior que han sido desarrollados después del método elipsoide por Nesterov, Nemirovskii et. Alabama.

— Sergey Dovgal

Creo que es cierto, sin algún límite en no hay garantía genérica de tiempo polinomial. En muchos casos, cuando la región factible no tiene límites, aún puede mostrar a priori que si existe una solución factible, existe una norma euclidiana como máximo , donde puede depender de la complejidad de bits de la entrada. En ese caso, puede intersecar la región factible con la bola de radio centrada en el origen.

R

$R$

R

$R$

R

$R$

R

$R$

— Sasho Nikolov

En 1998, Michel X. Goemans dio una charla sobre ICM, en la que abordó este tema: "Los programas semidefinidos pueden resolverse (o más precisamente, aproximarse) en tiempo polinómico con cualquier precisión específica, ya sea mediante el algoritmo elipsoide o de manera más eficiente a través de algoritmos de punto interior ... Los algoritmos anteriores producen una solución estrictamente factible (o poco factible para algunas versiones del algoritmo elipsoide) y, de hecho, el problema de decidir si un programa semidefinido es factible (exactamente) aún está abierto. Un caso especial de factibilidad de programación semidefinida es el problema de la suma de la raíz cuadrada. La complejidad de este problema aún está abierta ". http://garden.irmacs.sfu.ca/op/complexity_of_square_root_sum

En 1976, Ron Graham, Michael Garey y David Johnson no pudieron mostrar algunos problemas de optimización geométrica, como si el problema del vendedor ambulante euclidiano es NP completo (solo pueden mostrar que el problema es NP difícil), la razón es que no pudieron muestra si el problema de la suma de la raíz cuadrada es polinomial solucionable o no. https://rjlipton.wordpress.com/2009/03/04/ron-graham-gives-a-talk/

El problema de la suma de la raíz cuadrada es un problema largo y abierto que desconcierta mucho a los académicos de la geometría computacional, la optimización, la complejidad computacional, la teoría de juegos y algunas otras áreas, ya que todas en algún momento descubren que el principal obstáculo para sus problemas es manejar El problema de la suma de la raíz cuadrada.

El progreso más notable hacia este problema es el de Eric Allender y sus coautores. En 2003, mostraron que este problema se encuentra en el 4to nivel de la Jerarquía de Conteo. http://ftp.cs.rutgers.edu/pub/allender/slp.pdf

Entonces, en base a los hechos anteriores, no se puede resolver el problema de optimización convexa en tiempo polinomial (verdadero) con el método Elipsoide y el método de Punto Interior.

La gran notación O es medir el tiempo de ejecución del algoritmo en el peor de los casos. Sin embargo, en la práctica, el peor de los casos puede ser un evento muy raro, por eso no puede usarlo para medir el rendimiento práctico.

— Rupei Xu
fuente

Creo que mi pregunta necesita ser reformulada. SDP es claramente un problema de optimización convexa (optimizar una función convexa sobre un conjunto convexo), pero mi pregunta apunta específicamente a la forma estándar de optimización convexa, donde el conjunto convexo se define por el conjunto de desigualdades "la función convexa es negativa". ¿Cree que se desconoce la respuesta a esa forma particular (optimización convexa en forma estándar en P)?

— Sergey Dovgal

@SergeyDovgal Hasta donde yo sé, uno solo puede afirmar que la programación lineal es solucionable en tiempo polinómico. Para otros problemas de optimización convexa, si dependen de la suma de la raíz cuadrada, no se puede afirmar que son verdaderamente solucionables en tiempo polinómico.

— Rupei Xu