Algoritmos exactos para programación cuadrática no convexa

Esta pregunta trata sobre problemas de programación cuadrática con restricciones de caja (box-QP), es decir, problemas de optimización de la forma

minimizar sujeto a . $f(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} + \mathbf{c}^T \mathbf{x}$ $\mathbf{x} \in [0,1]^n$

Si fuera semi-definido positivo, entonces todo sería agradable, convexo y fácil, y podríamos resolver el problema en tiempo polinómico. $A$

Por otro lado, si tuviéramos la restricción de integralidad , podríamos resolver fácilmente el problema en el tiempo por fuerza bruta. A los fines de esta pregunta, esto es razonablemente rápido. $\mathbf{x} \in \{0,1\}^n$ $O(2^n \cdot \mathrm{poly}(n))$

Pero, ¿qué pasa con el caso continuo no convexo? ¿Cuál es el algoritmo más rápido conocido para los box-QP generales?

Por ejemplo, ¿podemos resolver esto en un tiempo moderadamente exponencial, por ejemplo, $O(3^n \cdot \mathrm{poly}(n))$ , o la complejidad del peor de los algoritmos más conocidos es algo mucho peor?

Antecedentes: tengo algunos QP de caja bastante pequeños que realmente me gustaría resolver, y me sorprendió un poco ver cuán mal funcionan algunos paquetes de software comercial, incluso para valores muy pequeños de . Empecé a preguntarme si hay una explicación TCS para esta observación. $n$

ds.algorithms optimization exp-time-algorithms

— Jukka Suomela
fuente

¿Puedes resolver exactamente incluso para PSD ? La solución puede ser irracional, ¿no? Si está dispuesto a perder aditivo tal vez se pueda obtener un algoritmo de tiempo exponencial haciendo una búsqueda de fuerza bruta sobre una cuadrícula suficientemente fina. Solo una sugerencia vaga.

A

$A$

ϵ

$\epsilon$

— Chandra Chekuri

La desventaja es que la "base" del exponente sería algo así como , pero tal vez la ingeniería de cuadrícula inteligente puede ayudar para " " pequeño

1 / ϵ

$1/\epsilon$

n

$n$

— Suresh Venkat

@ChandraChekuri: las aproximaciones están perfectamente bien si puede lograr, por ejemplo, . Sin embargo, la fuerza bruta sobre una grilla tan fina no es factible.

ϵ = 10^{- 9}

$\epsilon = 10^{-9}$

— Jukka Suomela

Mediante la eliminación del cuantificador en campos cerrados reales, siempre es posible resolver estos sistemas exactamente.

Si se permite , puede optimizar la función en cada una de las caras del cubo simplemente escribiendo los criterios de optimización de primer orden.

O (3^{n})

$O(3^n)$

— Yoshio Okamoto

Una solución óptima yace en alguna cara. Entonces, podemos pasar por todas las caras del cubo y encontrar todos los puntos estacionarios en cada una de las caras.

Aquí hay un procedimiento más concreto. Una cara del cubo puede caracterizarse por dos conjuntos de índices disjuntos e . Para , arreglamos , y para arreglamos . Deje que consista en las entradas restantes no fijadas de . Esta fijación convierte la función objetivo en la siguiente forma: $I_0$ $I_1$ $i \in I_0$ $x_i = 0$ $i \in I_1$ $x_i = 1$ $\tilde{x}$ $x$

{\tilde{X}}^{⊤} \tilde{UN} \tilde{X} + {\tilde{C}}^{⊤} \tilde{X} + re,

$\tilde{x}^{\top} \tilde{A} \tilde{x} + \tilde{c}^{\top} \tilde{x} + d,$

con y apropiadas , y alguna constante , y queremos encontrar los puntos estacionarios de esta función con la condición de que . $\tilde{A}$ $\tilde{c}$ $d$ $0 < \tilde{x} < 1$

Para este fin, tomamos la diferenciación de la función objetivo para obtener

\frac{1}{2} \tilde{UN} \tilde{X} + \tilde{C} = 0.

$\frac{1}{2} \tilde{A} \tilde{x} + \tilde{c} = 0.$

Resolver este sistema de ecuaciones lineales le da los puntos estacionarios, los candidatos para soluciones óptimas. Los revisamos todos, verificamos la condición y elegimos uno con el valor objetivo mínimo.

La complejidad general del tiempo es algo así como ya que el número de caras del cubo es y un sistema de ecuaciones lineales se puede resolver en tiempo polinómico. La complejidad del espacio es polinomial en . $O(3^n \text{poly}(n))$ $n$ $3^n$ $n$

— Yoshio Okamoto
fuente

¿Por qué una solución óptima se encuentra en alguna cara con una no convexa ?

f

$f$

— cody

@cody: Eso se debe a que cada politopo es la unión disjunta de sus caras.

— Yoshio Okamoto

¿Qué pasa si es cúbico o cuártico? ¿Esta propiedad todavía se mantiene?

f

$f$

— cody

@cody: La propiedad aún se mantiene, pero necesitamos resolver una ecuación algebraica de grado más de uno. Me temo que esto no es trivial para los casos multivariados.

— Yoshio Okamoto