Problema de optimización restringida en Matrix Entropy

Tengo un problema de optimización restringido en la entropía de la matriz (Shannon) $\mathtt{(sum(entr(eig(A))))}$ . La matriz $A$ se puede escribir como la suma de las matrices de rango 1 de la forma $[v_i\,v_i^T]$ donde $v_i$ es un vector normalizado dado. Los coeficientes de las matrices de rango uno son las incógnitas en las que optimizamos y tienen que ser mayores que cero y sumar 1.

En una sintaxis similar a CVX, el problema es el siguiente: dada la variable $\mathtt{c(n)}$

minimize s u m (e n t r (e i g (A)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} subject to UN & = \sum C_{yo} v_{yo} v_{yo}^{T} \\ \sum C_{yo} & = 1 \\ C_{yo} & \geq 0 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$ .

¿Alguien tiene una idea de cómo resolver esto de manera eficiente? Ya sé que probablemente no se pueda lanzar como un problema de programación semi-definida (SDP).

optimization entropy

— Seca
fuente

Editar: un colega me informó que mi método a continuación es una instancia del método general en el siguiente documento, cuando se especializa en la función de entropía,

Overton, Michael L. y Robert S. Womersley. "Segundas derivadas para optimizar valores propios de matrices simétricas". SIAM Journal on Matrix Analysis and Applications 16.3 (1995): 697-718. http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

Visión de conjunto

En esta publicación, muestro que el problema de optimización está bien planteado y que las restricciones de desigualdad están inactivas en la solución, luego calculo las derivadas de Frechet primera y segunda de la función de entropía, luego propongo el método de Newton sobre el problema con la restricción de igualdad eliminada. Finalmente, se presentan el código de Matlab y los resultados numéricos.

Bien planteado del problema de optimización

Primero, la suma de las matrices positivas definidas es positiva definida, entonces para , la suma de las matrices de rango 1 es positiva definida. Si el conjunto de $c_i > 0$

A (c) := \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

es rango completo, los valores propios de

son positivos, por lo que se pueden tomar los logaritmos de los valores propios. Por lo tanto, la función objetivo está bien definida en el interior del conjunto factible.

v_{i}

$v_i$

A

$A$

Segundo, como cualquier , pierde el rango, por lo que el valor propio más pequeño de va a cero. Es decir, $c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ como . Dado que la derivada de $c_i \rightarrow 0$ explota como , no se puede tener una secuencia de puntos sucesivamente mejores y mejores que se acerquen al límite del conjunto factible. Por lo tanto, el problema está bien definido y, además, las restricciones de desigualdad $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ están inactivos. $c_i \ge 0$

Derivados de Frechet de la función entropía

En el interior de la región factible, la función de entropía es Frechet diferenciable en todas partes, y dos veces Frechet diferenciable donde no se repiten los valores propios. Para hacer el método de Newton, necesitamos calcular derivados de la entropía de la matriz, que depende de los valores propios de la matriz. Esto requiere calcular las sensibilidades de la descomposición del valor propio de una matriz con respecto a los cambios en la matriz.

Recuerde que para una matriz con descomposición de valor propio , la derivada de la matriz de valor propio con respecto a los cambios en la matriz original es, y la derivada de la matriz de vectores propios es, donde es el producto Hadamard , con la matriz de coeficientes $A$ $A = U \Lambda U^T$

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

Dichas fórmulas se derivan diferenciando la ecuación de valor propio , y las fórmulas se mantienen siempre que los valores propios son distintos. Cuando hay valores propios repetidos, la fórmula para $AU=\Lambda U$ tiene una discontinuidad removible que puede extenderse siempre que los vectores propios no únicos se elijan cuidadosamente. Para obtener detalles sobre esto, consulte la siguientepresentacióny eldocumento. $d\Lambda$

La segunda derivada se encuentra al diferenciar nuevamente,

\begin{aligned} d^{2} Λ & = d (I \circ (U^{T} d A_{1} U)) \\ = I \circ (d U_{2}^{T} d A_{1} U + U^{T} d A_{1} d U_{2}) \\ = 2 I \circ (d U_{2}^{T} d A_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

Eliminar la restricción de igualdad

$\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = 1 - \sum_{i = 1}^{N - 1} c_{i} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

d f = d C_{1}^{T} M^{T} [I \circ (V^{T} U B U^{T} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

d d f = d C_{1}^{T} M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

M = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & \dots & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

B_{a} = d i a g (1 + \log λ_{1}, 1 + \log λ_{2}, \dots, 1 + \log λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

B_{b} = d i a g (\frac{d_{2} λ_{1}}{λ_{1}}, \dots, \frac{d_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

Método de Newton después de eliminar la restricción

Dado que las restricciones de desigualdad están inactivas, simplemente comenzamos en el conjunto factible y ejecutamos la región de confianza o la búsqueda de línea newton-CG inexacta para la convergencia cuadrática a los máximos interiores.

El método es el siguiente, (sin incluir detalles de búsqueda de región / línea de confianza)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
Ir a 2.

Resultados

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = randn (N, N);
>> para k = 1: NV (:, k) = V (:, k) / norma (V (:, k)); final
>> maxEntropyMatrix (V);
Iteración de Newton = 1, norma (grad f) = 0.67748
Iteración de Newton = 2, norma (grad f) = 0.03644
Iteración de Newton = 3, norma (grad f) = 0.0012167
Iteración de Newton = 4, norma (grad f) = 1.3239e-06
Iteración de Newton = 5, norma (grad f) = 7.7114e-13

Para ver que el punto óptimo calculado es, de hecho, el máximo, aquí hay un gráfico de cómo cambia la entropía cuando el punto óptimo se perturba aleatoriamente. Todas las perturbaciones hacen que disminuya la entropía. ingrese la descripción de la imagen aquí

Código Matlab

Función todo en 1 para minimizar la entropía (recién agregado a esta publicación): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— Nick Alger
fuente

¡Muchas gracias! Lo resolví con simple con gradiente de asistencia, pero esto es probablemente más confiable. El hecho de que v tenga que ser de rango completo en el archivo matlab es lo único que me molesta.

— seca el

@NickAlger El enlace proporcionado no funciona, ¿puedo solicitarle que eche un vistazo?

— Creador

@Creator enlace actualizado en la publicación! github.com/NickAlger/various_scripts/blob/master/…

— Nick Alger

@NickAlger ¿Hay una restricción en la matriz que el algoritmo puede operar? ¿Es este algoritmo adecuado para matrices con elementos complejos? En mi caso, la SVD falla después de un tiempo ya que la matriz tiene Nan.

— Creador

No creo que los números complejos sean un problema. Una limitación del método es que la solución óptima no puede tener valores propios repetidos, lo que supongo es lo que está sucediendo aquí. En este caso, el método converge a algo que se divide por cero en la ecuación C. Puede intentar perturbar aleatoriamente las entradas un poco y ver si eso ayuda a las cosas. Hay una manera de evitar esto en el documento de Overton mencionado anteriormente, pero mi código no es tan avanzado.

— Nick Alger