Programación lineal con restricciones matriciales.

Visión general

Es posible que desee probar una variante del Método de Multiplicadores de Direcciones Alternas (ADMM), que se ha encontrado que converge sorprendentemente rápido para problemas de tipo lazo. La estrategia es formular el problema con un Lagrangian aumentado y luego hacer un ascenso gradual en el problema dual. Es especialmente bueno para este problema regularizado particular porque la parte no lisa de cada iteración del método tiene una solución exacta que simplemente puede evaluar elemento por elemento, mientras que la parte lisa implica resolver un sistema lineal. $l_1$ $l^1$

En este post nosotros

derivar una formulación general de ADMM para una generalización de su problema,
deriva los subproblemas para cada iteración ADMM y los especializa a su situación, y luego
investigar el sistema lineal resultante que necesita ser resuelto cada iteración, y desarrollar un solucionador rápido (o preacondicionador) basado en precomputen las descomposiciones de valores propios (o aproximaciones de bajo rango de los mismos) para y . $M^TM$ $YY^T$
resumir con algunas observaciones finales

La mayoría de las grandes ideas aquí están cubiertas en el siguiente excelente artículo de revisión,

Boyd, Stephen y col. "Optimización distribuida y aprendizaje estadístico a través del método de dirección alterna de multiplicadores". Foundations and Trends® en Machine Learning 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Antes de entrar en detalles, quiero señalar que esta es una respuesta de método / algoritmo, no una respuesta práctica de código existente; si desea utilizar este método, necesitaría implementar su propia implementación.

Formulación ADMM

En general, suponga que desea resolver

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

El problema en la publicación original cae en esta categoría después de la vectorización adecuada. (esto es solo en principio, veremos que la vectorización no necesita realizarse en la práctica)

En su lugar, podría resolver el problema equivalente, que tiene Lagrangian

\begin{aligned} min_{X, z} & \sum_{yo} El | X_{yo} El | + \frac{α}{2} El | El | X - z El | {El |}^{2} + \frac{β}{2} El | El | UNA z - si El | {El |}^{2} \\ S t & UNA z = si \\ Y & X = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (X, z, λ, γ) = & \sum_{yo} El | X_{yo} El | + \frac{α}{2} El | El | X - z El | {El |}^{2} + \frac{β}{2} El | El | UNA z - si El | {El |}^{2} + λ^{T} (UNA z - si) + γ^{T} (X - z) \\ = & \sum_{yo} El | X_{yo} El | + \frac{α}{2} El | El | X - z + \frac{1}{α} γ El | {El |}^{2} + \frac{β}{2} El | El | UNA z - si + \frac{1}{β} λ El | {El |}^{2} \\ + \frac{α}{2} El | El | \frac{1}{α} γ El | {El |}^{2} + \frac{β}{2} El | El | \frac{1}{β} λ El | {El |}^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

El método de dirección alterna de multiplicadores resuelve el problema dual, través del ascenso de gradiente en las variables duales, excepto con proyecciones alternativas inexactas en los subproblemas duales. Es decir, uno realiza la iteración

max_{λ, γ} min_{X, z} L (X, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

Bajo ciertas condiciones leves en los parámetros y (explicados en el documento de Boyd y Parikh vinculado anteriormente), el método ADMM convergerá a la solución verdadera. La tasa de convergencia es lineal, ya que es en el núcleo un método de ascenso de gradiente. A menudo se puede acelerar para que sea superlineal 1) cambiando los parámetros y medida que avanza según la heurística, o 2) usando la aceleración de Nesterov. Para obtener notas sobre cómo cambiar los parámetros de penalización, consulte el documento de la encuesta de Boyd, y para usar la aceleración de Nesterov con ADMM, consulte el siguiente documento, $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue y Simon Setzer. "Métodos rápidos de optimización de dirección alterna". Informe CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Sin embargo, incluso si la tasa de convergencia general es solo lineal, para problemas de se ha observado que el método encuentra el patrón de dispersión muy rápidamente y luego converge más lentamente en los valores exactos. Como encontrar el patrón de dispersión es la parte más difícil, ¡esto es muy fortuito! Las razones exactas por las cuales parecen ser un área de investigación actual. Todos ven que el patrón de dispersión converge rápidamente, pero nadie parece saber exactamente por qué sucede. Hace un tiempo le pregunté a Boyd y Parikh sobre esto por correo electrónico y Parikh pensó que podría explicarse interpretando el método en un contexto de sistemas de control. Otra explicación heurística del fenómeno se encuentra en el apéndice del siguiente artículo, $l^1$

Goldstein, Tom y Stanley Osher. "El método de Bregman dividido para problemas regularizados por L1". SIAM Journal on Imaging Sciences 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Por supuesto, ahora la dificultad radica en resolver los subproblemas de actualización y para su situación específica. Como el lagrangiano es cuadrático en , el subproblema de actualización simplemente requiere resolver un sistema lineal. El subproblema parece más difícil ya que no es diferenciable, ¡pero resulta que hay una fórmula exacta para la solución que se puede aplicar elemento por elemento! Ahora discutimos estos subproblemas con más detalle y los especificamos para el problema en la publicación original. $x$ $z$ $z$ $z$ $x$

Configuración para el subproblema de actualización (sistema lineal) $z$

Para la actualización , tenemos $z$

{a r sol metro yo norte}_{z} L (X_{k}, z, λ_{k}, γ_{k}) = {una r sol metro yo norte}_{z} \frac{α}{2} El | El | X - z + \frac{1}{α} γ El | {El |}^{2} + \frac{β}{2} El | El | UNA z - si + \frac{1}{β} λ El | {El |}^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Esto se especializa en su problema,

\begin{aligned} {una r sol metro yo norte}_{Z_{J}, Z_{si}} & \frac{α}{2} El | El | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} El | {El |}_{F r o}^{2} + \frac{α}{2} El | El | {si}^{k + 1} - Z_{si} + \frac{1}{α} Γ_{si} El | {El |}_{F r o}^{2} \\ + \frac{β}{2} El | El | METRO Z_{J} + Z_{si} Y - X + \frac{1}{α} Λ El | {El |}_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

donde denota la norma Frobenius (elementwise ). Este es un problema de minimización cuadrática, donde las condiciones de optimización de primer orden se pueden encontrar tomando derivadas parciales del objetivo con respecto a y y a cero. Esto es, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Como se señaló en los comentarios del póster original Justin Solomon, este sistema para es simétrico, por lo que el gradiente conjugado es un método ideal sin matriz. Una sección posterior analiza este sistema y cómo resolverlo / precondicionarlo con mayor detalle. $Z_J,Z_B$

Resolución de subproblema de actualización (solución de umbral analítico) $x$

Ahora pasamos al subproblema , $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Lo primero que hay que ver es que la suma se puede dividir elemento por elemento,

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Entonces podemos resolver el problema de optimización elemento por elemento en paralelo, produciendo

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

La forma general de esta ecuación es,

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

La función de valor absoluto está tratando de tirar del punto óptimo hacia , mientras que el término cuadrático está tratando de tirar del punto óptimo hacia . la verdadera solución, por lo tanto, se encuentra en algún lugar del segmento entre los dos, con un aumento de tiende a tirar del punto óptimo hacia , y una disminución de tira del punto óptimo hacia . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Esta es una función convexa pero no es diferenciable en cero. La condición para un punto de minimización es que la subderivada del objetivo en ese punto contiene cero. El término cuadrático tiene derivada , y la función de valor absoluto tiene derivada para , subderivada con valor establecido como el intervalo cuando , y derivada para . Por lo tanto, obtenemos el subderivado para la función objetivo general, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

De esto vemos que el subderivativo del objetivo en contiene si y solo si , en cuyo caso es el minimizador. Por otro lado, si no es el minimizador, entonces podemos establecer la derivada de un solo valor igual a cero y resolver el minimizador. Al hacer esto, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{una r sol metro yo norte}_{s} El | s El | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0 0, & El | t El | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Especializando este resultado nuevamente en el problema real que estamos tratando de resolver en la pregunta original donde rinde, La actualización para es simplemente $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{yo j}^{k + 1} = {\begin{cases} Z_{yo j}^{k} - \frac{1}{α} Γ_{yo j}^{k} - \frac{1}{α}, & Z_{yo j}^{k} - \frac{1}{α} Γ_{yo j}^{k} > \frac{1}{α}, \\ 0 0, & El | Z_{yo j}^{k} - \frac{1}{α} Γ_{yo j}^{k} El | \leq \frac{1}{α}, \\ Z_{yo j}^{k} - \frac{1}{α} Γ_{yo j}^{k} + \frac{1}{α}, & Z_{yo j}^{k} - \frac{1}{α} Γ_{yo j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

{si}^{k + 1} = Z_{si} - \frac{1}{α} Γ_{si},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

como lo señaló el póster original Justin Solomon en los comentarios. En general, hacer la actualización para solo requiere recorrer las entradas de sus matrices y evaluar las fórmulas anteriores para cada entrada. $J,B$

Complemento Schur para el sistema $Z_J,Z_B$

El paso más costoso de la iteración es resolver el sistema,

\begin{aligned} 0 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} {METRO}^{T} (METRO Z_{J} + Z_{si} Y - X + \frac{1}{β} Λ), \\ 0 0 & = - \frac{α}{2} ({si}^{k + 1} - Z_{si} + \frac{1}{α} Γ_{si}) + \frac{β}{2} (METRO Z_{J} + Z_{si} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

Para ese fin, vale la pena construir un buen solucionador / preacondicionador para este sistema. En esta sección lo hacemos vectorizando , formando un complemento Schur , haciendo algunas manipulaciones de productos Krnoecker y luego desvectorizando. El sistema de complemento Schur resultante es una ecuación de Sylvester ligeramente modificada .

En lo que sigue, las siguientes identidades sobre la vectorización y los productos de Kronecker son absolutamente clave:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , y
$(A \otimes B)^T = A^T \otimes B^T$ .

Estas identidades se mantienen siempre que el tamaño de la matriz y la invertibilidad sean tales que cada lado de la ecuación sea una expresión válida.

La forma vectorizada del sistema es,

(α yo + β [\begin{matrix} yo \otimes {METRO}^{T} METRO & (Y \otimes METRO)^{T} \\ Y \otimes METRO & Y Y^{T} \otimes yo \end{matrix}]) [\begin{matrix} v mi C (Z_{J}) \\ v mi C (Z_{si}) \end{matrix}] = [\begin{matrix} v mi C (α J + β {METRO}^{T} X + Γ_{J} - {METRO}^{T} Λ) \\ v mi C (α si + β X Y^{T} + Γ_{si} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

[\begin{matrix} yo \otimes (α yo + β {METRO}^{T} METRO) & β (Y \otimes METRO)^{T} \\ β Y \otimes METRO & (α yo + β Y Y^{T}) \otimes yo \end{matrix}] [\begin{matrix} v mi C (Z_{J}) \\ v mi C (Z_{si}) \end{matrix}] = [\begin{matrix} v mi C (F) \\ v mi C (sol) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

donde y son notación condensada para el lado derecho. Ahora realizamos el complemento de eliminación gaussiana en bloque / Schur para eliminar el bloque inferior izquierdo de la matriz, en el proceso de condensación de los productos Kronecker. Esto es, $F$ $G$

[\begin{matrix} yo \otimes (α yo + β {METRO}^{T} METRO) & β (Y \otimes METRO)^{T} \\ 0 0 & (α yo + β Y Y^{T}) \otimes yo - β^{2} Y Y^{T} \otimes METRO (α yo + β {METRO}^{T} METRO)^{- 1} {METRO}^{T} \end{matrix}] ... \cdot [\begin{matrix} v mi C (Z_{J}) \\ v mi C (Z_{si}) \end{matrix}] = [\begin{matrix} v mi C (F) \\ v mi C (sol) - β Y \otimes METRO (α yo + β {METRO}^{T} METRO)^{- 1} v mi C (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Desvectorizando, las dos ecuaciones que tenemos que resolver en secuencia son,

$Z_{si} (α yo + β Y Y^{T}) - (β METRO (α yo + β {METRO}^{T} METRO)^{- 1} {METRO}^{T}) Z_{si} (β Y Y^{T}) ... = sol - β METRO (α yo + β {METRO}^{T} METRO)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α yo + β {METRO}^{T} METRO) Z_{J} = F - β {METRO}^{T} Z_{si} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

Solución del sistema de complemento de Schur cuando son cuadrados, rango alto $Y,M$

En esta sección resolvemos el sistema de complemento Schur para (ecuación 1. anterior) mediante el uso de SVD completos precalculados de las matrices y aplicando una versión modificada del algoritmo de Bartels-Stewart para el Sylvester ecuación. El algoritmo se modifica ligeramente de la versión estándar para tener en cuenta el adicional en el segundo término, lo que hace que no sea la ecuación de Sylvester. Una vez que se encuentra través de la primera ecuación, se puede encontrar fácilmente a partir de la segunda ecuación. La segunda ecuación es trivial para resolver mediante cualquier método que desee. $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

Este método requiere un costo inicial para calcular previamente dos SVD completos antes de que comience el proceso ADMM, pero luego se aplica rápidamente en las iteraciones ADMM reales. Dado que el método trata con SVD completos de las matrices de restricción, es apropiado cuando están cerca de un cuadrado y un rango alto. También es posible un método más complicado que utiliza SVD de bajo rango, pero se presenta en una sección posterior.

El método se desarrolla de la siguiente manera. Deje denotan precalculadas completos descomposiciones de valor singular, y condensar el lado derecho para ser . Entonces la primera ecuación se convierte en Multiplicación por los factores ortogonales para limpiar la izquierda y la derecha y establecer una nueva temporal desconocida , esto se convierte en

Q re Q^{T} = Y Y^{T}, W Σ W^{T} = METRO {METRO}^{T}, V T V^{T} = {METRO}^{T} METRO

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{si} Q (α yo + re) Q^{T} - W β Σ (α yo + Σ)^{- 1} Σ W^{T} Z_{si} Q re Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

UNA (α yo + re) - β Σ (α yo + Σ)^{- 1} Σ UNA re = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Ahora podemos encontrar resolviendo el sistema diagonal , $A$

((α yo + re) \otimes yo + re \otimes β Σ (α yo + Σ)^{- 1} Σ) v mi C (UNA) = v mi C (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

Habiendo encontrado , calculamos , y conociendo resolvemos la segunda ecuación anterior para , que es trivial ya que ya tenemos la descomposición del valor propio para . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

El costo inicial es calcular dos descomposiciones de valores propios definidos simétricos positivos de e , y luego el costo por iteración para una solución completa está dominado por un puñado de multiplicaciones de matriz-matriz, que es del mismo orden de magnitud como hacer 1 subiteración CG. Si las descomposiciones iniciales de valores propios son demasiado costosas, entonces se pueden calcular de manera inexacta, por ejemplo, finalizando la iteración de Lanczos temprano y manteniendo los vectores propios más grandes. Entonces, el método puede usarse como un buen preacondicionador para CG en lugar de un solucionador directo. $M^TM$ $YY^T$

Método de solución cuando son muy rectangulares o tienen una aproximación de rango bajo $M,Y$

Ahora dirigimos nuestra atención a resolver o preacondicionar el cuando a) las matrices de entrada son muy rectangulares, lo que significa que tienen muchas más filas que columnas o viceversa, o b) tienen una aproximación de rango bajo. La siguiente derivación implica el uso extensivo de la fórmula de Woodbury, el complemento de Schur y otras manipulaciones similares. $Z_J,Z_B$ $M,Y$

Comenzamos con nuestro sistema de complemento Schur,

(α yo + β Y Y^{T}) \otimes yo - β^{2} Y Y^{T} \otimes METRO (α yo + β {METRO}^{T} METRO)^{- 1} {METRO}^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Algunas manipulaciones transforman este sistema en una forma más simétrica,

(α yo + β yo \otimes METRO {METRO}^{T} + β Y Y^{T} \otimes yo) v mi C (Z_{si}) = (yo \otimes (yo + \frac{β}{α} METRO {METRO}^{T})) v mi C (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Ahora traemos las aproximaciones de bajo rango. Deje que sean las SVD reducidas o las aproximaciones de rango bajo de y ( es un marcador de posición y no es usado). Al sustituirlos en nuestro sistema, se obtiene la siguiente matriz inversa que deseamos aplicar,

Q {re}^{1 / / 2} Q_{2}^{T} = Y W Σ^{1 / / 2} V^{T} = METRO

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α yo + β yo \otimes W Σ W^{T} + β Y Y^{T} \otimes yo)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Dado que la matriz con la que invertimos es una actualización de bajo rango de la identidad, la estrategia lógica es tratar de usar la fórmula de Woodbury,

(UNA + U C U^{T})^{- 1} = {UNA}^{- 1} - {UNA}^{- 1} U (C^{- 1} + U^{T} {UNA}^{- 1} U)^{- 1} U^{T} {UNA}^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Sin embargo, se necesita algo de cuidado ya que las piezas de bajo rango e no son ortogonales. Por lo tanto, para aplicar la fórmula de Woodbury, recopilamos ambas actualizaciones de bajo rango en una sola gran actualización. Doint así y aplicando la fórmula de Woodbury produce, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} yo + β [\begin{matrix} yo \otimes W & Q \otimes yo \end{matrix}] [\begin{matrix} yo \otimes Σ \\ re \otimes Y \end{matrix}] [\begin{matrix} yo \otimes Σ^{T} \\ Q^{T} \otimes yo \end{matrix}])}^{- 1} = α yo - \frac{β}{α^{2}} [\begin{matrix} yo \otimes W & Q \otimes yo \end{matrix}] {[\begin{matrix} yo \otimes (Σ^{- 1} + \frac{β}{α} yo) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & ({re}^{- 1} + \frac{β}{α} yo) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} yo \otimes Σ^{T} \\ Q^{T} \otimes yo \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

El inverso del núcleo puede calcularse mediante la fórmula inversa en bloque de 2x2,

{[\begin{matrix} UNA & si \\ {si}^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (UNA - si C^{- 1} {si}^{T})^{- 1} & - {UNA}^{- 1} si (C - {si}^{T} {UNA}^{- 1} si)^{- 1} \\ - C^{- 1} {si}^{T} (UNA - si C^{- 1} {si}^{T})^{- 1} & (C - {si}^{T} {UNA}^{- 1} si)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Esta publicación ya es lo suficientemente larga, así que ahorraré los largos detalles del cálculo, pero el resultado final es que al conectar las submatrices necesarias en el inverso en bloque y multiplicar todo a través se obtiene la siguiente forma explícita para el inverso general,

(α yo + β yo \otimes METRO {METRO}^{T} + β Y Y^{T} \otimes yo)^{- 1} = \frac{1}{α} yo - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

donde

\begin{aligned} t_{11} & = \frac{α}{β} yo \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) {re}_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) {re}_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) {re}_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes yo \\ s_{22} & = (Q h^{- 1} \otimes W) {re}_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ {re}_{11} & = \frac{α}{β} {(h \otimes yo - yo \otimes l^{- 1})}^{- 1} \\ {re}_{22} & = \frac{α}{β} {(yo \otimes l - h^{- 1} \otimes yo)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + yo \\ h & = \frac{α}{β} {re}^{- 1} + yo . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

De esta forma, podemos aplicar el inverso y encontrar término por término a través de 8 emparedados de multiplicación de matriz izquierda y derecha. La fórmula general para aplicar la suma de los productos de Kronecker es, $Z_B$

(({UNA}_{1} \otimes {si}_{1}) + ({UNA}_{2} \otimes {si}_{2}) + ...) v mi C (C) = v mi C ({si}_{1}^{T} C {UNA}_{1} + {si}_{2}^{T} C {UNA}_{2} + ...) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Tenga en cuenta que todas las inversas explícitas con las que terminamos son diagonales, por lo que no hay nada que "resolver".

Código de solucionador lineal

Implementé los dos solucionadores en Matlab. El parece funcionar bien. El código solucionador está aquí. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Un script de prueba para verificar que los solucionadores funcionan está aquí. También muestra, por ejemplo, cómo llamar al código del solucionador.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Observaciones finales

Los métodos de tipo ADMM son adecuados para problemas como este, pero necesitaría implementar su propia implementación. La estructura general del método es bastante simple, por lo que la implementación no es demasiado difícil en algo como MATLAB.

La pieza que falta en esta publicación que debería especificarse para definir completamente el método para su problema es una elección de parámetros de penalización . Afortunadamente, el método generalmente es bastante robusto siempre que los valores de los parámetros no estén locos. El documento de Boyd y Parikh tiene una sección sobre los parámetros de penalización al igual que las referencias allí, pero simplemente experimentaría con los parámetros hasta que obtenga tasas de convergencia razonables. $\alpha,\beta$

Las presentadas son altamente efectivas si las matrices de restricción son a) densas, cuadradas y de alto rango, o b) tienen una buena aproximación de bajo rango. Otra solucionador útil que podría ser un tema de trabajo futuro sería un programa de solución optimizada para el siguiente caso - la matriz de restricciones es escasa y squareish y alto rango, pero no existe una buena preacondicionador para . Este sería el caso si, por ejemplo, es un laplaciano discretizado. $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Nick Alger
fuente

¡Implementando esto ahora! Para verificar, la solución de matriz para y debe ser simétrica / positiva definida ya que proviene de mínimos cuadrados, ¿verdad? Esto parece ser empíricamente cierto :-). Entonces, ¿es CG una mejor opción que GMRES?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

Además, ¿creo que la actualización para B es incorrecta? Estoy trabajando en esto con más detalle, pero recordar B no aparece en mi función de energía (no término), por lo que no estoy seguro de que solo debería tomar valores en ¿Estoy pensando en esto mal? ¡Gracias!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[errr más bien, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

¡Asombroso! Después de poner mis propias fórmulas para y (probablemente cercano / equivalente a lo que publicaste pero algo no funcionaba), esto está superando por mucho el método IRLS. ¡Gracias!

J

$J$

B

$B$

— Justin Solomon

Una gran noticia. Es agradable ver cuándo las contribuciones aquí conducen a resultados reales.

— Michael Grant