Cálculo / estimación rápida de un sistema lineal de bajo rango

Los sistemas lineales de ecuaciones son penetrantes en las estadísticas computacionales. Un sistema especial que he encontrado (por ejemplo, en el análisis factorial) es el sistema

A x = b

$Ax=b$

donde Aquí es una matriz diagonal con una diagonal estrictamente positiva, es una matriz semi-definida simétrica positiva (con ), y es una matriz arbitraria . Se nos pide que resuelvamos un sistema lineal diagonal (fácil) que ha sido perturbado por una matriz de bajo rango. La forma ingenua de resolver el problema anterior es invertir usando la fórmula de Woodbury . Sin embargo, eso no se siente bien, ya que las factorizaciones de Cholesky y QR generalmente pueden acelerar la solución de sistemas lineales (y ecuaciones normales) dramáticamente. Recientemente llegué a la

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ En el siguiente artículo , parece tomar el enfoque de Cholesky, y menciona la inestabilidad numérica de la inversión de Woodbury. Sin embargo, el documento parece en forma de borrador, y no pude encontrar experimentos numéricos o investigaciones de apoyo. ¿Cuál es el estado del arte para resolver el problema que describí?

— alegre
fuente

@gappy, ¿consideró usar la descomposición QR (o Cholesky) para la matriz (el término medio en la fórmula de Woodburry)? Las operaciones restantes son simples multiplicaciones matriciales. La fuente principal de inestabilidad es el cálculo de . Desde Sospecho esta aplicación de QR o Cholesky combinado con Woodbury será más rápido que QR en toda la matriz . Por supuesto, esto no es un estado del arte, solo observaciones generales.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

Sospecho que lo que Matthias Seeger aboga está dentro de del estado del arte, él es un tipo muy brillante y este tipo de cuestiones producen repetidamente en el tipo de modelos que investiga. Utilizo métodos basados en Cholesky por las mismas razones. Sospecho que hay un debate en "Matrix Computations" de Golub y Van Loan, que es la referencia estándar para este tipo de cosas (aunque no tengo mi copia a mano).

ϵ

$\epsilon$

— Dikran Marsupial

Tenga en cuenta que al tomar su problema es equivalente a resolver el sistema donde . Entonces, eso simplifica un poco el problema allí mismo. Ahora, dejando , sabemos que es semidefinido positivo con como máximo valores propios positivos. Dado que , puede encontrar los valores propios más grandes y los vectores propios correspondientes de varias maneras. La solución es entonces donde da la descomposición propia de

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$ .

— cardenal

Pequeñas correcciones: (1) El sistema equivalente es y (2) La solución final es

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

"Matrix Computations" de Golub & van Loan tiene una discusión detallada en el capítulo 12.5.1 sobre la actualización de las factorizaciones QR y Cholesky después de las actualizaciones de rango p.

— Fabian Pedregosa
fuente

Lo sé, y las funciones relevantes de lapack se mencionan tanto en el documento al que me vinculé como en el libro. Sin embargo, me pregunto cuál es la mejor práctica para el problema en cuestión, no para el problema de actualización genérico.

— Gappy