"Solucionador" iterativo para

No puedo imaginar que soy el primero en pensar en el siguiente problema, así que estaré satisfecho con una referencia (pero siempre se agradece una respuesta completa y detallada):

Supongamos que tiene un positivo definido simétrico . Se considera que es muy grande, por lo que mantener en la memoria es imposible. Sin embargo, puede evaluar , para cualquier . Dado algunos , te gustaría encontrar . $\Sigma \in \mathbb{R}^{n \times n}$ $n$ $\Sigma$ $\Sigma x$ $x \in \mathbb{R}^{n}$ $x \in \mathbb{R}^{n}$ $x^t\Sigma^{-1}x$

La primera solución que viene a la mente es encontrar usando (digamos) gradientes conjugados. Sin embargo, esto parece algo inútil: busca un escalar y en el proceso encuentra un vector gigantesco en . Parece tener más sentido idear un método para calcular el escalar directamente (es decir, sin pasar por ). Estoy buscando este tipo de método. $\Sigma^{-1}x$ $\mathbb{R}^{n}$ $\Sigma^{-1}x$

linear-algebra numerical-analysis iterative-method

— Yair Daon
fuente

¿Su matriz surge de para algún rectangular "corto y ancho" ?

Σ = A^{T} A

$\Sigma = A^TA$

A

$A$

— GeoMatt22

@ GeoMatt22 lamentablemente no. Pero digamos que sí, ¿qué sugerirías en ese caso?

— Yair Daon

Yair, estaba pensando si hay alguna matriz más pequeña para trabajar ... no estoy seguro de que ayude de todos modos. ¿Has probado en Google "distancia mahalanobis sin matriz" o similar? Perdón por no ser de más ayuda!

— GeoMatt22

Gracias @ GeoMatt22, no pude encontrar nada en línea.

— Yair Daon

No creo haber oído hablar de ningún método que haga lo que quieres sin resolver realmente . $y=\Sigma^{-1}x$

La única alternativa que puedo ofrecer es si supieras algo sobre los vectores propios y los valores de . Digamos que sabía que son , entonces puede representar donde las columnas de son , y es una matriz diagonal con los valores propios en la diagonal. En consecuencia, tienes que y obtienes que $\Sigma$ $\lambda_i,v_i$ $\Sigma=V^T L V$ $V$ $v_i$ $L$ $\Sigma^{-1}=V^T L^{-1} V$ Por supuesto, esto requeriría que almacenetodos losvalores propios, es decir, una matriz completa. Pero, si sabe que solo algunos de los valores propios de son pequeños, diga la primera , y el resto es tan grande que puede descuidar todos los términos con para , entonces puede aproximar

x^{T} Σ^{- 1} x = x^{T} V^{T} L^{- 1} V x = \sum_{i} λ_{i}^{- 1} (v_{i}^{T} x)^{2} .

$x^T \Sigma^{-1} x = x^T V^T L^{-1} V x = \sum_i \lambda_i^{-1} (v_i^T x)^2.$

V

$V$

Σ

$\Sigma$

m

$m$

λ_{i}^{- 1}

$\lambda^{-1}_i$

i > m

$i>m$

Esto solo requiere que almacene

vectores, en lugar de todos los

vectores propios.

X^{T} Σ^{- 1} X = \sum_{yo = 1}^{norte} λ_{yo}^{- 1} (v_{yo}^{T} X)^{2} \approx \sum_{yo = 1}^{metro} λ_{yo}^{- 1} (v_{yo}^{T} X)^{2} .

$x^T \Sigma^{-1} x = \sum_{i=1}^n \lambda_i^{-1} (v_i^T x)^2 \approx \sum_{i=1}^m \lambda_i^{-1} (v_i^T x)^2.$

m

$m$

n

$n$

Por supuesto, en la práctica a menudo es igual o más difícil calcular los valores propios y los vectores propios, en comparación con simplemente resolver varias veces. $y=\Sigma^{-1}x$

— Wolfgang Bangerth
fuente

Pero luego te queda la tarea de encontrar los

valores propios más pequeños de una matriz, lo cual no es una tarea fácil ...

m

$m$

— Yair Daon

Correcto. Pero podría valer la pena si necesita evaluar

muchas veces.

x^{T} Σ^{- 1} x

$x^T\Sigma^{-1}x$

— Wolfgang Bangerth

¿Puedes sugerir un método entonces?

— Yair Daon

Hay muchos o pocos solucionadores de valores propios alrededor. ARPACK y el SLEPc basado en PETSc son probablemente los más utilizados.

— Wolfgang Bangerth

Bangreth Gracias por la referencia. Verifiqué SLEPc (aunque no extremadamente) y parece que la forma en que se encuentran los pares propios es por (quizás modificada) la iteración de Lanczos. Si uno busca los más pequeños

eigenpairs, uno tiene que encontrar y almacenar la totalidad de los eigenpairs en la memoria. Por lo general, esto no es posible para problemas sin matriz: requiere tanta memoria como almacenar una matriz

. Si se desea utilizar una iteración inversa, no se garantiza el orden de los pares propios encontrados. ¿Me estoy perdiendo de algo?

m

$m$

n \times n

$n \times n$

— Yair Daon