Espacio nulo de una matriz densa rectangular

Dada una matriz densa

A \in R^{m \times n}, m >> n; m a x (m) \approx 100000

$A \in R^{m \times n}, m >> n; max(m) \approx 100000$ ¿cuál es la mejor manera de encontrar su base de espacio nulo dentro de cierta tolerancia ?

ϵ

$\epsilon$

Sobre esa base, ¿puedo decir que ciertos cols dependen linealmente de ? En otras palabras, al calcular la base de espacio nulo, ¿qué columnas de deben eliminarse para obtener una matriz no singular? $\epsilon$ $A$

Las referencias son apreciadas.

linear-algebra

— Alejandro
fuente

Respuestas:

Los métodos estándar para determinar el espacio nulo de una matriz son usar una descomposición QR o una SVD. Si la precisión es primordial, se prefiere la SVD; La descomposición QR es más rápida.

Usando la SVD, si , entonces las columnas de correspondientes a pequeños valores singulares (es decir, pequeñas entradas diagonales de ) constituyen la base del espacio nulo. La tolerancia relevante aquí es lo que uno considera un valor singular "pequeño". MATLAB, por ejemplo, toma pequeño para ser , donde está relacionado con la precisión de la máquina (ver aquí en la documentación de MATLAB ). $A = U\Sigma V^{H}$ $V$ $\Sigma$ $\max(m,n) \cdot \varepsilon$ $\varepsilon$

Usando la descomposición QR, si , y el rango de es , entonces las últimas columnas de forman el espacio nulo de , asumiendo que la descomposición QR es reveladora de rango. Para determinar , calcule el número de entradas en la diagonal principal de cuya magnitud excede una tolerancia (similar a la utilizada en el enfoque SVD). $A^{T} = QR$ $A$ $r$ $n-r$ $Q$ $A$ $r$ $R$

No use la descomposición LU. En aritmética exacta, es un enfoque viable, pero con la aritmética de coma flotante, la acumulación de errores numéricos lo hace inexacto.

Wikipedia cubre estos temas aquí .

— Geoff Oxberry
fuente

Geoff, hablando en términos de QR, supongamos que tengo la descomposición, ¿cómo relaciono las bases de espacio nulo y las columnas en la matriz original? En otras palabras, ¿qué columnas debo eliminar de

para deshacerme del espacio nulo? El punto aquí es trabajar con

y no con su descomposición.

A

$A$

A

$A$

— Alexander

Las rutinas que calculan la descomposición QR normalmente incluyen una opción para devolver un vector de permutación que indica cómo se permutan las columnas para obtener la factorización QR. Las últimas entradas

de ese vector de permutación corresponderían a las filas de

(columnas de

) que están en el espacio nulo. Las primeras

entradas de ese vector corresponden a las columnas de

que son linealmente independientes. No estoy seguro de lo que quiere decir con "deshacerse del espacio nulo". ¿Quiere decir que desea eliminar las columnas de

para obtener una matriz no singular?

n - r

$n-r$

A

$A$

A^{T}

$A^{T}$

r

$r$

A^{T}

$A^{T}$

A

$A$

— Geoff Oxberry

Sí, quiero decir eso. Veré la permutación, gracias.

— Alexander

Esa es una pregunta diferente. Lo que se puede hacer en su lugar a continuación, es calcular la descomposición QR (o SVD) de

. Si calcula la descomposición QR de

, puede calcular el rango de

como en la respuesta anterior (no es necesario transponer la matriz), y luego las primeras entradas

(donde

es el rango de

) del vector de permutación corresponden a las columnas independientes de

. El mismo tipo de algoritmo se aplica a la SVD; Si puede devolver un vector de permutación junto con la descomposición, eso debería proporcionar la información necesaria.

A

$A$

A

$A$

A

$A$

r

$r$

r

$r$

A

$A$

A

$A$

— Geoff Oxberry

Si , ya que su pregunta indica, se puede ahorrar algo de trabajo por recoger por primera vez un conjunto de índices de (por ejemplo) y filas al azar usando la factorización ortogonal . (La factorización QR es aquella en la que es cuadrado y es rectangular de rango , y las columnas restantes de son cero. El uso de una factorización QR permutada mejorará la estabilidad; la permutación debe tenerse en cuenta en un receta más detallada.) $m\gg n$ $I$ $p\approx 5n$ $A_{I:}^T=QR$ $Q$ $R$ $r$ $n-r$ $R$

Por lo general, esto le dará un subespacio mucho menor dimensión abarcada por las columnas de , la última columnas de . Este subespacio contiene el espacio nulo de . Ahora escoger otro, conjunto de índices azar disjuntos y calcular la factorización QR de . Multiplique el espacio nulo resultante a la izquierda por para obtener un mejorado de una dimensión probablemente incluso más baja. Iterar hasta que la dimensión de ya no disminuya. Entonces probablemente tenga el espacio nulo correcto y pueda verificarlo calculando $N$ $n-r$ $Q$ $A$ $(A_{I:}N)^T$ $N$ $N$ $N$ $AN$ . Si esto aún no es insignificante, realice más iteraciones con las filas más significativas.

Editar: una vez que tenga , puede encontrar un conjunto máximo de columnas linealmente independientes de mediante una factorización ortogonal de con pivote. De hecho, el conjunto de índices no elegidos como pivotes tendrá esta propiedad. $N$ $J$ $A$ $N^T=QR$ $J$

— Arnold Neumaier
fuente

+1 para una forma eficiente de determinar el espacio nulo de una matriz grande. Tendré que recordar consultar esta respuesta más adelante cuando la necesite.

— Geoff Oxberry

De hecho, suena razonable, sin embargo, mis matrices se ajustan a 16 GB de RAM, por lo que me quedaría con el matlab qr estándar.

— Alexander

Prof. Neumaier, he decidido probar ese algoritmo, pero no entiendo exactamente qué es

y qué significa "calcular la factorización QR de

". ¿Podría explicarme un poco más?

N

$N$

(A_{I :} N)^{T}

$(A_{I:}N)^T$

— Alexander

Edité mi respuesta un poco.

se calcula mediante la receta de Geoff Oxberry.

N

$N$

— Arnold Neumaier

Gracias. Lo implementé. Sin embargo, por lo que veo, este algoritmo no me permite definir un conjunto de columnas linealmente independientes de

(ya que descomponemos

lugar de

, ¿pero solo ayuda a estimar la base del espacio nulo en sí?

A

$A$

A_{I :}^{T}

$A_{I:}^T$

A_{I :}

$A_{I:}$

— Alexander