Requisito de memoria para la multiplicación rápida de matrices

Supongamos que queremos multiplicar matrices. El algoritmo de multiplicación de matriz lenta se ejecuta en el tiempo y usa memoria . La multiplicación matricial más rápida se ejecuta en el tiempo , donde es la constante de álgebra lineal, pero ¿qué se sabe sobre la complejidad de su memoria? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Parece que a priori es posible que la multiplicación rápida de matrices consuma memoria. ¿Hay alguna garantía de que se pueda hacer en la memoria ? ¿Es el caso que los algoritmos de multiplicación de matrices conocidos actualmente usan memoria ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(En realidad, estoy interesado en la multiplicación de matrices rectangulares, pero supongo que la respuesta sería la misma en ese caso que para el caso cuadrado, y el caso cuadrado se estudia mejor).

ds.algorithms linear-algebra

— David Harris
fuente

El uso del espacio es como máximo para todos los algoritmos similares a Strassen (es decir, aquellos basados en el límite superior del rango de multiplicación de la matriz algebraicamente). Ver Complejidad espacial del algoritmo Coppersmith – Winograd $O(n^2)$

Sin embargo, me di cuenta en mi respuesta anterior que no explicaba por qué el uso del espacio es ... así que aquí va algo ondulado. Considere lo que hace un algoritmo similar a Strassen. Comienza a partir de un algoritmo fijo para la multiplicación de matrices que utiliza multiplicaciones de para alguna constante . En particular, este algoritmo (sea lo que sea) se puede escribir WLOG para que: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Calcula diferentes matrices que multiplican las entradas de la primera matriz por varios escalares y matrices de la segunda matriz de una forma similar, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Multiplica esas combinaciones lineales , entonces $L_i \cdot R_i$
Se multiplica las entradas de por diversos escalares, entonces agrega todas estas matrices hasta entrywise para obtener . $L_i \cdot R_i$ $A \cdot B$

(Este es un algoritmo llamado "bilineal", pero resulta que cada algoritmo de multiplicación matricial "algebraico" se puede escribir de esta manera.) Para cada , este algoritmo solo tiene que almacenar el producto actual y el valor actual de (inicialmente establecido en todos los ceros) en la memoria en cualquier punto dado, por lo que el uso del espacio es . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Dado este algoritmo finito, se extiende a las matrices arbitrarias , al dividir las matrices grandes en bloques de dimensiones , aplicando el algoritmo finito al bloque matrices, y recursivamente llamando al algoritmo cada vez que necesita multiplicar dos bloques. En cada nivel de recursión, necesitamos mantener solo elementos de campo en la memoria (almacenar $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ diferentes matrices ). Suponiendo que el uso de espacio para multiplicación de matriz es , el uso de espacio de este algoritmo recursivo es , que para $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ resuelve a . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
fuente

Para cualquier algoritmo de estilo Strassen, esto me parece correcto. Pero Coppersmith-Winograd también demostró que llegar a

realmente requiere una secuencia infinita de algoritmos de estilo Strassen, cada uno de los cuales se acerca cada vez más al verdadero exponente. De hecho, tanto los algoritmos de estilo CW como los algoritmos de estilo CU proporcionan tales secuencias (aunque no se acerquen a

, hasta donde sabemos). Sobre los racionales, es posible que las constantes utilizadas en tal secuencia crezcan muy rápidamente, de modo que "el" algoritmo

pueda terminar usando el espacio

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— Joshua Grochow

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

$p$ $O(n^2/p)$

— Alexander Tiskin
fuente