Cálculo rápido de componentes sabios

Tengo la siguiente pregunta:

Supongamos que tengo dos matrices $X, Y$ ambas de tamaño $m\times p$ y una matriz gaussiana $G$ de iid aleatoria de tamaño $m \times k$ , $m\gg p>k$ .

¿Hay alguna forma rápida de calcular $\exp(-XY^T)G$ ? ¿Quizás utilizando el hecho de que tanto $X$ como $Y$ son mucho más pequeños que $XY^T$ ? Aquí, $\exp(\cdot)$ significa exponente de entrada (es decir, de $\textbf{each}$ entrada de la matriz). Claramente, sin el exponente, es fácil y se puede hacer simplemente con $X(Y^TG)$ , pero el problema es que el exponente en cuanto a elementos ya no es de rango bajo.

La motivación para la pregunta es multiplicar un núcleo del formulario

$D_{ij}=\exp(-d_{ij})$ o $D_{ij}=\exp(-d_{ij}^2)$

$d_{ij}=\Vert x_i-y_j \Vert$ $x_i, y_i \in \mathbb{R}^p$

Una solución aproximada también está bien.

linear-algebra matrix

— Gil
fuente

Encuentro la pregunta clara (desafortunadamente no tengo ninguna idea), pero el hecho de que el exponencial sea por componentes creo que va a engañar a mucha gente: es una notación muy estándar para la matriz exponencial , especialmente en la teoría de EDO y PDE. ¿Podrías reformular un poco el título?

\exp (A)

$\exp(A)$

— Kirill

Definir rápido? ¿Quiere decir de forma vectorizada sin toda la matriz ?

- X Y^{T}

$-XY^T$

— nluigi

Complejidad computacional inferior a .

O (m^{2} k)

$\mathbb{O}(m^2k)$

— Gil

Documento de NIPS'16 que podría ser papeles

— Memming

Miré el periódico, es muy útil. ¡Gracias! @Memming

— Gil

Si las aproximaciones son suficientes, tal vez podríamos comenzar desarrollando el operador siguiente manera: Tenga en cuenta que los términos de potencia siguen su notación de elemento y refiérase a los poderes de Hadamard, abusando ligeramente de las convenciones estándar. $\exp$

\exp (Z) = \sum_{k = 0}^{\infty} \frac{Z^{k}}{k!} = 1 + Z + \frac{Z^{2}}{2} + \frac{Z^{3}}{6} + \frac{Z^{4}}{24} + . . .

$\exp(Z) = \sum\limits_{k=0}^{\infty} \frac{Z^k}{k!} = 1+Z+\frac{Z^2}{2} + \frac{Z^3}{6} + \frac{Z^4}{24} + ...$

Esto ofrece posibilidades para volver a escribir la expresión: donde es una matriz de identidad de tamaño apropiado. Si uno pudiera vivir con aproximaciones de primer orden, entonces: resultando en una operación más fácil. Para aproximaciones de orden superior, le gustaría encontrar la solución para el poder de Hadamard, que probablemente sea un poco más difícil o aún no he visto una solución inmediata.

\begin{aligned} \exp (- X Y^{T}) G & = (I - X Y^{T} + \frac{(X Y^{T})^{2}}{2} - \frac{(X Y^{T})^{3}}{6} + \frac{(X Y^{T})^{4}}{24} - . . .) G \\ = G - X Y^{T} G + \frac{(X Y^{T})^{2} G}{2} - \frac{(X Y^{T})^{3} G}{6} + \frac{(X Y^{T})^{4} G}{24} - . . . \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= \Big(I-XY^T+\frac{(XY^T)^2}{2} - \frac{(XY^T)^3}{6} + \frac{(XY^T)^4}{24} - ...\Big)G \\ &=G-XY^TG+\frac{(XY^T)^2G}{2} - \frac{(XY^T)^3G}{6} + \frac{(XY^T)^4G}{24} - ... \end{align}$

I

$I$

\begin{aligned} \exp (- X Y^{T}) G & = G - X Y^{T} G + O (m a x (| X Y^{T} |)^{2}) \\ \approx G - X Y^{T} G = G - X (Y^{T} G) \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= G-XY^TG+ O(max(|XY^T|)^2)\\ &\approx G-XY^TG = G-X(Y^TG) \end{align}$

— Tolga Birdal
fuente

Buena idea. Pequeño detalle: que debería ser algo como lugar.

O (n^{2})

$O(n^2)$

O ((‖ X ‖ ‖ Y ‖)^{2})

$O((\|X\|\|Y\|)^2)$

— Federico Poloni

@FedericoPoloni, estoy de acuerdo. Si pudiera introducir una notación más apropiada que usar las normas de matrices, me complacería actualizar.

— Tolga Birdal

Bueno, usar las normas me parece lo suficientemente apropiado, pero si lo prefiere, puede escribirlo como .

O (max (| X Y^{T} |)^{2})

$O(\max(|XY^T|)^2)$

— Federico Poloni

ok, lo actualicé.

— Tolga Birdal