¿Qué justifica este cálculo de la derivada de una función matricial?

En el curso de aprendizaje automático de Andrew Ng, usa esta fórmula:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

y él hace una prueba rápida que se muestra a continuación:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

La prueba parece muy densa sin ningún comentario y estoy teniendo problemas para entenderla. ¿Qué pasó exactamente de la segunda a la tercera igualdad?

machine-learning matrix derivative

— MoneyBall
fuente

Debe estar haciendo suposiciones especiales sobre las dimensiones de

, de lo contrario esta fórmula no tiene sentido en general. En el lado izquierdo,

debe ser una matriz

una matriz

, y

una matriz

para enteros arbitrarios no negativos

. Pero entonces los productos de la derecha no se definirían a menos que

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@whuber ya veo. Dados los supuestos, todavía no entiendo cómo ocurrió la transición de la segunda a la tercera línea donde introduce

\circ

$\circ$

— MoneyBall

Entre la segunda y tercera línea que es dejar que

. Entre la segunda y la tercera línea ha usado la regla del producto. luego usa la regla de la cadena para deshacerse de

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers

Hay un abuso sutil pero fuerte de la notación que hace que muchos de los pasos sean confusos. Abordemos este problema volviendo a las definiciones de multiplicación de matriz, transposición, trazas y derivadas. Para aquellos que deseen omitir las explicaciones, salten a la última sección "Poner todo junto" para ver cuán breve y simple puede ser una demostración rigurosa.

Notación y conceptos

Dimensiones

Para que la expresión tenga sentido cuando es una matriz , debe ser una matriz (cuadrada) y debe ser una matriz , de donde el producto es una matriz . Para tomar la traza (que es la suma de elementos diagonales, ), luego , haciendo $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$ Una matriz cuadrada.

Derivados

La notación " " parece referirse a la derivada de una expresión con respecto a . Ordinariamente, la diferenciación es una operación realizada sobre las funciones . La derivada en un punto es una transformación lineal . Al elegir las bases para estos espacios vectoriales, dicha transformación se puede representar como una matriz ¡Ese no es el caso aquí! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

Matrices como vectores

En cambio, se considera como un elemento de : sus coeficientes se desenrollan (generalmente fila por fila o columna por columna) en un vector de longitud . La función tiene valores reales, de donde . En consecuencia, debe ser una matriz : es un vector de fila que representa una forma lineal en $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ . Sin embargo, los cálculos en la pregunta usan unaformadiferentede representar formas lineales: sus coeficientes se vuelven a enrollar enmatrices. $\mathbb{R}^{mn}$ $m\times n$

La traza como forma lineal

Sea una matriz constante . Luego, por definición de la traza y de la multiplicación de matrices $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

Esto expresa la combinación lineal más general posible de los coeficientes de : es una matriz de la misma forma que y su coeficiente en la fila y la columna es el coeficiente de en la combinación lineal. Como , los roles de y pueden cambiar, dando la expresión equivalente $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω {UNA}^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

Mediante la identificación de una matriz constante con cualquiera de las funciones o , que puede representar formas lineales en el espacio de matrices como matrices. (¡No los confunda con derivadas de funciones de a !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

Calcular un derivado

La definición

Los derivados de muchas de las funciones matriciales que se encuentran en las estadísticas se calculan de manera más fácil y confiable a partir de la definición: realmente no es necesario recurrir a reglas complicadas de diferenciación matricial. Esta definición dice que es diferenciable en si y solo si hay una transformación lineal tal que $f$ $x$ $L$

F (X + h) - F (X) = L h + o (El | h El |)

$f(x+h) - f(x) = Lh + o(|h|)$

para arbitrariamente pequeños desplazamientos . Los medios de notación pequeñas-oh que el error cometido en la aproximación de la diferencia por es arbitrariamente pequeño que el tamaño de para suficientemente pequeño . En particular, siempre podemos ignorar los errores que son proporcionales a . $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

El cálculo

Apliquemos la definición a la función en cuestión. Multiplicar, expandir e ignorar el término con un producto de dos en él, $h$

\begin{matrix} (2) & \begin{aligned} F (UNA + h) - F (UNA) & = Tr ((UNA + h) si (UNA + h)^{'} C) - Tr (UNA si {UNA}^{'} C) \\ = Tr (h si {UNA}^{'} C) + Tr (UNA si h^{'} C) + o (El | h El |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

Para identificar la derivada , debemos obtener esto en la forma . El primer término de la derecha es ya en esta forma, con . El otro término de la derecha tiene la forma para . Escribamos esto: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{yo = 1}^{metro} \sum_{j = 1}^{norte} \sum_{k = 1}^{metro} X_{yo j} h_{k j} C_{k yo} = \sum_{yo, j, k} h_{k j} (C_{k yo} X_{yo j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

Recordando , puede reescribirse $X=AB$ $(2)$

F (UNA + h) - F (UNA) = Tr (h si {UNA}^{'} C) + Tr (C UNA si h^{'}) + o (El | h El |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

Es en este sentido que podemos considerar que la derivada de en es porque estas matrices juegan el roles de en las fórmulas de rastreo . $f$ $A$

re F (UNA) = (si {UNA}^{'} C)^{'} + C UNA si = C^{'} UNA {si}^{'} + C UNA si,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

Poniendolo todo junto

Aquí, entonces, hay una solución completa.

Sea una matriz , una matriz y una matriz . Sea . Sea una matriz con coeficientes arbitrariamente pequeños. Porque (por identidad ) $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$ es diferenciable y su derivada es la forma lineal determinada por la matriz
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

Debido a que esto toma solo aproximadamente la mitad del trabajo e involucra solo las manipulaciones más básicas de matrices y trazas (multiplicación y transposición), debe considerarse una demostración más simple, y posiblemente más perspicaz, del resultado. Si realmente desea comprender los pasos individuales en la demostración original, puede resultarle fructífero compararlos con los cálculos que se muestran aquí.

— whuber
fuente

Es útil saber que, en general,

siempre que las matrices sean de tamaños compatibles. Conocer esto hace que (3) sea un paso trivial.

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— Brian Borchers

@Amoeba No puedo decir si estás tratando de ser humorístico o no. Ni la pregunta ni la respuesta tienen nada que ver directamente con derivadas parciales. La forma

explícitamente es una forma lineal definida en el espacio vectorial

matrices reales. Cuando alguien afirma que la derivada de una función

en un punto

es igual a alguna matriz

, lo que significan es que

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$ es la forma lineal dada por

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@Amoeba Eso es exactamente correcto: justifica ampliamente las afirmaciones en la primera línea de esta respuesta. Es por eso que escribí "en este sentido" y, más adelante en el resumen, usé la frase "determinado por" en lugar de "igual". No negaré que la explicación ha sido desafiante; Pensaré en cómo aclararlo y agradezco todos sus comentarios y sugerencias.

— whuber

@ user10324 La mayor parte de lo que publico en este sitio es mi propia formulación: rara vez consulto las fuentes (y las documento cuando lo hago). Estas publicaciones son destilaciones de leer muchos libros y documentos. Algunos de los mejores libros no han sido aquellos que sean matemáticamente rigurosos, sino que hayan explicado e ilustrado bellamente las ideas subyacentes. Los primeros que vienen a la mente, en orden de sofisticación, son Freedman, Pisani y Purves, Statistics (cualquier edición); Jack Kiefer, Introducción a la inferencia estadística ; y Steven Shreve, Cálculo estocástico para Finanzas II .

— whuber

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$