¿Libros de texto sobre cálculo matricial?

20

Historia corta: leí Los elementos del aprendizaje estadístico y me sentí frustrado cuando estaba tratando de verificar algunos de los resultados, por ejemplo, dado luego

RSS (β) = {(y - X β)}^{T} (y - X β),

$\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,}$

Estoy buscando un libro de cálculo matricial que esté escrito como su libro de cálculo tradicional (es decir, pruebas de teoremas, ejemplos, ejercicios de cálculo, etc.). Ya he vistoesta preguntay siento que el texto de Magnus y Neudecker se enfoca demasiado en la teoría, y el texto que tengo deGentle seenfoca muy poco en la teoría y demasiado en el lado de la computación.

\begin{aligned} \frac{\partial RSS}{\partial β} = - 2 X^{T} (y - X β) \\ \frac{\partial^{2} RSS}{\partial β \partial β^{T}} = 2 X^{T} X . \end{aligned}

$\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align}$

¿Existe un medio feliz que sea accesible para alguien con experiencia en análisis de pregrado?

references matrix matrix-calculus

— Clarinetista
fuente

44

¿Has considerado el álgebra matriz de Harville desde la perspectiva de los estadísticos ? Los primeros capítulos deben ser relativamente elementales, pero luego retoman.

— usεr11852 dice Reinstate Monic el

2

amazon.com/Matrix-Algebra-Econometric-Exercises-Vol/dp/…

— Khashaa

1

A menudo uso esta entrada de Wikipedia para encontrar identidades de problemas de cálculo matricial: en.wikipedia.org/wiki/Matrix_calculus

— Tommy L

9

Para la mayoría de las preguntas de matriz, siempre me refiero primero a "The Matrix Cookbook" (ver aquí ).

Se actualiza regularmente debido a los comentarios de varias fuentes. Hay pruebas contenidas en su interior, sin embargo, está destinado principalmente a ser un manual.

— Laurens van de Wiel
fuente

3

Si encontró demasiada teoría en el libro de Magnus y Neudecker, le recomiendo esta, también escrita por Magnus:

Abadir, KM y Magnus, JR Matrix Algebra Cambridge University Press, 2005

que tiene más énfasis en las aplicaciones del cálculo matricial.

— Arrigo Benedetti
fuente

2

Un usuario eliminó automáticamente la siguiente respuesta útil, que reproduzco aquí en su totalidad para que su información no se pierda:

Realmente no necesita muchos resultados en derivados de vectores y matrices para ML, y Tom Minka cubre la mayor parte, pero el tratamiento definitivo es el cálculo diferencial de matriz de Magnus & Neudecker con aplicaciones en estadísticas y econometría .

De hecho, Magnus & Neudecker tiene excelentes críticas en el papel de Amazon y Tom Minka ( Old and New Matrix Algebra Útil para estadísticas , 2000) contiene muchas fórmulas útiles, aunque advierte "este es un material avanzado".

— whuber
fuente

1

Recomiendo este artículo de 26 páginas de la Universidad de Stanford:

" Revisión y referencia de álgebra lineal " por Zico Kolter

Realmente se enfoca en los cálculos típicos de Sumas con muchos i y j en todas partes y te dice el cálculo de la matriz correspondiente (es decir, usando su implementación "vectorizada").

Le ayuda a reconocer de inmediato qué tipo de fórmula matricial debe escribir para hacer sus cálculos.

— tmangin
fuente