Referencias sobre optimización numérica para estadísticos

Estoy buscando una referencia sólida (o referencias) sobre técnicas de optimización numérica destinadas a los estadísticos, es decir, aplicaría estos métodos a algunos problemas de inferencia estándar (por ejemplo, MAP / MLE en modelos comunes). Cosas como el descenso de gradiente (recto y estocástico), EM y sus derivaciones / generalizaciones, recocido simulado, etc.

Espero que tenga algunas notas prácticas sobre la implementación (que a menudo carecen de documentos). No tiene que ser completamente explícito, pero al menos debe proporcionar una bibliografía sólida.

Algunas búsquedas rápidas arrojaron un par de textos: Análisis numérico para estadísticos de Ken Lange y Métodos numéricos de estadística de John Monahan. Las revisiones de cada una parecen mixtas (y escasas). De los dos, una lectura detenida de la tabla de contenido sugiere que la segunda edición del libro de Lange es la más cercana a lo que busco.

Estadísticas computacionales de James Gentle (2009).

Álgebra matricial de James Gentle: teoría, cálculos y aplicaciones en estadística (2007) , más aún hacia el final del libro, el comienzo también es genial, pero no es exactamente lo que estás buscando.

Reconocimiento de patrones de Christopher M. Bishop (2006).

Los elementos del aprendizaje estadístico de Hastie et al.: Minería de datos, inferencia y predicción (2009).

¿Está buscando algo tan de bajo nivel como un texto que responda una pregunta como: "¿Por qué es más eficiente almacenar matrices y matrices de dimensiones superiores como una matriz 1-D, y cómo puedo indexarlas en la M habitual? (0, 1, 3, ...) manera? " o algo así como "¿Cuáles son algunas técnicas comunes que se utilizan para optimizar algoritmos estándar como el descenso de gradiente, EM, etc.?"

La mayoría de los textos sobre aprendizaje automático proporcionarán debates en profundidad de los temas que está buscando.

Libro de Nocedal y Wright

http://users.eecs.northwestern.edu/~nocedal/book/

es una buena referencia para la optimización en general, y muchas cosas en su libro son de interés para un estadístico. También hay un capítulo completo sobre mínimos cuadrados no lineales.

Optimización , por Kenneth Lange (Springer, 2004), revisado en JASA por Russell Steele. Es un buen libro de texto con álgebra matricial de Gentle para un curso introductorio sobre cálculo matricial y optimización, como el de Jan de Leeuw (cursos / 202B).

Como complemento de estos, puede encontrar Magnus, JR y H. Neudecker (2007). Cálculo matricial con aplicaciones en estadística y econometría, 3ª ed útil aunque pesada. Desarrolla un tratamiento completo de las operaciones infinitesimales con matrices, y luego las aplica en una serie de tareas estadísticas típicas como optimización, MLE y mínimos cuadrados no lineales. Si al final del día terminarás descubriendo la estabilidad hacia atrás de tus algoritmos matriciales, será indispensable tener una buena comprensión del cálculo matricial. Personalmente utilicé las herramientas de cálculo matricial para obtener resultados asintóticos en estadísticas espaciales y modelos paramétricos multivariados.