Estadísticas para el aprendizaje automático, documentos para comenzar?

Tengo experiencia en programación de computadoras y teoría elemental de números, pero no tengo entrenamiento en estadísticas reales, y recientemente he "descubierto" que el asombroso mundo de toda una gama de técnicas es en realidad un mundo estadístico. Parece que las factorizaciones de matrices, la terminación de matrices, los tensores de alta dimensión, las incrustaciones, la estimación de densidad, la inferencia bayesiana, las particiones de Markov, el cálculo de vectores propios, el PageRank son técnicas altamente estadísticas, y que los algoritmos de aprendizaje automático que usan tales cosas, usan muchas estadísticas .

Mi objetivo es poder leer documentos que discutan tales cosas e implementar o crear los algoritmos, al tiempo que entiendo la notación, las "pruebas" y los argumentos estadísticos utilizados. Supongo que lo más difícil es seguir todas las pruebas que involucran matrices.

¿Qué documentos básicos pueden ayudarme a comenzar? ¿O un buen libro de texto con ejercicios por los que valga la pena trabajar?

Específicamente, algunos documentos que me gustaría entender completamente son:

1. Finalización exacta de la matriz a través de la optimización convexa, Candes, Recht, 2008
2. La transformación rápida de Cauchy y la regresión lineal más rápida y robusta, Clarkson et al, 2013
3. Proyecciones aleatorias para máquinas de vectores de soporte, Paul et al, 2013
4. Estimación de probabilidad de alta dimensión con modelos de densidad profunda, Rippel, Adams, 2013
5. Obtención de estimaciones de minimización de errores y límites universales de errores de entrada sabios para la finalización de la matriz de bajo rango, Király, Theran, 2013

Recomendaría el curso Andrew Ngs Machine Learning en Coursera, tiene una cobertura brillante en todos los aspectos básicos. Si está estudiando algo que ver con modelos gráficos probabilísticos, el curso de Daphne Kollers también sería bueno.

Este es un tesoro para los recursos de autoaprendizaje también http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Las conferencias de Herb Grossman son increíbles.

También me recomendaron este libro https://www.openintro.org/stat/textbook.php ya que siempre estoy aprendiendo y las estadísticas no son mi fondo.

Sin embargo, mis dos centavos se refieren al lado matemático de las cosas y los papeles, no es que te pongas demasiado atrapado en las matemáticas de fondo. Aprenda los conceptos básicos y haga referencia a los documentos en los que se basan esos documentos que mencionó y vea si son más fáciles (tal vez tendrá que retroceder algunos documentos para obtener algo que pueda entender, es lo que hago yo mismo). diferentes elementos de matemáticas en ML y es fácil dejarse atrapar por una madriguera de conejo (¡otra vez, algo que he hecho más de una vez!).

¡Mucha suerte, es un campo realmente interesante!