¿Cuáles son las notaciones clásicas en estadística, álgebra lineal y aprendizaje automático? ¿Y cuáles son las conexiones entre estas notaciones?

Cuando leemos un libro, entender las anotaciones juega un papel muy importante para comprender los contenidos. Desafortunadamente, diferentes comunidades tienen diferentes convenciones de notación para la formulación del modelo y el problema de optimización. ¿Podría alguien resumir algunas anotaciones de formulación aquí y proporcionar posibles razones?

Daré un ejemplo aquí: en la literatura de álgebra lineal, el libro clásico es la introducción de Strang al álgebra lineal . La notación más utilizada en el libro es

Donde es una matriz de coeficientes , son las variables a resolver y es un vector en el lado derecho de la ecuación . La razón por la cual el libro elige esta notación es el objetivo principal del álgebra lineal es resolver un sistema lineal y descubrir qué es el vector . Dada tal formulación, el problema de optimización de OLS es$A$$x$$b$$x$

En estadística o alfabetización de aprendizaje automático (del libro Elementos de aprendizaje estadístico ) las personas usan notación diferente para representar lo mismo:

Donde $X$ es la matriz de datos , $\beta$ son los coeficientes o pesos para aprender aprendiendo , $y$ es la respuesta. La razón por la que las personas usan esto es porque las personas en las estadísticas o en la comunidad de aprendizaje automático se basan en datos , por lo que los datos y la respuesta son lo más interesante para ellos, donde usan $X$ e $y$ para representar.

Ahora podemos ver que toda la posible confusión puede estar ahí: $A$ en la primera ecuación es igual a $X$ en la segunda ecuación. Y en la segunda ecuación, $X$ no es algo que deba resolverse. También para los términos: $A$ es la matriz de coeficientes en álgebra lineal, pero son datos en estadística. $\beta$ también se llama "coeficientes".

Además, mencioné que $X \beta=y$ no es exactamente lo que la gente usa ampliamente en el aprendizaje automático, la gente usa una versión medio vectorizada que resume todos los puntos de datos. Como

Creo que la razón de esto es que es bueno cuando se habla del descenso de gradiente estocástico y otras funciones de pérdida diferentes. Además, la notación de matriz concisa desaparece por otros problemas además de la regresión lineal.

Notación matricial para regresión logística

¿Alguien podría dar más resúmenes sobre las notaciones que cruzan la literatura diferente? Espero que las respuestas inteligentes a esta pregunta puedan usarse como una buena referencia para las personas que leen libros que cruzan literatura diferente.

por favor no estar limitado por mi ejemplo y . Hay muchos otros ComoX β = $A x=b$$X \beta=y$

¿Por qué hay dos formulaciones / anotaciones de pérdida logística diferentes?

Tal vez una pregunta relacionada es: "¿Qué palabras se usan en diferentes idiomas y cuáles son las conexiones entre estas palabras?"

La notación es en cierto sentido como el lenguaje:

• Algunas palabras tienen significados específicos de la región; Algunas palabras son ampliamente entendidas.
• Al igual que las naciones poderosas difunden su idioma, los campos exitosos y los investigadores influyentes difunden su notación.
• El lenguaje evoluciona con el tiempo: el lenguaje tiene una mezcla de orígenes históricos e influencia moderna.

Tu pregunta específica ...

• No estaría de acuerdo con su afirmación de que los dos siguen una "notación completamente diferente". Tanto como usan letras mayúsculas para denotar matrices. No son que diferente.A x = $X\boldsymbol{\beta} = \boldsymbol{y}$$A\mathbf{x} = \mathbf{b}$
• El aprendizaje automático está muy relacionado con las estadísticas, un campo grande y maduro. Usar para representar la matriz de datos es casi seguro la convención más legible y más estándar a seguir. Si bien es estándar para resolver sistemas lineales, no es así como las personas que hacen estadísticas escriben las ecuaciones normales. Encontrarás a tu audiencia más confundida si intentas hacer eso. Cuando en Roma...A x = $X$$A\mathbf{x} = \mathbf{b}$
• En cierto sentido, el corazón de su pregunta revisada es: "¿Cuáles son los orígenes históricos de las estadísticas que usan la letra para representar datos y la letra para representar la variable desconocida por la que debemos resolver?" $x$$\beta$
  • ¡Esta es una pregunta para los historiadores estadísticos! Brevemente buscando, veo que el influyente estadístico británico y académico de Cambridge, Udny Yule, usó para representar datos en su Introducción a la teoría de la estadística (1911). Escribió una ecuación de regresión como , con el objetivo de mínimos cuadrados como minimizar , y con la solución . Al menos se remonta a entonces ...x 1 = a + b x 2 ∑ ( x 1 - a - b x 2 ) 2 b 12 = ∑ x 1 x $x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • El aún más influyente RA Fisher usó para la variable dependiente para la variable independiente en su libro de 1925 Métodos estadísticos para investigadores . (Sugerencia para @Nick Cox por proporcionar un enlace con información).$y$$x$

La buena notación es como un buen lenguaje. Evite la jerga específica del campo siempre que sea posible. Escriba en el equivalente matemático de inglés de alto nivel de la BBC, idioma que sea comprensible para la mayoría de las personas que hablan inglés. Uno debería escribir, siempre que sea posible, usando notación que sea clara y que se entienda ampliamente.