¿Por qué llamamos a las ecuaciones de estimación de mínimos cuadrados en regresión lineal las * ecuaciones normales *?

Cuando queremos estimar los parámetros de regresión lineal, hacemos ecuaciones normales, ya que el modelo lineal contiene varias incógnitas. ¿Por qué estas ecuaciones se llaman ecuaciones normales?

Daré lo que tal vez sea la comprensión más común, luego algunos detalles adicionales.

Normal es un término en geometría (Wikipedia):

En geometría, una normal es un objeto como una línea o un vector que es perpendicular a un objeto dado.

que a su vez parece provenir de un término para el cuadrado de un carpintero o albañil [1]

NORMAL y NORMAL. Según el OED, en latín norma podría significar un cuadrado utilizado por carpinteros, albañiles, etc., para obtener ángulos rectos, un ángulo recto o un estándar o patrón de práctica o comportamiento. Estos significados se reflejan en los términos matemáticos basados ​​en norma y normal.

y desde la geometría el término se mueve a espacios vectoriales.

La respuesta directa para "ecuaciones normales" se da aquí: http://mathworld.wolfram.com/NormalEquation.html

Se llama una ecuación normal porque es normal a la gama de .$b-Ax$$A$

(En la notación de regresión habitual, ' es normal al rango de ')$y-Xb$$X$

Literalmente, los mínimos cuadrados residual es perpendicular (en ángulo recto) al espacio abarcado por .$X$

El vector encuentra en dimensiones. La matriz X abarca de esos (o dependiendo de cómo esté configurada su notación; si es de rango completo, es el número de columnas de X). La solución de mínimos cuadrados es el punto más cercano en ese espacio atravesado por a ese vector (de hecho, literalmente, la proyección de sobre el espacio atravesado por ). Es necesariamente el caso de que al minimizar la suma de cuadrados, la diferencia es ortogonal al espacio abarcado por$y$$n$$p$$p+1$$X$$X\hat{\beta}$$X$$y$$y$$X$$y-X\hat{\beta}$$X$. (Si no fuera así, habría una solución aún más pequeña).

Sin embargo, como Whuber sugiere en los comentarios, no es tan claro.

Mirando [1] nuevamente:

El término ECUACIÓN NORMAL en mínimos cuadrados fue introducido por Gauss en 1822 [James A. Landau]. La "Terminología normativa" de Kruskal y Stigler (en Stigler (1999)) considera varias hipótesis sobre el origen del término, pero no encuentra ninguna muy satisfactoria.

Sin embargo, el método de ecuaciones normales a menudo se acredita a Legendre, 1805.

[1] Miller, J. (ed) "Usos más antiguos conocidos de algunas de las palabras de las matemáticas, N" en Usos más antiguos conocidos de algunas de las palabras de las matemáticas