¿Qué es ordinario, en mínimos cuadrados ordinarios?

Un amigo mío recientemente preguntó qué es tan ordinario, acerca de los mínimos cuadrados ordinarios. No parecemos llegar a ninguna parte en la discusión. Ambos coincidimos en que OLS es un caso especial del modelo lineal, tiene muchos usos, es bien conocido y es un caso especial de muchos otros modelos. ¿Pero es esto realmente todo?

Por eso me gustaría saber:

¿De dónde vino realmente el nombre?
¿Quién fue el primero en usar el nombre?

— Repmat
fuente

Es normal porque ahora hay otras variantes. Ponderado. Robusto. no lineal ... Ordinario es cómo evitas que se confunda con otra cosa.

— EngrStudent

Como conjetura, OLS es probablemente el primer algoritmo de ajuste numérico desarrollado alrededor de 1805 AD . El nombre ordinario probablemente se agregó después de que se desarrollaron variaciones en el tema.

— Carl

Los mínimos cuadrados en menudo se llaman mínimos cuadrados ordinarios (MCO) porque fue el primer procedimiento estadístico que se desarrolló alrededor de 1800, ver historia . Es equivalente a minimizar la norma , . Posteriormente, mínimos cuadrados ponderados, minimización de otras normas (p. Ej., ), mínimos cuadrados generalizados , estimación M , minimización bivariada (p. Ej., Regresión de Deming), regresión no paramétrica, regresión de máxima verosimilitud, regularización (p. Ej., Tikhonov, cresta) y Se desarrollaron otras técnicas de problemas inversos y muchas otras herramientas. Todavía hay controversia sobre quién lo aplicó por primera vez, Gauss o Legendre (ver $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ enlace ). El término "ordinario" (que implica en ) obviamente se agregó a "mínimos cuadrados" solo después de que surgieron tantos métodos alternativos que los OLS (aún más) populares necesitaban diferenciarse de la plétora de otras minimizaciones que estaban disponibles. Cuando se agregaron exactamente los cuadrados mínimos ordinarios sería difícil de rastrear, ya que eso ocurrió cuando se hizo natural u obvio hacerlo. $y$ $+$

— Carl
fuente

También puede contrastar OLS con WLS, mínimos cuadrados ponderados, que minimiza los cuadrados ponderados.

— AdamO

De hecho, ya está algo bajo "otras" normas, por ejemplo,está ponderado

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— Carl

Esta es una vieja pregunta, si recuerdo correctamente, estaba realmente interesado (en ese momento) en descubrir quién usó por primera vez el término OLS ... Supongo que nunca sabré ... Buena respuesta aunque +1

— Repmat

Nunca he escuchado "mínimos cuadrados" utilizados para describir la minimización que no es una norma . (Tenga en cuenta que las "normas de energía" como las utilizadas en la regularización de Tikhonov son solo un de un vector transformado). Un término más general sería simplemente "regresión", o tal vez " estimación M ".

L_{2}

$L_2$

L_{2}

$L_2$

— GeoMatt22

Estoy de acuerdo con @AdamO en que lo normal versus lo ponderado * parece ser el contraste probable. (* Más bien, "Generalizado" . En ciencia computacional creo que esto todavía se llamaría ponderado. ¿Por qué una matriz de peso tendría que ser diagonal?)

— GeoMatt22