"Mínimos cuadrados" y "Regresión lineal", ¿son sinónimos?

¿Cuál es la diferencia entre mínimos cuadrados y regresión lineal? ¿Es la misma cosa?

regression least-squares terminology

— bbadyalina
fuente

Diría que los mínimos cuadrados ordinarios son un método de estimación dentro de la categoría más amplia de regresión lineal . Sin embargo, es posible que algún autor esté usando "mínimos cuadrados" y "regresión lineal" como si fueran intercambiables.

— Matthew Gunn

Si estás haciendo mínimos cuadrados ordinarios , usaría ese término. Es menos ambiguo.

— Matthew Gunn

Vea también qué es un modelo de regresión .

— Richard Hardy

Respuestas:

La regresión lineal supone una relación lineal entre la variable independiente y la dependiente. No te dice cómo se ajusta el modelo. El ajuste cuadrado mínimo es simplemente una de las posibilidades. Otros métodos para entrenar un modelo lineal se encuentran en el comentario.

Los mínimos cuadrados no lineales son comunes ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Por ejemplo, el popular algoritmo Levenberg – Marquardt resuelve algo como:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Es una optimización de mínimos cuadrados, pero el modelo no es lineal.

No son lo mismo .

— Hola Mundo
fuente

Además de la respuesta correcta de @Student T, quiero enfatizar que los mínimos cuadrados son una función de pérdida potencial para un problema de optimización, mientras que la regresión lineal es un problema de optimización.

Dado un determinado conjunto de datos, la regresión lineal se utiliza para encontrar la mejor función lineal posible, lo que explica la conexión entre las variables.

En este caso, el "mejor" posible está determinado por una función de pérdida, comparando los valores predichos de una función lineal con los valores reales en el conjunto de datos. Mínimos cuadrados es una posible función de pérdida.

El artículo de Wikipedia de mínimos cuadrados también muestra imágenes en el lado derecho que muestran el uso de mínimos cuadrados para otros problemas que no sean la regresión lineal como:

ajuste cónico
ajuste de función cuadrática

El siguiente gif del artículo de Wikipedia muestra varias funciones polinómicas diferentes ajustadas a un conjunto de datos utilizando mínimos cuadrados. Solo uno de ellos es lineal (polinomio de 1). Esto está tomado del artículo de Wikipedia en alemán sobre el tema.

— Nikolas Rieble
fuente

Podemos argumentar que los ejemplos no lineales en la animación siguen siendo lineales en los parámetros.

— Firebug

Es cierto, sin embargo, la relación del modelo entre el objetivo y la variable de entrada no es lineal. ¿Todavía llamarías al ajuste "regresión lineal"? Yo no lo haría.

— Nikolas Rieble

Deberíamos distinguir entre "mínimos cuadrados lineales" y "regresión lineal", ya que el adjetivo "lineal" en los dos se refiere a cosas diferentes. El primero se refiere a un ajuste que es lineal en los parámetros, y el segundo se refiere al ajuste a un modelo que es una función lineal de la variable o variables independientes.

— JM no es estadístico

@JM Muchas fuentes sostienen que "lineal" en regresión "lineal" significa "lineal en los parámetros" en lugar de "lineal en los IV". El artículo de WIkipedia sobre regresión lineal es un ejemplo, es un ejemplo. Aquí hay otro y otro . Muchos textos estadísticos hacen lo mismo; Yo diría que es una convención.

— Glen_b -Reinstale a Monica

y = m x + b

$y=mx+b$