¿Qué significa "lineal en parámetros"?

El modelo de regresión lineal es lineal en parámetros.

¿Qué significa esto realmente?

Considere una ecuación de la forma

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

donde 's son las variables y β ' s son los parámetros. Aquí, y es una función lineal de β 's (lineal en parámetros) y también una función lineal de x ' s (lineal en variables). Si cambia la ecuación a$x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Entonces, ya no es lineal en las variables (debido al término al cuadrado) pero sigue siendo lineal en los parámetros. Y para la regresión lineal (múltiple), eso es todo lo que importa porque al final, está tratando de encontrar un conjunto de que minimice una función de pérdida. Para eso, necesitas resolver un sistema de ecuaciones lineales . Dadas sus bonitas propiedades, tiene una solución de forma cerrada que nos facilita la vida. Las cosas se ponen más difíciles cuando manejas ecuaciones no lineales.$\beta$

Supongamos que no se trata de un modelo de regresión, sino que tiene un problema de programación matemática: Usted está tratando de minimizar una función objetivo de la forma sujeta a un conjunto de restricciones: A x ≥ b y x ≥ 0 . Este es un problema de programación lineal en el sentido de que es lineal en las variables. A diferencia del modelo de regresión, está tratando de encontrar un conjunto de x (variables) que satisfaga las restricciones y minimice la función objetivo. Esto también requerirá que resuelva sistemas de ecuaciones lineales, pero aquí será lineal en variables. Sus parámetros no tendrán ningún efecto en ese sistema de ecuaciones lineales.$c^Tx$$Ax \geq b$$x\geq0$$x$

$Y = A X$$A$$X$$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Un modelo es lineal cuando cada término es una constante o el producto de un parámetro y un predictor. Una ecuación lineal se construye sumando los resultados para cada término. Esto limita la ecuación a una sola forma básica:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Lineal en parámetros" en Regresión lineal, significa que ningún parámetro aparece como exponente, ni multiplicado ni dividido por otro parámetro.