¿Cuál es la importancia de la distinción entre modelos lineales y no lineales? La pregunta Modelo lineal no lineal versus generalizado: ¿Cómo se refiere a la regresión logística, de Poisson, etc.? y su respuesta fue una aclaración extremadamente útil de la linealidad / no linealidad de los modelos lineales generalizados. Parece críticamente importante distinguir los modelos lineales de los no lineales, pero no me queda claro por qué. Por ejemplo, considere estos modelos de regresión:
Ambos modelos 1 y 2 son lineales, y las soluciones a existen en forma cerrada, que se encuentran fácilmente utilizando un estimador estándar de MCO. No es así para los modelos 3 y 4, que no son lineales porque (algunos de) los derivados de E [ Y ∣ X ] wrt β siguen siendo funciones de β .
Una solución simple para estimar en el Modelo 3 es linealizar el modelo estableciendo γ = β 2 1 , estimar γ utilizando un modelo lineal y luego calcular β 1 = √ .
Para estimar los parámetros en el Modelo 4, podemos suponer que sigue una distribución binomial (miembro de la familia exponencial) y, utilizando el hecho de que la forma logística del modelo es el enlace canónico, linealiza las rhs del modelo. Esta fue la contribución fundamental de Nelder y Wedderburn .
Pero, ¿por qué esta no linealidad es un problema en primer lugar? ¿Por qué no se puede simplemente usar un algoritmo iterativo para resolver el Modelo 3 sin linealizar con la función de raíz cuadrada, o el Modelo 4 sin invocar GLM? Sospecho que antes del poder computacional generalizado, los estadísticos intentaban linealizar todo. Si es cierto, ¿entonces quizás los "problemas" introducidos por la no linealidad son un remanente del pasado? ¿Las complicaciones introducidas por los modelos no lineales son meramente computacionales, o existen otros problemas teóricos que hacen que los modelos no lineales sean más difíciles de ajustar a los datos que los modelos lineales?