Distinción entre modelo lineal y no lineal.

13

He leído algunas explicaciones sobre las propiedades de los modelos lineales frente a los no lineales, pero aún así a veces no estoy seguro de si un modelo disponible es lineal o no lineal. Por ejemplo, ¿el siguiente modelo es lineal o no lineal?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Con:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Donde representa (una descomposición) la función polinómica exponencial de Almon de la forma: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

En mi opinión, mi ecuación principal (la primera) es lineal con respecto a , porque este término simplemente se multiplica por un peso. Pero yo diría que la función de ponderación (la última ecuación) no es lineal con respecto a los parámetros ans . $X_t$ $\theta_1$ $\theta_2$

¿Puede alguien explicarme si mi función principal es lineal o no lineal y qué significa para el procedimiento de estimación? ¿Tengo que aplicar el método de mínimos cuadrados lineales o no lineales? Además, ¿cuál es la característica discernible mediante la cual definitivamente puedo identificar si una función es no lineal o lineal?

linear-model nonlinear-regression nonlinear

— Minero de datos
fuente

16

Con las definiciones habituales de lineal y no lineal con respecto al modelado, el aspecto crítico no es la linealidad con respecto a los predictores, sino la linealidad con respecto a los parámetros. Un modelo no lineal es no lineal porque no es lineal en los parámetros.

Por ejemplo, la primera oración aquí dice:

En estadística, la regresión no lineal es una forma de análisis de regresión en el que los datos de observación son modelados por una función que es una combinación no lineal de los parámetros del modelo y depende de una o más variables independientes.

Por el contrario, los modelos lineales generalizados generalmente tienen una relación no lineal entre la respuesta y los predictores, pero la respuesta media transformada por enlace (el predictor lineal , ) es lineal en los parámetros. $\eta$

[Según esa definición, creo que su modelo no es lineal en s, aunque si los s están especificados (conocidos), entonces esa no linealidad no es relevante para la estimación. Si se están ajustando, entonces el modelo no es lineal.] $\theta$ $\theta$

— Glen_b -Reinstate a Monica
fuente

9

Estoy de acuerdo con Glen_b. En problemas de regresión, el foco principal está en los parámetros y no en la variable independiente o predictor, x. Y luego uno puede decidir si quiere linealizar el problema empleando transformaciones simples o proceder como tal.

Problemas lineales: cuente el número de parámetros en su problema y verifique si todos tienen potencia 1. Por ejemplo, . Esta función es no lineal en . Pero para problemas de regresión, la no linealidad en no es un problema. Uno tiene que verificar si los parámetros son lineales o lineales. En este caso, , , , .. todos tienen potencia 1. Entonces, son lineales. $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

¡Observe que, en , aunque parece que tiene potencia 1, pero cuando se expande . Puede ver claramente que es un parámetro no lineal ya que a tiene un poder superior a 1. Pero, este problema puede linealizarse invocando una transformación logarítmica. Es decir, un problema de regresión no lineal se convierte en un problema de regresión lineal. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

Del mismo modo, es una función logística. Tiene tres parámetros, a saber, , y . Los parámetros y tiene potencia más que 1, y cuando se expande se multiplican con cada otros traen no linealidad. Por lo tanto, no son lineales. Pero, también se pueden linealizar usando una sustitución adecuada estableciendo primero y luego invocando una función logarítmica en ambos lados para linealizar. $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Ahora suponga que . Esto es una vez más no lineal con respecto a los parámetros. Pero no se puede linealizar. Uno necesita usar una regresión no lineal. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

En principio, usar una estrategia lineal para resolver un problema de regresión no lineal no es una buena idea. Entonces, aborde problemas lineales (cuando todos los parámetros tienen potencia 1) usando regresión lineal y adopte una regresión no lineal si sus parámetros son no lineales.

En su caso, sustituya la función de ponderación en la función principal. El parámetro sería el único parámetro con potencia 1. Todos los demás parámetros son no lineales ( eventualmente se multiplica con y (estos dos son parámetros no lineales) por lo que también es no lineal. Por lo tanto, es un problema de regresión no lineal . $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Adopta una técnica de mínimos cuadrados no lineales para resolverlo. Elija los valores iniciales de forma inteligente y utilice un enfoque de varios pasos para encontrar los mínimos globales.

Este video será útil (aunque no habla de una solución global): http://www.youtube.com/watch?v=3Fd4ukzkxps

Usando el solucionador no lineal GRG en la hoja de cálculo de Excel (instale el paquete de herramientas del solucionador yendo a opciones - Complementos - Complementos de Excel y luego eligiendo Complemento Solver) e invocando el inicio múltiple en la lista de opciones prescribiendo intervalos a los parámetros y exigiendo Como la precisión de la restricción y la convergencia son pequeñas, se puede obtener una solución global.

Si está usando Matlab, use la caja de herramientas de optimización global. Tiene opciones de búsqueda múltiple y de búsqueda global. Ciertos códigos están disponibles aquí para una solución global, aquí y aquí .

Si está usando Mathematica, mire aquí .

Si está utilizando R, intente aquí .

— Bipi
fuente

1

¡Gracias, @Bipi, por los ejemplos! Para el segundo, si establece Y = (a / y - 1), ¿cómo puede aislar el parámetro de la variable y?

— Vivek Subramanian

0

La función principal es lineal.

No importa si las funciones conocidas no lineales ==> <== aparecen en las ecuaciones. $B(L;\theta)$

Procedería con un mínimo cuadrado lineal si fuera tú.

Así es como confirma o niega la linealidad:

https://en.wikipedia.org/wiki/Non-linear#Definition

También podría gustarte:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

— Ace Frahm
fuente

0

Será fácil de entender si lo explico en el contexto de las funciones.

Lineal: una función que tiene una pendiente constante. Algebraicamente, un polinomio con el máximo exponente igual a 1. Es una función cuyo gráfico es una línea. Por ejemplo,y=2x+3

No lineal: una función que tiene propiedades opuestas de una función lineal. Una función que tiene una pendiente variable. Es un polinomio con exponente igual a 2 o más. Su gráfico no es una línea. Por ejemplo,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.htmlfont>[1]

— Irfanullah
fuente

Los modelos estadísticos lineales no son lo mismo que las funciones lineales. Una función no lineal con ruido aditivo puede seguir siendo un modelo lineal, ya que la linealidad está determinada por los parámetros del modelo y no por las variables predictoras.

— Michael R. Chernick