¿Cuáles son los criterios y la toma de decisiones para la no linealidad en los modelos estadísticos?

Espero que la siguiente pregunta general tenga sentido. Tenga en cuenta que, a los fines de esta pregunta en particular, no me interesan las razones teóricas (dominio de la materia) para introducir la no linealidad. Por lo tanto, formularé la pregunta completa de la siguiente manera:

¿Qué es un marco lógico ( criterios y, si es posible, un proceso de toma de decisiones ) para introducir la no linealidad en los modelos estadísticos por razones que no sean teóricas (dominio del sujeto)? Como siempre, los recursos y referencias relevantes también son bienvenidos.

El proceso de construcción del modelo implica que un constructor de modelos tome muchas decisiones. Una de las decisiones implica elegir entre diferentes clases de modelos para explorar. Hay muchas clases de modelos que podrían considerarse; por ejemplo, modelos ARIMA, modelos ARDL, modelos de espacio de estado de fuente múltiple de error, modelos LSTAR, modelos Min-Max, por nombrar solo algunos. Por supuesto, algunas clases de modelos son más amplias que otras y no es común encontrar que algunas clases de modelos son subclases de otras.

Dada la naturaleza de la pregunta, podemos centrarnos principalmente en solo dos clases de modelos; modelos lineales y modelos no lineales .

Con la imagen anterior en mente, comenzaré a abordar la pregunta de los PO sobre cuándo es útil adoptar un modelo no lineal y si hay un marco lógico para hacerlo, desde una perspectiva estadística y metodológica.

Lo primero que debe notar es que los modelos lineales son una pequeña subclase de modelos no lineales. En otras palabras, los modelos lineales son casos especiales de modelos no lineales. Hay algunas excepciones a esa declaración, pero, para los propósitos actuales, no perderemos mucho al aceptarla para simplificar las cosas.

Por lo general, un creador de modelos seleccionará una clase de modelos y procederá a elegir un modelo dentro de esa clase en particular empleando alguna metodología. Un ejemplo simple es cuando uno decide modelar una serie temporal como un proceso ARIMA y luego sigue la metodología de Box-Jenkins para seleccionar un modelo entre la clase de modelos ARIMA. Trabajar de esta manera, con metodologías asociadas con familias de modelos, es una cuestión de necesidad práctica.

Una consecuencia de decidir construir un modelo no lineal es que el problema de selección del modelo se vuelve mucho mayor (se deben considerar más modelos y se deben enfrentar más decisiones) en comparación con elegir entre el conjunto más pequeño de modelos lineales, por lo que existe una verdadera cuestión práctica a la mano. Además, es posible que ni siquiera haya metodologías completamente desarrolladas (conocidas, aceptadas, entendidas, fáciles de comunicar) para usar a fin de seleccionar entre algunas familias de modelos no lineales. Más aún, otra desventaja de construir modelos no lineales es que los modelos lineales son más fáciles de usar y sus propiedades probabilísticas son más conocidas ( Teräsvirta, Tjøstheim y Granger (2010) ).

Dicho esto, el OP pide bases estadísticas para guiar la decisión en lugar de prácticas o teóricas de dominio, por lo que debo continuar.

Antes de siquiera contemplar cómo lidiar con la selección de los modelos no lineales con los que trabajar, uno debe decidir inicialmente si trabajar con modelos lineales o no lineales. ¡Una decisión! ¿Cómo hacer esta elección?

Al apelar a Granger y Terasvirta (1993) , adopto el siguiente argumento, que tiene dos puntos principales en respuesta a las siguientes dos preguntas.

P: ¿Cuándo es útil construir un modelo no lineal? En resumen, puede ser útil construir un modelo no lineal cuando la clase de modelos lineales ya ha sido considerada y considerada insuficiente para caracterizar la relación bajo inspección. Se puede decir que este procedimiento de modelado no lineal (proceso de toma de decisiones) va de simple a general, en el sentido de que pasa de lineal a no lineal.

P: ¿Existen bases estadísticas que puedan usarse para justificar la construcción de un modelo no lineal? Si uno decide construir un modelo no lineal basado en los resultados de las pruebas de linealidad, diría que sí. Si las pruebas de linealidad sugieren que no existe una no linealidad significativa en la relación, entonces no se recomendaría construir un modelo no lineal; Las pruebas deben preceder a la decisión de construir.

Reforzaré estos puntos por referencia directa a Granger y Terasvirta (1993):

Antes de construir un modelo no lineal, es aconsejable averiguar si efectivamente un modelo lineal caracterizaría adecuadamente las relaciones [económicas] bajo análisis. Si este fuera el caso, habría más teoría estadística disponible para construir un modelo razonable que si fuera apropiado un modelo no lineal. Además, obtener pronósticos óptimos para más de un período por delante sería mucho más simple si el modelo fuera lineal. Puede suceder, al menos cuando las series de tiempo son cortas, que el investigador estima con éxito un modelo no lineal, aunque la verdadera relación entre las variables es lineal. El peligro de complicar innecesariamente la construcción del modelo es, por lo tanto, real, pero puede reducirse mediante pruebas de linealidad.

En el libro más reciente, Teräsvirta, Tjøstheim y Granger (2010), se da el mismo tipo de consejo, que ahora cito:

Desde el punto de vista práctico, es [por lo tanto] útil probar la linealidad antes de intentar la estimación del modelo no lineal más complicado. En muchos casos, las pruebas son incluso necesarias desde un punto de vista estadístico. Varios modelos populares no lineales no se identifican bajo la linealidad. Si el modelo verdadero que generó los datos es lineal y el modelo no lineal que está interesado en anida este modelo lineal, los parámetros del modelo no lineal no pueden estimarse consistentemente. Por lo tanto, la prueba de linealidad tiene que preceder a cualquier modelado y estimación no lineal.

Déjame terminar con un ejemplo.

En el contexto del modelado de los ciclos económicos, un ejemplo práctico del uso de bases estadísticas para justificar la construcción de un modelo no lineal puede ser el siguiente. Dado que los modelos lineales univariados o autorregresivos vectoriales no pueden generar series temporales cíclicas asimétricas, vale la pena considerar un enfoque de modelado no lineal, que puede manejar asimetrías en los datos. Se puede encontrar una versión ampliada de este ejemplo sobre reversibilidad de datos en Tong (1993) .

Disculpas si me he concentrado demasiado en modelos de series de tiempo. Sin embargo, estoy seguro de que algunas de las ideas también son aplicables en otros entornos.

El problema general es decidir qué tipos de problemas se espera que sea lineal; de lo contrario, permita que las relaciones sean no lineales según lo permita el tamaño de la muestra. La mayoría de los procesos en biología, ciencias sociales y otros campos son no lineales. Las únicas situaciones en las que espero relaciones lineales son:

1. Mecánica newtoniana
2. $Y$$Y$

$Y$

Raramente veo una relación que sea lineal en todas partes en un gran conjunto de datos.

La decisión de incluir no linealidades en los modelos de regresión no proviene tanto de un principio estadístico global sino de la forma en que funciona el mundo. Una excepción es cuando se ha elegido un marco estadístico subóptimo y se deben introducir no linealidades o términos de interacción solo para compensar la mala elección del marco. Los términos de interacción a veces pueden ser necesarios para compensar los efectos principales del submodelado (por ejemplo, asumiendo linealidad). Es posible que se necesiten más efectos principales para compensar la pérdida de información resultante de submodelar los otros efectos principales.

Los investigadores a veces se preocupan por si incluir una determinada variable mientras no equipan una gran cantidad de otras variables al obligarlos a actuar linealmente. En mi experiencia, el supuesto de linealidad es uno de los supuestos más violados de todos los que son muy importantes.

$$y_i=\alpha +\beta x_i+\varepsilon_i$$ $$y_i=\alpha +\beta x_i+\gamma x_i^2+\varepsilon_i$$ $\gamma$es significativo, puede ser un caso para un modelo no lineal. La intuición es, por supuesto, la expansión de Taylor. Si tiene una función lineal, solo la primera derivada debe ser distinta de cero. Para funciones no lineales, las derivadas de orden superior serían distintas de cero.

$$y_i=\alpha +\beta \max(0,x_i)+\gamma \min(0,x_i)+\varepsilon_i$$ $\gamma\ne\beta$

$$x^{a-}=\min(x,a)$$ $$x^{a+}=\max(x,a)$$ $x$$x=a$. Puede tener varias pendientes para la misma variable en diferentes regiones. Si mi spline lineal es significativa, entonces juego con puntos de nudo y lo uso, o pienso en modelos no lineales.

Este no es el enfoque sistemático, pero es solo una de las cosas que siempre hago.