Explicación de lo que dijo Nate Silver sobre loess

En una pregunta que hice recientemente , me dijeron que era un gran "no-no" extrapolar con loess. Pero, en el artículo más reciente de Nate Silver en FiveThirtyEight.com , habló sobre el uso de loess para hacer predicciones electorales.

Estaba discutiendo los detalles específicos de los pronósticos agresivos versus conservadores con loess, pero tengo curiosidad sobre la validez de hacer predicciones futuras con loess.

También estoy interesado en esta discusión y qué otras alternativas existen que podrían tener beneficios similares a loess.

— a.powell
fuente

Si su variable x es el tiempo, sería peligroso usar loess para predecir el futuro (que estaría fuera del rango de los datos). Pero eso no significa que no pueda usar loess para hacer predicciones de manera más general.

— Glen_b -Reinstalar Monica

@Glen_b por curiosidad, ¿qué podría predecir algo "en general"?

— a.powell

Imagine una relación no lineal entre la proporción de personas inclinadas a votar por el partido A y la tasa de desempleo (junto con otros predictores, efectos para los estados individuales, por ejemplo). Además, imagine que hay nuevas cifras de desempleo disponibles; dentro del rango de valores experimentados en el conjunto de capacitación, pero no necesariamente un valor representado en ese conjunto (por ejemplo, el desempleo pasado está entre 5 y 12% y ahora tenemos una cifra del 8,3%, pronostica que será constante). Entonces podríamos usar loess para predecir la proporción de votos A, sin salir del 5-12% de desempleo.

— Glen_b -Reinstate Monica

@Glen_b Gracias. Esa es una ilustración maravillosa de cómo se puede usar para pronósticos.

— a.powell

El problema con lowess o loess es que usa una interpolación polinómica. Es bien conocido en el pronóstico que los polinomios tienen un comportamiento errático en las colas. Al interpolar, los polinomios de tercer grado por partes proporcionan un modelo excelente y flexible de tendencias, mientras que extrapolando más allá del rango de datos observados, explotan. Si hubiera observado datos posteriores en la serie de tiempo, definitivamente habría necesitado incluir otro punto de interrupción en las splines para obtener un buen ajuste.

Sin embargo, los modelos de pronóstico están bien explorados en otras partes de la literatura. El proceso de filtrado como el filtro de Kalman y el filtro de partículas proporcionan excelentes pronósticos. Básicamente, un buen modelo de pronóstico será cualquier cosa basada en las cadenas de Markov donde el tiempo no se trata como un parámetro en el modelo, pero los estados del modelo anterior se utilizan para informar los pronósticos.

— AdamO
fuente