He leído innumerables publicaciones en este sitio que están increíblemente en contra del uso de la selección gradual de variables usando cualquier tipo de criterio, ya sea basado en valores p, AIC, BIC, etc.
Entiendo por qué estos procedimientos son en general bastante pobres para la selección de variables. La publicación probablemente famosa de Gung aquí ilustra claramente por qué; en última instancia, estamos verificando una hipótesis en el mismo conjunto de datos que utilizamos para elaborar la hipótesis, que es solo dragado de datos. Además, los valores p se ven afectados por cantidades como la colinealidad y los valores atípicos, que sesgan los resultados, etc.
Sin embargo, últimamente he estado estudiando las predicciones de series de tiempo y me he encontrado con el respetado libro de texto de Hyndman en el que menciona aquí el uso de la selección por pasos para encontrar el orden óptimo de los modelos ARIMA en particular. De hecho, en el forecast
paquete en R, el conocido algoritmo conocido auto.arima
por defecto usa la selección por pasos (con AIC, no valores p). También critica la selección de características basada en el valor p que se alinea bien con múltiples publicaciones en este sitio web.
En última instancia, siempre debemos hacer una validación cruzada de alguna manera al final si el objetivo es desarrollar buenos modelos para el pronóstico / predicción. Sin embargo, seguramente esto es una especie de desacuerdo aquí cuando se trata del procedimiento en sí para las métricas de evaluación distintas de los valores p.
¿Alguien tiene alguna opinión sobre el uso de AIC por pasos en este contexto, pero también en general fuera de este contexto? Me han enseñado a creer que cualquier selección por pasos es pobre, pero para ser honesto, me auto.arima(stepwise = TRUE)
ha estado dando mejores resultados de la muestra que, auto.arima(stepwise = FALSE)
pero tal vez esto sea solo una coincidencia.