Tengo una pregunta que creo que será bastante básica para muchos usuarios.
Estoy usando modelos de regresión lineal para (i) investigar la relación de varias variables explicativas y mi variable de respuesta y (ii) predecir mi variable de respuesta usando las variables explicativas.
Una variable explicativa particular X parece impactar significativamente mi variable de respuesta. Para probar el valor agregado de esta variable explicativa X para el propósito de las predicciones fuera de la muestra de mi variable de respuesta, utilicé dos modelos: el modelo (a) que usaba todas las variables explicativas y el modelo (b) que usaba todas las variables excepto la variable X. Para ambos modelos, solo informo el rendimiento fuera de la muestra. Parece que ambos modelos funcionan casi igual de bien. En otras palabras, agregar la variable explicativa X no mejora las predicciones fuera de la muestra. Tenga en cuenta que también utilicé el modelo (a), es decir, el modelo con todas las variables explicativas, para encontrar que la variable explicativa X impacta significativamente mi variable de respuesta.
Mi pregunta ahora es: ¿cómo interpretar este hallazgo? La conclusión directa es que, aunque la variable X parece influir significativamente en mi variable de respuesta utilizando modelos inferenciales, no mejora las predicciones fuera de la muestra. Sin embargo, tengo problemas para explicar aún más este hallazgo. ¿Cómo puede ser esto posible y cuáles son algunas explicaciones para este hallazgo?
¡Gracias por adelantado!
Información adicional: con 'influencia significativa' quiero decir que 0 no está incluido en el intervalo de densidad posterior más alto del 95% de la estimación del parámetro (estoy usando un enfoque bayesiano). En términos frecuentistas, esto corresponde aproximadamente a tener un valor p inferior a 0,05. Estoy usando solo anteriores difusos (no informativos) para todos los parámetros de mis modelos. Mis datos tienen una estructura longitudinal y contienen alrededor de 7000 observaciones en total. Para las predicciones fuera de la muestra, utilicé el 90% de los datos para ajustar mis modelos y el 10% de los datos para evaluar los modelos usando múltiples repeticiones. Es decir, realicé la prueba de tren dividida varias veces y finalmente reporté las métricas de rendimiento promedio.