(Esta pregunta puede parecer más adecuada para la Filosofía SE. Espero que los estadísticos puedan aclarar mis ideas erróneas sobre las declaraciones de Box y Shmueli, por lo tanto, la estoy publicando aquí).
George Box (de la fama de ARIMA) dijo:
"Todos los modelos están equivocados, pero algunos son útiles".
Galit Shmueli en su famoso artículo "Explicar o predecir" , argumenta (y cita a otros que están de acuerdo con ella) que:
Explicar y predecir no son lo mismo, y que algunos modelos hacen un buen trabajo de explicación, a pesar de que hacen un mal trabajo al predecir.
Siento que estos principios son de alguna manera contradictorios.
Si un modelo no predice bien, ¿es útil?
Más importante aún, si un modelo explica bien (pero no necesariamente predice bien), entonces debe ser cierto (es decir, no incorrecto) de una forma u otra. Entonces, ¿cómo encaja eso con "todos los modelos están mal" de Box?
Finalmente, si un modelo explica bien, pero no predice bien, ¿cómo es incluso científico? La mayoría de los criterios de demarcación científica (verificacionismo, falsacionismo, etc.) implican que una declaración científica debe tener poder predictivo, o coloquialmente: una teoría o modelo es correcto solo si se puede probar empíricamente (o falsificar), lo que significa que tiene que predecir resultados futuros.
Mis preguntas:
- ¿La afirmación de Box y las ideas de Shmueli son realmente contradictorias, o me falta algo, por ejemplo, puede un modelo no tener poder predictivo y aún ser útil?
- Si las declaraciones de Box y Shmueli no son contradictorias, ¿qué significa para un modelo estar equivocado y no predecir bien, y aún así tener poder explicativo? Dicho de otra manera: si uno elimina tanto la corrección como la capacidad de predicción, ¿qué queda de un modelo?
¿Qué validaciones empíricas son posibles cuando un modelo tiene poder explicativo, pero no poder predictivo? Shmueli menciona cosas como: use el AIC para la explicación y el BIC para la predicción, etc., pero no veo cómo eso resuelve el problema. Con los modelos predictivos, puede usar el AIC, o el BIC, o la regularización de , o , etc. pero, en última instancia, las pruebas de muestra y el rendimiento en la producción es lo que determina la calidad del modelo. Pero para los modelos que explican bien, no veo cómo alguna función de pérdida pueda realmente evaluar un modelo. En filosofía de la ciencia, existe el concepto de subdeterminaciónlo que parece pertinente aquí: para cualquier conjunto de datos dado, uno siempre puede elegir juiciosamente alguna distribución (o combinación de distribuciones) y la función de pérdida de tal manera que se ajusten a los datos (y, por lo tanto, puede afirmarse que lo explican) Además, el umbral por el que debería estar debajo para que alguien afirme que el modelo explica adecuadamente los datos es arbitrario (algo así como valores p, ¿por qué es y no o ?).
- Con base en lo anterior, ¿cómo se puede validar objetivamente un modelo que explique bien, pero que no prediga bien, ya que no es posible realizar pruebas fuera de la muestra?