¿Es la predicción el "criterio de oro" para juzgar la capacidad de los estadísticos?

Estaba leyendo los modelos lineales de libros de texto de Faraway con R (primera edición) el fin de semana pasado. Faraway tenía un capítulo llamado "Estrategia estadística e incertidumbre modelo". Describió (página 158) que genera artificialmente algunos datos usando un modelo muy complicado, a continuación, preguntó a sus estudiantes para modelar los datos y comparar los resultados predichos de los estudiantes frente a los resultados de lectura. Desafortunadamente, la mayoría de los estudiantes sobreajustó los datos de las pruebas y dio valores predichos totalmente fuera de lugar. Para explicar este fenómeno, escribió algo muy impresionante para mí:

"La razón por la que los modelos eran tan diferentes fue porque los estudiantes aplicaron los diversos métodos en diferentes órdenes. Algunos hicieron una selección variable antes de la transformación y otros, al revés. Algunos repitieron un método después de cambiar el modelo y otros no. Revisé las estrategias que varios de los estudiantes usaron y no pudieron encontrar nada claramente incorrecto con lo que habían hecho. Un estudiante cometió un error al calcular sus valores pronosticados, pero obviamente no había nada malo en el resto. El desempeño en esta tarea no mostró cualquier relación con eso en los exámenes " .

Me informaron que la precisión de predicción del modelo es el "criterio de oro" para que podamos seleccionar el mejor rendimiento del modelo. Si no me equivoco, este es también el método popular utilizado en las competiciones de Kaggle. Pero aquí Faraway observó algo de una naturaleza diferente, que el rendimiento de predicción del modelo no podría tener nada que vercon la habilidad del estadístico involucrado. En otras palabras, si podemos construir el mejor modelo en términos de poder predictivo no está realmente determinado por la experiencia que tengamos. En cambio, está determinado por una gran "incertidumbre modelo" (¿suerte ciega?). Mi pregunta es: ¿esto también es cierto en el análisis de datos de la vida real? ¿O me confundieron con algo muy básico? Porque si esto es cierto, entonces la implicación para el análisis de datos reales es inmensa: sin conocer el "modelo real" detrás de los datos, no hay una diferencia esencial entre el trabajo realizado por estadísticos experimentados / inexpertos: ambos son solo conjeturas salvajes frente a Los datos de entrenamiento disponibles.

Le pregunté al profesor de mi departamento sobre esto. Dijo francamente que no estaba sorprendido por eso en absoluto. Sugirió la siguiente forma de ver esto: lo que hizo Faraway fue solo un experimento de una sola vez, y no es sorprendente que los resultados parecieran no tener correlación con las calificaciones finales. Pero si Faraway repite su 'experimento' 100 veces con el mismo grupo de estudiantes, está seguro de que los estudiantes aprendieron que las estadísticas funcionarían mejor, similar al intervalo de confianza. Por lo tanto, en su opinión, la experiencia es importante, es solo un experimento social que una vez no pudo mostrar debido a la incertidumbre del modelo.

Los modelos de los estudiantes estaban casi todos sobreajustados. Con n puntos de datos, siempre se puede ajustar un polinomio perfecto de orden n-1. Tal modelo está atrasado sin dejar nada al error aleatorio. Parece que los estudiantes han cometido errores de sobreajuste similares, pero presumiblemente con diferentes funciones.

El sobreajuste es un error que solo deben cometer los estudiantes. Y esto sugiere que la experiencia y la educación son calificaciones necesarias para modelar.