Comprensión de bootstrapping para validación y selección de modelo

Creo que entiendo cómo funcionan los fundamentos del bootstrapping , pero no estoy seguro de entender cómo puedo usar el bootstrapping para la selección del modelo o para evitar el sobreajuste.

Para la selección del modelo, por ejemplo, ¿elegiría el modelo que produce el error más bajo (¿tal vez una variación?) En sus muestras de arranque?

¿Hay algún texto que discuta cómo usar bootstrapping para la selección o validación del modelo?

EDITAR: vea este hilo y la respuesta de @ mark999 para obtener más contexto detrás de esta pregunta.

model-selection cross-validation bootstrap

— Amelio Vazquez-Reina
fuente

@suncoolsu Si tuviera que elegir los modelos A, B y C, normalmente usaría validación cruzada o bootstrapping para elegir un modelo cuando 1) estoy interesado en la precisión / clasificación de las predicciones y 2) no tengo suficientes datos para mantener conjunto de validación ¿Por qué no sería una buena idea (y sé que la validación anidada es importante para la selección de funciones, etc.)?

— B_Miner

La respuesta de @ mark999 en este hilo sugiere la validación de bootstrap como una solución para aprender un modelo en el conjunto de datos completo y al mismo tiempo hacer frente al sobreajuste. Esa respuesta es lo que inspiró esta pregunta en gran medida, y la pregunta original en ese hilo también debería agregar contexto a esta pregunta.

— Amelio Vazquez-Reina

Lo siento, probablemente soy yo como estadístico, pero creo que la validación cruzada y el bootstrap son dos cosas diferentes. La validación cruzada es excelente y debe hacerse (y bootstrap también). Pero si se encuentra en escenarios como elegir entre A, B, C (solo tres modelos), BIC puede ser una mejor opción. Como dije, la solución depende del problema en cuestión y múltiples enfoques pueden ser apropiados.

— suncoolsu

AIC generalmente produce menos falta de equipamiento que BIC.

— Frank Harrell

Respuestas:

Primero debe decidir si realmente necesita la selección del modelo, o simplemente necesita modelar. En la mayoría de las situaciones, dependiendo de la dimensionalidad, se prefiere ajustar un modelo integral flexible.

El bootstrap es una excelente manera de estimar el rendimiento de un modelo. Lo más simple de estimar es la varianza. Además de su punto original, el programa de arranque puede estimar el rendimiento futuro probable de un procedimiento de modelado dado, en datos nuevos que aún no se han realizado.

Si usa el remuestreo (bootstrap o validación cruzada) para elegir los parámetros de ajuste del modelo y para estimar el modelo, necesitará un bootstrap doble o una validación cruzada anidada.

En general, el bootstrap requiere menos ajustes del modelo (a menudo alrededor de 300) que la validación cruzada (la validación cruzada 10 veces debe repetirse 50-100 veces para la estabilidad).

Algunos estudios de simulación se pueden encontrar en http://biostat.mc.vanderbilt.edu/rms

— Frank Harrell
fuente

¡Vaya, no sabía que el CV 10 veces debería repetirse 50-100 veces! Tendré que volver a visitar mi último proyecto y probar las pruebas de arranque. Me encanta este sitio web: ¡aprendo algo todos los días!

— Wayne

Gracias @Frank! Digamos que tengo un conjunto de modelos candidatos con el mismo número de parámetros, ¿son los que tienen una varianza más baja a través de las estimaciones de arranque mejores candidatos (suponiendo que la pérdida total o el riesgo sea el mismo para todos ellos) para luchar contra el sobreajuste?

— Amelio Vazquez-Reina

No supondría eso, pero es posible.

— Frank Harrell

Gran respuesta, gracias! No sabía que bootstrap también se puede usar para la validación del modelo Y la validación cruzada debe repetirse muchas veces. Veo otra ventaja de este método: la validación cruzada requiere que el número de pliegues se determine (subjetivamente) de antemano, generalmente 10, que es más o menos heurístico en lugar de óptimo. Pero si bien este es un gran método, ¿por qué no parece tan popular como la validación cruzada?

— SiXUlm

La validación del modelo Bootstrap es bastante popular, pero la validación cruzada ha existido por más tiempo. Pero como dijiste, hay cierta arbitrariedad en la elección de # pliegues en cv.

— Frank Harrell

Considere usar el bootstrap para promediar modelos .

El siguiente documento podría ayudar, ya que compara un enfoque de promedio de modelo bootstrap con (¿el más utilizado?) El promedio de modelado bayesiano y presenta una receta para realizar el promedio de modelo.

Promedio del modelo Bootstrap en estudios de series temporales de contaminación y mortalidad del aire por partículas

— Josh Hemann
fuente

No recomendaría el bootstrap para promediar modelos en la mayoría de los casos. La rutina de arranque es mejor para decirle cómo funciona un procedimiento de modelado, en lugar de decirle cómo crear un nuevo procedimiento. Sin embargo, hay excepciones a esto.

— Frank Harrell

@ Frank Harrell - De acuerdo. El documento al que me referí se aplica al área en la que trabajo a veces y he usado la rutina de arranque para el escenario que usted indicó: evaluar la variabilidad de un modelo en particular debido a un error de muestreo. Pero la incertidumbre debida a la selección del modelo en sí es aún más difícil de evaluar y el enfoque de promediado del modelo bootstrap podría ser útil como ayuda, especialmente para los profesionales como yo que carecen de la experiencia / antecedentes para reformular los problemas para el promedio del modelo bayesiano.

— Josh Hemann el

No, diría que el bootstrap es excelente para evaluar el daño causado por no conocer el modelo de antemano. Eso no implica que necesariamente deba usar el bootstrap para mejorar las cosas, como promediar un conjunto de modelos inciertos. Si usara el bootstrap de esta manera, necesitaría un bootstrap doble para obtener una evaluación honesta del rendimiento del modelo promediado. Debo señalar que los bosques aleatorios son una forma de promediación de modelos usando el bootstrap.

— Frank Harrell

Buen punto sobre el doble bootstrap. Los autores del artículo al que hice referencia tienen un artículo de seguimiento sobre esto: Promedio del modelo Bootstrap-after-Bootstrap para reducir la incertidumbre del modelo en la selección del modelo para estudios de mortalidad por contaminación del aire

— Josh Hemann

Bueno. Solo recuerda que a menudo es una exageración. A menudo es mejor plantear un modelo completo basado en el tema, y usar la contracción (penalización) si se ajusta en exceso; Pero sigue siendo un modelo.

— Frank Harrell