¿Por qué la función de arranque scikit-learn vuelve a muestrear el conjunto de prueba?

15

Cuando utilicé bootstrapping para la evaluación del modelo, siempre pensé que las muestras fuera de bolsa se usaban directamente como un conjunto de prueba. Sin embargo, este no parece ser el caso del enfoque obsoleto de scikit-learnBootstrap , que parece construir el conjunto de prueba a partir del dibujo con reemplazo del subconjunto de datos fuera de la bolsa. ¿Cuál es el razonamiento estadístico detrás de esto? ¿Existen escenarios específicos en los que esta técnica es mejor que simplemente evaluar en la muestra de bolsa o viceversa?

— bagre
fuente

¿validación cruzada? remuestreo?

— EngrStudent

Si te refieres a la etiqueta, eso no fue agregado por mí. Estoy haciendo bootstrapping como alternativa al CV, en realidad.

— gallo

Creo que lo malinterpretas. En la validación cruzada, repetirán el proceso varias veces en un subconjunto de datos y verán la variación en los resultados o los parámetros del modelo. En ese caso, la variación del parámetro en sí misma informa la calidad del ajuste, y no necesariamente el error OOB. No estoy familiarizado con la biblioteca en particular, así que dejé un comentario con la idea.

— EngrStudent

3

Las muestras de Bootstrap se utilizan para evaluar el rendimiento del algoritmo mediante muchas iteraciones. Al hacerlo, se evalúa el rendimiento en conjuntos cambiados al azar.

En contraste, cuando se realiza, por ejemplo, la validación cruzada de 10 pliegues, solo realiza 10 iteraciones en diferentes conjuntos de datos de tren y prueba.

$n=20$ $i=10,000$

El enlace que postet está inactivo, así que agregué la descripción de la función en la versión actual (0.14) de sklearn

Descripción del método.

Muestreo aleatorio con iterador de validación cruzada de reemplazo Proporciona índices de tren / prueba para dividir datos en conjuntos de prueba de tren mientras remuestrea la entrada n_iter veces: cada vez que se realiza una nueva división aleatoria de los datos y luego se extraen muestras (con reemplazo) en cada lado de la división para construir los conjuntos de entrenamiento y prueba. Nota: al contrario de otras estrategias de validación cruzada, el arranque permitirá que algunas muestras ocurran varias veces en cada división. Sin embargo, una muestra que se produce en la división del tren nunca se producirá en la división de prueba y viceversa. Si desea que cada muestra ocurra como máximo una vez, probablemente debería usar la validación cruzada ShuffleSplit en su lugar.

— MaxBenChrist
fuente

2

Quizás estabas en algo. Parece que otros tiraron de ese mismo hilo y Bootstrapfueron desaprobados a favor de un uso más intencional del resamplemétodo con los sklearn.cross_validationenfoques probados y verdaderos como StratifiedKFold.

— placas
fuente