Parada temprana vs validación cruzada

Actualmente estoy usando una parada temprana en mi trabajo para evitar un ajuste excesivo. Específicamente, los que se tomaron antes de parar pero ¿cuándo? .

Ahora quiero comparar con otros algoritmos de clasificación donde parece que la validación cruzada 10 veces se usa ampliamente.

Sin embargo, estoy confundido acerca de si la validación cruzada es un método para evitar un ajuste excesivo o seleccionar buenos parámetros. (¿o tal vez esto es lo mismo?). También estoy confundido si los métodos de detención temprana y la validación cruzada se pueden usar en lugar de uno al otro o en combinación.

Entonces la pregunta es: ¿cuál es la relación entre la detención temprana y la validación cruzada?

La validación cruzada es un método para estimar la precisión de generalización de un algoritmo de aprendizaje supervisado.

La detención temprana es un método para evitar el sobreajuste y requiere un método para evaluar la relación entre la precisión de generalización del modelo aprendido y la precisión del entrenamiento.

Por lo tanto, podría usar la validación cruzada para reemplazar el conjunto de validación, mencionado en el documento que cita, dentro de un marco de detención temprana. La validación cruzada diez veces, por ejemplo, sería más precisa que usar un solo conjunto de validación, y normalmente sería una mejor estimación del error de generalización.

Para resumir, la validación cruzada es una medida de precisión de generalización que podría usarse como parte de un marco de detención temprana.

Además de los dos enfoques de generalización que menciona, hay muchos otros.

• agregando términos de regularización en su función de pérdida (costo) que minimizan el número y la magnitud de los parámetros de su modelo distinto de cero
• abandonar aleatoriamente (poner a cero) una parte de los pesos / parámetros en su modelo con cada época de entrenamiento
• Agregar una capa de nodos estocásticos en su modelo (por ejemplo, muestreo de las "probabilidades" dadas por las salidas de las funciones logísticas)

Muchos de estos enfoques (incluidos los enfoques de validación cruzada y de detención temprana) se pueden combinar para maximizar el rendimiento del modelo en datos no vistos (rendimiento de generalización).

Una nota sobre el enfoque de parada temprana. Para las redes neuronales, Geoffrey Hinton recomienda detener el entrenamiento cuando la precisión del conjunto de prueba alcanza su máximo (la pérdida del conjunto de prueba, excluyendo los términos de regularización, es mínima). Un "ajuste" adicional al enfoque de Hinton es no detenerse si la precisión test_set es mejor (la pérdida es menor) que para su conjunto de entrenamiento, incluso si la precisión del conjunto de prueba ha dejado de mejorar (la pérdida del conjunto de prueba ha dejado de disminuir). Es poco probable que gane más de una época de entrenamiento, pero a veces eso puede ayudar un poco, especialmente para pequeños test_sets. No haga esto para conjuntos de prueba extremadamente pequeños (más pequeños que un conjunto de muestra representativo, como a veces se usa en el entrenamiento de K-folds y la validación cruzada).

no puede usar la detención temprana y la validación cruzada K-fold en combinación. debido a que la detención temprana selecciona el mejor modelo del conjunto de validación, el rendimiento debe ser verificado por el conjunto de prueba. pero en la validación cruzada K-fold, no hay un conjunto de prueba, si utiliza la detención temprana para seleccionar el mejor modelo del conjunto de validación, y se verificará nuevamente en el conjunto de validación. la validación cruzada K-fold está obteniendo el rendimiento promedio (medido por la precisión) del mejor modelo, y no tiene sentido.