De hecho, ha descrito correctamente la forma de trabajar con validación cruzada. De hecho, tiene "suerte" de tener un conjunto de validación razonable al final, porque a menudo, la validación cruzada se utiliza para optimizar un modelo, pero no se realiza una validación "real".
Como dijo @Simon Stelling en su comentario, la validación cruzada conducirá a errores estimados más bajos (lo cual tiene sentido porque está reutilizando constantemente los datos), pero afortunadamente este es el caso para todos los modelos, por lo que, salvo la catástrofe (es decir, los errores solo se reducen ligeramente para un modelo "malo", y más para el modelo "bueno"), la selección del modelo que se desempeña mejor en un criterio de validación cruzada, por lo general, también será el mejor "real".
Un método que a veces se usa para corregir algo los errores más bajos, especialmente si está buscando modelos parsimoneos, es seleccionar el modelo más pequeño / método más simple para el cual el error con validación cruzada está dentro de una SD del óptimo (con validación cruzada). Como validación cruzada en sí misma, esta es una heurística, por lo que debe usarse con cuidado (si es una opción: haga un diagrama de sus errores en relación con sus parámetros de ajuste: esto le dará una idea de si tiene resultados aceptables)
Dado el sesgo descendente de los errores, es importante no publicar los errores u otras medidas de rendimiento de la validación cruzada sin mencionar que estos provienen de la validación cruzada (aunque, a decir verdad, he visto demasiadas publicaciones que no mencionan que el La medida de rendimiento se obtuvo al verificar el rendimiento en el conjunto de datos original, por lo que mencionar la validación cruzada realmente hace que sus resultados valgan más ). Para usted, esto no será un problema, ya que tiene un conjunto de validación.
Una advertencia final: si el ajuste de su modelo resulta en algunos competidores cercanos, es una buena idea mirar sus rendimientos en su conjunto de validación después, pero no base su selección de modelo final en eso: puede utilizar esto para calmar su conciencia, pero su modelo "final" debe haber sido elegido antes de mirar el conjunto de validación.
Escribe tu segunda pregunta: creo que Simon te ha dado todas las respuestas que necesitas en su comentario, pero para completar la imagen: con tanta frecuencia, es la compensación de sesgo-varianza lo que entra en juego. Si sabe que, en promedio, alcanzará el resultado correcto (imparcialidad), el precio generalmente es que cada uno de sus cálculos individuales puede estar bastante lejos de él (alta varianza). En los viejos tiempos, la imparcialidad era el nec plus ultra, en los días actuales, uno ha aceptado a veces un sesgo (pequeño) (por lo que ni siquiera sabe que el promedio de sus cálculos dará como resultado el resultado correcto), si da como resultado una menor varianza. La experiencia ha demostrado que el equilibrio es aceptable con una validación cruzada de 10 veces. Para usted, el sesgo solo sería un problema para la optimización de su modelo, ya que luego puede estimar el criterio (imparcialmente) en el conjunto de validación. Como tal, hay pocas razones para no usar la validación cruzada.