Tenemos un pequeño conjunto de datos (alrededor de 250 muestras * 100 características) en el que queremos construir un clasificador binario después de seleccionar el mejor subconjunto de características. Digamos que dividimos los datos en:
Entrenamiento, Validación y Pruebas
Para la selección de características, aplicamos un modelo de envoltura basado en la selección de características que optimizan el rendimiento de los clasificadores X, Y y Z, por separado. En este paso de preprocesamiento, utilizamos datos de capacitación para capacitar a los clasificadores y datos de validación para evaluar cada subconjunto de características candidatas.
Al final, queremos comparar los diferentes clasificadores (X, Y y Z). Por supuesto, podemos usar la parte de prueba de los datos para tener una comparación y evaluación justas. Sin embargo, en mi caso, los datos de prueba serían realmente pequeños (alrededor de 10 a 20 muestras) y, por lo tanto, quiero aplicar la validación cruzada para evaluar los modelos.
La distribución de los ejemplos positivos y negativos está muy mal equilibrada (alrededor de 8: 2). Por lo tanto, una validación cruzada podría llevarnos erróneamente a evaluar el rendimiento. Para superar esto, planeamos tener la porción de prueba (10-20 muestras) como un segundo método de comparación y validar la validación cruzada.
En resumen, estamos dividiendo los datos en capacitación, validación y pruebas. Las piezas de capacitación y validación se utilizarán para la selección de funciones. Luego, se aplicará la validación cruzada sobre los mismos datos para estimar los modelos. Finalmente, las pruebas se utilizan para validar la validación cruzada dado el desequilibrio de los datos.
La pregunta es: si usamos los mismos datos (entrenamiento + validación) utilizados para seleccionar las características que optimizan el rendimiento de los clasificadores X, Y y Z, ¿podemos aplicar la validación cruzada sobre los mismos datos (entrenamiento + validación) utilizados para la selección de características medir el rendimiento final y comparar los clasificadores?
No sé si esta configuración podría conducir a una medida de validación cruzada sesgada y resultar en una comparación no justificada o no.