Una distinción crítica es si desea:
- [Caso más común]: construya una estimación del rendimiento en temas nuevos (extraída de la misma población que sus datos).
- Construya una estimación del rendimiento en nuevas observaciones de los mismos sujetos que en su muestra.
El caso mucho más común es el número de caso (1). Por ejemplo, ¿qué tan bien predice los ataques cardíacos para alguien que ingresa a la sala de emergencias? Y si está en el caso (1), es casi seguro que debería hacer (a) validación cruzada basada en temas en lugar de (b) validación cruzada basada en registros. Hacer una validación basada en registros en el caso (1) probablemente conducirá a estimaciones de rendimiento excesivamente altas y falsas sobre nuevos temas.
No entiendo con precisión lo que estás tratando de hacer (y tal vez es un estudio propio, por lo que la pregunta no es del todo realista). No sé en qué caso te encuentras. Si estás en el caso mucho menos común (2), la validación de registro inteligente puede estar bien.
Un tema general en las estadísticas es pensar cuidadosamente sobre lo que es independiente y lo que está correlacionado. En términos generales, una observación independiente tiende a ser un tema diferente. Si desea predecir el rendimiento en nuevas asignaturas, ¡debe probar en asignaturas en las que no entrenó!
¿Por qué la validación cruzada por temas en lugar de por registros?
En entornos típicos, las observaciones repetidas del mismo individuo se correlacionan entre sí incluso después de condicionar las características. ¡Por lo tanto, con la validación cruzada a nivel de registro, su conjunto de prueba no es independiente de su conjunto de entrenamiento! En el caso extremo de la correlación perfecta, ¡tendría exactamente las mismas observaciones en el conjunto de entrenamiento y el conjunto de prueba! ¡Estarías entrenando en el set de prueba! El rendimiento medido en la validación cruzada no sería predictivo del rendimiento en nuevos sujetos.
Por ejemplo, este artículo reciente llama validación cruzada de registro, `` Voodoo Machine Learning ''.
Pero qué hacer con tan pocos temas ...
Quizás algunos comentaristas más experimentados con la validación cruzada que yo podrían intervenir, pero para mí, esto parece un posible candidato para (también conocido como omitir una validación cruzada).k=n
Para maximizar los datos para la capacitación, algo que podría hacer es dejar de lado un tema para la validación cruzada. Cada iteración, prueba en un tema diferente y entrena en todos los demás.
Si todas las asignaturas son muy diferentes, es posible que tenga cerca de y desee incluir tantas asignaturas independientes en el conjunto de entrenamiento.n=38