En la validación cruzada k-fold, ¿la submuestra de entrenamiento incluye un conjunto de prueba?

En esta página de Wikipedia en la subsección para la validación cruzada de K-fold dice "En la validación cruzada de k-fold, la muestra original se divide aleatoriamente en k submuestras de igual tamaño. De las k submuestras, se retiene una sola submuestra como datos de validación para prueba del modelo, y las restantes submuestras k - 1 se utilizan como datos de entrenamiento ". Los datos de prueba no están en la imagen en absoluto.

Mientras que en un libro que leí, el autor indica claramente

1. Los datos completos se dividen en tres conjuntos: conjunto de entrenamiento, conjunto de prueba y conjunto de validación (o submuestras en lenguaje Wikipedias).
2. De las k submuestras, una submuestra se retiene como datos de validación, otra submuestra se retiene como datos de prueba y las k-2 submuestras se usan como datos de entrenamiento.

¿Cual es verdad?

Ambos son correctos en su propio contexto. Describen dos formas diferentes de selección de modelos en diferentes situaciones.

En general, cuando realiza la selección y prueba del modelo, sus datos se dividen en tres partes: conjunto de capacitación, conjunto de validación y conjunto de prueba. Utiliza su conjunto de entrenamiento para entrenar diferentes modelos, estima el rendimiento en su conjunto de validación, luego selecciona el modelo con un rendimiento óptimo y lo prueba en su conjunto de prueba.

Por otro lado, si está utilizando la validación cruzada K-fold para estimar el rendimiento de un modelo, sus datos se dividen en K fold, recorre los K fold y cada vez usa un fold como prueba (o validación) establece y usa los pliegues del resto (K-1) como conjunto de entrenamiento. Luego, promedia en todos los pliegues para obtener el rendimiento de prueba estimado de su modelo. A esto se refiere la página de Wikipedia.

Pero tenga en cuenta que esto es para probar un modelo específico, si tiene varios modelos candidatos y desea hacer la selección del modelo también, debe seleccionar un modelo solo con su conjunto de entrenamiento para evitar esta sutil falacia de lógica circular. Entonces divide sus 'datos de entrenamiento' (K-1) en dos partes, una para entrenamiento y otra para validación. Esto significa que hace una 'validación cruzada' adicional primero para seleccionar el modelo óptimo dentro de los pliegues (K-1), y luego prueba este modelo óptimo en su pliegue de prueba. En otras palabras, está realizando una validación cruzada de dos niveles, una es la validación cruzada K-fold en general, y dentro de cada bucle de validación cruzada, hay una validación cruzada adicional (K-1) para Selección de modelo. Luego tiene lo que dijo en su pregunta: 'De las k submuestras, una submuestra se retiene como datos de validación, otra submuestra se retiene como datos de prueba y las k-2 submuestras se usan como datos de entrenamiento'.

Aquí vuelvo a decir lo que obtuve de la respuesta de @Yuanning y los comentarios de @cbeleites en forma de pseudocódigo. Esto puede ser útil para personas como yo.

Para medir el rendimiento de un modelo determinado solo necesitamos entrenamiento y conjuntos de prueba:

function measure_performance(model, full_test_set, k_performance):
    subset_list <- divide full_test_set into k_performance subsets
    performances <- empty array
    for each sub_set in subset_list:
        test_set <- sub_set
        training_set <- the rest of the full_test_set
        model <- train model with training_set
        performance <- test model with test_set
        append performance to performances
    end for each
    return mean of the values in peformances
end function

Pero si necesitamos hacer una selección de modelo, deberíamos hacer esto:

function select_model(data, k_select, k_performance):
    subset_list <- divide data into k_select subsets
    performances <- empty array
    for each sub_set in subset_list:
        validation_set <- assume that this sub_set is validation set
        test_set <- one other random sub_set (Question: How to select test_set)
        training_set <- assume remaining as training set
        model <- get a model with the help of training_set and validation_set
        performance <- measure_performance(model,test_set, k_performance)
    end for each
    return model with the best performance (for this, performances will be scanned)
end function