A menudo me encuentro entrenando varios modelos predictivos diferentes usando careten R. Los entrenaré a todos en los mismos pliegues de validación cruzada, usando caret::: createFolds, luego elegiré el mejor modelo basado en un error de validación cruzada.
Sin embargo, la predicción mediana de varios modelos a menudo supera al mejor modelo individual en un conjunto de pruebas independiente. Estoy pensando en escribir algunas funciones para apilar / armar modelos de caretas que se entrenaron con los mismos pliegues de validación cruzada, por ejemplo, tomando predicciones medianas de cada modelo en cada pliegue, o entrenando un "metamodelo".
Por supuesto, esto podría requerir un bucle externo de validación cruzada. ¿Alguien sabe de algún paquete existente / código fuente abierto para ensamblar modelos de caret (y posiblemente validar de forma cruzada esos conjuntos)?