Últimamente he tratado de aprender más sobre el aprendizaje en línea (¡es absolutamente fascinante!), Y un tema que no he podido entender es cómo pensar en la selección de modelos en contextos fuera de línea en línea. Específicamente, supongamos que entrenamos un clasificador fuera de línea, basado en un conjunto de datos fijo . Estimamos sus características de rendimiento mediante validación cruzada, por ejemplo, y seleccionamos el mejor clasificador de esta manera.
Esto es en lo que he estado pensando: ¿cómo, entonces, hacemos para aplicar a una configuración en línea? ¿Podemos suponer que lo mejorencontrado fuera de línea también funcionará bien como un clasificador en línea? ¿Tiene sentido reunir algunos datos para entrenar?, luego tome el mismo clasificador y "operacionalizarlo" en una configuración en línea con los mismos parámetros encontrados en ¿O podría ser mejor otro enfoque? ¿Cuáles son las advertencias en estos casos? ¿Cuáles son los resultados clave aquí? Etcétera.
De todos modos, ahora que está ahí afuera, supongo que lo que estoy buscando son algunas referencias o recursos que me ayudarán (¡y espero que otros, que han estado pensando en esto!) Hagan la transición de pensar únicamente en términos fuera de línea, y Desarrollar el marco mental para pensar sobre el tema de la selección de modelos y estas preguntas de una manera más coherente a medida que avanza mi lectura.