Tengo entendido que incluso cuando se siguen los procedimientos adecuados de validación cruzada y selección de modelos, se producirá un sobreajuste si se busca un modelo lo suficientemente difícil , a menos que se impongan restricciones en la complejidad del modelo, punto. Además, a menudo las personas intentan aprender las penalizaciones sobre la complejidad del modelo a partir de los datos que socavan la protección que pueden proporcionar.
Mi pregunta es: ¿cuánta verdad hay en la declaración anterior?
A menudo escucho a practicantes de ML decir: " En mi empresa / laboratorio, siempre probamos todos los modelos disponibles (por ejemplo, de bibliotecas como caret o scikit-learn ) para ver cuál funciona mejor ". A menudo sostengo que este enfoque puede sobreajustar fácilmente, incluso si se toman en serio la validación cruzada y mantienen los conjuntos de espera de la forma que deseen. Además, cuanto más buscan, más probable es que se sobreajusten. En otras palabras, la optimización excesiva es un problema real y no hay heurísticas que puedan ayudarlo a luchar sistemáticamente contra ella. ¿Me equivoco al pensar de esta manera?