Existe una amplia variedad de métodos. Se pueden dividir en gran medida en métodos de búsqueda aleatorios / no dirigidos (como la búsqueda de cuadrícula o la búsqueda aleatoria) y métodos directos. Sin embargo, tenga en cuenta que todos requieren probar una cantidad considerable de configuraciones de hiperparámetros a menos que tenga suerte (cientos al menos, depende de la cantidad de parámetros).
En la clase de métodos directos, se pueden identificar varios enfoques distintos:
- métodos libres de derivados, por ejemplo, Nelder-Mead simplex o DIRECT
- métodos evolutivos, como CMA-ES y enjambres de partículas
- enfoques basados en modelos, por ejemplo, EGO y Kriging secuencial
Es posible que desee buscar en Optunity , un paquete de Python que ofrece una variedad de solucionadores para el ajuste de hiperparámetros (todo lo que mencioné, excepto EGO y Kriging, por ahora). Optunity estará disponible para MATLAB y R pronto. Descargo de responsabilidad: soy el desarrollador principal de este paquete.
Según mi experiencia personal, los métodos evolutivos son muy poderosos para este tipo de problemas.