- los resultados son sensibles a los parámetros del modelo sustituto, que generalmente se fijan en algún valor; esto subestima la incertidumbre; de lo contrario, debe ser completamente bayesiano y marginarse sobre las distribuciones de hiperparámetros, lo que puede ser costoso y difícil de manejar.
- se necesitan una docena de muestras para obtener una buena superficie sustituta en 2 o 3 dimensiones del espacio de búsqueda; La creciente dimensionalidad del espacio de búsqueda requiere aún más muestras
- La optimización bayesiana en sí misma depende de un optimizador para buscar en la superficie sustituta, que tiene sus propios costos: este problema es (con suerte) más barato de evaluar que el problema original, pero sigue siendo un problema de optimización no convexo con restricciones de caja (es decir, ¡difícil!)
- estimar el modelo BO en sí tiene costos
Para decirlo de otra manera, BO es un intento de mantener el número de evaluaciones de funciones al mínimo, y obtener el mayor rendimiento de cada evaluación. Esto es importante si realiza pruebas destructivas o simplemente realiza una simulación que requiere una cantidad obscena de tiempo para ejecutarse. Pero en todos los casos, excepto en los más caros, ¡ aplique la búsqueda aleatoria pura y llámela al día ! (O LIPO si su problema es susceptible a sus suposiciones). Puede ahorrarle muchos dolores de cabeza, como la optimización de su programa Bayesian Optimization.