Como desarrollador principal de Optunity, agregaré mis dos centavos.
Hemos realizado extensos puntos de referencia comparando Optunity con los solucionadores bayesianos más populares (por ejemplo, hyperopt, SMAC, bayesopt) en problemas del mundo real, y los resultados indican que PSO no es menos eficiente en muchos casos prácticos. En nuestro punto de referencia, que consiste en ajustar los clasificadores SVM en varios conjuntos de datos, Optunity es en realidad más eficiente que Hyperropt y SMAC, pero un poco menos eficiente que BayesOpt. Me encantaría compartir los resultados aquí, pero voy a esperar hasta que Optunity finalmente se publique en JMLR (en revisión desde hace más de un año, así que no contenga la respiración ...).
Como usted indica, el aumento de la eficiencia es un punto de venta de uso común para la optimización bayesiana, pero en la práctica solo se mantiene si las suposiciones de los modelos sustitutos subyacentes se mantienen, lo que está lejos de ser trivial. En nuestros experimentos, el solucionador de PSO muy simple de Optunity a menudo es competitivo con los complejos enfoques bayesianos en términos de número de evaluaciones de funciones. Los solucionadores bayesianos funcionan muy bien cuando cuentan con buenos antecedentes, pero con un previo poco informativo, prácticamente no hay beneficio estructural sobre los métodos metaheurísticos como PSO en términos de eficiencia.
Un gran punto de venta para PSO es el hecho de que es vergonzosamente paralelo. La optimización bayesiana a menudo es difícil de paralelizar, debido a su naturaleza inherentemente secuencial (la implementación de hyperopt es la única excepción real). Dadas las oportunidades de distribución, que se está convirtiendo en la norma, Optunity rápidamente toma la delantera en el tiempo de reloj de pared para obtener buenas soluciones.
Otra diferencia clave entre Optunity y la mayoría de las otras bibliotecas dedicadas de optimización de hiperparámetros es el público objetivo: Optunity tiene la interfaz más simple y está dirigida a expertos en aprendizaje no automático, mientras que la mayoría de las otras bibliotecas requieren cierta comprensión de la optimización bayesiana para usar de manera efectiva (es decir, son dirigido a especialistas).
La razón por la que creamos la biblioteca es que, a pesar del hecho de que existen métodos dedicados de optimización de hiperparámetros, carecen de adopción en la práctica. La mayoría de la gente todavía no está sintonizando en absoluto, haciéndolo manualmente o mediante enfoques ingenuos como la cuadrícula o la búsqueda aleatoria. En nuestra opinión, una razón clave para esto es el hecho de que las bibliotecas existentes antes de desarrollar Optunity eran demasiado difíciles de usar en términos de instalación, documentación, API y, a menudo, se limitaban a un solo entorno.