Preguntas etiquetadas con bayesian-optimization

El descenso de gradiente y muchos otros métodos son útiles para encontrar mínimos locales en las funciones de costos. Pueden ser eficientes cuando la función de costo se puede evaluar rápidamente en cada punto, ya sea numérica o analíticamente. Tengo lo que me parece una situación inusual. Cada evaluación de …

59 gradient-descent  optimization  bayesian-optimization 

Existe una importante investigación contemporánea sobre la optimización bayesiana (1) para ajustar los hiperparámetros ML. La motivación principal aquí es que se requiere un número mínimo de puntos de datos para tomar decisiones informadas sobre qué puntos vale la pena intentar (las llamadas a funciones objetivas son caras, por lo …

18 hyperparameter  bayesian-optimization  optunity 

Antecedentes y problema Estoy usando procesos gaussianos (GP) para la regresión y la posterior optimización bayesiana (BO). Para la regresión, uso el paquete gpml para MATLAB con varias modificaciones personalizadas, pero el problema es general. Es un hecho bien conocido que cuando dos entradas de entrenamiento están demasiado cerca en …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

Soy bastante nuevo en el aprendizaje automático y las estadísticas, pero me preguntaba por qué la optimización bayesiana no se refiere con mayor frecuencia en línea cuando se aprende el aprendizaje automático para optimizar los hiperparámetros de su algoritmo. Por ejemplo, utilizando un marco como este: https://github.com/fmfn/BayesianOptimization ¿La optimización bayesiana …

9 machine-learning  optimization  hyperparameter  bayesian-optimization 

Una función de caja negra F:Rnorte→ RF:Rnorte→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, que se evalúa puntualmente sujeto al ruido gaussiano, es decir, F( x ) + N( μ ( x ) , σ( x)2)F(X)+norte(μ(X),σ(X)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2), puede minimizarse utilizando la optimización bayesiana donde se utiliza un proceso gaussiano como modelo de función …

8 bayesian  optimization  bayesian-optimization 

Parece que ambos procesos se usan para estimar el valor máximo de una función desconocida, y ambos obviamente tienen diferentes formas de hacerlo. Pero en la práctica, ¿cualquier método es esencialmente intercambiable? ¿Dónde me gustaría usar uno sobre el otro? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pregunta similar ¿ Optimización bayesiana o pendiente de …

8 optimization  maximum  bayesian-optimization 

Estoy probando la optimización bayesiana, siguiendo a Snoek, Larochelle y Adams [ http://arxiv.org/pdf/1206.2944.pdf] , usando GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Implementé la función de adquisición Mejora esperada que se describe en la página 3, y supongo que estoy en lo correcto al decidir dónde consultar mi objetivo, debo …

8 gaussian-process  optimization  bayesian-optimization