Preguntas etiquetadas con optimization

De cualquier algoritmo de muestreo genérico, uno puede derivar un algoritmo de optimización. De hecho, para maximizar una función arbitraria , es suficiente para extraer muestras de g ~ e f / T . Para suficientemente pequeño, estas muestras caerán cerca del máximo global (o máximos locales en la práctica) …

18 sampling  optimization 

Estoy tratando de minimizar una función personalizada. Debe aceptar cinco parámetros y el conjunto de datos y hacer todo tipo de cálculos, produciendo un solo número como salida. Quiero encontrar una combinación de cinco parámetros de entrada que produzca la salida más pequeña de mi función.

18 r  optimization 

Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea exacta)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

¿Por qué el uso del método de Newton para la optimización de la regresión logística se llama mínimos cuadrados iterativos re-ponderados? No me parece claro porque la pérdida logística y la pérdida de mínimos cuadrados son cosas completamente diferentes.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

He visto conclusiones similares en muchas discusiones, que a medida que el tamaño del minibatch aumenta, la convergencia de SGD en realidad se vuelve más difícil / peor, por ejemplo, este documento y esta respuesta . También he oído hablar de personas que utilizan trucos como pequeñas tasas de aprendizaje …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Definimos una época como haber pasado por la totalidad de todas las muestras de entrenamiento disponibles, y el tamaño del mini lote como el número de muestras sobre el que promediamos para encontrar las actualizaciones de pesos / sesgos necesarios para descender el gradiente. Mi pregunta es si deberíamos dibujar …

18 machine-learning  neural-networks  optimization  deep-learning 

Estoy aprendiendo sobre la optimización y tengo problemas para comprender la diferencia entre la optimización convexa y no convexa. Según tengo entendido, una función convexa es aquella en la que "el segmento de línea entre dos puntos cualquiera en el gráfico de la función se encuentra arriba o en el …

18 optimization 

Supongo que esta es una pregunta básica y tiene que ver con la dirección del gradiente en sí, pero estoy buscando ejemplos en los que los métodos de segundo orden (por ejemplo, BFGS ) sean más efectivos que el simple descenso del gradiente.

18 optimization 

Se puede realizar una regresión logit en R usando dicho código: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Parece que el algoritmo de optimización ha convergido: hay información sobre el número de pasos del algoritmo de puntuación …

17 r  generalized-linear-model  optimization  algorithms  logit 

Encontré esta implementación de Python del algoritmo Jenks Natural Breaks y pude hacer que se ejecute en mi máquina con Windows 7. Es bastante rápido y encuentra los descansos en poco tiempo, considerando el tamaño de mis geodatos. Antes de usar este algoritmo de agrupamiento para mis datos, estaba usando …

17 python  clustering  optimization 

Estoy tratando de usar la pérdida al cuadrado para hacer una clasificación binaria en un conjunto de datos de juguete. Estoy usando mtcarsun conjunto de datos, uso millas por galón y peso para predecir el tipo de transmisión. El gráfico a continuación muestra los dos tipos de datos del tipo …

16 r  machine-learning  logistic  optimization  loss-functions 

Trato de reproducirme con optimlos resultados de una regresión lineal simple con glmo incluso nlsfunciones R. Las estimaciones de los parámetros son las mismas, pero la estimación de la varianza residual y los errores estándar de los otros parámetros no son los mismos, particularmente cuando el tamaño de la muestra …

16 r  maximum-likelihood  optimization 

Estoy usando la glmerfunción del lme4paquete en R, y estoy usando el bobyqaoptimizador (es decir, el predeterminado en mi caso). Recibo una advertencia y tengo curiosidad por saber qué significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust …

16 r  optimization  lme4-nlme  convergence  glmm 

He estado tratando de codificar un algoritmo para sugerir apuestas en juegos 1X2 (ponderados). Básicamente, cada juego tiene un conjunto de partidos (equipos locales vs fuera): 1: casa gana X: dibujar 2: visitante gana Para cada coincidencia y símbolo ( 1, Xy 2), asignaré un porcentaje que represente las posibilidades …

16 optimization 

Tengo curiosidad acerca de por qué tratamos el ajuste de GLMS como si fueran un problema especial de optimización. ¿Son ellos? Me parece que son solo la máxima probabilidad, y que escribimos la probabilidad y luego ... ¡la maximizamos! Entonces, ¿por qué utilizamos la puntuación de Fisher en lugar de …

16 generalized-linear-model  optimization  fisher-scoring