Preguntas etiquetadas con optimization

Estoy investigando algunas técnicas de optimización para el aprendizaje automático, pero me sorprende descubrir que un gran número de algoritmos de optimización se definen en términos de otros problemas de optimización. Ilustramos algunos ejemplos a continuación. Por ejemplo https://arxiv.org/pdf/1511.05133v1.pdf Todo se ve bien y bien, pero luego está este en …

23 machine-learning  svm  optimization 

Recientemente hubo una pregunta similar a ML sobre el intercambio de pilas de teoría, y publiqué una respuesta recomendando el método de Powell, el descenso de gradiente, los algoritmos genéticos u otros "algoritmos de aproximación". En un comentario, alguien me dijo que estos métodos eran "heurísticos" y no "algoritmos de …

23 machine-learning  optimization  approximation 

Me pregunto si siempre hay un maximizador para cualquier problema de estimación de probabilidad máxima (log). En otras palabras, ¿hay alguna distribución y algunos de sus parámetros, para los cuales el problema MLE no tiene un maximizador? Mi pregunta proviene de la afirmación de un ingeniero de que la función …

23 maximum-likelihood  optimization 

Me preguntaba cuáles son los diferentes casos de uso para los dos algoritmos, Descenso de coordenadas y Descenso de gradiente . Sé que el descenso coordinado tiene problemas con las funciones no uniformes, pero se usa en algoritmos populares como SVM y LASSO. Sin embargo, creo que el descenso de …

23 optimization  gradient-descent 

Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Supongamos que tengo el siguiente modelo yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i donde yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i es un vector de variables explicativas, θθ\theta es los parámetros de la función no lineal fff y εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , donde ΣΣ\Sigma naturalmente es K×KK×KK\times K matriz. El objetivo es el habitual para estimar θθ\theta y ΣΣ\Sigma . …

22 maximum-likelihood  optimization  covariance 

¿Por qué es tan común obtener estimaciones de máxima verosimilitud de parámetros, pero prácticamente nunca se oye hablar de las estimaciones esperadas de parámetros de verosimilitud (es decir, en función del valor esperado en lugar del modo de una función de verosimilitud)? ¿Es esto principalmente por razones históricas, o por …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Necesito implementar un programa que clasifique los registros en 2 categorías (verdadero / falso) en función de algunos datos de entrenamiento, y me preguntaba qué algoritmo / metodología debería considerar. Parece que hay muchos para elegir: red neuronal artificial, algoritmo genético, aprendizaje automático, optimización bayesiana, etc., etc., y no estaba …

21 machine-learning  bayesian  optimization  genetic-algorithms 

Tenemos muchas buenas discusiones sobre la separación perfecta en la regresión logística. Tal como, la regresión logística en R resultó en una separación perfecta (fenómeno de Hauck-Donner). ¿Ahora que? y el modelo de regresión logística no converge . Personalmente, todavía siento que no es intuitivo por qué será un problema …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Sé la definición de matriz simétrica positiva definida (SPD), pero quiero entender más. ¿Por qué son tan importantes, intuitivamente? Aquí está lo que sé. ¿Qué más? Para un dato dado, la matriz de covarianza es SPD. La matriz de covarianza es una métrica importante; consulte esta excelente publicación para obtener …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

En el entrenamiento de redes neuronales profundas y superficiales, ¿por qué los métodos de gradiente (p. Ej., Descenso de gradiente, Nesterov, Newton-Raphson) se usan comúnmente, en oposición a otras metaheurísticas? Por metaheurística me refiero a métodos como el recocido simulado, la optimización de colonias de hormigas, etc., que se desarrollaron …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

He estado usando theano para experimentar con LSTM y me preguntaba qué métodos de optimización (SGD, Adagrad, Adadelta, RMSprop, Adam, etc.) funcionan mejor para LSTM. ¿Hay trabajos de investigación sobre este tema? Además, ¿la respuesta depende del tipo de aplicación para la que estoy usando el LSTM? Si es así, …

20 machine-learning  neural-networks  optimization  lstm 

Los algoritmos genéticos son una forma de método de optimización. A menudo, el descenso de gradiente estocástico y sus derivados son la mejor opción para la optimización de la función, pero a veces todavía se utilizan algoritmos genéticos. Por ejemplo, la antena de la nave espacial ST5 de la NASA …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Soy nuevo en optimización. Sigo viendo ecuaciones que tienen un superíndice 2 y un subíndice 2 en el lado derecho de una norma. Por ejemplo, aquí está la ecuación de mínimos cuadrados min ||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 Creo que entiendo el superíndice 2: significa cuadrar el valor de la norma. Pero, ¿cuál …

20 regression  optimization  notation 

¿Existe una definición matemática o algorítmica de sobreajuste? Las definiciones que se proporcionan a menudo son el gráfico clásico de puntos en 2-D con una línea que pasa por cada punto y la curva de pérdida de validación que sube repentinamente. ¿Pero hay una definición matemáticamente rigurosa?

18 mathematical-statistics  optimization  overfitting