Preguntas etiquetadas con optimization

Recientemente leí un artículo de Yann Dauphin et al. Identificando y atacando el problema del punto de silla de montar en la optimización no convexa de alta dimensión , donde introducen un interesante algoritmo de descenso llamado Saddle-Free Newton , que parece estar adaptado exactamente para la optimización de la …

13 optimization  deep-learning  gradient-descent 

¿Hay grupos de investigación trabajando en el uso del aprendizaje profundo para problemas de optimización combinatoria?

13 optimization  deep-learning 

Esta pregunta ya tiene respuestas aquí : Algoritmo de retropropagación (2 respuestas) Cerrado hace 3 meses . ¿Qué es el algoritmo de retropropagación y cómo funciona?

13 algorithms  optimization  neural-networks 

KKij=k(xi,xj)=b-1exp(-1Iniciar sesión( y | X, θ ) = - 12yTK- 1yy - 12Iniciar sesión( det ( K) ) - n2Iniciar sesión( 2 π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKKM=lIa,blKyo j= k ( xyo, xj) = b- 1Exp( - 12( xyo- xj)TMETRO( xyo- xj) ) + a- 1δyo jKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}METRO= l IM=lIM=lIa , ba,ba,blll La derivada parcial …

13 regression  optimization  gaussian-process  hyperparameter 

La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA? ? ) …

12 machine-learning  pca  optimization  convex 

Este es el problema de desviación menos absoluto en cuestión:. Sé que se puede reorganizar como problema de LP de la siguiente manera:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Pero no tengo idea de resolverlo paso a …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

TL; DR: la lme4optimización parece ser lineal en la cantidad de parámetros del modelo por defecto, y es mucho más lenta que un glmmodelo equivalente con variables ficticias para grupos. ¿Hay algo que pueda hacer para acelerarlo? Estoy tratando de ajustar un modelo logit jerárquico bastante grande (~ 50k filas, …

12 r  mixed-model  optimization  lme4-nlme  numerics 

¿El uso de "variacional" siempre se refiere a la optimización mediante inferencia variacional? Ejemplos: "Codificador automático variacional" "Métodos Bayesianos Variacionales" "Grupo de renormalización variacional"

12 machine-learning  optimization  inference 

Estoy realizando experimentos en el conjunto de validación EMNIST usando redes con RMSProp, Adam y SGD. Estoy logrando un 87% de precisión con SGD (tasa de aprendizaje de 0.1) y abandono (0.1 problema de abandono), así como la regularización L2 (penalización 1e-05). Al probar la misma configuración exacta con RMSProp …

12 machine-learning  optimization  sgd  adam 

Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

En el aprendizaje automático (para problemas de regresión), a menudo veo que se usa el error cuadrático medio (MSE) o el error absoluto medio (MAE) como la función de error para minimizar (más el término de regularización). Me pregunto si hay situaciones en las que sería más apropiado usar el …

12 regression  machine-learning  svm  optimization  deep-learning 

Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange? Entonces, ¿es …

12 regression  optimization  regularization 

Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Estoy tratando de entender el proceso para entrenar una máquina de vectores de soporte lineal . Me doy cuenta de que las propiedades de los SMV permiten que se optimicen mucho más rápido que mediante el uso de un solucionador de programación cuadrática, pero con fines de aprendizaje, me gustaría …

12 r  svm  optimization 

Tengo una función de probabilidad L(d|θ)L(d|θ)\mathcal{L}(d | \theta) para la probabilidad de mis datos ddd dados algunos parámetros del modelo θ∈RNθ∈RN\theta \in \mathbf{R}^N , que me gustaría estimar. Suponiendo anteriores planos sobre los parámetros, la probabilidad es proporcional a la probabilidad posterior. Yo uso un método MCMC para probar esta …

11 bayesian  maximum-likelihood  optimization  inference  mcmc