Preguntas etiquetadas con optimization

¿Cuáles son las ventajas y desventajas de ambos métodos?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para …

16 regression  optimization  lasso  regularization  shrinkage 

Mis preguntas son: ¿Se garantiza que los modelos lineales generalizados (GLM) converjan a un máximo global? Si es así, ¿por qué? Además, ¿qué restricciones hay en la función de enlace para asegurar la convexidad? Mi comprensión de los GLM es que maximizan una función de probabilidad altamente no lineal. Por …

16 generalized-linear-model  optimization  convergence  exponential-family 

Necesito encontrar el mínimo de una función. Leer los documentos en http://docs.scipy.org/doc/scipy/reference/optimize.html , veo que hay varios algoritmos que hacen lo mismo, es decir, encontrar el mínimo. ¿Cómo sé cuál debo elegir? algunos de los algoritmos enumerados Minimice una función usando el algoritmo downx simplex. Minimice una función usando el …

16 optimization 

Hay mucha literatura que enfatiza el método de maximización de expectativas en los modelos de mezcla (mezcla de Gauss, modelo oculto de Markov, etc.). ¿Por qué EM es importante? EM es solo una forma de hacer optimización y no se usa ampliamente como método basado en gradiente (gradiente decente o …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Descenso de gradiente estándar calcularía el gradiente para todo el conjunto de datos de entrenamiento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para un número predefinido de épocas, primero calculamos el vector de gradiente weights_grad de la función de pérdida para …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Experimenté un poco con diferentes implementaciones de Perceptron y quiero asegurarme de entender las "iteraciones" correctamente. La regla original del perceptrón de Rosenblatt Según tengo entendido, en el clásico algoritmo perceptrón de Rosenblatt, los pesos se actualizan simultáneamente después de cada ejemplo de entrenamiento a través de Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} …

15 optimization  gradient-descent  perceptron 

Estoy tratando de entender cómo se estiman los parámetros en el modelado ARIMA / Box Jenkins (BJ). Desafortunadamente, ninguno de los libros que he encontrado describe el procedimiento de estimación como el procedimiento de estimación de probabilidad de registro en detalle. Encontré el sitio web / material didáctico que fue …

15 time-series  forecasting  arima  optimization  box-jenkins 

He estado leyendo mucho sobre redes neuronales convolucionales y me preguntaba cómo evitan el problema del gradiente de fuga. Sé que las redes de creencias profundas apilan codificadores automáticos de un solo nivel u otras redes poco profundas previamente entrenadas y, por lo tanto, puedo evitar este problema, pero no …

15 machine-learning  optimization  deep-learning  gradient-descent 

Me gustaría hacer coincidir las salidas de lmer (realmente glmer) con un ejemplo binomial de juguete. He leído las viñetas y creo que entiendo lo que está pasando. Pero al parecer no. Después de atascarme, arreglé la "verdad" en términos de los efectos aleatorios y busqué solo la estimación de …

15 r  mixed-model  optimization  lme4-nlme 

Como seguimiento a Mi red neuronal ni siquiera puede aprender la distancia euclidiana , simplifiqué aún más y traté de entrenar una única ReLU (con peso aleatorio) en una sola ReLU. Esta es la red más simple que existe y, sin embargo, la mitad del tiempo no logra converger. Si …

15 machine-learning  neural-networks  optimization  keras 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Begnio, Goodfellow y Courtville: Adam incluye correcciones de sesgo a las estimaciones de los momentos de primer orden (el término de momento) y los momentos de segundo orden (no …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

En la configuración general del algoritmo de descenso de gradiente, tenemos donde x n es el punto actual, η es el tamaño del paso y g r a d i e n t x n es el gradiente evaluado en x n . Xn + 1= xnorte- η∗ gr a …

15 algorithms  optimization 

La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje profundo, sin embargo, parecen no …

14 machine-learning  deep-learning  optimization  gradient-descent 

Esta pregunta trata sobre la estimación de máxima verosimilitud restringida (REML) en una versión particular del modelo lineal, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), donde es una matriz ( n × p ) parametrizada por α ∈ R k , como lo es Σ …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml