Preguntas etiquetadas con gradient-descent

Leí que el algoritmo k-means solo converge a un mínimo local y no a un mínimo global. ¿Por qué es esto? Puedo pensar lógicamente cómo la inicialización podría afectar la agrupación final y existe la posibilidad de una agrupación subóptima, pero no encontré nada que lo demostrara matemáticamente. Además, ¿por …

17 clustering  k-means  convergence  gradient-descent  minimum 

¿Cuáles son las ventajas y desventajas de ambos métodos?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Actualmente leo el artículo Efficient Online y Batch Learning usando Forward-Backward Splitting de John Duchi y Yoram Singer. Estoy muy confundido sobre el uso de los términos 'Online' y 'Batch'. Pensé que "en línea" significa que actualizamos los parámetros de peso después de procesar una unidad de los datos de …

16 machine-learning  online  gradient-descent 

Descenso de gradiente estándar calcularía el gradiente para todo el conjunto de datos de entrenamiento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para un número predefinido de épocas, primero calculamos el vector de gradiente weights_grad de la función de pérdida para …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Experimenté un poco con diferentes implementaciones de Perceptron y quiero asegurarme de entender las "iteraciones" correctamente. La regla original del perceptrón de Rosenblatt Según tengo entendido, en el clásico algoritmo perceptrón de Rosenblatt, los pesos se actualizan simultáneamente después de cada ejemplo de entrenamiento a través de Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} …

15 optimization  gradient-descent  perceptron 

Cuando implementé el mini lote de gradiente decente, solo promedié los gradientes de todos los ejemplos en el lote de capacitación. Sin embargo, me di cuenta de que ahora la tasa de aprendizaje óptima es mucho más alta que para el gradiente en línea decente. Mi intuición es que esto …

15 neural-networks  gradient-descent  backpropagation 

He estado leyendo mucho sobre redes neuronales convolucionales y me preguntaba cómo evitan el problema del gradiente de fuga. Sé que las redes de creencias profundas apilan codificadores automáticos de un solo nivel u otras redes poco profundas previamente entrenadas y, por lo tanto, puedo evitar este problema, pero no …

15 machine-learning  optimization  deep-learning  gradient-descent 

La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje profundo, sin embargo, parecen no …

14 machine-learning  deep-learning  optimization  gradient-descent 

Actualmente estoy un poco desconcertado por cómo el descenso de gradiente de mini lotes puede quedar atrapado en un punto de silla de montar. La solución puede ser demasiado trivial que no la entiendo. Obtiene una nueva muestra cada época, y calcula un nuevo error basado en un nuevo lote, …

14 gradient-descent  sgd 

Estoy usando Wongpal Wabbit para resolver un problema de bandido contextual . Estoy mostrando anuncios a los usuarios y tengo bastante información sobre el contexto en el que se muestra el anuncio (por ejemplo, quién es el usuario, en qué sitio se encuentra, etc.). Este parece ser un problema de …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

Voy a ver los videos del curso gratuito de aprendizaje automático en línea de Andrew Ng en Stanford. Analiza el Descenso de degradado como un algoritmo para resolver regresión lineal y funciones de escritura en Octave para realizarlo. Presumiblemente podría reescribir esas funciones en R, pero mi pregunta es si …

14 r  regression  machine-learning  gradient-descent 

Digamos que nuestro conjunto de datos contiene 1 millón de ejemplos, es decir, , y deseamos utilizar el descenso de gradiente para realizar una regresión logística o lineal en este conjunto de datos.X1, ... , x106 6x1,…,x106x_1, \ldots, x_{10^6} ¿Qué pasa con el método de descenso de gradiente que lo …

13 machine-learning  gradient-descent  large-data 

Recientemente leí un artículo de Yann Dauphin et al. Identificando y atacando el problema del punto de silla de montar en la optimización no convexa de alta dimensión , donde introducen un interesante algoritmo de descenso llamado Saddle-Free Newton , que parece estar adaptado exactamente para la optimización de la …

13 optimization  deep-learning  gradient-descent 

¿Existe alguna literatura que examine la elección del tamaño del minibatch al realizar el descenso de gradiente estocástico? En mi experiencia, parece ser una opción empírica, que generalmente se encuentra a través de la validación cruzada o el uso de diferentes reglas generales. ¿Es una buena idea aumentar lentamente el …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

He estado estudiando la regresión lineal y la probé en el siguiente conjunto {(x, y)}, donde x especificó el área de la casa en pies cuadrados e y especificó el precio en dólares. Este es el primer ejemplo en Andrew Ng Notes . 2104,400 1600,330 2400,369 1416,232 3000,540 Desarrollé un …

12 regression  least-squares  gradient-descent  supervised-learning