Preguntas etiquetadas con deep-learning

Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto, ¿debería …

13 classification  neural-networks  deep-learning  lstm 

Recientemente leí un artículo de Yann Dauphin et al. Identificando y atacando el problema del punto de silla de montar en la optimización no convexa de alta dimensión , donde introducen un interesante algoritmo de descenso llamado Saddle-Free Newton , que parece estar adaptado exactamente para la optimización de la …

13 optimization  deep-learning  gradient-descent 

¿Hay grupos de investigación trabajando en el uso del aprendizaje profundo para problemas de optimización combinatoria?

13 optimization  deep-learning 

¿Existe alguna literatura que examine la elección del tamaño del minibatch al realizar el descenso de gradiente estocástico? En mi experiencia, parece ser una opción empírica, que generalmente se encuentra a través de la validación cruzada o el uso de diferentes reglas generales. ¿Es una buena idea aumentar lentamente el …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

La topología del modelo de Google Inception se puede encontrar aquí: Google Inception Netowrk Noté que hay 3 capas softmax en este modelo (# 154, # 152, # 145), y 2 de ellas son una especie de escape temprano de este modelo. Por lo que sé, la capa softmax es …

13 deep-learning  conv-neural-network 

¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de activación?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

¿Cómo se entrena la capa de incrustación en la capa de incrustación de Keras? (digamos que usa el tensorflow backend, lo que significa que es similar a word2vec, glove o fasttext) Supongamos que no utilizamos una incrustación preentrenada.

13 deep-learning  keras  word-embeddings 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 9 meses . Sé que hay muchas bibliotecas para el aprendizaje automático y el aprendizaje profundo como caffe, Theano, …

13 neural-networks  deep-learning  conv-neural-network 

La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que la máquina decida / diseñe qué arquitectura …

12 neural-networks  deep-learning 

Un extraño al campo ML / DL; comenzó el curso Udacity Deep Learning que se basa en Tensorflow; haciendo la tarea 3 problema 4; tratando de ajustar la velocidad de aprendizaje con la siguiente configuración: Tamaño de lote 128 Número de pasos: suficiente para llenar 2 épocas Tamaños de capas …

12 python  machine-learning  tensorflow  deep-learning 

Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como …

12 neural-networks  deep-learning  natural-language  backpropagation 

En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente intratable …

12 neural-networks  deep-learning  loss-functions 

Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte …

12 neural-networks  deep-learning 

Configuré una búsqueda de cuadrícula para un montón de parámetros. Estoy tratando de encontrar los mejores parámetros para una red neuronal Keras que hace una clasificación binaria. La salida es 1 o 0. Hay alrededor de 200 características. Cuando hice una búsqueda en la cuadrícula, obtuve un montón de modelos …

12 machine-learning  cross-validation  deep-learning  tensorflow  theano