Preguntas etiquetadas con lstm

El LSTM se inventó específicamente para evitar el problema del gradiente de fuga. Se supone que debe hacer eso con el carrusel de error constante (CEC), que en el diagrama a continuación (de Greff et al. ) Corresponde al bucle alrededor de la celda . (fuente: deeplearning4j.org ) Y entiendo …

35 neural-networks  lstm 

He estado estudiando LSTM por un tiempo. Entiendo a alto nivel cómo funciona todo. Sin embargo, al implementarlos usando Tensorflow, he notado que BasicLSTMCell requiere un número de unidades (es decir num_units) parámetro. A partir de esta explicación muy detallada de los LSTM, he deducido que una sola unidad LSTM …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Mi pérdida de entrenamiento baja y luego vuelve a subir. Es muy raro La pérdida de validación cruzada rastrea la pérdida de entrenamiento. Que esta pasando? Tengo dos LSTMS apilados de la siguiente manera (en Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', …

26 machine-learning  neural-networks  loss-functions  lstm 

¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto porque …

25 classification  neural-networks  deep-learning  lstm  rnn 

Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de Purdue ha afirmado que las RNN y LSTM deben abandonarse en favor de …

23 time-series  deep-learning  lstm  rnn  attention 

Estoy tratando de usar el ejemplo descrito en la documentación de Keras llamada "Stacked LSTM para la clasificación de secuencia" (vea el código a continuación) y no puedo descifrar el input_shapeparámetro en el contexto de mis datos. Tengo como entrada una matriz de secuencias de 25 posibles caracteres codificados en …

20 lstm  keras  shape  dimensions 

Estoy tratando de entender las diferentes arquitecturas de redes neuronales recurrentes (RNN) que se aplicarán a los datos de series temporales y me estoy confundiendo un poco con los diferentes nombres que se usan con frecuencia al describir los RNN. ¿Es la estructura de la memoria a corto plazo (LSTM) …

20 neural-networks  lstm  rnn 

He estado usando theano para experimentar con LSTM y me preguntaba qué métodos de optimización (SGD, Adagrad, Adadelta, RMSprop, Adam, etc.) funcionan mejor para LSTM. ¿Hay trabajos de investigación sobre este tema? Además, ¿la respuesta depende del tipo de aplicación para la que estoy usando el LSTM? Si es así, …

20 machine-learning  neural-networks  optimization  lstm 

Recientemente me interesé en los LSTM y me sorprendió saber que los pesos se comparten a lo largo del tiempo. Sé que si comparte los pesos a lo largo del tiempo, sus secuencias de tiempo de entrada pueden ser de longitud variable. Con los pesos compartidos tiene muchos menos parámetros …

20 machine-learning  lstm  rnn 

Tengo un problema muy simple pero no puedo encontrar una herramienta adecuada para resolverlo. Tengo una secuencia de vectores de la misma longitud. Ahora me gustaría entrenar LSTM RNN en la muestra de tren de estas secuencias y luego hacer que prediga una nueva secuencia de vectores de longitud función …

19 neural-networks  python  lstm 

Estoy leyendo el siguiente blog sobre la red neuronal LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ El autor da nueva forma al vector de entrada X como [muestras, pasos de tiempo, características] para diferentes configuraciones de LSTM. El autor escribe De hecho, las secuencias de letras son pasos de tiempo de una característica en lugar …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estoy investigando el uso de una versión LSTM ( memoria a largo plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de la secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por …

15 neural-networks  deep-learning  lstm 

Estoy tratando de comprender la aplicación de alto nivel de los RNN para el etiquetado de secuencias a través (entre otros) del documento de Graves de 2005 sobre la clasificación de fonemas. Para resumir el problema: tenemos un gran conjunto de capacitación que consta de archivos de audio (de entrada) …

15 lstm  rnn 

¿Cómo entrenar el modelo LSTM en datos de series de tiempo múltiples? Caso de uso: Tengo ventas semanales de 20,000 agentes durante los últimos 5 años. Necesita pronosticar las próximas ventas semanales para cada agente. ¿Debo seguir una técnica de procesamiento por lotes: tomar un agente a la vez, entrenar …

14 machine-learning  time-series  statistical-significance  lstm  artificial-intelligence 

Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la precisión de …

13 deep-learning  regularization  overfitting  lstm