Preguntas etiquetadas con rnn

¿Cuál es la diferencia entre una red neuronal recurrente y de retroalimentación ? ¿Por qué usarías uno sobre el otro? ¿Existen otras topologías de red?

59 machine-learning  neural-networks  terminology  rnn  topologies 

He estado estudiando LSTM por un tiempo. Entiendo a alto nivel cómo funciona todo. Sin embargo, al implementarlos usando Tensorflow, he notado que BasicLSTMCell requiere un número de unidades (es decir num_units) parámetro. A partir de esta explicación muy detallada de los LSTM, he deducido que una sola unidad LSTM …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Recientemente leí que una red neuronal recurrente puede aproximarse a cualquier algoritmo. Entonces mi pregunta es: ¿qué significa esto exactamente y me puede dar una referencia donde esto se pruebe?

28 references  rnn 

¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto porque …

25 classification  neural-networks  deep-learning  lstm  rnn 

Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de Purdue ha afirmado que las RNN y LSTM deben abandonarse en favor de …

23 time-series  deep-learning  lstm  rnn  attention 

Esta pregunta ya tiene respuestas aquí : ¿Cómo puede ser positivo el cambio en la función de costos? (1 respuesta) ¿Qué debo hacer cuando mi red neuronal no aprende? (5 respuestas) Cerrado el mes pasado . Estoy entrenando un modelo (red neuronal recurrente) para clasificar 4 tipos de secuencias. Mientras …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Estoy tratando de entender las diferentes arquitecturas de redes neuronales recurrentes (RNN) que se aplicarán a los datos de series temporales y me estoy confundiendo un poco con los diferentes nombres que se usan con frecuencia al describir los RNN. ¿Es la estructura de la memoria a corto plazo (LSTM) …

20 neural-networks  lstm  rnn 

Recientemente me interesé en los LSTM y me sorprendió saber que los pesos se comparten a lo largo del tiempo. Sé que si comparte los pesos a lo largo del tiempo, sus secuencias de tiempo de entrada pueden ser de longitud variable. Con los pesos compartidos tiene muchos menos parámetros …

20 machine-learning  lstm  rnn 

RNN se puede utilizar para la predicción, o el mapeo secuencia a secuencia. Pero, ¿cómo se puede usar RNN para la clasificación? Quiero decir, le damos a una secuencia completa una etiqueta.

19 machine-learning  neural-networks  rnn 

Estoy leyendo el siguiente blog sobre la red neuronal LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ El autor da nueva forma al vector de entrada X como [muestras, pasos de tiempo, características] para diferentes configuraciones de LSTM. El autor escribe De hecho, las secuencias de letras son pasos de tiempo de una característica en lugar …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estoy buscando hacer un proyecto de reconocimiento óptico de caracteres (OCR). Después de investigar un poco, me he encontrado con una arquitectura que parece interesante: CNN + RNN + CTC. Estoy familiarizado con las redes neuronales contorneadas (CNN) y las redes neuronales recurrentes (RNN), pero ¿qué es la Clasificación temporal …

15 machine-learning  deep-learning  conv-neural-network  rnn 

Estoy tratando de comprender la aplicación de alto nivel de los RNN para el etiquetado de secuencias a través (entre otros) del documento de Graves de 2005 sobre la clasificación de fonemas. Para resumir el problema: tenemos un gran conjunto de capacitación que consta de archivos de audio (de entrada) …

15 lstm  rnn 

En una red neuronal recurrente, generalmente reenviaría la propagación a través de varios pasos de tiempo, "desenrollaría" la red y luego la propagación hacia atrás a través de la secuencia de entradas. ¿Por qué no simplemente actualizar los pesos después de cada paso individual en la secuencia? (el equivalente a …

14 time-series  neural-networks  backpropagation  rnn 

Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM …

13 neural-networks  lstm  rnn  backpropagation 

¿Qué problemas de entrada secuenciales son los más adecuados para cada uno? ¿La dimensionalidad de entrada determina cuál es una mejor coincidencia? ¿Los problemas que requieren "memoria más larga" son más adecuados para un LSTM RNN, mientras que los problemas con patrones de entrada cíclicos (mercado de valores, clima) se …

13 time-series  neural-networks  hidden-markov-model  rnn