Preguntas etiquetadas con lstm

Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto, ¿debería …

13 classification  neural-networks  deep-learning  lstm 

Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM …

13 neural-networks  lstm  rnn  backpropagation 

Los RNN son notablemente buenos para capturar la dependencia temporal de los datos secuenciales. Sin embargo, ¿qué sucede cuando los elementos de secuencia no están igualmente espaciados en el tiempo? Por ejemplo, la primera entrada a la celda LSTM ocurre el lunes, luego no hay datos de martes a jueves, …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

El LSTM en el siguiente código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) puede ser representado como Entiendo que cuando llamamos a model.predict(np.array([[[1],[2],[3],[4]]]))la (única) unidad LSTM, primero se procesa el vector [1], luego [2] más la retroalimentación de la entrada anterior y así sucesivamente …

12 machine-learning  neural-networks  lstm  keras 

Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente frecuencia en los datos de …

11 natural-language  word2vec  lstm  word-embeddings 

Me preguntaba cuál es la mejor manera de inicializar el estado para LSTM. Actualmente solo lo inicializo a todos ceros. Realmente no puedo encontrar nada en línea sobre cómo inicializarlo. Una cosa que estaba pensando hacer es hacer que el estado inicial sea un parámetro entrenable. ¿Algún consejo?

10 neural-networks  lstm 

Como muchos otros lo han hecho, descubrí que los recursos aquí y aquí son inmensamente útiles para comprender las células LSTM. Estoy seguro de que entiendo cómo fluyen y se actualizan los valores, y estoy lo suficientemente seguro como para agregar las "conexiones de mirilla" mencionadas, etc. también. En mi …

9 machine-learning  neural-networks  lstm  rnn 

El problema con el que estoy lidiando es predecir valores de series de tiempo. Estoy mirando una serie de tiempo a la vez y, por ejemplo, en base al 15% de los datos de entrada, me gustaría predecir sus valores futuros. Hasta ahora me he encontrado con dos modelos: LSTM …

9 time-series  forecasting  references  arima  lstm 

Suponga la siguiente secuencia unidimensional: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Las letras A, B, C, ..aquí representan eventos 'ordinarios'. Los símbolos #, $, %, ...aquí representan eventos 'especiales' El espacio temporal entre todos los eventos no es uniforme (cualquier …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Estoy tratando de entender la arquitectura de los RNN. He encontrado este tutorial que ha sido muy útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagen: ¿Cómo encaja esto en una red de retroalimentación? ¿Es esta imagen solo otro nodo en cada capa?

9 neural-networks  lstm 

No estoy seguro de lo que entiendo de la documentación oficial, que dice: Devuelve: Un par (salidas, estado) donde: outputs: El tensor de salida RNN. Si time_major == False(por defecto), esta será la forma de un tensor: [batch_size, max_time, cell.output_size]. Si time_major == True, esta será una forma Tensor: [max_time, …

8 deep-learning  lstm  tensorflow  rnn  gru 

Mi red neuronal recurrente (LSTM, resp. GRU) se comporta de una manera que no puedo explicar. El entrenamiento comienza y se entrena bien (los resultados se ven bastante bien) cuando de repente cae la precisión (y la pérdida aumenta rápidamente) , tanto las métricas de entrenamiento como de prueba. A …

8 neural-networks  lstm  gru 

Supongamos que estoy alimentando una matriz 2D de forma (99,13) como entrada a una capa LSTM. Tengo un número n de archivos, donde cada uno contiene (99,13) vectores de tamaño. He decidido considerar 13 como la cantidad de funciones y 99 como los pasos de tiempo. (Mientras implementaba con Keras, …

8 machine-learning  lstm  rnn