Preguntas etiquetadas con rnn

Los RNN son notablemente buenos para capturar la dependencia temporal de los datos secuenciales. Sin embargo, ¿qué sucede cuando los elementos de secuencia no están igualmente espaciados en el tiempo? Por ejemplo, la primera entrada a la celda LSTM ocurre el lunes, luego no hay datos de martes a jueves, …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

La idea detrás de Recurrent Neural Network (RNN) es clara para mí. Lo entiendo de la siguiente manera: tenemos una secuencia de observaciones ( ) (o, en otras palabras, series de tiempo multivariadas). Cada observación individual es un vector numérico dimensional. Dentro del modelo RNN suponemos que la siguiente observación …

11 time-series  neural-networks  predictive-models  intuition  rnn 

Estoy trabajando en el documento Cho 2014 que introdujo la arquitectura codificador-decodificador para el modelado seq2seq. En el documento, parecen usar la probabilidad de la entrada dada de salida (o es la probabilidad de registro negativa) como la función de pérdida para una entrada de longitud M y salida y …

10 deep-learning  loss-functions  rnn 

Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo la …

10 neural-networks  deep-learning  regularization  rnn 

Como muchos otros lo han hecho, descubrí que los recursos aquí y aquí son inmensamente útiles para comprender las células LSTM. Estoy seguro de que entiendo cómo fluyen y se actualizan los valores, y estoy lo suficientemente seguro como para agregar las "conexiones de mirilla" mencionadas, etc. también. En mi …

9 machine-learning  neural-networks  lstm  rnn 

El título lo dice todo: ¿cuántos parámetros entrenables hay en una capa GRU? Este tipo de pregunta surge mucho cuando se intenta comparar modelos de diferentes tipos de capas RNN, como las unidades de memoria a largo plazo (LSTM) frente a GRU, en términos del rendimiento por parámetro. Dado que …

9 neural-networks  rnn  gru 

No estoy seguro de lo que entiendo de la documentación oficial, que dice: Devuelve: Un par (salidas, estado) donde: outputs: El tensor de salida RNN. Si time_major == False(por defecto), esta será la forma de un tensor: [batch_size, max_time, cell.output_size]. Si time_major == True, esta será una forma Tensor: [max_time, …

8 deep-learning  lstm  tensorflow  rnn  gru 

Es bastante intuitivo que la mayoría de las topologías / arquitecturas de redes neuronales no son identificables. Pero, ¿cuáles son algunos resultados bien conocidos en el campo? ¿Existen condiciones simples que permiten / evitan la identificabilidad? Por ejemplo, todas las redes con funciones de activación no lineales y más de …

8 neural-networks  conv-neural-network  rnn  identifiability 

Como calentamiento con redes neuronales recurrentes, estoy tratando de predecir una onda sinusoidal a partir de otra onda sinusoidal de otra frecuencia. Mi modelo es un RNN simple, su pase directo se puede expresar de la siguiente manera: rtzt= σ(Wyo n⋅Xt+Wr e c⋅rt - 1) )=Wo u t⋅rtrt=σ(Wyonorte⋅Xt+WrmiC⋅rt-1))zt=Wotut⋅rt \begin{aligned} r_t …

8 regression  time-series  neural-networks  deep-learning  rnn 

Supongamos que estoy alimentando una matriz 2D de forma (99,13) como entrada a una capa LSTM. Tengo un número n de archivos, donde cada uno contiene (99,13) vectores de tamaño. He decidido considerar 13 como la cantidad de funciones y 99 como los pasos de tiempo. (Mientras implementaba con Keras, …

8 machine-learning  lstm  rnn