Ciencia de los datos deep-learning

5

¿Cuál es el problema de "ReLU moribundo" en las redes neuronales?

En referencia a las notas del curso de Stanford sobre Redes neuronales convolucionales para el reconocimiento visual , un párrafo dice: "Desafortunadamente, las unidades ReLU pueden ser frágiles durante el entrenamiento y pueden" morir ". Por ejemplo, un gran gradiente que fluye a través de una neurona ReLU podría hacer …

119 machine-learning neural-network deep-learning

6

¿Cuándo usar GRU sobre LSTM?

La diferencia clave entre un GRU y un LSTM es que un GRU tiene dos compuertas ( restablecer y actualizar compuertas) mientras que un LSTM tiene tres compuertas (es decir , compuertas de entrada , salida y olvido ). ¿Por qué hacemos uso de GRU cuando claramente tenemos más control …

95 neural-network deep-learning

8

Elegir una tasa de aprendizaje

Actualmente estoy trabajando en implementar el Descenso de gradiente estocástico SGD, para redes neuronales que usan propagación hacia atrás, y aunque entiendo su propósito, tengo algunas preguntas sobre cómo elegir valores para la tasa de aprendizaje. ¿La tasa de aprendizaje está relacionada con la forma del gradiente de error, ya …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

¿Cómo visualizas las arquitecturas de redes neuronales?

Al escribir un artículo / hacer una presentación sobre un tema que trata sobre redes neuronales, generalmente se visualiza la arquitectura de redes. ¿Cuáles son las formas buenas / simples de visualizar arquitecturas comunes automáticamente?

80 machine-learning neural-network deep-learning visualization

5

¿Cómo dibujar diagramas de arquitectura de red de aprendizaje profundo?

He construido mi modelo. Ahora quiero dibujar el diagrama de arquitectura de red para mi trabajo de investigación. El ejemplo se muestra a continuación:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Predicción de series de tiempo usando ARIMA vs LSTM

El problema con el que estoy lidiando es predecir valores de series de tiempo. Estoy viendo una serie de tiempo a la vez y, por ejemplo, en base al 15% de los datos de entrada, me gustaría predecir sus valores futuros. Hasta ahora me he encontrado con dos modelos: LSTM …

64 time-series deep-learning rnn prediction

2

¿Cuándo usar (Él o Glorot) la inicialización normal sobre init uniforme? ¿Y cuáles son sus efectos con Batch Normalization?

Sabía que Residual Network (ResNet) hizo popular la inicialización normal. En ResNet, se usa la inicialización normal de He , mientras que la primera capa usa la inicialización uniforme de He. He revisado el papel de ResNet y el documento "Profundizando en los rectificadores" (papel de inicialización de He), pero …

51 neural-network deep-learning normalization

3

Cómo luchar contra la ropa interior en una red neuronal profunda

Cuando comencé con las redes neuronales artificiales (NN) pensé que tendría que luchar contra el sobreajuste como el principal problema. Pero en la práctica ni siquiera puedo lograr que mi NN pase la barrera de la tasa de error del 20%. ¡Ni siquiera puedo superar mi puntaje en un bosque …

50 neural-network deep-learning

3

Número de parámetros en un modelo LSTM

¿Cuántos parámetros tiene un único LSTM apilado? El número de parámetros impone un límite inferior en el número de ejemplos de entrenamiento requeridos y también influye en el tiempo de entrenamiento. Por lo tanto, conocer el número de parámetros es útil para entrenar modelos que usan LSTM.

43 deep-learning rnn

4

Agregar características al modelo de serie temporal LSTM

He estado leyendo un poco sobre LSTM y su uso para series de tiempo y ha sido interesante pero difícil al mismo tiempo. Una cosa que he tenido dificultades para comprender es el enfoque para agregar características adicionales a lo que ya es una lista de características de series temporales. …

43 machine-learning neural-network deep-learning time-series

4

¿Por qué el tamaño del mini lote es mejor que un solo "lote" con todos los datos de entrenamiento?

A menudo leo que en el caso de los modelos de Deep Learning, la práctica habitual es aplicar mini lotes (generalmente uno pequeño, 32/64) durante varias épocas de entrenamiento. Realmente no puedo entender la razón detrás de esto. A menos que me equivoque, el tamaño del lote es el número …

40 machine-learning deep-learning

3

¿El batch_size en Keras tiene algún efecto en la calidad de los resultados?

Estoy a punto de entrenar una gran red LSTM con 2-3 millones de artículos y estoy luchando con errores de memoria (uso AWS EC2 g2x2large). Descubrí que una solución es reducir el batch_size. Sin embargo, no estoy seguro de si este parámetro solo está relacionado con problemas de eficiencia de …

38 deep-learning keras

3

¿Cuál es la diferencia entre "equivalente a la traducción" e "invariante a la traducción"

Tengo problemas para entender la diferencia entre equivalente a traducción e invariante a traducción . En el libro Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville e Y. Bengio), uno puede encontrar en las redes convolucionales: [...] la forma particular de compartir parámetros hace que la capa tenga …

38 neural-network deep-learning convolution

13

Citas divertidas relacionadas con la ciencia de datos

Se ha acostumbrado a los usuarios de diferentes comunidades a citar cosas divertidas sobre sus campos. ¡Puede ser divertido compartir sus cosas divertidas sobre Machine Learning, Deep Learning, Data Science y las cosas que enfrenta todos los días!

35 machine-learning neural-network deep-learning

6

Explicación de la pérdida de entropía cruzada

Supongamos que construyo un NN para la clasificación. La última capa es una capa densa con activación softmax. Tengo cinco clases diferentes para clasificar. Supongamos que para un solo ejemplo de entrenamiento, el true labeles [1 0 0 0 0]mientras las predicciones sean [0.1 0.5 0.1 0.1 0.2]. ¿Cómo calcularía …

35 machine-learning deep-learning

Preguntas etiquetadas con deep-learning