Preguntas etiquetadas con deep-learning

¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto porque …

25 classification  neural-networks  deep-learning  lstm  rnn 

¿Por qué las funciones de activación de unidades lineales rectificadas (ReLU) se consideran no lineales? F( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Son lineales cuando la entrada es positiva y, según tengo entendido, para desbloquear el poder representativo de las redes profundas, las activaciones …

25 neural-networks  deep-learning 

Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las principales tareas de aprendizaje para las que se …

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe cambiarse del valor …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

En Alex Krizhevsky, et al. La clasificación de Imagenet con redes neuronales convolucionales profundas enumera el número de neuronas en cada capa (ver el diagrama a continuación). La entrada de la red es de 150,528 dimensiones, y el número de neuronas en las capas restantes de la red viene dado …

24 neural-networks  deep-learning  conv-neural-network 

Estoy tratando de entender mejor las redes neuronales convolucionales escribiendo mejor el código de Python que no depende de las bibliotecas (como Convnet o TensorFlow), y me estoy atascando en la literatura sobre cómo elegir valores para la matriz del núcleo, cuando realizando una convolución en una imagen. Estoy tratando …

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

Así que estoy tratando de hacer un entrenamiento previo en imágenes de humanos usando redes convolucionales. Leí los documentos ( Paper1 y Paper2 ) y este enlace de stackoverflow , pero no estoy seguro de entender la estructura de las redes (no está bien definido en los documentos). Preguntas: Puedo …

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de Purdue ha afirmado que las RNN y LSTM deben abandonarse en favor de …

23 time-series  deep-learning  lstm  rnn  attention 

¿Hay algún buen documento que cubra algunas formas metódicas de elegir las dimensiones de los filtros, agrupar las unidades y determinar el número de capas convolucionales?

22 neural-networks  deep-learning  conv-neural-network 

Estaba escuchando una charla y vi esta diapositiva: Que tan cierto es

22 deep-learning  deep-belief-networks 

Soy consciente de que ha habido muchos avances con respecto al reconocimiento de imágenes, clasificación de imágenes, etc. con redes neuronales profundas y convolucionales. Pero si entreno una red en, por ejemplo, imágenes PNG, ¿ solo funcionará para imágenes tan codificadas? ¿Qué otras propiedades de imagen afectan esto? (canal alfa, …

22 neural-networks  deep-learning  image-processing 

He estado trabajando con las redes neuronales convolucionales (CNN) durante algún tiempo, principalmente en datos de imágenes para la segmentación semántica / segmentación de instancias. A menudo he visualizado el softmax de la salida de la red como un "mapa de calor" para ver qué tan altas son las activaciones …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Fondo: Sí, la máquina de Boltzmann restringida (RBM) PUEDE usarse para iniciar los pesos de una red neuronal. También puede ser utilizado de una manera "capa por capa" para construir una red profunda creencia (es decir, para entrenar a un capa -ésima en la parte superior de ( n - …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para usar redes neuronales …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Definimos una arquitectura de cuello de botella como el tipo que se encuentra en el documento de ResNet donde [dos capas de conv 3x3] se reemplazan por [una 1x1 conv, una 3x3 conv, y otra 1x1 conv capa]. Entiendo que las capas conv 1x1 se usan como una forma de …

21 residuals  deep-learning  conv-neural-network