Preguntas etiquetadas con deep-learning

Estoy entrenando una red neuronal pero la pérdida de entrenamiento no disminuye. ¿Cómo puedo arreglar esto? No estoy preguntando sobre el sobreajuste o la regularización. Estoy preguntando cómo resolver el problema donde el rendimiento de mi red no mejora en el conjunto de entrenamiento . Esta pregunta es intencionalmente general, …

148 neural-networks  deep-learning 

El estado del arte de la no linealidad es utilizar unidades lineales rectificadas (ReLU) en lugar de la función sigmoidea en la red neuronal profunda. ¿Cuáles son las ventajas? Sé que entrenar una red cuando se usa ReLU sería más rápido, y tiene más inspiración biológica, ¿cuáles son las otras …

141 machine-learning  neural-networks  deep-learning 

Recientemente he estado leyendo sobre el aprendizaje profundo y estoy confundido acerca de los términos (o decir tecnologías). Cuál es la diferencia entre Redes neuronales convolucionales (CNN), Máquinas de Boltzmann restringidas (RBM) y Codificadores automáticos?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

No he visto la pregunta precisamente en estos términos, y es por eso que hago una nueva pregunta. Lo que me interesa saber no es la definición de una red neuronal, sino comprender la diferencia real con una red neuronal profunda. Para más contexto: sé qué es una red neuronal …

114 neural-networks  deep-learning 

Actualmente estoy haciendo el Tutorial de aprendizaje profundo de Udacity. En la Lección 3, hablan sobre una convolución 1x1. Esta convolución 1x1 se usa en el Módulo de inicio de Google. Tengo problemas para entender qué es una convolución 1x1. También he visto esta publicación de Yann Lecun. ¿Alguien podría …

106 neural-networks  deep-learning  convolution  conv-neural-network 

Existen algunas variaciones sobre cómo normalizar las imágenes, pero la mayoría parece utilizar estos dos métodos: Reste la media por canal calculada sobre todas las imágenes (por ejemplo, VGG_ILSVRC_16_layers ) Reste por píxel / canal calculado sobre todas las imágenes (por ejemplo , CNN_S , también vea la red de …

88 deep-learning  image-processing 

En los últimos años, las redes neuronales convolucionales (o quizás redes neuronales profundas en general) se han vuelto cada vez más profundas, con redes de vanguardia que van de 7 capas ( AlexNet ) a 1000 capas ( Redes residuales) en el espacio de 4 años. La razón detrás del …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.kkk Pero esto parece innecesario. …

69 neural-networks  deep-learning  gradient-descent 

Tengo la impresión de que cuando las personas se refieren a una red de "creencias profundas", se trata básicamente de una red neuronal pero muy grande. ¿Es esto correcto o una red de creencias profundas también implica que el algoritmo en sí mismo es diferente (es decir, no alimenta la …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Me preguntaba si hay buenas bibliotecas R para redes neuronales de aprendizaje profundo. Sé que está el nnet,, neuralnety RSNNS, pero ninguno de estos parece implementar métodos de aprendizaje profundo. Estoy especialmente interesado en el aprendizaje no supervisado seguido del aprendizaje supervisado y en el uso de la deserción escolar …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Soy nuevo en el área de aprendizaje profundo y para mí el primer paso fue leer artículos interesantes del sitio deeplearning.net. En artículos sobre aprendizaje profundo, Hinton y otros hablan principalmente de aplicarlo a problemas de imagen. ¿Puede alguien intentar responderme? ¿Se puede aplicar al problema de predecir valores de …

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

En la mayoría de los códigos de Tensorflow, he visto que Adam Optimizer se usa con una tasa de aprendizaje constante de 1e-4(es decir, 0,0001). El código generalmente tiene el siguiente aspecto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Hay redes neuronales recurrentes y redes neuronales recursivas. Ambos generalmente se denotan con el mismo acrónimo: RNN. Según Wikipedia , los NN recurrentes son de hecho NN recursivos, pero realmente no entiendo la explicación. Además, no parece encontrar cuál es mejor (con ejemplos más o menos) para el procesamiento del …

48 machine-learning  neural-networks  deep-learning  natural-language 

En los últimos años, las redes neuronales convolucionales (CNN) se han convertido en el estado del arte para el reconocimiento de objetos en la visión por computadora. Por lo general, una CNN consta de varias capas convolucionales, seguidas de dos capas completamente conectadas. Una intuición detrás de esto es que …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

En una reciente publicación de blog de Rong Ge, se dijo que: Se cree que para muchos problemas, incluido el aprendizaje de redes profundas, casi todos los mínimos locales tienen un valor de función muy similar al óptimo global y, por lo tanto, encontrar un mínimo local es lo suficientemente …

46 machine-learning  neural-networks  optimization  deep-learning