Ciencia de los datos neural-network

10

Recientemente leí Redes totalmente convolucionales para la segmentación semántica por Jonathan Long, Evan Shelhamer, Trevor Darrell. No entiendo qué hacen las "capas deconvolucionales" / cómo funcionan. La parte relevante es 3.3. El muestreo ascendente es una convolución hacia atrás Otra forma de conectar salidas gruesas a píxeles densos es la …

188 neural-network convnet convolution

17

La mejor biblioteca de python para redes neuronales

Estoy usando redes neuronales para resolver diferentes problemas de aprendizaje automático. Estoy usando Python y pybrain pero esta biblioteca está casi descontinuada. ¿Hay otras buenas alternativas en Python?

130 machine-learning python neural-network

5

¿Cuál es el problema de "ReLU moribundo" en las redes neuronales?

En referencia a las notas del curso de Stanford sobre Redes neuronales convolucionales para el reconocimiento visual , un párrafo dice: "Desafortunadamente, las unidades ReLU pueden ser frágiles durante el entrenamiento y pueden" morir ". Por ejemplo, un gran gradiente que fluye a través de una neurona ReLU podría hacer …

119 machine-learning neural-network deep-learning

6

¿Cuándo usar GRU sobre LSTM?

La diferencia clave entre un GRU y un LSTM es que un GRU tiene dos compuertas ( restablecer y actualizar compuertas) mientras que un LSTM tiene tres compuertas (es decir , compuertas de entrada , salida y olvido ). ¿Por qué hacemos uso de GRU cuando claramente tenemos más control …

95 neural-network deep-learning

8

Elegir una tasa de aprendizaje

Actualmente estoy trabajando en implementar el Descenso de gradiente estocástico SGD, para redes neuronales que usan propagación hacia atrás, y aunque entiendo su propósito, tengo algunas preguntas sobre cómo elegir valores para la tasa de aprendizaje. ¿La tasa de aprendizaje está relacionada con la forma del gradiente de error, ya …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

¿Cómo visualizas las arquitecturas de redes neuronales?

Al escribir un artículo / hacer una presentación sobre un tema que trata sobre redes neuronales, generalmente se visualiza la arquitectura de redes. ¿Cuáles son las formas buenas / simples de visualizar arquitecturas comunes automáticamente?

80 machine-learning neural-network deep-learning visualization

5

¿Cómo dibujar diagramas de arquitectura de red de aprendizaje profundo?

He construido mi modelo. Ahora quiero dibujar el diagrama de arquitectura de red para mi trabajo de investigación. El ejemplo se muestra a continuación:

78 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop a través de Max-Pooling Layers?

Esta es una pequeña pregunta conceptual que me ha estado molestando por un tiempo: ¿Cómo podemos propagarnos a través de una capa de agrupación máxima en una red neuronal? Me encontré con capas de agrupación máxima mientras revisaba este tutorial para la biblioteca nn de Torch 7. La biblioteca abstrae …

62 neural-network backpropagation

4

¿Cómo son las convoluciones 1x1 lo mismo que una capa completamente conectada?

Recientemente leí el comentario de Yan LeCuns sobre convoluciones 1x1 : En las redes convolucionales, no existen las "capas completamente conectadas". Solo hay capas de convolución con núcleos de convolución 1x1 y una tabla de conexión completa. Es un hecho que rara vez se entiende que ConvNets no necesita tener …

55 neural-network convnet

3

RNN vs CNN a un alto nivel

He estado pensando en las redes neuronales recurrentes (RNN) y sus variedades y las redes neuronales convolucionales (CNN) y sus variedades. ¿Sería justo decir estos dos puntos: Use CNN para dividir un componente (como una imagen) en subcomponentes (como un objeto en una imagen, como el contorno del objeto en …

53 machine-learning neural-network beginner

2

¿Cuándo usar (Él o Glorot) la inicialización normal sobre init uniforme? ¿Y cuáles son sus efectos con Batch Normalization?

Sabía que Residual Network (ResNet) hizo popular la inicialización normal. En ResNet, se usa la inicialización normal de He , mientras que la primera capa usa la inicialización uniforme de He. He revisado el papel de ResNet y el documento "Profundizando en los rectificadores" (papel de inicialización de He), pero …

51 neural-network deep-learning normalization

3

Cómo luchar contra la ropa interior en una red neuronal profunda

Cuando comencé con las redes neuronales artificiales (NN) pensé que tendría que luchar contra el sobreajuste como el principal problema. Pero en la práctica ni siquiera puedo lograr que mi NN pase la barrera de la tasa de error del 20%. ¡Ni siquiera puedo superar mi puntaje en un bosque …

50 neural-network deep-learning

4

Redes neuronales: ¿qué función de costo usar?

Estoy usando TensorFlow para experimentos principalmente con redes neuronales. Aunque he realizado bastantes experimentos (XOR-Problema, MNIST, algunas cosas de Regresión, ...) ahora, me cuesta elegir la función de costo "correcta" para problemas específicos porque en general podría ser considerado un principiante. Antes de venir a TensorFlow, codifiqué algunos MLP completamente …

49 machine-learning python neural-network statistics tensorflow

4

Agregar características al modelo de serie temporal LSTM

He estado leyendo un poco sobre LSTM y su uso para series de tiempo y ha sido interesante pero difícil al mismo tiempo. Una cosa que he tenido dificultades para comprender es el enfoque para agregar características adicionales a lo que ya es una lista de características de series temporales. …

43 machine-learning neural-network deep-learning time-series

1

¿Cuál es la diferencia entre LeakyReLU y PReLU?

f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, sin embargo, tiene ambas funciones en los documentos . Fuga ReLU Fuente de LeakyReLU : return K.relu(inputs, alpha=self.alpha) Por lo tanto (ver código ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) - \alpha \max(0, -x) …

42 neural-network

Preguntas etiquetadas con neural-network