Preguntas etiquetadas con conv-neural-network

Estoy aprendiendo sobre el aprendizaje profundo (específicamente CNN) y cómo normalmente requiere una gran cantidad de datos para evitar el sobreajuste. Sin embargo, también me han dicho que cuanto mayor capacidad / más parámetros tiene un modelo, más datos se requieren para evitar el sobreajuste. Por lo tanto, mi pregunta …

9 machine-learning  neural-networks  deep-learning  conv-neural-network 

Entiendo cómo funciona la convolución, pero no entiendo cómo se aplican las convoluciones 1D a los datos 2D. En este ejemplo, puede ver una convolución 2D en datos 2D. Pero, ¿cómo sería si hubiera una convolución 1D? ¿Solo un kernel 1D deslizándose de la misma manera? ¿Y si el paso …

9 conv-neural-network 

Estoy tratando de entender mejor los campos receptivos de CNN. Para hacerlo, me gustaría calcular el campo receptivo de cada neurona en LeNet. Para un MLP normal es bastante fácil (ver http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), pero es más difícil calcular el campo receptivo de una neurona en una capa que sigue una …

9 deep-learning  conv-neural-network 

En CNN, aprenderemos los filtros para producir el mapa de características en la capa convolucional. En Autoencoder, la única unidad oculta de cada capa se puede considerar como filtro. ¿Cuál es la diferencia entre los filtros aprendidos en estas dos redes?

9 machine-learning  neural-networks  conv-neural-network  autoencoders 

Estoy usando el modelo preformado de TensorFlow de la red neuronal convolucional. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Encontré la siguiente oración: Sin embargo, para tareas de predicción densas, recomendamos que se utilicen entradas con dimensiones espaciales que sean múltiplos de 32 más 1, por ejemplo, [321, 321]. ¿Alguien sabe cuál es la predicción densa …

9 neural-networks  conv-neural-network 

Es bastante intuitivo que la mayoría de las topologías / arquitecturas de redes neuronales no son identificables. Pero, ¿cuáles son algunos resultados bien conocidos en el campo? ¿Existen condiciones simples que permiten / evitan la identificabilidad? Por ejemplo, todas las redes con funciones de activación no lineales y más de …

8 neural-networks  conv-neural-network  rnn  identifiability 

Quería entrenar una red con no linealidades que sufren el desvanecimiento (o el problema de gradiente explosivo, aunque principalmente se desvanecen). Sé que la forma estándar (actual) es usar la normalización por lotes 1 [BN] 1 o simplemente abandonar la no linealidad y usar las unidades ReLu Rectifier / ReLu …

8 machine-learning  neural-networks  conv-neural-network  batch-normalization 

En general, ¿debería volver a entrenar mi red neuronal con menos neuronas para que tenga menos neuronas ReLU muertas? He leído opiniones contradictorias sobre ReLU muertos. Algunas fuentes dicen que los ReLU muertos son buenos porque fomentan la escasez. Otros dicen que son malos porque los ReLU muertos están muertos …

8 machine-learning  neural-networks  conv-neural-network 

Hice una red neuronal convolucional y quería comprobar que mis gradientes se calculan correctamente utilizando la comprobación numérica de gradiente. La pregunta es, ¿qué tan cerca está lo suficientemente cerca? Mi función de verificación solo escupe la derivada calculada, la derivada aproximada numéricamente, la diferencia entre los dos y si …

8 neural-networks  conv-neural-network  gradient