Preguntas etiquetadas con neural-network

La pregunta original se refería específicamente a las implementaciones de TensorFlow. Sin embargo, las respuestas son para implementaciones en general. Esta respuesta general también es la respuesta correcta para TensorFlow. Cuando utilizo la normalización y abandono por lotes en TensorFlow (específicamente usando contrib.layers), ¿debo preocuparme por el pedido? Parece posible …

116 python  neural-network  tensorflow  conv-neural-network 

Estoy tratando de entender el argumento de pasos en tf.nn.avg_pool, tf.nn.max_pool, tf.nn.conv2d. La documentación dice repetidamente zancadas: una lista de entradas que tiene una longitud> = 4. La zancada de la ventana deslizante para cada dimensión del tensor de entrada. Mis preguntas son: ¿Qué representan cada uno de los 4+ …

115 python  neural-network  convolution  tensorflow  conv-neural-network 

Estoy leyendo la documentación de PyTorch y encontré un ejemplo donde escriben gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) donde x era una variable inicial, a partir de la cual se construyó y (un 3-vector). La pregunta es, ¿cuáles son los argumentos 0.1, 1.0 y 0.0001 del tensor de gradientes? …

112 neural-network  gradient  pytorch  torch  gradient-descent 

Recientemente me encontré con tf.nn.sparse_softmax_cross_entropy_with_logits y no puedo entender cuál es la diferencia en comparación con tf.nn.softmax_cross_entropy_with_logits . ¿Es la única diferencia que los vectores de entrenamiento ytienen que codificarse en un solo uso cuando se usan sparse_softmax_cross_entropy_with_logits? Al leer la API, no pude encontrar ninguna otra diferencia en comparación …

111 neural-network  tensorflow  softmax  cross-entropy 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 6 años . Mejora esta pregunta Estoy realmente interesado en las redes neuronales artificiales, pero …

109 neural-network 

Intento entender los LSTM y cómo construirlos con Keras. Descubrí que existen principalmente los 4 modos para ejecutar un RNN (los 4 correctos en la imagen) Fuente de la imagen: Andrej Karpathy Ahora me pregunto cómo se vería un fragmento de código minimalista para cada uno de ellos en Keras. …

108 machine-learning  neural-network  deep-learning  keras  recurrent-neural-network 

Estoy tratando de comprender el papel de la Flattenfunción en Keras. A continuación se muestra mi código, que es una red simple de dos capas. Toma datos bidimensionales de forma (3, 2) y genera datos unidimensionales de forma (1, 4): model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', …

108 machine-learning  tensorflow  neural-network  deep-learning  keras 

¿Cómo inicializar los pesos y los sesgos (por ejemplo, con la inicialización de He o Xavier) en una red en PyTorch?

106 python  neural-network  deep-learning  pytorch 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 6 horas . Mejora esta pregunta Estoy tratando de construir una red neuronal desde cero. …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

Si tenemos 10 vectores propios, entonces podemos tener 10 nodos neuronales en la capa de entrada. Si tenemos 5 clases de salida, entonces podemos tener 5 nodos en la capa de salida. Pero, ¿cuál es el criterio para elegir el número de capas ocultas en un MLP y cuántos neurales? …

104 machine-learning  neural-network  deep-learning  perceptron 

Me preguntaba si era posible guardar un modelo Keras parcialmente entrenado y continuar el entrenamiento después de cargar el modelo nuevamente. La razón de esto es que tendré más datos de entrenamiento en el futuro y no quiero volver a entrenar todo el modelo. Las funciones que estoy usando son: …

98 python  tensorflow  neural-network  keras  resuming-training 

Tengo un ejemplo de una red neuronal con dos capas. La primera capa toma dos argumentos y tiene una salida. El segundo debe tomar un argumento como resultado de la primera capa y un argumento adicional. Debería verse así: x1 x2 x3 \ / / y1 / \ / y2 …

96 python  machine-learning  keras  neural-network 

Encontré en muchos códigos de redes neuronales disponibles implementados con TensorFlow que los términos de regularización a menudo se implementan agregando manualmente un término adicional al valor de pérdida. Mis preguntas son: ¿Existe una forma de regularización más elegante o recomendada que hacerlo manualmente? También encuentro que get_variabletiene un argumento …

94 python  neural-network  tensorflow  deep-learning 

Estaba revisando este ejemplo de un modelo de lenguaje LSTM en github (enlace) . Lo que hace en general me queda bastante claro. Pero todavía estoy luchando por entender qué contiguous()hace la llamada , lo que ocurre varias veces en el código. Por ejemplo, en la línea 74/75 de la …

90 neural-network  deep-learning  lstm  pytorch  contiguous 

He notado que se NANestá introduciendo una ocurrencia frecuente durante el entrenamiento . A menudo, parece ser introducido por pesos en capas de producto interno / completamente conectadas o de convolución que explotan. ¿Esto ocurre porque el cálculo del gradiente está explotando? ¿O se debe a la inicialización del peso …

85 machine-learning  neural-network  deep-learning  caffe  gradient-descent