Preguntas etiquetadas con neural-networks

Aquí hay algo que leí en el libro de Ian Goodfellow Deep Learning . En el contexto de las redes neuronales, "la penalización de la norma del parámetro L2 se conoce comúnmente como pérdida de peso. Esta estrategia de regularización lleva los pesos más cerca del origen. [...] Más en …

11 machine-learning  neural-networks  deep-learning  regularization 

Estaba leyendo el documento de normalización por lotes [1] y tenía una sección donde se muestra un ejemplo, tratando de mostrar por qué la normalización debe hacerse con cuidado. Honestamente, no puedo entender cómo funciona el ejemplo y estoy realmente muy curioso por entender que se escriben tanto como puedo. …

11 machine-learning  neural-networks  conv-neural-network 

Recientemente, vimos la aparición de la Red Neural Residual, en la que cada capa consta de un módulo computacional y una conexión de acceso directo que preserva la entrada a la capa, como la salida de la capa i-ésima muestra: y i + 1 = c i + y i …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Estoy usando feed-forward NN. Entiendo el concepto, pero mi pregunta es sobre los pesos. ¿Cómo puedes interpretarlos, es decir, qué representan o cómo pueden ser no desechables (dados solo coeficientes de función)? He encontrado algo llamado "espacio de pesas", pero no estoy muy seguro de lo que significa.

11 neural-networks  weights 

Estoy tratando de usar una red neuronal para aproximar el valor Q en Q-learning como en Preguntas sobre Q-Learning usando redes neuronales . Como se sugiere en la primera respuesta, estoy usando una función de activación lineal para la capa de salida, mientras sigo usando la función de activación sigmoidea …

11 neural-networks  reinforcement-learning 

Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de codificación de uno …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Supongamos que quiero aprender un clasificador que toma un vector de números como entrada y le da una etiqueta de clase como salida. Mis datos de entrenamiento consisten en una gran cantidad de pares de entrada-salida. Sin embargo, cuando vengo a probar algunos datos nuevos, estos datos generalmente solo están …

11 machine-learning  classification  neural-networks  deep-learning 

Estoy tratando de usar el neuralnetpaquete de R (documentación aquí ) para la predicción. Aquí lo que estoy tratando de hacer: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~', paste(n[!n %in% …

11 r  neural-networks  prediction  error 

No estoy seguro de si esto es apropiado para este sitio, pero estoy comenzando mi MSE en ciencias de la computación (BS en matemáticas aplicadas) y quiero obtener una sólida formación en aprendizaje automático (lo más probable es que busque un doctorado). Uno de mis intereses secundarios son las redes …

11 machine-learning  neural-networks  mathematical-statistics  references 

Estoy luchando por hacer la conexión matemática entre una red neuronal y un modelo gráfico. En los modelos gráficos, la idea es simple: la distribución de probabilidad se factoriza de acuerdo con las camarillas en el gráfico, y los potenciales generalmente son de la familia exponencial. ¿Existe un razonamiento equivalente …

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

Me preguntaba si en algunas circunstancias es posible que ANN tenga un mejor rendimiento si elimina algunas conexiones como, por ejemplo: ¿Construir un ANN tomando dos ANN's de múltiples capas A y B en paralelo (mismos nodos de entrada y salida) agregando algunas conexiones de "comunicación" entre las capas ocultas …

11 classification  neural-networks 

La idea detrás de Recurrent Neural Network (RNN) es clara para mí. Lo entiendo de la siguiente manera: tenemos una secuencia de observaciones ( ) (o, en otras palabras, series de tiempo multivariadas). Cada observación individual es un vector numérico dimensional. Dentro del modelo RNN suponemos que la siguiente observación …

11 time-series  neural-networks  predictive-models  intuition  rnn 

¿Cómo puedo calcular el número de parámetros en una red neuronal artificial para calcular su AIC?

11 neural-networks  aic 

Al implementar un codificador automático con red neuronal, la mayoría de las personas usará sigmoide como la función de activación. ¿Podemos usar ReLU en su lugar? (Dado que ReLU no tiene límite en el límite superior, básicamente significa que la imagen de entrada puede tener píxeles mayores que 1, a …

11 machine-learning  neural-networks  deep-learning  autoencoders 

Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models