Preguntas etiquetadas con neural-networks

En general, ¿debería volver a entrenar mi red neuronal con menos neuronas para que tenga menos neuronas ReLU muertas? He leído opiniones contradictorias sobre ReLU muertos. Algunas fuentes dicen que los ReLU muertos son buenos porque fomentan la escasez. Otros dicen que son malos porque los ReLU muertos están muertos …

8 machine-learning  neural-networks  conv-neural-network 

Como calentamiento con redes neuronales recurrentes, estoy tratando de predecir una onda sinusoidal a partir de otra onda sinusoidal de otra frecuencia. Mi modelo es un RNN simple, su pase directo se puede expresar de la siguiente manera: rtzt= σ(Wyo n⋅Xt+Wr e c⋅rt - 1) )=Wo u t⋅rtrt=σ(Wyonorte⋅Xt+WrmiC⋅rt-1))zt=Wotut⋅rt \begin{aligned} r_t …

8 regression  time-series  neural-networks  deep-learning  rnn 

He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

He comenzado a leer sobre redes neuronales recurrentes (RNN) y memoria a corto plazo (LSTM) ... (... oh, no hay suficientes puntos de representación aquí para enumerar referencias ...) Una cosa que no entiendo: siempre parece que las neuronas en cada instancia de una capa oculta se "conectan completamente" con …

8 machine-learning  neural-networks  backpropagation 

Me pregunto sobre las diferencias. Según mi entendimiento, MLP es un tipo de redes neuronales, donde la función de activación es sigmoidea, y el término de error es error de entropía cruzada (logística). Buscando ayuda, gracias!

8 neural-networks  perceptron 

He estado estudiando la teoría detrás de ANNs últimamente y quería entender la 'magia' detrás de su capacidad de clasificación no lineal de múltiples clases. Esto me llevó a este sitio web que hace un buen trabajo al explicar geométricamente cómo se logra esta aproximación. Así es como lo entendí …

8 machine-learning  neural-networks  approximation  intuition  function 

https://www.tensorflow.org/ Todos los proyectos en TensorFlow que he visto en GitHub implementan algún tipo de modelo de red neuronal. Dado que TensorFlow es una mejora con respecto al DAG (ya no es acíclico), me preguntaba si alguna deficiencia inherente lo hace inadecuado para el modelo general de aprendizaje automático. En …

8 machine-learning  neural-networks  deep-learning  supervised-learning  tensorflow 

Hice una red neuronal convolucional y quería comprobar que mis gradientes se calculan correctamente utilizando la comprobación numérica de gradiente. La pregunta es, ¿qué tan cerca está lo suficientemente cerca? Mi función de verificación solo escupe la derivada calculada, la derivada aproximada numéricamente, la diferencia entre los dos y si …

8 neural-networks  conv-neural-network  gradient 

Descripción del problema Estoy comenzando la construcción de la red para un problema que creo podría tener una función de pérdida mucho más perspicaz que una simple regresión de MSE. Mi problema trata con la clasificación de varias categorías ( vea mi pregunta sobre SO para saber a qué me …

8 neural-networks  loss-functions 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 4 años . Estoy trabajando en algunos puntos de referencia de redes neuronales y tardan mucho tiempo en terminar. …

8 r  neural-networks 

Soy nuevo en el aprendizaje profundo, por lo que esta podría ser una pregunta trivial. Pero me pregunto por qué el aprendizaje profundo (o red neuronal) no funciona muy bien en datos pequeños etiquetados. Cualesquiera que sean los trabajos de investigación que he leído, sus conjuntos de datos son enormes. …

8 neural-networks  deep-learning 

Estoy tratando de entender cómo se pueden usar los rnn para predecir secuencias trabajando con un ejemplo simple. Aquí está mi red simple, que consta de una entrada, una neurona oculta y una salida: La neurona oculta es la función sigmoidea, y se considera que la salida es una salida …

8 machine-learning  neural-networks  deep-learning  gradient-descent 

He estado tratando de averiguar qué significa exactamente la función de activación "Maxout" en las redes neuronales. Existe esta pregunta, este documento e incluso en el libro Deep Learning de Bengio et al. , excepto con solo un poco de información y un gran TODO al lado. Usaré la notación …

8 machine-learning  neural-networks 

Estoy tratando de entender por qué la función softmax se define como tal: mizjΣKk = 1mizk= σ(z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Entiendo cómo esto normaliza los datos y se asigna correctamente a algún rango (0, 1), pero la diferencia entre las probabilidades de peso varía exponencialmente en lugar de linealmente. ¿Hay …

8 probability  neural-networks  softmax 

Tengo datos que describen con qué frecuencia tiene lugar un evento durante una hora ("número por hora", nph) y cuánto duran los eventos ("duración en segundos por hora", dph). Estos son los datos originales: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution