Preguntas etiquetadas con neural-networks

Los RNN son notablemente buenos para capturar la dependencia temporal de los datos secuenciales. Sin embargo, ¿qué sucede cuando los elementos de secuencia no están igualmente espaciados en el tiempo? Por ejemplo, la primera entrada a la celda LSTM ocurre el lunes, luego no hay datos de martes a jueves, …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que la máquina decida / diseñe qué arquitectura …

12 neural-networks  deep-learning 

Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como …

12 neural-networks  deep-learning  natural-language  backpropagation 

Entonces, al mirar las redes neuronales de la función de base radial, me di cuenta de que las personas solo recomiendan el uso de 1 capa oculta, mientras que con las redes neuronales de perceptrón multicapa, más capas se consideran mejores. Dado que las redes RBF se pueden entrenar con …

12 machine-learning  neural-networks  rbf-network 

Recientemente leí algunos artículos sobre la red neuronal bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que proporciona una relación de probabilidad entre la entrada y la salida en una red neuronal. La capacitación de una red neuronal de este tipo es a través de MCMC, que es diferente del …

12 bayesian  neural-networks  bayesian-network 

¿Hay alguna diferencia entre los términos "red neuronal" y "perceptrón"?

12 machine-learning  neural-networks  terminology  perceptron 

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Descripción: Deje que el dominio del problema sea la clasificación de documentos donde existe un conjunto de vectores de características, cada uno de los cuales pertenece a 1 o más clases. Por ejemplo, un documento doc_1puede pertenecer a Sportsy Englishcategorías. Pregunta: Usando la red neuronal para la clasificación, ¿cuál sería …

12 machine-learning  neural-networks  natural-language  multilabel 

En el curso de aprendizaje automático de Stanford, Andrew Ng mencionó la aplicación de ML en TI. Algún tiempo después, cuando obtuve DDoS de tamaño moderado (alrededor de 20k bots) en nuestro sitio, decidí luchar contra él usando un simple clasificador de red neuronal. Escribí este script de Python en …

12 classification  neural-networks  unsupervised-learning 

En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente intratable …

12 neural-networks  deep-learning  loss-functions 

En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: …

12 neural-networks  overfitting  underdetermined 

Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte …

12 neural-networks  deep-learning 

Si procesamos digamos 10 ejemplos en un lote, entiendo que podemos sumar la pérdida para cada ejemplo, pero ¿cómo funciona la propagación hacia atrás en relación con la actualización de los pesos para cada ejemplo? Por ejemplo: Ejemplo 1 -> pérdida = 2 Ejemplo 2 -> pérdida = -2 Esto …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization