Preguntas etiquetadas con neural-networks

A medida que profundizamos en la literatura sobre redes neuronales , podemos identificar otros métodos con topologías neuromórficas (arquitecturas similares a "redes neuronales"). Y no estoy hablando del teorema de aproximación universal . A continuación se dan ejemplos. Entonces, me hace preguntarme: ¿cuál es la definición de una red neuronal …

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

No he encontrado una respuesta satisfactoria a esto de google . Por supuesto, si los datos que tengo son del orden de millones, entonces el aprendizaje profundo es el camino. Y he leído que cuando no tengo grandes datos, tal vez sea mejor usar otros métodos en el aprendizaje automático. …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Estoy tratando de aprender a usar las redes neuronales. Estaba leyendo este tutorial . Después de ajustar una red neuronal en una serie temporal utilizando el valor en para predecir el valor en el autor obtiene el siguiente gráfico, donde la línea azul es la serie temporal, el verde es …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

¿En qué punto comenzamos a clasificar las redes neuronales de varias capas como redes neuronales profundas o para decirlo de otra manera? ¿Cuál es el número mínimo de capas en una red neuronal profunda?

15 machine-learning  neural-networks  deep-learning  terminology 

Cuando implementé el mini lote de gradiente decente, solo promedié los gradientes de todos los ejemplos en el lote de capacitación. Sin embargo, me di cuenta de que ahora la tasa de aprendizaje óptima es mucho más alta que para el gradiente en línea decente. Mi intuición es que esto …

15 neural-networks  gradient-descent  backpropagation 

Como seguimiento a Mi red neuronal ni siquiera puede aprender la distancia euclidiana , simplifiqué aún más y traté de entrenar una única ReLU (con peso aleatorio) en una sola ReLU. Esta es la red más simple que existe y, sin embargo, la mitad del tiempo no logra converger. Si …

15 machine-learning  neural-networks  optimization  keras 

¿Alguien puede decirme cómo se supone que debo construir una red neuronal utilizando el método por lotes? He leído que, en el modo por lotes, para todas las muestras en el conjunto de entrenamiento, calculamos el error, los delta y, por lo tanto, los pesos delta para cada neurona en …

15 machine-learning  neural-networks 

¿Cuál es la derivada de la función de activación ReLU definida como: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) ¿Qué pasa con el caso especial donde hay una discontinuidad en la función en ?x=0x=0x=0

15 self-study  neural-networks 

En el entrenamiento de mini lotes de una red neuronal, escuché que una práctica importante es mezclar los datos de entrenamiento antes de cada época. ¿Alguien puede explicar por qué ayuda el arrastrar los pies en cada época? En la búsqueda de google, encontré las siguientes respuestas: ayuda a que …

15 neural-networks 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Begnio, Goodfellow y Courtville: Adam incluye correcciones de sesgo a las estimaciones de los momentos de primer orden (el término de momento) y los momentos de segundo orden (no …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Los lugares que he estado leyendo sobre la maldición de la dimensionalidad lo explican conjuntamente con kNN principalmente, y los modelos lineales en general. Regularmente veo a los mejores clasificados en Kaggle usando miles de características en el conjunto de datos que apenas tiene 100k puntos de datos. Utilizan principalmente …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Tensorflow tiene un tutorial de ejemplo sobre la clasificación de CIFAR-10 . En el tutorial, la pérdida de entropía cruzada promedio en todo el lote se minimiza. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: …

15 neural-networks  loss-functions  tensorflow 

En las redes neuronales convolucionales (CNN), la matriz de pesos en cada paso cambia sus filas y columnas para obtener la matriz del núcleo, antes de continuar con la convolución. Esto se explica en una serie de videos de Hugo Larochelle aquí : Calcular los mapas ocultos correspondería a hacer …

14 machine-learning  neural-networks  conv-neural-network  convolution 

En una red neuronal recurrente, generalmente reenviaría la propagación a través de varios pasos de tiempo, "desenrollaría" la red y luego la propagación hacia atrás a través de la secuencia de entradas. ¿Por qué no simplemente actualizar los pesos después de cada paso individual en la secuencia? (el equivalente a …

14 time-series  neural-networks  backpropagation  rnn