Preguntas etiquetadas con deep-learning

En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la propagación …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje profundo, sin embargo, parecen no …

14 machine-learning  deep-learning  optimization  gradient-descent 

Todos los ejemplos que encontré usando creencias profundas o redes neuronales convolucionales las usan para la clasificación de imágenes, detección de caracteres o reconocimiento de voz. ¿Las redes neuronales profundas también son útiles para las tareas de regresión clásicas, donde las características no están estructuradas (por ejemplo, no están organizadas …

14 regression  machine-learning  neural-networks  deep-learning 

Digamos que estoy escribiendo un algoritmo para construir un autoencoder apilado de 2 capas y una red neuronal de 2 capas. ¿Son las mismas cosas o diferencias? Lo que entiendo es que cuando construyo un codificador automático apilado, construiría capa por capa. Para la red neuronal, inicializaría todos los parámetros …

14 neural-networks  deep-learning  autoencoders 

Si tengo una red neuronal convolucional (CNN), que tiene aproximadamente 1,000,000 de parámetros, ¿cuántos datos de entrenamiento se necesitan (supongo que estoy haciendo un descenso de gradiente estocástico)? ¿Hay alguna regla general? Notas adicionales: cuando realicé el descenso de gradiente estocástico (por ejemplo, 64 parches para 1 iteración), después de …

14 machine-learning  neural-networks  deep-learning  conv-neural-network 

Esto se refiere al documento Localización eficiente de objetos mediante redes convolucionales , y por lo que entiendo, el abandono se implementa en 2D. Después de leer el código de Keras sobre cómo se implementa el Dropout 2D espacial, básicamente se implementa una máscara binaria aleatoria de forma [batch_size, 1, …

14 machine-learning  deep-learning  tensorflow  dropout 

Particularmente en el contexto de las competencias de kaggle, he notado que el rendimiento del modelo tiene que ver con la selección de características / ingeniería. Si bien puedo entender completamente por qué sucede esto cuando se trata de los algoritmos ML más convencionales / de la vieja escuela, no …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

¿Qué es el aprendizaje profundo bayesiano y cómo se relaciona con las estadísticas bayesianas tradicionales y el aprendizaje profundo tradicional? ¿Cuáles son los principales conceptos y matemáticas involucrados? ¿Podría decir que son solo estadísticas bayesianas no paramétricas? ¿Cuáles son sus trabajos fundamentales, así como sus principales desarrollos y aplicaciones actuales? …

13 bayesian  deep-learning 

En el documento de 2015 de DeepMind sobre el aprendizaje de refuerzo profundo, afirma que "Los intentos anteriores de combinar RL con redes neuronales habían fracasado en gran medida debido al aprendizaje inestable". Luego, el documento enumera algunas causas de esto, en función de las correlaciones entre las observaciones. ¿Podría …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

He leído algunos documentos sobre la creación manual de imágenes para "engañar" a una red neuronal (ver más abajo). ¿Es esto porque las redes solo modelan la probabilidad condicional ? Si una red puede modelar la probabilidad conjunta , ¿seguirán ocurriendo estos casos?p ( yEl | x)pag(yEl |X)p(y|x)p ( y, …

13 machine-learning  neural-networks  deep-learning 

Quiero saber qué es y en qué se diferencia del ensamblaje. Supongamos que quiero lograr una alta precisión en la clasificación y segmentación, para una tarea específica, si utilizo diferentes redes, como CNN, RNN, etc. para lograr esto, ¿se llama esto un modelo de extremo a extremo? (arquitectura?) o no?

13 machine-learning  terminology  deep-learning 

Antecedentes: recientemente entendí en un nivel más profundo la importancia del aumento de datos al entrenar redes neuronales convolucionales después de ver esta excelente charla de Geoffrey Hinton . Explica que las redes neuronales convolucionales de la generación actual no pueden generalizar el marco de referencia del objeto bajo prueba, …

13 machine-learning  deep-learning 

Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la precisión de …

13 deep-learning  regularization  overfitting  lstm 

Estaba leyendo el libro de Yoshua Bengio sobre aprendizaje profundo y dice en la página 224: Las redes convolucionales son simplemente redes neuronales que usan la convolución en lugar de la multiplicación matricial general en al menos una de sus capas. sin embargo, no estaba 100% seguro de cómo "reemplazar …

13 machine-learning  neural-networks  deep-learning  convolution