Preguntas etiquetadas con deep-learning

Al Rahimi recientemente dio una charla muy provocativa en NIPS 2017 comparando el aprendizaje automático actual con la alquimia. Una de sus afirmaciones es que necesitamos volver a los desarrollos teóricos, tener teoremas simples que demuestren resultados fundamentales. Cuando dijo eso, comencé a buscar los teoremas principales para ML, pero …

45 machine-learning  deep-learning  theory 

Estoy tratando de entender la parte de convolución de las redes neuronales convolucionales. Mirando la siguiente figura: No tengo problemas para comprender la primera capa de convolución donde tenemos 4 núcleos diferentes (de tamaño ), que convolucionamos con la imagen de entrada para obtener 4 mapas de características.k×kk×kk \times k …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística Computacional. Navegué por la web como referencia y encontré …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Descubrí que Imagenet y otras CNN grandes utilizan capas de normalización de respuesta local. Sin embargo, no puedo encontrar tanta información sobre ellos. ¿Cuán importantes son y cuándo deben usarse? De http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "La capa de normalización de respuesta local realiza una especie de" inhibición lateral "al normalizar las regiones …

41 deep-learning  convolution  conv-neural-network 

Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de activación …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Estoy buscando un documento que pueda ayudar a dar una guía sobre cómo elegir los hiperparámetros de una arquitectura profunda, como codificadores automáticos apilados o redes de confianza profunda. Hay muchos hiperparámetros y estoy muy confundido sobre cómo elegirlos. Además, el uso de la validación cruzada no es una opción, …

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Un problema que he visto con frecuencia planteado en el contexto de las redes neuronales en general, y las redes neuronales profundas en particular, es que están "hambrientos de datos", es decir, no funcionan bien a menos que tengamos un gran conjunto de datos con el que entrenar a la …

37 neural-networks  deep-learning  regularization 

Estoy entrenando una red neuronal y la pérdida de entrenamiento disminuye, pero la pérdida de validación no lo hace, o disminuye mucho menos de lo que esperaría, en base a referencias o experimentos con arquitecturas y datos muy similares. ¿Cómo puedo arreglar esto? En cuanto a la pregunta ¿Qué debo …

37 neural-networks  deep-learning 

¿Cuál es la diferencia entre los términos "núcleo" y "filtro" en el contexto de las redes neuronales convolucionales?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Estoy creando una red neuronal convolucional (CNN), donde tengo una capa convolucional seguida de una capa de agrupación y quiero aplicar el abandono para reducir el sobreajuste. Tengo la sensación de que la capa de abandono debe aplicarse después de la capa de agrupación, pero realmente no tengo nada que …

35 deep-learning  conv-neural-network  dropout 

La codificación dispersa se define como el aprendizaje de un conjunto excesivo de vectores base para representar vectores de entrada (<- ¿por qué queremos esto?). ¿Cuáles son las diferencias entre codificación dispersa y autoencoder? ¿Cuándo utilizaremos codificación dispersa y autoencoder?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

¿Alguien ha visto alguna literatura sobre pre-entrenamiento en redes neuronales convolucionales profundas? Solo he visto pre-entrenamiento sin supervisión en autoencoder o máquinas boltzman restringidas.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Las computadoras han podido jugar al ajedrez durante mucho tiempo utilizando una técnica de "fuerza bruta", buscando a cierta profundidad y luego evaluando la posición. Sin embargo, la computadora AlphaGo solo usa un ANN para evaluar las posiciones (hasta donde yo sé, no realiza ninguna búsqueda profunda). ¿Es posible crear …

32 neural-networks  deep-learning  reinforcement-learning  games 

Fondo de introducción Dentro de una red neuronal convolucional, generalmente tenemos una estructura / flujo general que se ve así: imagen de entrada (es decir, un vector 2D x) (La primera capa convolucional (Conv1) comienza aquí ...) Convolucionar un conjunto de filtros ( w1) a lo largo de la imagen …

32 neural-networks  deep-learning  conv-neural-network 

Hinton y Salakhutdinov en la reducción de la dimensionalidad de los datos con redes neuronales, Science 2006 propusieron un PCA no lineal mediante el uso de un autoencoder profundo. He intentado construir y entrenar un codificador automático de PCA con Tensorflow varias veces, pero nunca he podido obtener un mejor …

31 pca  python  deep-learning  tensorflow  autoencoders