Preguntas etiquetadas con deep-learning

Estaba leyendo el documento de normalización de lotes (BN) (1) y no entendía la necesidad de usar promedios móviles para rastrear la precisión del modelo e incluso si aceptaba que era lo correcto, no entiendo qué están haciendo exactamente. Según tengo entendido (que puede estar equivocado), el documento menciona que …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

En aplicación de la Tensorflow ResNet , encuentro que utilizan la variación de escala inicializador, también encuentro Xavier inicializador es popular. No tengo mucha experiencia en esto, ¿qué es mejor en la práctica?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Con todos los medios de comunicación y exageraciones sobre el aprendizaje profundo en estos días, leí algunas cosas elementales al respecto. Acabo de descubrir que es solo otro método de aprendizaje automático para aprender patrones a partir de datos. Pero mi pregunta es: ¿dónde brilla y por qué brilla este …

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

Tengo un modelo de red neuronal profunda y necesito entrenarlo en mi conjunto de datos que consta de aproximadamente 100,000 ejemplos, mis datos de validación contienen aproximadamente 1000 ejemplos. Debido a que lleva tiempo entrenar cada ejemplo (alrededor de 0.5s para cada ejemplo) y para evitar el sobreajuste, me gustaría …

20 neural-networks  deep-learning 

En el entrenamiento de redes neuronales profundas y superficiales, ¿por qué los métodos de gradiente (p. Ej., Descenso de gradiente, Nesterov, Newton-Raphson) se usan comúnmente, en oposición a otras metaheurísticas? Por metaheurística me refiero a métodos como el recocido simulado, la optimización de colonias de hormigas, etc., que se desarrollaron …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Tengo curiosidad por saber qué tan importante es el nodo de sesgo para la efectividad de las redes neuronales modernas. Puedo entender fácilmente que puede ser importante en una red poco profunda con solo unas pocas variables de entrada. Sin embargo, las redes neuronales modernas, como en el aprendizaje profundo, …

19 neural-networks  deep-learning  bias-node 

Entiendo las capas convolucionales y de agrupación, pero no puedo ver la razón de una capa totalmente conectada en las CNN. ¿Por qué la capa anterior no está directamente conectada a la capa de salida?

19 neural-networks  deep-learning  conv-neural-network 

Entiendo la estructura básica del autoencoder variacional y el autoencoder normal (determinista) y las matemáticas detrás de ellos, pero ¿cuándo y por qué preferiría un tipo de autoencoder al otro? Todo lo que puedo pensar es que la distribución previa de variables latentes del autoencoder variacional nos permite muestrear las …

19 deep-learning  autoencoders  variational-bayes 

¿Hay alguna diferencia entre 'transferencia de aprendizaje' y 'adaptación de dominio'? No sé sobre el contexto, pero entiendo que tenemos un conjunto de datos 1 y lo entrenamos, después de lo cual tenemos otro conjunto de datos 2 para el que queremos adaptar nuestro modelo sin volver a entrenar desde …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Las redes neuronales convolucionales más comunes contienen capas de agrupación para reducir las dimensiones de las características de salida. ¿Por qué no podría lograr lo mismo simplemente aumentando el paso de la capa convolucional? ¿Qué hace necesaria la capa de agrupación?

18 deep-learning  conv-neural-network  pooling 

Mis profesores de física en la escuela de posgrado, así como el premio Noble Feynman, siempre presentaban lo que llamaban modelos de juguete para ilustrar conceptos y métodos básicos en física, como el oscilador armónico, el péndulo, la peonza y la caja negra. ¿Qué modelos de juguetes se utilizan para …

18 machine-learning  neural-networks  deep-learning 

Estoy buscando documentos o textos que comparen y discutan (ya sea empírica o teóricamente): Algoritmos de impulso y árboles de decisión como Random Forests o AdaBoost , y GentleBoost aplicado a los árboles de decisión. con Métodos de aprendizaje profundo como máquinas de Boltzmann restringidas , memoria temporal jerárquica , …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea exacta)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Definimos una época como haber pasado por la totalidad de todas las muestras de entrenamiento disponibles, y el tamaño del mini lote como el número de muestras sobre el que promediamos para encontrar las actualizaciones de pesos / sesgos necesarios para descender el gradiente. Mi pregunta es si deberíamos dibujar …

18 machine-learning  neural-networks  optimization  deep-learning 

Si tiene media página para explicar el abandono , ¿cómo procedería? ¿Cuál es la razón detrás de esta técnica?

17 neural-networks  deep-learning  regularization  dropout