Preguntas etiquetadas con neural-networks

Mi pérdida de entrenamiento baja y luego vuelve a subir. Es muy raro La pérdida de validación cruzada rastrea la pérdida de entrenamiento. Que esta pasando? Tengo dos LSTMS apilados de la siguiente manera (en Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', …

26 machine-learning  neural-networks  loss-functions  lstm 

Estoy interesado en la regresión con redes neuronales. Las redes neuronales con cero nodos ocultos + conexiones de capa de salto son modelos lineales. ¿Qué pasa con las mismas redes neuronales pero con nodos ocultos? Me pregunto cuál sería el papel de las conexiones de salto de capa. Intuitivamente, diría …

26 regression  machine-learning  neural-networks  deep-learning 

Quiero usar el aprendizaje profundo en mi proyecto. Revisé un par de artículos y se me ocurrió una pregunta: ¿hay alguna diferencia entre la red neuronal de convolución y el aprendizaje profundo? ¿Son estas cosas iguales o tienen diferencias importantes, y cuál es mejor?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Me he estado preguntando, ¿por qué es tan importante tener un aprendizaje automático basado en principios / teórico? Desde una perspectiva personal como humano, puedo entender por qué el aprendizaje automático basado en principios sería importante: A los humanos les gusta entender lo que están haciendo, encontramos belleza y satisfacción …

25 machine-learning  neural-networks  conv-neural-network  theory 

Esta pregunta se migró de Stack Overflow porque se puede responder en Cross Validated. Migrado hace 7 años . Estoy tratando de aprender cómo funciona la red neuronal en el reconocimiento de imágenes. He visto algunos ejemplos y me confundo aún más. En el ejemplo del reconocimiento de letras de …

25 machine-learning  neural-networks  image-processing 

Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 2 años . Problema fundamental con el aprendizaje profundo y las redes neuronales …

25 machine-learning  neural-networks  svm  deep-learning 

Dada una función de costo convexo, usando SGD para la optimización, tendremos un gradiente (vector) en un cierto punto durante el proceso de optimización. Mi pregunta es, dado el punto en el convexo, ¿el gradiente solo apunta en la dirección en que la función aumenta / disminuye más rápido, o …

25 neural-networks  optimization  gradient-descent  sgd  convex 

¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto porque …

25 classification  neural-networks  deep-learning  lstm  rnn 

¿Por qué las funciones de activación de unidades lineales rectificadas (ReLU) se consideran no lineales? F( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Son lineales cuando la entrada es positiva y, según tengo entendido, para desbloquear el poder representativo de las redes profundas, las activaciones …

25 neural-networks  deep-learning 

¿Qué es un estudio de ablación? ¿Y hay una forma sistemática de realizarlo? Por ejemplo, tengo predictores en una regresión lineal que llamaré como mi modelo.nortenorten ¿Cómo realizaré un estudio de ablación para esto? ¿Qué métricas debo usar? Se agradecería una fuente completa o un libro de texto.

25 regression  machine-learning  neural-networks 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe cambiarse del valor …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Sé que mi pregunta / título no es muy específico, así que intentaré aclararlo: Las redes neuronales artificiales tienen diseños relativamente estrictos. Por supuesto, en general, están influenciados por la biología e intentan construir un modelo matemático de redes neuronales reales, pero nuestra comprensión de las redes neuronales reales es …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

Tengo 50,000 imágenes como estas dos: Representan gráficos de datos. Quería extraer características de estas imágenes, así que utilicé el código del codificador automático proporcionado por Theano (deeplearning.net). El problema es que estos autoencoders no parecen aprender ninguna característica. He intentado RBM y es lo mismo. El conjunto de datos …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

En Alex Krizhevsky, et al. La clasificación de Imagenet con redes neuronales convolucionales profundas enumera el número de neuronas en cada capa (ver el diagrama a continuación). La entrada de la red es de 150,528 dimensiones, y el número de neuronas en las capas restantes de la red viene dado …

24 neural-networks  deep-learning  conv-neural-network 

¿Cuál es la diferencia entre dropout y drop connect? AFAIK, el abandono abandona aleatoriamente los nodos ocultos durante el entrenamiento, pero los mantiene en las pruebas, y desconecta y desconecta las conexiones. Pero, ¿no es dejar caer conexiones equivalente a dejar caer los nodos ocultos? ¿No son los nodos (o …

24 neural-networks  dropout