Preguntas etiquetadas con backpropagation

Al inicializar los pesos de conexión en una red neuronal de avance, es importante inicializarlos aleatoriamente para evitar cualquier simetría que el algoritmo de aprendizaje no pueda romper. La recomendación que he visto en varios lugares (por ejemplo, en el tutorial MNIST de TensorFlow ) es usar la distribución normal …

13 neural-networks  backpropagation  weights  truncated-normal 

Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM …

13 neural-networks  lstm  rnn  backpropagation 

La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como …

12 neural-networks  deep-learning  natural-language  backpropagation 

Si procesamos digamos 10 ejemplos en un lote, entiendo que podemos sumar la pérdida para cada ejemplo, pero ¿cómo funciona la propagación hacia atrás en relación con la actualización de los pesos para cada ejemplo? Por ejemplo: Ejemplo 1 -> pérdida = 2 Ejemplo 2 -> pérdida = -2 Esto …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Actualmente estoy trabajando en un software de reconocimiento de rostros que utiliza redes neuronales de convolución para reconocer rostros. Basado en mis lecturas, he deducido que una red neuronal convolucional ha compartido pesos, para ahorrar tiempo durante el entrenamiento. Pero, ¿cómo se adapta la propagación hacia atrás para que pueda …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Me preguntaba si era posible entrenar un SVM (digamos uno lineal, para facilitar las cosas) usando la propagación hacia atrás. Actualmente, estoy en un obstáculo, porque solo puedo pensar en escribir la salida del clasificador como f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Por lo tanto, cuando intentamos calcular …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Entiendo que el entrenamiento previo se usa para evitar algunos de los problemas con la capacitación convencional. Si uso la retropropagación con, por ejemplo, un codificador automático, sé que voy a encontrar problemas de tiempo porque la retropropagación es lenta, y también que puedo quedar atrapado en los óptimos locales …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

De este video de Andrew Ng alrededor de las 5:00 ¿Cómo se y ? De hecho, ¿qué significa ? se obtiene al comparar con y, no es posible tal comparación para la salida de una capa oculta, ¿verdad?δ3δ3\delta_3δ2δ2\delta_2δ3δ3\delta_3δ4δ4\delta_4

10 machine-learning  neural-networks  backpropagation 

Estoy pasando por los problemas en los problemas de asignación escrita de la clase de aprendizaje profundo de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Estoy tratando de entender la respuesta para 3a donde están buscando la derivada del vector para la palabra central. Suponga que se le da un vector de palabras pronosticado …

9 self-study  neural-networks  backpropagation  word2vec 

He comenzado a leer sobre redes neuronales recurrentes (RNN) y memoria a corto plazo (LSTM) ... (... oh, no hay suficientes puntos de representación aquí para enumerar referencias ...) Una cosa que no entiendo: siempre parece que las neuronas en cada instancia de una capa oculta se "conectan completamente" con …

8 machine-learning  neural-networks  backpropagation 

Estoy usando dos perceptrones de múltiples capas de avance de 3 capas (MLP). Con los mismos datos de entrada (14 neuronas de entrada), hago una clasificación (verdadero / falso) y una regresión (si es verdadera, "cuánto") ¹. Hasta ahora, he usado perezosamente Patternnet y Fitnet de Matlabs , respectivamente. Perezosamente, …

8 regression  machine-learning  backpropagation