Preguntas etiquetadas con backpropagation

Esta es una pequeña pregunta conceptual que me ha estado molestando por un tiempo: ¿Cómo podemos propagarnos a través de una capa de agrupación máxima en una red neuronal? Me encontré con capas de agrupación máxima mientras revisaba este tutorial para la biblioteca nn de Torch 7. La biblioteca abstrae …

62 neural-network  backpropagation 

He estado usando redes neuronales por un tiempo ahora. Sin embargo, una cosa con la que lucho constantemente es la selección de un optimizador para entrenar la red (usando backprop). Lo que generalmente hago es comenzar con uno (por ejemplo, SGD estándar) y luego probar otros más de manera bastante …

18 neural-network  optimization  backpropagation 

Tengo algunas dificultades para derivar la propagación hacia atrás con ReLU, e hice algo de trabajo, pero no estoy seguro de si estoy en el camino correcto. Función de costo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2, dondeyyyes el valor real, y Y es un valor predicho. También suponga quex> 0 siempre.y^y^\hat yxxx 1 capa …

17 neural-network  backpropagation 

¿Prepararé mi LSTM si lo entreno a través del enfoque de ventana deslizante? ¿Por qué la gente no parece usarlo para LSTM? Para un ejemplo simplificado, suponga que tenemos que predecir la secuencia de caracteres: A B C D E F G H I J K L M N O …

15 lstm  backpropagation  mini-batch-gradient-descent 

Tengo la siguiente CNN: Comienzo con una imagen de entrada de tamaño 5x5 Luego aplico convolución usando kernel 2x2 y stride = 1, que produce un mapa de características de tamaño 4x4. Luego aplico 2x2 max-pooling con stride = 2, que reduce el mapa de características al tamaño 2x2. Luego …

15 machine-learning  convnet  backpropagation  cnn  kernel 

Tengo una pequeña subpregunta a esta pregunta . Entiendo que cuando se propaga hacia atrás a través de una capa de agrupación máxima, el gradiente se enruta de manera que la neurona en la capa anterior que se seleccionó como máxima obtiene todo el gradiente. De lo que no estoy …

13 machine-learning  neural-network  convnet  backpropagation 

Estoy tratando de averiguar cuántos pesos y sesgos se necesitan para CNN. Digamos que tengo una imagen (3, 32, 32) y quiero aplicar un filtro (32, 5, 5). Para cada mapa de características tengo 5x5 pesos, por lo que debería tener 3 x (5x5) x 32 parámetros. Ahora necesito agregar …

11 deep-learning  convnet  backpropagation 

Supongamos que estamos utilizando un tamaño de lote de 100 muestras para el aprendizaje. Entonces, en cada lote, el peso de cada neurona (y sesgo, etc.) se actualiza agregando el menos de la tasa de aprendizaje * el valor de error promedio que encontramos usando las 100 muestras * la …

10 neural-network  deep-learning  backpropagation 

Tengo dos tensor a:[batch_size, dim] b:[batch_size, dim]. Quiero hacer un producto interno para cada par en el lote, generando c:[batch_size, 1], dónde c[i,0]=a[i,:].T*b[i,:]. ¿Cómo?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Puedo ver dos motivos para usar degradados sintéticos en RNN: Para acelerar el entrenamiento, corrigiendo inmediatamente cada capa con gradiente predicho Para poder aprender secuencias más largas Veo problemas con los dos. Tenga en cuenta que realmente me gustan los degradados sintéticos y me gustaría implementarlos. Pero necesito entender dónde …

8 backpropagation 

Recientemente hice una tarea donde tuve que aprender un modelo para la clasificación de 10 dígitos del MNIST. El HW tenía un código de andamiaje y se suponía que debía trabajar en el contexto de este código. Mi tarea funciona / pasa las pruebas, pero ahora estoy tratando de hacerlo …

8 backpropagation 

Es un hecho bien conocido que una red de 1 capa no puede predecir la función xor, ya que no es separable linealmente. Intenté crear una red de 2 capas, utilizando la función sigmoide logística y el backprop, para predecir xor. Mi red tiene 2 neuronas (y un sesgo) en …

8 neural-network  backpropagation