Preguntas etiquetadas con dropout

¿Hay alguna guía general sobre dónde colocar capas de abandono en una red neuronal?

65 neural-networks  dropout 

Estoy creando una red neuronal convolucional (CNN), donde tengo una capa convolucional seguida de una capa de agrupación y quiero aplicar el abandono para reducir el sobreajuste. Tengo la sensación de que la capa de abandono debe aplicarse después de la capa de agrupación, pero realmente no tengo nada que …

35 deep-learning  conv-neural-network  dropout 

¿Cuál es la diferencia entre dropout y drop connect? AFAIK, el abandono abandona aleatoriamente los nodos ocultos durante el entrenamiento, pero los mantiene en las pruebas, y desconecta y desconecta las conexiones. Pero, ¿no es dejar caer conexiones equivalente a dejar caer los nodos ocultos? ¿No son los nodos (o …

24 neural-networks  dropout 

Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para usar redes neuronales …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Si tiene media página para explicar el abandono , ¿cómo procedería? ¿Cuál es la razón detrás de esta técnica?

17 neural-networks  deep-learning  regularization  dropout 

Esto se refiere al documento Localización eficiente de objetos mediante redes convolucionales , y por lo que entiendo, el abandono se implementa en 2D. Después de leer el código de Keras sobre cómo se implementa el Dropout 2D espacial, básicamente se implementa una máscara binaria aleatoria de forma [batch_size, 1, …

14 machine-learning  deep-learning  tensorflow  dropout 

Hay tantas técnicas de regularización que no es práctico probar todas las combinaciones: l1 / l2 norma máxima abandonar parada temprana ... Parece que la mayoría de las personas están contentas con una combinación de abandono escolar y parada temprana: ¿hay casos en los que tenga sentido usar otras técnicas? …

9 neural-networks  regularization  dropout 

Cuando se aplica el abandono en redes neuronales artificiales, uno debe compensar el hecho de que en el momento del entrenamiento una parte de las neuronas se desactivaron. Para hacerlo, existen dos estrategias comunes: escalar la activación en el momento de la prueba invertir el abandono durante la fase de …

9 neural-networks  deep-learning  dropout 

Tengo la siguiente configuración para un proyecto de investigación de Finanzas / Aprendizaje automático en mi universidad: estoy aplicando una Red neuronal (profunda) (MLP) con la siguiente estructura en Keras / Theano para distinguir las existencias con mejor rendimiento (etiqueta 1) de las existencias con bajo rendimiento ( etiqueta 0). …

8 machine-learning  neural-networks  deep-learning  regularization  dropout