Preguntas etiquetadas con batch-normalization

Entonces, recientemente hay un documento de Normalización de capa . También hay una implementación en Keras. Pero recuerdo que hay documentos titulados Recurrent Batch Normalization (Cooijmans, 2016) y Batch Normalized Recurrent Neural Networks (Laurent, 2015). ¿Cuál es la diferencia entre esos tres? Existe esta sección de Trabajo relacionado que no …

30 deep-learning  rnn  normalization  batch-normalization 

La normalización por lotes se describe en este documento como una normalización de la entrada a una función de activación con variables de escala y desplazamientoγγ\gamma y ββ\beta. Este artículo describe principalmente el uso de la función de activación sigmoidea, que tiene sentido. Sin embargo, me parece que alimentar una …

10 machine-learning  neural-network  deep-learning  batch-normalization 

La normalización por lotes y ReLU son soluciones al problema del gradiente de fuga. Si estamos usando la normalización por lotes, ¿deberíamos usar sigmoides? ¿O hay características de ReLU que hacen que valga la pena incluso cuando se usa batchnorm? Supongo que la normalización realizada en batchnorm enviará cero activaciones …

9 deep-learning  batch-normalization 

En el documento Normalización de lotes: aceleración de la capacitación en redes profundas mediante la reducción del cambio de covariable interno ( aquí ) Antes de explicar el proceso de normalización de lotes, el documento intenta explicar los problemas relacionados con (no entiendo cuál es el problema exacto que se …

8 neural-network  deep-learning  batch-normalization