Preguntas etiquetadas con batch-normalization

Estaba leyendo el documento de normalización de lotes (BN) (1) y no entendía la necesidad de usar promedios móviles para rastrear la precisión del modelo e incluso si aceptaba que era lo correcto, no entiendo qué están haciendo exactamente. Según tengo entendido (que puede estar equivocado), el documento menciona que …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Según tengo entendido, la norma de lote normaliza todas las características de entrada a una capa a una unidad de distribución normal, . La media y la varianza se estiman midiendo sus valores para el mini lote actual.norte( μ = 0 , σ= 1 )norte(μ=0 0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Después …

11 batch-normalization 

Quería entrenar una red con no linealidades que sufren el desvanecimiento (o el problema de gradiente explosivo, aunque principalmente se desvanecen). Sé que la forma estándar (actual) es usar la normalización por lotes 1 [BN] 1 o simplemente abandonar la no linealidad y usar las unidades ReLu Rectifier / ReLu …

8 machine-learning  neural-networks  conv-neural-network  batch-normalization