Preguntas etiquetadas con regularization

Si eliminar algunas neuronas da como resultado un modelo de mejor rendimiento, ¿por qué no utilizar una red neuronal más simple con menos capas y menos neuronas en primer lugar? ¿Por qué construir un modelo más grande y complicado al principio y suprimir partes de él más tarde?

13 machine-learning  deep-learning  keras  regularization  dropout 

Realizando un modelo de regresión lineal usando una función de pérdida, ¿por qué debería usar lugar de L 2 regularización?L1L1L_1L2L2L_2 ¿Es mejor prevenir el sobreajuste? ¿Es determinista (por lo que siempre es una solución única)? ¿Es mejor en la selección de características (porque produce modelos dispersos)? ¿Dispersa los pesos entre …

10 linear-regression  regularization 

Tengo dos tensor a:[batch_size, dim] b:[batch_size, dim]. Quiero hacer un producto interno para cada par en el lote, generando c:[batch_size, 1], dónde c[i,0]=a[i,:].T*b[i,:]. ¿Cómo?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Al entrenar redes neuronales, hay al menos 4 formas de regularizar la red: L1 Regularización Regularización L2 Abandonar Normalización de lote Además, por supuesto, otras cosas como compartir el peso y reducir el número de conexiones, lo que podría no ser regularización en el sentido más estricto. Pero, ¿cómo elegir …

9 neural-network  regularization 

¿Hay algún documento publicado que muestre diferencias en los métodos de regularización para redes neuronales, preferiblemente en diferentes dominios (o al menos diferentes conjuntos de datos)? Lo pregunto porque actualmente tengo la sensación de que la mayoría de las personas parecen usar solo el abandono para la regularización en la …

9 neural-network  computer-vision  convnet  regularization  dropout