Preguntas etiquetadas con overfitting

¿Existe una definición matemática o algorítmica de sobreajuste? Las definiciones que se proporcionan a menudo son el gráfico clásico de puntos en 2-D con una línea que pasa por cada punto y la curva de pérdida de validación que sube repentinamente. ¿Pero hay una definición matemáticamente rigurosa?

18 mathematical-statistics  optimization  overfitting 

Si tengo datos y ejecuto una clasificación (digamos bosque aleatorio en estos datos) con validación cruzada (digamos 5 veces), ¿podría concluir que no hay un ajuste excesivo en mi método?

17 cross-validation  overfitting 

Si bien los resultados del conjunto de prueba privado no se pueden utilizar para refinar aún más el modelo, ¿no se está seleccionando el modelo de una gran cantidad de modelos basados ​​en los resultados del conjunto de prueba privado? ¿No terminaría usted, solo a través de ese proceso, sobreadaptado …

16 model-selection  overfitting  out-of-sample 

Consideremos el problema de clasificar el conjunto de datos MNIST. Según la página web MNIST de Yann LeCun , 'Ciresan et al.' obtuvo una tasa de error del 0.23% en el conjunto de prueba MNIST usando la red neuronal convolucional. Denotemos el conjunto de entrenamiento MNIST como DtrainDtrainD_{train} , el …

16 machine-learning  classification  overfitting  probability-inequalities 

Digamos que tenemos un modelo mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different …

16 mixed-model  lme4-nlme  overfitting  singular 

Soy bastante nuevo en los bosques al azar. En el pasado, siempre he comparado la precisión del ajuste contra la prueba contra el ajuste contra el tren para detectar cualquier sobreajuste. Pero acabo de leer aquí que: "En bosques aleatorios, no hay necesidad de validación cruzada o un conjunto de …

15 cross-validation  random-forest  overfitting 

Actualmente estoy ajustando bosques aleatorios para un problema de clasificación usando el randomForestpaquete en R, y no estoy seguro de cómo informar un error de entrenamiento para estos modelos. Mi error de entrenamiento es cercano al 0% cuando lo calculo usando predicciones que obtengo con el comando: predict(model, data=X_train) ¿Dónde …

15 r  machine-learning  classification  random-forest  overfitting 

He escuchado la siguiente expresión antes: "La optimización es la raíz de todo mal en las estadísticas". Por ejemplo, la respuesta principal en este hilo hace esa declaración en referencia al peligro de optimizar demasiado agresivamente durante la selección del modelo. Mi primera pregunta es la siguiente: ¿Es esta cita …

14 cross-validation  optimization  overfitting 

Cuando eres tú quien hace el trabajo, al darte cuenta de lo que estás haciendo, desarrollas una sensación de cuándo has ajustado demasiado el modelo. Por un lado, puede seguir la tendencia o el deterioro en el cuadrado R ajustado del modelo. También puede realizar un seguimiento de un deterioro …

14 regression  multivariate-analysis  overfitting 

Parece que hay consejos contradictorios sobre cómo manejar la comparación entre el error del tren y la prueba, particularmente cuando hay una brecha entre los dos. Parece que hay dos escuelas de pensamiento que para mí parecen estar en conflicto. Estoy buscando entender cómo conciliar los dos (o entender lo …

14 cross-validation  overfitting 

Mi pregunta principal es con respecto a tratar de entender cómo encaja la validación cruzada k-fold en el contexto de tener conjuntos de capacitación / validación / prueba (si cabe en ese contexto). Por lo general, las personas hablan de dividir los datos en un conjunto de entrenamiento, validación y …

14 cross-validation  dataset  overfitting 

En mi opinión, los datos de entrada correlacionados deben conducir a un sobreajuste en las redes neuronales porque la red aprende la correlación, por ejemplo, el ruido en los datos. ¿Es esto correcto?

13 correlation  neural-networks  overfitting 

Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la precisión de …

13 deep-learning  regularization  overfitting  lstm 

Esto está al borde de una pregunta filosófica, pero estoy interesado en cómo piensan otros con más experiencia sobre la selección de distribución. En algunos casos parece claro que la teoría podría funcionar mejor (las longitudes de la cola de los ratones probablemente se distribuyen normalmente). En muchos casos, probablemente …

12 distributions  overfitting  heuristic 

En el libro PRML de Bishop, dice que el sobreajuste es un problema con la Estimación de máxima verosimilitud (MLE), y Bayesian puede evitarlo. Pero creo que el sobreajuste es un problema más sobre la selección del modelo, no sobre el método utilizado para hacer la estimación de parámetros. Es …

12 bayesian  model-selection  overfitting