Preguntas etiquetadas con model-selection

En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Hace unos días, un psicólogo-investigador mío me contó sobre su método para seleccionar variables al modelo de regresión lineal. Supongo que no es bueno, pero necesito pedirle a alguien más que se asegure. El metodo es: Observe la matriz de correlación entre todas las variables (incluida la variable dependiente Y) …

17 regression  correlation  model-selection 

Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Acabo de encontrarme con el "criterio de información de Akaike", y noté esta gran cantidad de literatura sobre la selección de modelos (también parecen existir cosas como BIC). ¿Por qué los métodos modernos de aprendizaje automático no aprovechan estos criterios de selección de modelos BIC y AIC?

16 machine-learning  model-selection  aic  bic 

Si bien los resultados del conjunto de prueba privado no se pueden utilizar para refinar aún más el modelo, ¿no se está seleccionando el modelo de una gran cantidad de modelos basados ​​en los resultados del conjunto de prueba privado? ¿No terminaría usted, solo a través de ese proceso, sobreadaptado …

16 model-selection  overfitting  out-of-sample 

Esta es una publicación larga, así que espero que puedan tener paciencia conmigo, y corríjanme donde estoy equivocado. Mi objetivo es producir un pronóstico diario basado en 3 o 4 semanas de datos históricos. Los datos son datos de 15 minutos de la carga local de una de las líneas …

16 forecasting  arima  model-selection  seasonality  fourier-transform 

Si ajusta una función no lineal a un conjunto de puntos (suponiendo que solo haya una ordenada para cada abscisa), el resultado puede ser: Una función muy compleja con pequeños residuos. una función muy simple con grandes residuos La validación cruzada se usa comúnmente para encontrar el "mejor" compromiso entre …

16 model-selection  cross-validation 

Después de buscar una aclaración sobre los coeficientes del modelo lineal aquí , tengo una pregunta de seguimiento relativa a los no significativos (valor p alto) para los coeficientes de los niveles de factores. Ejemplo: si mi modelo lineal incluye un factor con 10 niveles, y solo 3 de esos …

15 statistical-significance  linear-model  model-selection  regression-coefficients  regression-strategies 

Me he estado preguntando, ¿por qué los métodos de selección de modelos LASSO y LARS son tan populares a pesar de que son básicamente variaciones de la selección progresiva (y por lo tanto sufren de dependencia de ruta)? Del mismo modo, ¿por qué los métodos de General a Específico (GETS) …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Tengo un experimento que intentaré resumir aquí. Imagina que arrojo tres piedras blancas frente a ti y te pido que juzgues su posición. Grabo una variedad de propiedades de las piedras y su respuesta. Hago esto en varias materias. Genero dos modelos. Una es que la piedra más cercana a …

15 r  mixed-model  model-selection 

Realicé un CV de 5 veces para seleccionar la K óptima para KNN. Y parece que cuanto más grande se hace K, más pequeño es el error ... Lo siento, no tenía una leyenda, pero los diferentes colores representan diferentes pruebas. Hay 5 en total y parece que hay poca …

15 model-selection  k-nearest-neighbour 

No soy demasiado bueno en estadísticas, así que disculpa si esta es una pregunta simplista. Estoy ajustando una curva a algunos datos, y en ocasiones los datos de mi mejor encaja una exponencial negativa en la forma , y, a veces el ajuste es más cercano a un * e …

15 variance  model-selection  python  curve-fitting  covariance-matrix 

¿Hay resultados analíticos o documentos experimentales con respecto a la elección óptima del coeficiente del término de penalización ℓ1ℓ1\ell_1 ? Por óptimo , me refiero a un parámetro que maximiza la probabilidad de seleccionar el mejor modelo, o que minimiza la pérdida esperada. Pregunto porque a menudo no es práctico …

15 model-selection  lasso  shrinkage 

Estoy analizando un conjunto de datos utilizando un modelo de efectos mixtos con un efecto fijo (condición) y dos efectos aleatorios (participante debido al diseño del sujeto y al par). El modelo se ha generado con el lme4paquete: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). A continuación, realicé una prueba de razón de probabilidad de este …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

He entrenado dos modelos (clasificadores binarios usando h2o AutoML) y quiero seleccionar uno para usar. Tengo los siguientes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Las columnas aucy loglossson las métricas de validación cruzada (la …

15 model-selection  validation  auc  gini  log-loss