Preguntas etiquetadas con cross-validation

En su artículo Linear Model Selection by Cross-Validation , Jun Shao muestra que para el problema de la selección de variables en la regresión lineal multivariante, el método de validación cruzada de dejar-fuera-fuera (LOOCV) es 'asintóticamente inconsistente'. En inglés simple, tiende a seleccionar modelos con demasiadas variables. En un estudio …

22 classification  model-selection  cross-validation 

Tengo entendido que incluso cuando se siguen los procedimientos adecuados de validación cruzada y selección de modelos, se producirá un sobreajuste si se busca un modelo lo suficientemente difícil , a menos que se impongan restricciones en la complejidad del modelo, punto. Además, a menudo las personas intentan aprender las …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Nota: El caso es n >> p Estoy leyendo Elementos de aprendizaje estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada (por ejemplo, página 60, página 245). Específicamente, mi pregunta es ¿cómo evaluar el modelo final (sin un conjunto de pruebas separado) usando k-fold CV …

21 machine-learning  model-selection  data-mining  cross-validation 

He estado leyendo sobre la validación de k-fold, y quiero asegurarme de que entiendo cómo funciona. Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba solo se usa al final para evaluar el rendimiento del modelo, mientras que el conjunto …

21 cross-validation  validation  out-of-sample 

Ejecuté una validación cruzada 10 veces en diferentes algoritmos de clasificación binaria, con el mismo conjunto de datos, y recibí resultados promediados Micro y Macro. Cabe mencionar que este fue un problema de clasificación de etiquetas múltiples. En mi caso, los verdaderos negativos y los verdaderos positivos se ponderan por …

21 machine-learning  cross-validation 

Sé que realizar el ajuste de hiperparámetros fuera de la validación cruzada puede conducir a estimaciones sesgadas de validez externa, porque el conjunto de datos que usa para medir el rendimiento es el mismo que usó para ajustar las características. Lo que me pregunto es qué tan grave es este …

20 cross-validation  validation  hyperparameter 

Estoy probando diferentes clasificadores en un conjunto de datos donde hay 5 clases y cada instancia puede pertenecer a una o más de estas clases, así que estoy usando los clasificadores de etiquetas múltiples de scikit-learn, específicamente sklearn.multiclass.OneVsRestClassifier. Ahora quiero realizar una validación cruzada usando sklearn.cross_validation.StratifiedKFold. Esto produce el siguiente …

20 cross-validation  python  multi-class  scikit-learn  multilabel 

Estoy usando libsvm en modo C-SVC con un núcleo polinomial de grado 2 y estoy obligado a entrenar múltiples SVM. Cada conjunto de entrenamiento tiene 10 características y 5000 vectores. Durante el entrenamiento, recibo esta advertencia para la mayoría de los SVM que entreno: WARNING: reaching max number of iterations …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Dado un modelo jerárquico , quiero un proceso de dos etapas que se ajuste al modelo. Primero, arregle un puñado de hiperparámetros , y luego haga inferencia bayesiana en el resto de los parámetros . Para arreglar los hiperparámetros, estoy considerando dos opciones.θ ϕp ( x | ϕ , θ …

20 cross-validation  references  empirical-bayes 

Dos enfoques comunes para seleccionar variables correlacionadas son las pruebas de significación y la validación cruzada. ¿Qué problema intenta resolver cada uno y cuándo preferiría uno sobre el otro?

20 cross-validation  feature-selection 

La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy implementando una prueba …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Dediqué mucho tiempo al desarrollo de métodos y software para validar modelos predictivos en el dominio estadístico frecuentista tradicional. Al poner en práctica más ideas bayesianas y enseñar, veo algunas diferencias clave que aceptar. Primero, el modelo predictivo bayesiano le pide al analista que piense detenidamente sobre las distribuciones anteriores …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

¿El caretpaquete R valida por ambos alphay lambdapara el glmnetmodelo? Ejecutando este código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) El …

20 r  machine-learning  cross-validation  caret  glmnet 

Estoy confundido acerca de cómo dividir los datos para la validación cruzada k-fold del aprendizaje en conjunto. Suponiendo que tengo un marco de aprendizaje conjunto para la clasificación. Mi primera capa contiene los modelos de clasificación, por ejemplo, svm, árboles de decisión. Mi segunda capa contiene un modelo de votación, …

20 classification  cross-validation  ensemble 

Me gustaría saber si existen algunas / algunas ventajas de usar el muestreo estratificado en lugar del muestreo aleatorio, al dividir el conjunto de datos original en un conjunto de entrenamiento y prueba para la clasificación. Además, ¿el muestreo estratificado introduce más sesgos en el clasificador que el muestreo aleatorio? …

20 classification  cross-validation  random-forest  train  stratification