Preguntas etiquetadas con cross-validation

Estoy usando 2 tipos de regresión logística: uno es el tipo simple, para la clasificación binaria, y el otro es la regresión logística ordinal. Para calcular la precisión del primero, utilicé la validación cruzada, donde calculé el AUC para cada pliegue y luego calculé el AUC medio. ¿Cómo puedo hacerlo …

9 logistic  cross-validation  roc  auc  ordered-logit 

Mi colega y yo estamos ajustando una gama de modelos de efectos mixtos lineales y no lineales en R. Se nos pide que realicemos una validación cruzada en los modelos ajustados para poder verificar que los efectos observados son relativamente generalizables. Esta es normalmente una tarea trivial, pero en nuestro …

9 mixed-model  cross-validation 

El maravilloso paquete libsvm proporciona una interfaz python y un archivo "easy.py" que busca automáticamente los parámetros de aprendizaje (costo y gamma) que maximizan la precisión del clasificador. Dentro de un conjunto determinado de parámetros de aprendizaje, la precisión se operacionaliza mediante validación cruzada, pero creo que esto socava el …

9 cross-validation  svm 

Tenemos un conjunto de muestras biológicas que fue bastante costoso de obtener. Ponemos estas muestras a través de una serie de pruebas para generar datos que se utilizan para construir un modelo predictivo. Para este propósito, hemos dividido las muestras en conjuntos de entrenamiento (70%) y pruebas (30%). Hemos creado …

9 classification  modeling  experiment-design  cross-validation  bootstrap 

Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Como sabe, hay dos tipos populares de validación cruzada, K-fold y submuestreo aleatorio (como se describe en Wikipedia ). Sin embargo, sé que algunos investigadores están haciendo y publicando artículos donde algo que se describe como un CV K-fold es de hecho un submuestreo aleatorio, por lo que en la …

9 machine-learning  cross-validation 

Tengo un modelo de regresión simple ( y = param1 * x1 + param2 * x2 ). Cuando ajusto el modelo a mis datos, encuentro dos buenas soluciones: La solución A, params = (2,7), es mejor en el conjunto de entrenamiento con RMSE = 2.5 ¡PERO! Solución B params = …

9 regression  cross-validation  overfitting  sensitivity-analysis 

Estoy entrenando un clasificador binario SVM usando Scikit learn. Debido a la naturaleza de mi problema, necesito evitar falsos negativos. Como nada es gratis, estoy bien obteniendo una tasa más alta de falsos positivos para reducir la cantidad de falsos negativos. ¿Cómo podemos hacer eso (idealmente con Scikit learn)? En …

9 machine-learning  cross-validation  svm  python  scikit-learn 

Tuve una entrevista de trabajo para un puesto de ciencia de datos. Durante la entrevista, me preguntaron qué debo hacer para asegurarme de que el modelo no se ajuste demasiado. Mi primera respuesta fue utilizar la validación cruzada para evaluar el rendimiento del modelo. Sin embargo, el entrevistador dijo que …

9 cross-validation  regularization  overfitting 

He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la siguiente: ¿Debo asegurarme …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

En los estudios de psicología aprendí que deberíamos usar el método de Bonferroni para ajustar el nivel de significancia al probar varias hipótesis en un solo conjunto de datos. Actualmente estoy trabajando con métodos de aprendizaje automático como Support Vector Machines o Random Forest para la clasificación. Aquí tengo un …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

AIC se recomienda con frecuencia como criterio para comparar modelos para pronósticos de series de tiempo. Vea, por ejemplo, esto en el contexto de los modelos de regresión dinámica : El AIC se puede calcular para el modelo final, y este valor se puede usar para determinar los mejores predictores. …

9 time-series  cross-validation  model-selection  arima  aic 

Supongamos que en un análisis de regresión en R, tengo una variable independiente del tipo de factor con 3 niveles en mi conjunto de datos del tren. Pero en el conjunto de datos de prueba, esa misma variable de factor tiene 5 niveles. Por lo tanto, no puedo predecir los …

9 r  regression  categorical-data  cross-validation  rare-events 

En esta página de Wikipedia en la subsección para la validación cruzada de K-fold dice "En la validación cruzada de k-fold, la muestra original se divide aleatoriamente en k submuestras de igual tamaño. De las k submuestras, se retiene una sola submuestra como datos de validación para prueba del modelo, …

9 cross-validation 

Mi libro de texto sobre validación cruzada es Los elementos del aprendizaje estadístico de Hastie et al. (2da ed.). En las secciones 7.10.1 y 7.12, hablan sobre la diferencia entre el error de prueba condicional y la prueba esperada error Aquí es el conjunto de datos de entrenamiento, es la …

9 cross-validation  definition