Preguntas etiquetadas con cross-validation

La página de Scikit Learn sobre Selección de modelos menciona el uso de validación cruzada anidada: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Se realizan dos bucles de validación cruzada en paralelo: uno mediante el estimador GridSearchCV para establecer gamma y el otro mediante cross_val_score para …

14 machine-learning  cross-validation  scikit-learn 

Parece que hay consejos contradictorios sobre cómo manejar la comparación entre el error del tren y la prueba, particularmente cuando hay una brecha entre los dos. Parece que hay dos escuelas de pensamiento que para mí parecen estar en conflicto. Estoy buscando entender cómo conciliar los dos (o entender lo …

14 cross-validation  overfitting 

Mi pregunta principal es con respecto a tratar de entender cómo encaja la validación cruzada k-fold en el contexto de tener conjuntos de capacitación / validación / prueba (si cabe en ese contexto). Por lo general, las personas hablan de dividir los datos en un conjunto de entrenamiento, validación y …

14 cross-validation  dataset  overfitting 

Tengo una pregunta sobre la optimización de parámetros cuando uso la validación cruzada 10 veces. Quiero preguntar si los parámetros deberían arreglarse o no durante el entrenamiento del modelo de cada pliegue, es decir (1) seleccionar un conjunto de parámetros optimizados para la precisión promedio de cada pliegue. o (2) …

14 cross-validation  optimization  parameterization 

Por lo general, en la regresión logística, ajustamos un modelo y obtenemos algunas predicciones sobre el conjunto de entrenamiento. Luego validamos de manera cruzada esas predicciones de entrenamiento (algo así como aquí ) y decidimos el valor umbral óptimo basado en algo como la curva ROC. ¿Por qué no incorporamos …

13 logistic  cross-validation  optimization  roc  threshold 

Cuando evaluamos la calidad de un bosque aleatorio, por ejemplo, utilizando AUC, ¿es más apropiado calcular estas cantidades sobre las Muestras fuera de bolsa o sobre el conjunto de validación cruzada? Escuché que calcularlo a través de las muestras OOB ofrece una evaluación más pesimista, pero no veo por qué.

13 cross-validation  random-forest  auc 

Acabo de terminar "Una introducción al aprendizaje estadístico" . Me preguntaba si el uso de la validación cruzada para encontrar los mejores parámetros de ajuste para diversas técnicas de aprendizaje automático es diferente de la indagación de datos. Estamos comprobando repetidamente qué valor del parámetro de ajuste da como resultado …

13 machine-learning  cross-validation 

Al realizar la validación cruzada k-fold, entiendo que obtienes las métricas de precisión apuntando todos los pliegues excepto uno en ese pliegue y haces predicciones, y luego repites este proceso veces. Luego puede ejecutar métricas de precisión en todas sus instancias (precisión, recuperación,% clasificado correctamente), que debería ser el mismo …

13 cross-validation 

¿Alguien puede explicarme mi modelo de Cox en inglés simple? Ajusté el siguiente modelo de regresión de Cox a todos mis datos usando la cphfunción. Mis datos se guardan en un objeto llamado Data. Las variables w, xy yson continuas; zEs un factor de dos niveles. El tiempo se mide …

13 r  cross-validation  survival  cox-model 

Creo que entiendo cómo funcionan los fundamentos del bootstrapping , pero no estoy seguro de entender cómo puedo usar el bootstrapping para la selección del modelo o para evitar el sobreajuste. Para la selección del modelo, por ejemplo, ¿elegiría el modelo que produce el error más bajo (¿tal vez una …

13 model-selection  cross-validation  bootstrap 

Estoy usando scikit-learn para realizar una regresión logística con validación cruzada en un conjunto de datos (aproximadamente 14 parámetros con> 7000 observaciones normalizadas). También tengo un clasificador de destino que tiene un valor de 1 o 0. El problema que tengo es que, independientemente del solucionador utilizado, sigo recibiendo advertencias …

13 logistic  cross-validation  scikit-learn 

Estoy tratando de escribir mi propia función para el análisis de componentes principales, PCA (por supuesto, ya hay mucho escrito pero solo estoy interesado en implementar cosas por mí mismo). El principal problema que encontré es el paso de validación cruzada y el cálculo de la suma de cuadrados pronosticada …

13 pca  cross-validation  matlab 

La pregunta: Bootstrapping es superior a jackknifing; Sin embargo, me pregunto si hay casos en los que la navaja es la única o al menos una opción viable para caracterizar la incertidumbre a partir de las estimaciones de los parámetros. Además, en situaciones prácticas, ¿qué tan sesgado / inexacto es …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Actualmente, estoy tratando de analizar un conjunto de datos de documentos de texto que no tiene ninguna verdad fundamental. Me dijeron que puede usar la validación cruzada k-fold para comparar diferentes métodos de agrupación. Sin embargo, los ejemplos que he visto en el pasado utilizan una verdad fundamental. ¿Hay alguna …

12 machine-learning  clustering  cross-validation  unsupervised-learning 

Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las diferentes pruebas difieren …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining