Preguntas etiquetadas con cross-validation

El AIC y el BIC son métodos para evaluar el ajuste del modelo penalizado por el número de parámetros estimados. Según tengo entendido, BIC penaliza más a los modelos por parámetros libres que AIC. Más allá de una preferencia basada en la rigurosidad de los criterios, ¿hay alguna otra razón …

222 modeling  aic  cross-validation  bic  model-selection 

Me pregunto cómo elegir un modelo predictivo después de hacer la validación cruzada K-fold. Esto puede expresarse de manera incómoda, así que permítanme explicarlo con más detalle: cada vez que ejecuto la validación cruzada K-fold, uso K subconjuntos de los datos de entrenamiento y termino con K diferentes modelos. Me …

149 cross-validation  model-selection 

¿Es siempre una buena idea entrenar con el conjunto de datos completo después de la validación cruzada ? Dicho de otra manera, ¿está bien entrenar con todas las muestras en mi conjunto de datos y no poder verificar si este ajuste en particular se sobreajusta ? Algunos antecedentes sobre el …

140 machine-learning  cross-validation  model-selection 

He estado usando el -fold validación cruzada varias veces para evaluar el rendimiento de algunos algoritmos de aprendizaje, pero siempre he estado intrigados por la forma en que debería elegir el valor de .KKKKKKK A menudo he visto y usado un valor de , pero esto me parece totalmente arbitrario, …

136 machine-learning  classification  cross-validation 

Me gustaría conocer su opinión sobre las diferencias entre la validación cruzada y el arranque para estimar el error de predicción. ¿Funciona mejor para conjuntos de datos pequeños o grandes conjuntos de datos?

103 cross-validation  predictive-models  bootstrap 

¿Cómo se puede usar la validación cruzada anidada para la selección del modelo ? Por lo que leí en línea, el CV anidado funciona de la siguiente manera: Existe el bucle CV interno, donde podemos realizar una búsqueda de cuadrícula (por ejemplo, ejecutar K-fold para cada modelo disponible, por ejemplo, …

91 cross-validation  model-selection 

¿Cómo se comparan los diferentes métodos de validación cruzada en términos de varianza y sesgo del modelo? Mi pregunta está en parte motivada por este hilo: número óptimo de pliegues en la validación cruzada de - pliegues : ¿es el CV de dejar uno solo siempre la mejor opción? KKK …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

¿Cómo describiría la validación cruzada a alguien sin antecedentes de análisis de datos?

77 cross-validation 

Recientemente he estado leyendo mucho en este sitio (@Aniko, @Dikran Marsupial, @Erik) y en otros lugares sobre el problema del sobreajuste que ocurre con la validación cruzada - (Smialowski et al 2010 Bioinformática, Hastie, Elementos de aprendizaje estadístico). La sugerencia es que cualquier selección de características supervisadas (utilizando la correlación …

76 cross-validation  feature-selection 

Estoy un poco confundido acerca de la selección de funciones y el aprendizaje automático y me preguntaba si podrían ayudarme. Tengo un conjunto de datos de microarrays que se clasifica en dos grupos y tiene miles de características. Mi objetivo es obtener una pequeña cantidad de genes (mis características) (10-20) …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Pregunta: Quiero estar seguro de algo, ¿el uso de la validación cruzada k-fold con series de tiempo es sencillo o hay que prestar especial atención antes de usarlo? Antecedentes: estoy modelando una serie temporal de 6 años (con cadena semi-markov), con una muestra de datos cada 5 min. Para comparar …

70 time-series  modeling  cross-validation 

¿Cuál es una estrategia adecuada para dividir el conjunto de datos? Pido retroalimentación en el enfoque siguiente (no en los parámetros individuales tales como test_sizeo n_iter, pero si utilicé X, y, X_train, y_train, X_test, y y_testde manera adecuada y si la secuencia tiene sentido): (ampliando este ejemplo de la documentación …

70 machine-learning  cross-validation  python  scikit-learn 

Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Supongamos que tenemos a alguien construyendo un modelo predictivo, pero que alguien no está necesariamente versado en los principios estadísticos o de aprendizaje automático adecuados. Tal vez estamos ayudando a esa persona mientras está aprendiendo, o tal vez esa persona está utilizando algún tipo de paquete de software que requiere …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Encontré dos preguntas aquí y aquí sobre este problema, pero todavía no hay una respuesta o explicación obvia. Hago cumplir el mismo problema donde el error de validación es menor que el error de entrenamiento en mi red neuronal de convolución. Qué significa eso?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation