Preguntas etiquetadas con cross-validation

¿Puede ser útil la regularización si solo estamos interesados ​​en estimar (e interpretar) los parámetros del modelo, no en el pronóstico o la predicción? Veo cómo la regularización / validación cruzada es extremadamente útil si su objetivo es hacer buenos pronósticos sobre nuevos datos. Pero, ¿qué pasa si estás haciendo …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor se …

19 cross-validation  boosting  prediction-interval 

Estoy ajustando un HLM bayesiano en JAGS usando k-fold cross-validation (k = 5). Me gustaría saber si las estimaciones del parámetro son estables en todos los pliegues. ¿Cuál es la mejor manera de hacer esto?ββ\beta Una idea es encontrar las diferencias de los posteriores de y ver si 0 está …

19 bayesian  cross-validation 

Tengo un conjunto de datos de 140000 ejemplos y 30 características para las que estoy entrenando a varios clasificadores para una clasificación binaria (SVM, Regresión logística, Bosque aleatorio, etc.) En muchos casos, el ajuste de hiperparámetros en todo el conjunto de datos mediante Grid o Búsqueda aleatoria es demasiado costoso …

19 machine-learning  cross-validation  hyperparameter 

Sé que para acceder al rendimiento del clasificador tengo que dividir los datos en un conjunto de entrenamiento / prueba. Pero leyendo esto : Al evaluar diferentes configuraciones ("hiperparámetros") para estimadores, como la configuración C que debe configurarse manualmente para un SVM, todavía existe el riesgo de sobreajuste en el …

18 machine-learning  cross-validation 

Supongamos que hago validación cruzada K-fold con K = 10 pliegues. Habrá una matriz de confusión para cada pliegue. Al informar los resultados, ¿debo calcular cuál es la matriz de confusión promedio o simplemente sumar las matrices de confusión?

18 machine-learning  cross-validation  accuracy 

De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Sin prueba, la ecuación (5.2) establece que para una regresión de mínimos cuadrados o polinomios (si esto se aplica a la …

18 regression  self-study  cross-validation  least-squares 

Tengo un conjunto de datos con N ~ 5000 y falta aproximadamente 1/2 en al menos una variable importante. El principal método analítico será el riesgo proporcional de Cox. Planeo usar la imputación múltiple. También me dividiré en un tren y un set de prueba. ¿Debo dividir los datos y …

18 cross-validation  survival  multiple-imputation  train 

Estoy usando cv.glmnetpara encontrar predictores. La configuración que uso es la siguiente: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Para asegurarse de que los resultados son reproducibles set.seed(1). Los resultados son muy variables. Ejecuté exactamente el mismo código 100 para ver qué tan variables fueron los resultados. En las ejecuciones 98/100 siempre …

18 r  cross-validation  feature-selection  glmnet 

Me encontré con este hilo mirando las diferencias entre bootstrapping y validación cruzada: una gran respuesta y referencias por cierto. Lo que me pregunto ahora es, si tuviera que realizar un CV repetido de 10 veces para calcular la precisión de un clasificador, ¿cuántas veces n debería repetirlo? ¿ Depende …

18 cross-validation 

Supongamos que normalmente tengo datos distribuidos. Para cada elemento de los datos, quiero verificar cuántas SD está lejos de la media. Puede haber un valor atípico en los datos (probablemente solo uno, pero también puede ser dos o tres) o no, pero este valor atípico es básicamente lo que estoy …

17 cross-validation  standard-deviation  mean  outliers 

¿Alguien puede decirme qué da exactamente un análisis de validación cruzada como resultado? ¿Es solo la precisión promedio o da algún modelo con parámetros ajustados? Porque, escuché en alguna parte que la validación cruzada se usa para el ajuste de parámetros.

17 cross-validation 

Estoy usando modelos SVM para hacer pronósticos a corto plazo de contaminantes del aire. Para entrenar un nuevo modelo, necesito encontrar metaparámetros apropiados para un modelo SVM (me refiero a C, gamma, etc.). La documentación de Libsvm (y muchos otros libros que he leído) sugiere usar la búsqueda de cuadrícula …

17 cross-validation  svm 

Para calibrar un nivel de confianza a una probabilidad en el aprendizaje supervisado (por ejemplo, para mapear la confianza de un SVM o un árbol de decisión usando datos sobremuestreados), un método es usar la Escala de Platt (por ejemplo, Obteniendo Probabilidades Calibradas de Impulso ). Básicamente se usa la …

17 logistic  cross-validation  calibration 

En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter