Preguntas etiquetadas con cross-validation

En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no …

25 cross-validation  roc  auc 

Tengo algunos datos y quiero construir un modelo (digamos un modelo de regresión lineal) a partir de estos datos. En el siguiente paso, quiero aplicar la validación cruzada Leave-One-Out (LOOCV) en el modelo, así que vea qué tan bien funciona. Si entendí LOOCV correctamente, construyo un nuevo modelo para cada …

25 cross-validation 

Estoy haciendo validación cruzada anidada. He leído que la validación cruzada de dejar uno fuera puede estar sesgada (no recuerdo por qué). ¿Es mejor usar la validación cruzada 10 veces o la validación cruzada de dejar uno fuera aparte del tiempo de ejecución más largo para la validación cruzada de …

25 machine-learning  cross-validation 

¿Cuál es el método de muestreo más apropiado para evaluar el rendimiento de un clasificador en un conjunto de datos en particular y compararlo con otros clasificadores? La validación cruzada parece ser una práctica estándar, pero he leído que métodos como .632 bootstrap son una mejor opción. Como seguimiento: ¿La …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

Estoy buscando una referencia al documento donde se introdujo la validación cruzada k-fold (en lugar de solo una buena referencia académica para el tema). Quizás esté demasiado atrás en la bruma del tiempo para identificar inequívocamente el primer artículo, por lo que cualquier documento inicial en el que se utilizó …

24 cross-validation  references 

Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de lambda …

24 regression  cross-validation  regularization  glmnet  elastic-net 

He encontrado definiciones posiblemente contradictorias para el estadístico de validación cruzada (CV) y para el estadístico de validación cruzada generalizada (GCV) asociado con un modelo lineal Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon (con un vector de error normal, homoscedastic εε\boldsymbol\varepsilon ). Por un lado, Golub, Heath y Wahba definen la estimación …

23 cross-validation 

Esta mañana me desperté preguntándome (esto podría deberse al hecho de que anoche no dormí mucho): dado que la validación cruzada parece ser la piedra angular del pronóstico adecuado de series temporales, ¿cuáles son los modelos que debería "normalmente"? "validación cruzada contra? Se me ocurrieron algunos (fáciles), pero pronto me …

23 time-series  cross-validation  arima 

Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar . La selección del modelo puede hacerse por validación cruzada, uso …

23 time-series  forecasting  cross-validation  model-selection  aic 

He leído muchos trabajos de investigación sobre clasificación de sentimientos y temas relacionados. La mayoría de ellos utilizan validación cruzada 10 veces para entrenar y probar clasificadores. Eso significa que no se realiza ninguna prueba / validación por separado. ¿Porqué es eso? ¿Cuáles son las ventajas / desventajas de este …

23 classification  cross-validation 

Introducción: Tengo un conjunto de datos con un clásico "problema grande p, pequeño n". El número de muestras disponibles n = 150, mientras que el número de posibles predictores p = 400. El resultado es una variable continua. Quiero encontrar los descriptores más "importantes", es decir, aquellos que son los …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

¿Cómo se comparan normalmente los modelos de efectos mixtos (lineales) entre sí? Sé que se pueden usar pruebas de razón de probabilidad, pero esto no funciona si un modelo no es un 'subconjunto' del otro ¿correcto? ¿La estimación de los modelos df es siempre sencilla? ¿Número de efectos fijos + …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Cuando trato de seleccionar entre varios modelos o la cantidad de características a incluir, digamos predicción, puedo pensar en dos enfoques. Divida los datos en conjuntos de entrenamiento y prueba. Mejor aún, use bootstrapping o k-fold cross-validation. Entrene en el conjunto de entrenamiento cada vez y calcule el error sobre …

22 bayesian  model-selection  cross-validation  feature-selection 

Tengo datos históricos de ventas de una panadería (diariamente, durante 3 años). Ahora quiero construir un modelo para predecir ventas futuras (usando características como día de la semana, variables climáticas, etc.). ¿Cómo debo dividir el conjunto de datos para ajustar y evaluar los modelos? ¿Tiene que ser un tren cronológico …

22 cross-validation  partitioning 

Estoy realizando una regresión logística de red elástica en un conjunto de datos de atención médica usando el glmnetpaquete en R seleccionando valores lambda en una cuadrícula de de 0 a 1. Mi código abreviado está a continuación:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) …

22 machine-learning  cross-validation  glmnet  elastic-net