Preguntas etiquetadas con cross-validation

Leí una y otra vez que la validación cruzada "Leave-one-out" tiene una gran variación debido a la gran superposición de los pliegues de entrenamiento. Sin embargo, no entiendo por qué es así: ¿no debería ser el rendimiento de la validación cruzada muy estable (baja variación) exactamente porque los conjuntos de …

15 variance  cross-validation  bias 

Tengo una pregunta específica sobre la validación en la investigación de aprendizaje automático. Como sabemos, el régimen de aprendizaje automático les pide a los investigadores que capaciten a sus modelos en los datos de capacitación, que elijan entre los modelos candidatos por conjunto de validación e informen la precisión del …

15 machine-learning  cross-validation  reproducible-research 

¿Existe realmente alguna diferencia entre la navaja y dejar una validación cruzada? El procedimiento parece idéntico ¿me estoy perdiendo algo?

15 cross-validation  jackknife 

Dada una matriz , la factorización de matriz no negativa (NMF) encuentra dos matrices no negativas W m × k y H k × n (es decir, con todos los elementos ≥ 0 ) para representar la matriz descompuesta como:Vm×nVm×n\mathbf V^{m \times n}Wm×kWm×k\mathbf W^{m \times k}Hk×nHk×n\mathbf H^{k \times n}≥0≥0\ge 0 …

15 cross-validation  unsupervised-learning  latent-variable  matrix-decomposition  nnmf 

Estoy analizando un conjunto de datos utilizando un modelo de efectos mixtos con un efecto fijo (condición) y dos efectos aleatorios (participante debido al diseño del sujeto y al par). El modelo se ha generado con el lme4paquete: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). A continuación, realicé una prueba de razón de probabilidad de este …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Cuando utilicé bootstrapping para la evaluación del modelo, siempre pensé que las muestras fuera de bolsa se usaban directamente como un conjunto de prueba. Sin embargo, este no parece ser el caso del enfoque obsoleto de scikit-learnBootstrap , que parece construir el conjunto de prueba a partir del dibujo con …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Estoy haciendo clasificación de imágenes usando el aprendizaje automático. Supongamos que tengo algunos datos de entrenamiento (imágenes) y los dividiré en conjuntos de entrenamiento y validación. Y también quiero aumentar los datos (producir nuevas imágenes de las originales) mediante rotaciones aleatorias e inyección de ruido. El aumento se realiza sin …

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

He estado buscando varios hilos aquí, pero no creo que mi pregunta exacta sea respondida. Tengo un conjunto de datos de ~ 50,000 estudiantes y su tiempo de deserción. Voy a realizar una regresión de riesgos proporcionales con una gran cantidad de posibles covariables. También voy a hacer una regresión …

14 cross-validation  survival  train 

Estoy redactando una revisión de la literatura sobre un problema de salud pública actual en el que los datos se confunden: ¿Cuáles son los estudios de casos históricos comunes que se utilizan en la educación de salud pública / epidemiología donde las relaciones o inferencias inválidas o confusas se emplearon …

14 cross-validation  reliability  epidemiology  biostatistics 

He escuchado la siguiente expresión antes: "La optimización es la raíz de todo mal en las estadísticas". Por ejemplo, la respuesta principal en este hilo hace esa declaración en referencia al peligro de optimizar demasiado agresivamente durante la selección del modelo. Mi primera pregunta es la siguiente: ¿Es esta cita …

14 cross-validation  optimization  overfitting 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. Ahora que tengo un Rmarco de datos (capacitación), ¿alguien puede decirme cómo dividir aleatoriamente este conjunto de datos para hacer una validación …

14 cross-validation 

Estoy haciendo una validación cruzada usando el método de dejar uno afuera. Tengo una respuesta binaria y estoy usando el paquete de arranque para R y la función cv.glm . Mi problema es que no entiendo completamente la parte del "costo" en esta función. Por lo que puedo entender, esta …

14 r  cross-validation 

Después de leer uno de los "Consejos de investigación" de RJ Hyndman sobre validación cruzada y series de tiempo, volví a una vieja pregunta mía que trataré de formular aquí. La idea es que en los problemas de clasificación o regresión, el orden de los datos no es importante y, …

14 time-series  machine-learning  cross-validation 

Scikit tiene CalibratedClassifierCV , que nos permite calibrar nuestros modelos en un par X, y particular. También establece claramente quedata for fitting the classifier and for calibrating it must be disjoint. Si deben ser disjuntos, ¿es legítimo entrenar al clasificador con lo siguiente? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Me temo …

14 cross-validation  scikit-learn  validation  train  calibration 

Mi comprensión general es que AIC trata con el equilibrio entre la bondad de ajuste del modelo y la complejidad del modelo. Un yoC= 2 k - 2 l n ( L )UNyoC=2k-2lnorte(L)AIC =2k -2ln(L) kkk = número de parámetros en el modelo LLL = probabilidad El criterio de información …

14 cross-validation  lasso  aic  ridge-regression  bic