Preguntas etiquetadas con cross-validation

¿Cuál es la diferencia entre el estratificado de validación cruzada y la validación cruzada ? Wikipedia dice: En la validación cruzada estratificada de k-pliegues , los pliegues se seleccionan de modo que el valor medio de respuesta sea aproximadamente igual en todos los pliegues. En el caso de una clasificación …

55 cross-validation  stratification 

Para mí, parece que la validación de suspensión es inútil. Es decir, dividir el conjunto de datos original en dos partes (capacitación y evaluación) y usar el puntaje de evaluación como medida de generalización es algo inútil. La validación cruzada K-fold parece dar mejores aproximaciones de generalización (ya que entrena …

54 machine-learning  cross-validation  validation 

En el aprendizaje estadístico, implícita o explícitamente, siempre se supone que el conjunto de entrenamiento D={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} está compuesto de NNN tuplas de entrada / respuesta (Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) que se extraen independientemente de la misma distribución conjunta P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) con p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) …

54 machine-learning  cross-validation  non-independent  iid 

Considere un buen viejo problema de regresión con predictores ppp y tamaño de muestra nnorten . La sabiduría usual es que OLS estimador será overfit y generalmente será superado por la arista estimador de β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = (X^\top X + \lambda I)^{-1}X^\top y.Es estándar utilizar la validación cruzada para encontrar un …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

¿Transforme todos mis datos o pliegues (si se aplica CV) al mismo tiempo? p.ej (allData - mean(allData)) / sd(allData) ¿Transforme el conjunto de trenes y el conjunto de pruebas por separado? p.ej (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) ¿O transformo el conjunto de trenes y uso …

47 r  cross-validation  data-transformation  normalization  standardization 

Dejando a un lado las consideraciones de poder de cálculo, ¿hay alguna razón para creer que aumentar el número de pliegues en la validación cruzada conduce a una mejor selección / validación del modelo (es decir, cuanto mayor sea el número de pliegues, mejor)? Llevando el argumento al extremo, ¿la …

47 cross-validation  bias-variance-tradeoff 

Me pregunto si alguien conoce un compendio de técnicas de validación cruzada con una discusión sobre las diferencias entre ellos y una guía sobre cuándo usar cada una de ellas. Wikipedia tiene una lista de las técnicas más comunes, pero tengo curiosidad por saber si hay otras técnicas y si …

43 cross-validation 

¿Existen estudios empíricos que justifiquen el uso de la única regla de error estándar a favor de la parsimonia? Obviamente, depende del proceso de generación de datos de los datos, pero cualquier cosa que analice un gran conjunto de conjuntos de datos sería una lectura muy interesante. La "regla de …

39 cross-validation  model-selection  regularization 

TL, DR: Parece que, al contrario de lo que se repite con frecuencia, la validación cruzada de dejar uno fuera (LOO-CV), es decir,plegar CV con(el número de pliegues) igual a N (el número de observaciones de entrenamiento): arroja estimaciones del error de generalización que son las menos variables para cualquier …

37 regression  machine-learning  variance  cross-validation  predictive-models 

En todos los contextos, estoy familiarizado con la validación cruzada, solo se usa con el objetivo de aumentar la precisión predictiva. ¿Se puede extender la lógica de validación cruzada al estimar las relaciones imparciales entre variables? Si bien este documento de Richard Berk demuestra el uso de una muestra reservada …

37 cross-validation  causality 

He estado usando el paquete caret en R para construir modelos predictivos para clasificación y regresión. Caret proporciona una interfaz unificada para ajustar los hiperparámetros del modelo mediante validación cruzada o arranque de bandas. Por ejemplo, si está construyendo un modelo simple de 'vecinos más cercanos' para la clasificación, ¿cuántos …

37 r  time-series  cross-validation 

Cuando se utiliza la validación cruzada para hacer la selección del modelo (como, por ejemplo, el ajuste de hiperparámetros) y para evaluar el rendimiento del mejor modelo, se debe usar la validación cruzada anidada . El ciclo externo es evaluar el rendimiento del modelo, y el ciclo interno es seleccionar …

36 cross-validation  model-selection  ridge-regression 

Estoy tratando de averiguar qué método de validación cruzada es mejor para mi situación. Los siguientes datos son solo un ejemplo para resolver el problema (en R), pero mis Xdatos reales ( xmat) están correlacionados entre sí y en diferentes grados con la yvariable ( ymat). Proporcioné el código R, …

36 r  regression  cross-validation  linear-model 

Tengo un conjunto de datos para el que tengo múltiples conjuntos de etiquetas binarias. Para cada conjunto de etiquetas, entreno a un clasificador, evaluándolo por validación cruzada. Quiero reducir la dimensionalidad utilizando el análisis de componentes principales (PCA). Mi pregunta es: ¿Es posible hacer el PCA una vez para todo …

35 machine-learning  classification  pca  cross-validation 

Existen numerosos hilos en CrossValidated sobre el tema de selección de modelos y validación cruzada. Aquí hay algunos: Validación cruzada interna y externa y selección de modelo @ DikranMarsupial de la parte superior respuesta a la selección de funciones y la validación cruzada Sin embargo, las respuestas a esos hilos …

34 cross-validation  model-selection