Preguntas etiquetadas con cross-validation

Estoy haciendo un preprocesamiento de datos y luego construiré un Convonets en mis datos. Mi pregunta es: digamos que tengo un total de conjuntos de datos con 100 imágenes, estaba calculando la media de cada una de las 100 imágenes y luego las restaba de cada una de las imágenes, …

11 machine-learning  cross-validation  data-preprocessing 

Estoy usando el caretpaquete Rpara entrenar clasificadores binarios SVM. Para la reducción de funciones, estoy preprocesando con PCA usando la función incorporada preProc=c("pca")cuando llamo train(). Aquí están mis preguntas: ¿Cómo selecciona caret los componentes principales? ¿Hay un número fijo de componentes principales que se selecciona? ¿Los componentes principales se seleccionan …

11 r  machine-learning  pca  cross-validation  caret 

Tengo una regresión forestal aleatoria construida usando skl y noto que produzco diferentes resultados basados ​​en establecer la semilla aleatoria en diferentes valores. Si uso LOOCV para establecer qué semilla funciona mejor, ¿es este un método válido?

10 cross-validation  random-forest 

A medida que leo en el sitio, la mayoría de las respuestas sugieren que la validación cruzada debe hacerse en algoritmos de aprendizaje automático. Sin embargo, mientras leía el libro "Comprensión del aprendizaje automático", vi que hay un ejercicio que a veces es mejor no usar la validación cruzada. Estoy …

10 machine-learning  self-study  cross-validation 

Intento utilizar la regresión de RF para hacer predicciones sobre el rendimiento de una fábrica de papel. Tengo datos minuto a minuto para las entradas (velocidad y cantidad de pulpa de madera que ingresa, etc.), así como para el rendimiento de la máquina (papel producido, energía consumida por la máquina) …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Me pregunto cómo abordar adecuadamente el entrenamiento y la prueba de un modelo LASSO usando glmnet en R. Específicamente, me pregunto cómo hacerlo si la falta de un conjunto de datos de prueba externo requiere el uso de validación cruzada (u otro enfoque similar) para probar mi modelo LASSO. Déjame …

10 r  cross-validation  glmnet  lasso 

Tengo entendido que la estimación de validación cruzada k-fold del error de prueba generalmente subestima el error de prueba real. Estoy confundido por qué este es el caso. ¡Veo por qué el error de entrenamiento es generalmente más bajo que el error de prueba, porque estás entrenando el modelo con …

10 cross-validation  bias 

Recientemente comencé a usar la validación cruzada de muestreo de importancia suavizada Pareto (PSIS-LOO), descrita en estos documentos: Vehtari, A. y Gelman, A. (2015). Pareto suavizó el muestreo de importancia. preimpresión arXiv ( enlace ). Vehtari, A., Gelman, A. y Gabry, J. (2016). Evaluación práctica del modelo bayesiano utilizando validación …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Tengo algunos datos que existen en un gráfico . Los vértices pertenecen a una de las dos clases , y estoy interesado en entrenar un SVM para distinguir entre las dos clases. Un núcleo apropiado para esto es el núcleo de difusión , donde es el laplaciano de y es …

10 svm  cross-validation  kernel-trick  graph-theory 

Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB …

10 cross-validation  random-forest  overfitting  out-of-sample 

Suponga que tengo un tamaño de muestra pequeño, por ejemplo, N = 100 y dos clases. ¿Cómo debo elegir la capacitación, la validación cruzada y los tamaños de los conjuntos de prueba para el aprendizaje automático? Yo elegiría intuitivamente Tamaño del set de entrenamiento como 50 Conjunto de validación cruzada …

10 machine-learning  sampling  svm  cross-validation  sample-size 

He estado repensando una respuesta que le di a una pregunta hace un par de semanas La validación cruzada de retención produce un único conjunto de pruebas que se puede usar repetidamente para la demostración. Todos parecemos estar de acuerdo en que esto es en muchos aspectos una característica negativa, …

10 cross-validation 

Obtuve tres modelos reducidos de un modelo completo original usando selección hacia adelante eliminación hacia atrás Técnica de penalización L1 (LASSO) Para los modelos obtenidos usando la selección hacia adelante / eliminación hacia atrás, obtuve la estimación validada cruzada del error de predicción usando el CVlmpaquete DAAGdisponible en R. Para …

10 cross-validation  model-selection  lasso  stepwise-regression 

¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la siguiente: Conjunto de …

10 dataset  cross-validation  experiment-design  feature-selection 

Digamos que tengo dos métodos de aprendizaje para un problema de clasificación , y , y que calculo su rendimiento de generalización con algo como validación cruzada repetida o bootstrapping. De este proceso obtengo una distribución de puntajes y para cada método a través de estas repeticiones (por ejemplo, la …

10 cross-validation  model-selection