Preguntas etiquetadas con out-of-sample

Supongamos que tenemos a alguien construyendo un modelo predictivo, pero que alguien no está necesariamente versado en los principios estadísticos o de aprendizaje automático adecuados. Tal vez estamos ayudando a esa persona mientras está aprendiendo, o tal vez esa persona está utilizando algún tipo de paquete de software que requiere …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

La idea del análisis de datos adaptativo es que modifique su plan para analizar los datos a medida que aprenda más sobre ellos. En el caso del análisis exploratorio de datos (EDA), generalmente es una buena idea (a menudo busca patrones imprevistos en los datos), pero para un estudio confirmatorio, …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

El siguiente extracto es de Schwager's Hedge Fund Market Wizzards (mayo de 2012), una entrevista con el exitoso administrador de fondos de cobertura Jaffray Woodriff: A la pregunta: "¿Cuáles son algunos de los peores errores que cometen las personas en la minería de datos?": Muchas personas piensan que están bien …

21 data-mining  curve-fitting  out-of-sample 

He estado leyendo sobre la validación de k-fold, y quiero asegurarme de que entiendo cómo funciona. Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba solo se usa al final para evaluar el rendimiento del modelo, mientras que el conjunto …

21 cross-validation  validation  out-of-sample 

Si bien los resultados del conjunto de prueba privado no se pueden utilizar para refinar aún más el modelo, ¿no se está seleccionando el modelo de una gran cantidad de modelos basados ​​en los resultados del conjunto de prueba privado? ¿No terminaría usted, solo a través de ese proceso, sobreadaptado …

16 model-selection  overfitting  out-of-sample 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 2 años . Actualmente estoy siguiendo un programa maestro centrado en estadísticas / econometría. En …

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample 

En mi exposición en el aula a la minería de datos, el método de retención se introdujo como una forma de evaluar el rendimiento del modelo. Sin embargo, cuando tomé mi primera clase de modelos lineales, esto no se introdujo como un medio de validación o evaluación del modelo. Mi …

12 regression  validation  model-evaluation  out-of-sample 

¿Existe una diferencia explícita entre los pronósticos dentro de la muestra y los pronósticos seudo fuera de la muestra ? Ambos se entienden en el contexto de evaluar y comparar modelos de pronóstico.

12 forecasting  model-comparison  out-of-sample  in-sample 

Tengo un conjunto de datos con 26 características y 31000 filas. Es el conjunto de datos de 38 sujetos. Es para un sistema biométrico. Entonces quiero poder identificar sujetos. Para tener un conjunto de pruebas, sé que tengo que eliminar algunos valores. Entonces, ¿qué es mejor hacer y por qué? …

11 machine-learning  cross-validation  out-of-sample 

Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB …

10 cross-validation  random-forest  overfitting  out-of-sample 

Tengo una pregunta que creo que será bastante básica para muchos usuarios. Estoy usando modelos de regresión lineal para (i) investigar la relación de varias variables explicativas y mi variable de respuesta y (ii) predecir mi variable de respuesta usando las variables explicativas. Una variable explicativa particular X parece impactar …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample 

Sé que esto probablemente se haya discutido en otro lugar, pero no he podido encontrar una respuesta explícita. Estoy tratando de usar la fórmula R2= 1 - SSR / SSTR2=1-SSR/ /SSTR^2 = 1 - SSR/SST para calcular fuera de muestra R2R2R^2de un modelo de regresión lineal, donde SSRSSRSSR es la …

10 regression  machine-learning  r-squared  out-of-sample 

Siempre me he suscrito a la sabiduría popular de que la disminución de la tasa de aprendizaje en un gbm (modelo de árbol impulsado por gradiente) no perjudica el rendimiento de la muestra fuera del modelo. Hoy no estoy tan seguro. Estoy ajustando modelos (minimizando la suma de los errores …

9 machine-learning  boosting  out-of-sample 

Esta pregunta ya tiene respuestas aquí : ¿Es mi modelo bueno, basado en el valor de la métrica de diagnóstico ( / AUC / precision / RMSE, etc.)? R2R2R^2 (3 respuestas) Cerrado hace 8 meses . Tengo datos de aprendizaje que consisten en ~ 45k muestras, cada una tiene 21 …

8 classification  random-forest  out-of-sample