Preguntas etiquetadas con validation

Scikit tiene CalibratedClassifierCV , que nos permite calibrar nuestros modelos en un par X, y particular. También establece claramente quedata for fitting the classifier and for calibrating it must be disjoint. Si deben ser disjuntos, ¿es legítimo entrenar al clasificador con lo siguiente? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Me temo …

14 cross-validation  scikit-learn  validation  train  calibration 

Supongamos que tengo una división 80/20 entre las observaciones de modelado / validación. He ajustado un modelo al conjunto de datos de modelado y me siento cómodo con el error que veo en el conjunto de datos de validación. Antes de implementar mi modelo para puntuar futuras observaciones, ¿es apropiado …

13 regression  predictive-models  validation 

En mi exposición en el aula a la minería de datos, el método de retención se introdujo como una forma de evaluar el rendimiento del modelo. Sin embargo, cuando tomé mi primera clase de modelos lineales, esto no se introdujo como un medio de validación o evaluación del modelo. Mi …

12 regression  validation  model-evaluation  out-of-sample 

La pregunta de ayer Determinar la precisión del modelo que estima la probabilidad de evento me dio curiosidad sobre la puntuación de probabilidad. La puntuación de Brier es una medida de error cuadrático medio. ¿El análogo significa la medida de rendimiento de error absoluto tener un nombre también?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - …

12 classification  error  validation  scoring-rules  brier-score 

Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f …

11 cross-validation  error  regularization  validation  optimization 

Para los no estadísticos como yo, es muy difícil captar la idea de la VImétrica (variación de la información) incluso después de leer el documento relevante de Marina Melia " Comparación de agrupamientos: una distancia basada en la información " (Journal of Multivariate Analysis, 2007). De hecho, no estoy familiarizado …

11 r  clustering  validation  intuition 

Me gustaría evaluar varios modelos diferentes que proporcionan predicciones de comportamiento a nivel mensual. Los datos están equilibrados, 100,000 y T = 12. El resultado es asistir a un concierto en un mes determinado, por lo que es cero para ~ 80% de las personas en cualquier mes, pero hay …

11 repeated-measures  predictive-models  stata  panel-data  validation 

Me hicieron una pregunta como "¿Hiciste alguna verificación de consistencia en tu trabajo diario?" durante una entrevista telefónica para un puesto de bioestadístico. No se que contestar. Cualquier información es apreciada.

11 validation 

¿Cuál es la mejor manera de dividir los datos de series temporales en conjuntos de tren / prueba / validación, donde el conjunto de validación se usaría para el ajuste de hiperparámetros? Tenemos 3 años de datos de ventas diarias, y nuestro plan es usar 2015-2016 como datos de capacitación, …

11 time-series  cross-validation  validation 

¿Cuáles son las técnicas estadísticas para crear un conjunto de muestras, que es representativo de toda la población (con un nivel de confianza conocido)? También, ¿Cómo validar, si la muestra se ajusta al conjunto de datos general? ¿Es posible, sin analizar todo el conjunto de datos (que podrían ser miles …

10 sampling  sample-size  validation 

El libro Elementos del aprendizaje estadístico (disponible en PDF en línea) analiza el sesgo optimista (7.21, página 229). Establece que el sesgo de optimismo es la diferencia entre el error de entrenamiento y el error en la muestra (error observado si tomamos muestras de nuevos valores de resultado en cada …

9 error  bias  validation 

Proporcionó un tamaño de muestra "N" que planeo usar para pronosticar datos. ¿Cuáles son algunas de las formas de subdividir los datos para que yo use algunos de ellos para establecer un modelo y los datos restantes para validar el modelo? Sé que no hay una respuesta en blanco y …

9 machine-learning  modeling  sample  validation 

Leí las dos páginas de wikipedia sobre análisis de sensibilidad y validación de modelos (aquí, solo validación de regresión lineal) pero no logro encontrar una manera de separar estos dos términos. Tengo la impresión de que el primero se usa más en la academia y la ingeniería en general y …

9 validation  sensitivity-analysis 

Estoy desarrollando sistemas comerciales automatizados para el mercado de valores. El gran desafío ha sido el sobreajuste. ¿Puede recomendarme algunos recursos que describan métodos para medir y evitar el sobreajuste? Comencé con conjuntos de entrenamiento / validación, pero el conjunto de validación siempre se contamina. Además, los datos de la …

9 time-series  machine-learning  dataset  data-mining  validation 

Me está costando llegar a la misma página que mi supervisor cuando se trata de validar mi modelo. He analizado los residuos (observados contra los valores ajustados) y utilicé esto como argumento para discutir los resultados obtenidos por mi modelo, sin embargo, mi supervisor insiste en que la única forma …

8 r  references  glmm  validation  glmmtmb