Preguntas etiquetadas con model-evaluation

A menudo escucho sobre la evaluación del desempeño de un modelo de clasificación extendiendo el conjunto de prueba y entrenando un modelo en el conjunto de entrenamiento. Luego crea 2 vectores, uno para los valores predichos y otro para los valores verdaderos. Obviamente, hacer una comparación le permite a uno …

10 regression  machine-learning  model-evaluation 

Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos original. ¿Cómo incorporo este …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Estoy trabajando en la predicción de series de tiempo. Tengo dos conjuntos de datos y . Tengo tres modelos de predicción: . Todos esos modelos se entrenan utilizando muestras en el conjunto de datos , y su rendimiento se mide utilizando las muestras en el conjunto de datos . Digamos …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos decrecientes: el rendimiento predictivo del …

10 machine-learning  large-data  model-evaluation  train 

Deseo probar algunas de mis ideas que creo que son mejores que cualquier cosa que haya visto. Podría estar equivocado, pero me gustaría probar mis ideas y vencer mis dudas con observaciones más ciertas. Lo que he estado pensando hacer es lo siguiente: Definir analíticamente un conjunto de distribuciones. Algunos …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Esta podría ser una pregunta básica: ¿Cuál es la diferencia entre sesgo y falta de equipamiento? Y, de manera análoga, ¿cuál es la diferencia entre la varianza y el sobreajuste? ¿Los términos de cada par significan lo mismo? Sí no, ¿Cuál es la diferencia?

10 variance  bias  overfitting  model-evaluation 

Tengo un modelo dinámico de Bayes ingenuo entrenado en un par de variables temporales. La salida del modelo es la predicción de P(Event) @ t+1, estimada en cada uno t. La gráfica de P(Event)versus timees como se da en la figura a continuación. En esta figura, la línea negra representa …

9 time-series  probability  prediction  model-comparison  model-evaluation 

Tengo datos etiquetados de 2 clases en los que estoy realizando la clasificación usando múltiples clasificadores. Y los conjuntos de datos están bien equilibrados. Al evaluar el rendimiento de los clasificadores, debo tener en cuenta cuán preciso es el clasificador para determinar no solo los verdaderos positivos, sino también los …

9 classification  roc  model-evaluation  sensitivity-specificity 

En mis datos, tengo una variable de clase, indicado como . Los valores de esta variable de clase son 0 , 1 (binario). Casi todas las observaciones de C son 0 (cerca del 100%, más precisamente, 97%). Me gustaría una prueba de "rendimiento" en diferentes modelos de clasificación (podría ser …

9 classification  binary-data  model-evaluation 

Actualmente estoy trabajando en algunos datos de series temporales, sé que puedo usar el modelo LOESS / ARIMA. Los datos se escriben en un vector cuya longitud es 1000, que es una cola, que se actualiza cada 15 minutos, Por lo tanto, los datos antiguos aparecerán mientras los nuevos datos …

9 time-series  model-evaluation 

Para problemas de clasificación, he estado usando Redes Neurales y midiendo el error de Tipo I y II usando la matriz de confusión y sus medidas según este recurso ( espejo ), que es bastante sencillo. Cuando nos enfrentamos a un problema de estimación, ¿cómo evaluaría el desempeño del modelo? …

9 regression  machine-learning  estimation  model-evaluation 

Me he encontrado con una métrica de error utilizada para cuantificar el error de reconstrucción de un modelo: donde es el º punto de datos, es la estimación del modelo de la º punto de datos, y es la media de todos los puntos de datos. El numerador es el …

8 terminology  error  model-evaluation 

Estoy bastante confundido en cuanto a cómo puedo calcular los valores AP o mAP, ya que parece haber bastantes métodos diferentes. Específicamente quiero obtener los valores AP / mAP para la detección de objetos. Todo lo que sé con certeza es: Recuperación = TP / (TP + FN), Precisión = …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection