Preguntas etiquetadas con accuracy

Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida muy simple y muy "intuitiva", …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

A pesar de haber visto estos términos 502847894789 veces, no puedo recordar la diferencia entre sensibilidad, especificidad, precisión, exactitud y recuerdo. Son conceptos bastante simples, pero los nombres son muy poco intuitivos para mí, por lo que sigo confundiéndolos entre sí. ¿Cuál es una buena manera de pensar sobre estos …

50 terminology  accuracy  sensitivity-specificity 

Soy nuevo en la minería de datos y estoy tratando de entrenar un árbol de decisión contra un conjunto de datos que está altamente desequilibrado. Sin embargo, estoy teniendo problemas con poca precisión predictiva. Los datos consisten en estudiantes que estudian cursos, y la variable de clase es el estado …

43 classification  cart  unbalanced-classes  accuracy 

Estoy obteniendo una precisión del 100% para mi árbol de decisiones. ¿Qué estoy haciendo mal? Este es mi código: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train …

38 machine-learning  python  cart  accuracy 

El error porcentual absoluto medio ( mape ) es una medida de precisión o error común para series de tiempo u otras predicciones, MAPE=100n∑t=1n|At−Ft|At%,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, donde son reales y predicciones o predicciones correspondientes.AtAtA_tFtFtF_t El MAPE es un porcentaje, por lo que podemos compararlo fácilmente entre series, y las …

29 accuracy  mape 

Suponga que un modelo tiene una precisión del 100% en los datos de entrenamiento, pero una precisión del 70% en los datos de la prueba. ¿Es cierto el siguiente argumento sobre este modelo? Es obvio que este es un modelo sobreajustado. La precisión de la prueba se puede mejorar reduciendo …

25 model  accuracy  overfitting 

Estaba confundido acerca de las diferencias entre el puntaje F1, el puntaje Dice y el IoU (intersección sobre unión). Por ahora descubrí que F1 y Dice significan lo mismo (¿verdad?) Y IoU tiene una fórmula muy similar a las otras dos. F1 / Dados: 2 TPAGS2 TPAGS+ FPAGS+ Fnorte2TPAGS2TPAGS+FPAGS+Fnorte\frac{2TP}{2TP+FP+FN} IoU …

24 terminology  accuracy  precision-recall 

El error escalado absoluto medio (MASE) es una medida de la precisión del pronóstico propuesta por Koehler y Hyndman (2006) . MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} donde es el error absoluto medio producido por el pronóstico real; mientras que es el error absoluto medio producido por un pronóstico ingenuo (por ejemplo, pronóstico …

22 time-series  forecasting  accuracy  mase 

En primer lugar, da probabilidad de resultados. Entonces, por ejemplo, sus predicciones para las elecciones estadounidenses son actualmente del 82% de Clinton frente al 18% de Trump. Ahora, incluso si Trump gana, ¿cómo sé que no fue solo el 18% del tiempo que debería haber ganado? El otro problema es …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Supongamos que hago validación cruzada K-fold con K = 10 pliegues. Habrá una matriz de confusión para cada pliegue. Al informar los resultados, ¿debo calcular cuál es la matriz de confusión promedio o simplemente sumar las matrices de confusión?

18 machine-learning  cross-validation  accuracy 

Construí una curva ROC para un sistema de diagnóstico. El área bajo la curva se estimó entonces no paramétricamente como AUC = 0,89. Cuando intenté calcular la precisión en el umbral óptimo (el punto más cercano al punto (0, 1)), ¡obtuve la precisión del sistema de diagnóstico de 0,8, que …

16 roc  reliability  accuracy  auc 

Durante el entrenamiento de un clasificador binario de red neuronal simple obtengo un alto valor de pérdida, usando entropía cruzada. A pesar de esto, el valor de precisión en el conjunto de validación es bastante bueno. ¿Tiene algún significado? ¿No hay una correlación estricta entre pérdida y precisión? Tengo en …

15 neural-networks  accuracy 

En el libro "Bioestadística para tontos" en la página 40 leí: El error estándar (SE abreviado) es una forma de indicar qué tan precisa es su estimación o medición de algo. y Los intervalos de confianza proporcionan otra forma de indicar la precisión de una estimación o medición de algo. …

15 confidence-interval  standard-error  measurement-error  accuracy 

La puntuación F1 es la media armónica de precisión y recuperación. El eje y de recuperación es una tasa positiva verdadera (que también es recuperación). Entonces, en ocasiones los clasificadores pueden tener un AUC bajo pero muy alto, ¿qué significa eso? ¿Cuáles son las diferencias entre AUC y F1-score?

14 machine-learning  precision-recall  auc  accuracy 

Disculpas si esta es una pregunta muy obvia, pero he estado leyendo varias publicaciones y parece que no puedo encontrar una buena confirmación. En el caso de la clasificación, ¿la precisión de un clasificador es = 1- tasa de error de prueba ? Obtengo que la precisión es , pero …

14 classification  terminology  accuracy