Comparación de dos resultados de precisión del clasificador para la significación estadística con la prueba t

Quiero comparar la precisión de dos clasificadores para la significación estadística. Ambos clasificadores se ejecutan en el mismo conjunto de datos. Esto me lleva a creer que debería estar usando una prueba t de una muestra de lo que he estado leyendo .

Por ejemplo:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

¿Es esta la prueba correcta para usar? Si es así, ¿cómo calculo si la diferencia de precisión entre el clasificador es significativa?

¿O debería estar usando otra prueba?

Probablemente optaría por la prueba de McNemar si solo entrena a los clasificadores una vez. David Barber también sugiere una prueba bayesiana bastante ordenada que me parece bastante elegante, pero que no se usa ampliamente (también se menciona en su libro ).

Solo para agregar, como dice Peter Flom, la respuesta es casi "sí" con solo mirar la diferencia en el rendimiento y el tamaño de la muestra (considero que las cifras citadas son el rendimiento del conjunto de prueba en lugar del rendimiento del conjunto de entrenamiento).

Por cierto, Japkowicz y Shah tienen un libro reciente sobre "Evaluación de algoritmos de aprendizaje: una perspectiva de clasificación" , no lo he leído, pero parece una referencia útil para este tipo de problemas.

Puedo decirle, sin siquiera ejecutar nada, que la diferencia será altamente estadísticamente significativa. Pasa el IOTT (prueba de trauma interocular, te golpea entre los ojos).

Sin embargo, si desea hacer una prueba, puede hacerlo como una prueba de dos proporciones; esto se puede hacer con una prueba t de dos muestras.

Sin embargo, es posible que desee dividir la "precisión" en sus componentes; sensibilidad y especificidad, o falso positivo y falso negativo. En muchas aplicaciones, el costo de los diferentes errores es bastante diferente.

Dado que la precisión, en este caso, es la proporción de muestras clasificadas correctamente, podemos aplicar la prueba de hipótesis sobre un sistema de dos proporciones.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

La estadística de prueba viene dada por

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ dónde $\quad\hat p= (x_1+x_2)/2n$

Nuestra intención es demostrar que la precisión global del clasificador 2, es decir, $p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (hipótesis nula que establece que ambos son iguales)
• $H_a: p_1 < p_2\quad$ (hipotyesis alternativa que dice que la más nueva es mejor que la existente)

La región de rechazo viene dada por

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Referencias

1. R. Johnson y J. Freund, Miller and Freund's Probability and Statistics for Engineers, 8th Ed. Prentice Hall International, 2011. (Fuente primaria)
2. Prueba de hipótesis: resumen de fórmula concisa . (Adoptado de [1])