¿Cómo evaluar la significación estadística de la precisión de un clasificador?

Tengo la salida de precisión del clasificador en porcentaje y el número de muestras de entrada. ¿Hay alguna prueba que pueda decir cuán estadísticamente significativo es el resultado basado en esta información?

Gracias

Desea definir la distribución de la precisión de solo adivinar. Quizás esto es como donde binomial ( , ) para algunos conocidos (digamos 50%).$X/n$$X \sim$$n$$p$$p$

Luego calcule la posibilidad de observar los resultados que obtuvo, si este modelo nulo fuera cierto. En R, puede usarlo binom.testo calcularlo directamente con pbinom.

Por lo general, querrá comparar la precisión no con "adivinar" sino con algún método alternativo, en cuyo caso podría usar la prueba de McNemar ; en R, mcnemar.test.

No veo dónde las pruebas contra la aleatoriedad completa son tan útiles. Un clasificador que solo puede vencer conjeturas aleatorias puras no es muy útil. Un problema mayor es su uso de proporción clasificada correctamente como su puntaje de precisión. Esta es una regla discontinua de puntaje impropia que se puede manipular fácilmente porque es arbitraria e insensible. Una (de muchas) formas de ver sus deficiencias es calcular la proporción clasificada correctamente si tiene un modelo con solo una intercepción. Será alto si los resultados no son cercanos a 0.5 en prevalencia.

Una vez que elija una regla más adecuada, sería valioso calcular un intervalo de confianza para el índice. La significación estadística es de poco valor.

Seguro que puedes computar un intervalo de confianza . Si$\mbox{acc}$ es su precisión estimada en un conjunto de prueba de $N$ elementos, sostiene que

$$\frac{acc-p}{\sqrt{p(1-p)/N}} \sim \mathcal{N}(0,1)$$ Así $$P\bigg( \frac{acc-p}{\sqrt{p(1-p)/N}} \in [-z_{\alpha/2},+z_{\alpha/2}]\bigg) \approx 1 - \alpha$$ Entonces puedes decir eso: $$P(p \in [l,u]) \approx 1 - \alpha$$ Por ejemplo, puede calcular el intervalo de Wilson . $$l = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 - z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$ $$u = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 + z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$

Creo que puede calcular cuánto difiere su rendimiento de uno aleatorio que calcula la ganancia . La precisión de un clasificador aleatorio es:

$$\mbox{acc}_r = \sum_{i=1}^{c} p_i^2$$ dónde $p_i$ es la frecuencia empírica de la clase $i$ estimado en el conjunto de prueba, y $c$es el número de clases diferentes En promedio, un clasificador aleatorio, que clasifica al azar adivinando la clase$i$ confiando en la probabilidad previa del conjunto de prueba, clasifica $p_i\cdot n_i = \frac{n_i}{N} \cdot n_i$ ejemplos de clase $i$correctamente. Dónde$n_i$ es el número de registros de clase $i$en el set de prueba. Así $$\mbox{acc}_r = \frac{p_1 \cdot n_1 + \dots + p_c \cdot n_c}{n_1 + \dots + n_c} = \frac{p_1\cdot n_1}{N} + \dots + \frac{p_c\cdot n_c}{N} = \sum_{i}^{c} p_i^2$$ Puede echar un vistazo a una pregunta mía.

La ganancia es:

$$\mbox{gain} = \frac{\mbox{acc}}{\mbox{acc}_r}$$

De hecho, creo que se puede esbozar una prueba estadística. El numerador podría verse como una variable aleatoria normal,$\mathcal{N}(\mbox{acc},p(1-p)/N)$, pero debe averiguar qué tipo de variable aleatoria el denominador $\mbox{acc}_r$ podría ser.

Puede interesarle los siguientes documentos:

• Eric W. Noreen, Métodos informáticos intensivos para probar hipótesis: una introducción, John Wiley & Sons, Nueva York, NY, EE. UU., 1989.
• Alexander Yeh, Pruebas más precisas para la significación estadística de las diferencias de resultados, en: Actas de la 18a Conferencia Internacional de Lingüística Computacional, Volumen 2, páginas 947-953, 2000.

Creo que cubren lo que Dimitrios Athanasakis habla.

Implementé una opción de Yeh en la forma en que la entiendo:

http://www.clips.uantwerpen.be/~vincent/software#art

Creo que una cosa que podrías probar sería una prueba de permutación. Simplemente ponga al azar permuta los pares de entrada-salida deseados que alimenta a su clasificador varias veces. Si no puede reproducir nada al mismo nivel en más de 100 permutaciones diferentes de lo que es significativo en el intervalo del 99%, etc. Este es básicamente el mismo proceso utilizado para obtener valores p (que corresponden a la probabilidad de obtener una correlación lineal de la misma magnitud después de permutar los datos al azar) y así sucesivamente.