Significación estadística (valor p) para comparar dos clasificadores con respecto al (promedio) ROC AUC, sensibilidad y especificidad

Tengo un conjunto de prueba de 100 casos y dos clasificadores.

Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores.

Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes (ROC AUC, sensibilidad, especificidad)?

Ahora, para el mismo conjunto de prueba de 100 casos, tengo asignaciones de funciones diferentes e independientes para cada caso. Esto se debe a que mis características son fijas pero subjetivas y provistas por múltiples (5) sujetos.

Entonces, evalué mis dos clasificadores nuevamente para 5 "versiones" de mi conjunto de prueba y obtuve 5 AUC ROC, 5 sensibilidades y 5 especificidades para ambos clasificadores. Luego, calculé la media de cada medida de rendimiento para 5 sujetos (AUC media ROC, sensibilidad media y especificidad media) para ambos clasificadores.

Pregunta 2: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a las puntuaciones medias (AUC media ROC, sensibilidad media, especificidad media)?

Las respuestas con algún ejemplo de python (preferiblemente) o código MatLab son más que bienvenidas.

— kostek
fuente

Haga una comparación directa de precisión, exactitud, AuC para obtener el mejor clasificador entre los dos. El valor P no tiene sentido aquí. El valor p se usa en el contexto de evaluar si el modelo funciona mejor que las asignaciones aleatorias / 50-50 (como una prueba de hipótesis nula / alternativa)

— Nishad

Primero, no estoy de acuerdo en que la comparación de dos medidas de rendimiento utilizando el valor p no tenga sentido aquí. Veo que un clasificador tiene AUC 0.80 y el otro 0.85. Mi hipótesis nula sería que no hay diferencia en el rendimiento de ambos clasificados. Quiero saber si la diferencia es estadísticamente significativa.

— kostek

En segundo lugar, no hago 5 versiones de mi modelo. Tengo dos modelos entrenados en un conjunto de entrenamiento separado y ahora los evalúo en 5 "versiones" diferentes de mi conjunto de prueba. Tengo un rendimiento medio para ambos clasificadores (por ejemplo, 0.81 AUC y 0.84 AUC) y quiero verificar si la diferencia es estadísticamente significativa.

— kostek

No diría que lo que estoy haciendo está cerca de la validación cruzada. En mi caso, los valores de las características dependen del tema que las proporciona. Sé que AUC se puede usar para comparar modelos, pero quiero saber si, en mi contexto, el resultado de mi comparación es estadísticamente significativo. Estoy seguro de que se puede hacer y que tiene mucho sentido hacerlo. Mi pregunta es cómo hacerlo.

— kostek

No estoy seguro de a qué se refiere @Nishad, puede y debe usar una prueba de hipótesis para determinar si sus modelos son significativamente diferentes entre sí. Las desviaciones estándar de sus métricas existen y se hacen más pequeñas a medida que aumenta el tamaño de la muestra (todas las demás cosas son iguales). Una diferencia de AUC entre 0.8 y 0.9 puede no ser significativa si solo tiene 10 muestras, pero podría ser muy significativa si tiene 10M de muestras. Tampoco veo ninguna relación con la validación cruzada. Votaría los comentarios si pudiera.

— Nuclear Wang

Respuestas:

Wojtek J. Krzanowski y David J. Hand ROC Curves for Continuous Data (2009) es una gran referencia para todo lo relacionado con las curvas ROC. Reúne una serie de resultados en lo que es una base de literatura frustrantemente amplia, que a menudo utiliza una terminología diferente para discutir el mismo tema.

Además, este libro ofrece comentarios y comparaciones de métodos alternativos que se han derivado para estimar las mismas cantidades, y señala que algunos métodos hacen suposiciones que pueden ser insostenibles en contextos particulares. Este es uno de esos contextos; otras respuestas informan el método de Hanley y McNeil, que asume el modelo binormal para la distribución de puntajes, que puede ser inapropiado en casos donde la distribución de puntajes de clase no es (casi) normal. La suposición de puntajes distribuidos normalmente parece especialmente inapropiada en contextos modernos de aprendizaje automático , los modelos comunes típicos como xgboost tienden a producir puntajes con una distribución de "bañera" para tareas de clasificación (es decir, distribuciones con altas densidades en los extremos cerca de 0 y 1 )

Pregunta 1 - AUC

La sección 6.3 discute las comparaciones de ROC AUC para dos curvas ROC (pp 113-114). En particular, entiendo que estos dos modelos están correlacionados, por lo que la información sobre cómo calcular $r$ es críticamente importante aquí; de lo contrario, su estadística de prueba estará sesgada porque no tiene en cuenta la contribución de la correlación.

Para el caso de curvas ROC no correlacionadas que no se basan en suposiciones de distribución paramétricas, las estadísticas para las pruebas e intervalos de confianza que comparan pueden basarse directamente en estimaciones y de los valores de AUC, y estimaciones de sus desviaciones estándar y , como se indica en la sección 3.5.1: $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Para extender tales pruebas al caso en el que se utilizan los mismos datos para ambos clasificadores, debemos tener en cuenta la correlación entre las estimaciones de AUC:
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
donde es la estimación de esta correlación. Hanley y McNeil (1983) hicieron tal extensión, basando su análisis en el caso binormal, pero solo dieron una tabla que muestra cómo calcular el coeficiente de correlación estimado partir de la correlación de los dos clasificadores dentro de la clase P, y la correlación de de los dos clasificadores dentro de la clase N, diciendo que la derivación matemática estaba disponible a pedido. Varios otros autores (por ejemplo, Zou, 2001) han desarrollado pruebas basadas en el modelo binormal, asumiendo que se puede encontrar una transformación apropiada que transformará simultáneamente las distribuciones de puntajes de las clases P y N a la normal. $r$ $r$ $r_P$ $r_n$

DeLong et al (1988) aprovecharon la identidad entre AUC y el estadístico de prueba de Mann-Whitney, junto con los resultados de la teoría de las estadísticas generalizadas debidas a Sen (1960), para derivar una estimación de la correlación entre las AUC que no se basa en el supuesto binormal. De hecho, DeLong et al (1988) presentaron los siguientes resultados para las comparaciones entre clasificadores. $U$ $k\ge 2$

En la Sección 3.5.1, mostramos que el área bajo la curva empírica ROC era igual a la estadística Mann-Whitney , y fue dada por $U$

dondeson el puntaje para losobjetos dela claseyson los puntajes para losobjetos declaseen la muestra. Supongamos que tenemosclasificadores, produciendo puntajes
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ y [Corrigí un error de indexación en esta parte - Sycorax], y . Definir $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
y
$V_{10}^{r} = \frac{1}{n_{N}} \sum_{j = 1}^{n_{N}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], i = 1, \dots, n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} \sum_{i = 1}^{n_{P}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], j = 1, \dots, n_{N}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
a continuación, defina la matriz con th elemento $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ y lamatrizconth elemento
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} \sum_{i = 1}^{n_{P}} [V_{10}^{r} (s_{P_{i}}) - {\hat{A U C}}_{r}] [V_{10}^{s} (s_{P_{i}}) - {\hat{A U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Luego, la matriz de covarianza estimada para el vector $w_{01}^{r, s} = \frac{1}{n_{N} - 1} \sum_{i = 1}^{n_{N}} [V_{01}^{r} (s_{N_{i}}) - {\hat{A U C}}_{r}] [V_{01}^{s} (s_{N_{i}}) - {\hat{A U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ de las áreas estimadas debajo de las curvas es $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ con elementos. Esta es una generalización del resultado para la varianza estimada de un AUC único estimado, también se da en la sección 3.5.1. En el caso de dos clasificadores, la correlación estimadaentrelos AUCestimados viene dada por $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ que se pueden usar enarriba. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Como otras respuestas dan las expresiones de Hanley y McNeil para estimadores de varianza AUC, aquí reproduciré el estimador DeLong de p. 68:

$s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

$\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

$F$ $G$ $F$ $G$

$Z$ $z$

Este es un resumen simplificado de alto nivel de cómo funciona la prueba de hipótesis:

La prueba, en sus palabras, "si un clasificador es significativamente mejor que el otro" puede reformularse como prueba de la hipótesis nula de que los dos modelos tienen AUC estadísticamente iguales contra la hipótesis alternativa de que las estadísticas son desiguales.
Esta es una prueba de dos colas.
Rechazamos la hipótesis nula si el estadístico de prueba está en la región crítica de la distribución de referencia, que es una distribución normal estándar en este caso.
$\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Pregunta 1 - Sensibilidad y especificidad

$t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

El punto de conflicto principal es desarrollar la prueba adecuada dado que las dos proporciones de la muestra estarán correlacionadas (ya que ha aplicado dos modelos a los mismos datos de prueba). Esto se aborda en la p. 111)

$tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ $s_{12}^2$ $tp_1$ $tp_2$

$tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

Pregunta 2

Parece que es suficiente fusionar los resultados promediando los valores de predicción para cada encuestado, de modo que para cada modelo tenga 1 vector de 100 valores pronosticados promediados. Luego calcule las estadísticas de ROC AUC, sensibilidad y especificidad como de costumbre, como si los modelos originales no existieran. Esto refleja una estrategia de modelado que trata a cada uno de los modelos de los 5 encuestados como uno de un "comité" de modelos, algo así como un conjunto.

— Sycorax dice reinstalar a Mónica
fuente

Gracias por su respuesta y referencias proporcionadas. ¿Qué pasa con los valores p de sensibilidad y especificidad?

— kostek

Para Q1, ¿significa que no hay diferencia entre calcular el valor p para la sensibilidad y la especificidad y que ambos siempre tienen el mismo valor p y simplemente hago una tabla de contingencia y ejecuto la prueba de McNemar?

— kostek

No, harías una prueba para cada uno.

— Sycorax dice Reinstate Monica el

a, b, c, d

$a,b,c,d$

@Drey No son proporciones; Son cuentas. Hago esto explícito en una revisión.

— Sycorax dice Reinstate Monica

Permítanme mantener la respuesta breve, porque esta guía explica mucho más y mejor .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

Para comparar dos AUC, debe calcular el SE de ambos utilizando:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Desde allí, puede calcular el valor p utilizando la densidad de probabilidad de una distribución normal estándar. O simplemente usa esta calculadora.

Con suerte, esto responde a la pregunta 1 . - al menos la parte que compara las AUC. Sens / Spec ya está cubierto por el ROC / AUC de alguna manera. De lo contrario, la respuesta que creo radica en la pregunta 2.

En cuanto a la Pregunta 2 , el Teorema del límite central nos dice que su estadística resumida seguiría una distribución normal. Por lo tanto, creo que una prueba t simple sería suficiente (5 medidas de un clasificador contra 5 medidas del segundo clasificador donde las medidas podrían ser AUC, sens, spec)

$\texttt{SE}$ $\ldots - 2r \ldots$

— Drey
fuente

Gracias por los enlaces provistos. Para la pregunta 1, si configuro A como sensibilidad o especificidad, ¿se mantendrían las ecuaciones para SE y z-Score?

— kostek

\hat{p}

$\hat{p}$

Para la pregunta 1, @Sycorax proporcionó una respuesta integral.

Para la pregunta 2, que yo sepa, promediar las predicciones de los sujetos es incorrecto. Decidí usar bootstrapping para calcular los valores p y comparar modelos.

En este caso, el procedimiento es el siguiente:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Este procedimiento realiza una prueba de una cola y supone que M1 significa rendimiento> M2 rendimiento promedio.

En este repositorio de GitHub: https://github.com/mateuszbuda/ml-stat-util se puede encontrar una implementación de arranque de Python para calcular valores p que comparan varios lectores

— kostek
fuente