¿Cómo derivar la interpretación probabilística de las AUC?

14

¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación usando integral, dando los CDF y PDF de las verdaderas distribuciones de clase positiva y negativa?

probability roc auc

— mff
fuente

2

Escribí una prueba muy elemental de esto aquí: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury

10

Primero, intentemos definir formalmente el área bajo la curva ROC. Algunos supuestos y definiciones:

Tenemos un clasificador probabilístico que genera una "puntuación" s (x), donde x son las características, y s es una función monotónica creciente genérica de la probabilidad estimada p (clase = 1 | x).
$f_{k}(s)$ , con : = pdf de las puntuaciones para la clase k, con CDF $k = \{0, 1\}$ $F_{k}(s)$
La clasificación de una nueva observación se obtiene comprando la puntuación s en un umbral t

Además, por conveniencia matemática, consideremos la clase positiva (evento detectado) k = 0, y negativa k = 1. En esta configuración podemos definir:

Recordar (también conocido como Sensibilidad, también conocido como TPR) : (proporción de casos positivos clasificados como positivos) $F_{0}(t)$
Especificidad (también conocida como TNR) : (proporción de casos negativos clasificados como negativos) $1 - F_{1}(t)$
FPR (también conocido como Fall-out) : 1 - TNR = $F_{1}(t)$

La curva ROC es entonces una gráfica de contra . Configurando , podemos definir formalmente el área bajo la curva ROC como: Variable cambiante ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Se puede ver fácilmente que esta fórmula es la probabilidad de que un miembro de la clase 0 seleccionado aleatoriamente produzca una puntuación menor que la de un miembro de la clase 1 seleccionado aleatoriamente.

Esta prueba está tomada de: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
fuente

5

La respuesta de @ alebu es genial. Pero su notación no es estándar y usa 0 para la clase positiva y 1 para la clase negativa. A continuación se muestran los resultados para la notación estándar (0 para la clase negativa y 1 para la clase positiva):

Pdf y cdf de la puntuación para clase negativa: y $f_0(s)$ $F_0(s)$

Pdf y cdf de la puntuación para clase positiva: y $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

donde significa umbral. Se puede aplicar la interpretación en la respuesta de @ alebu a la última expresión. $\tau$

— Lei Huang
fuente

1

La forma de calcular AUC-ROC es trazar el TPR y el FPR como el umbral, se cambia y calcular el área bajo esa curva. Pero, ¿por qué esta área bajo la curva es igual a esta probabilidad? Asumamos lo siguiente: $\tau$

$A$ es la distribución de puntajes que el modelo produce para los puntos de datos que realmente están en la clase positiva.
$B$ es la distribución de puntajes que el modelo produce para los puntos de datos que realmente están en la clase negativa (queremos que esté a la izquierda de ). $A$
$\tau$ es el umbral de corte. Si un punto de datos obtiene un puntaje mayor que este, se predice que pertenece a la clase positiva. De lo contrario, se predice que estará en la clase negativa.

Tenga en cuenta que el TPR (recuperación) viene dado por: y el FPR (caída) es: . $P(A>\tau)$ $P(B>\tau)$

Ahora, graficamos el TPR en el eje y y el FPR en el eje x, dibujamos la curva para varios y calculamos el área bajo esta curva ( ). $\tau$ $AUC$

Obtenemos:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ donde es el FPR. Ahora, una forma de calcular esta integral es considerar que pertenece a una distribución uniforme. En ese caso, simplemente se convierte en la expectativa del .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ si consideramos .

x \sim U [0, 1)

$x \sim U[0,1)$

Ahora, aquí era solo el $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Dado que consideramos que es de una distribución uniforme,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Pero sabemos por la transformada inversa de la ley que para cualquier variable aleatoria , si continuación, . Esto se debe a que tomar cualquier variable aleatoria y aplicarle su propio CDF conduce al uniforme. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ y esto solo es válido para el uniforme.

El uso de este hecho en la ecuación (2) nos da:

τ (x) \sim B

$\tau(x) \sim B$

Sustituyendo esto en la ecuación (1) obtenemos:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

En otras palabras, el área debajo de la curva es la probabilidad de que una muestra positiva aleatoria tenga una puntuación más alta que una muestra negativa aleatoria.

— ryu576
fuente