Cálculo analítico del error del clasificador Bayes

9

Si dos clases y tienen una distribución normal con parámetros conocidos ( , como sus medias y , son sus covarianzas) ¿cómo podemos calcular error del clasificador de Bayes para ellos? $w_1$ $w_2$ $M_1$ $M_2$ $\Sigma_1$ $\Sigma_2$

Supongamos también que las variables están en el espacio N-dimensional.

Nota: Una copia de esta pregunta también está disponible en https://math.stackexchange.com/q/11891/4051 que aún no tiene respuesta. Si se responde alguna de estas preguntas, se eliminará la otra.

— Isaac
fuente

1

¿Es esta pregunta la misma que stats.stackexchange.com/q/4942/919 ?

— whuber

@whuber Su respuesta sugiere que es el caso de hecho.

— chl

@whuber: sí. No sé esta pregunta adecuada para cuál. Estoy esperando una respuesta para que uno elimine al otro. ¿Va en contra de las reglas?

— Isaac

Podría ser más fácil, y seguramente sería más limpio, editar la pregunta original. Sin embargo, a veces una pregunta se reinicia como una nueva cuando la versión anterior recopila demasiados comentarios que las modificaciones hacen irrelevantes, por lo que es una decisión decisiva. En cualquier caso, es útil colocar referencias cruzadas entre preguntas estrechamente relacionadas para ayudar a las personas a conectarlas fácilmente.

— whuber

25

No hay una forma cerrada, pero puedes hacerlo numéricamente.

Como ejemplo concreto, considere dos gaussianos con los siguientes parámetros

μ_{1} = (\begin{matrix} - 1 \\ - 1 \end{matrix}), μ_{2} = (\begin{matrix} 1 \\ 1 \end{matrix})

$\mu_1=\left(\begin{matrix} -1\\\\ -1 \end{matrix}\right), \mu_2=\left(\begin{matrix} 1\\\\ 1 \end{matrix}\right)$

Σ_{1} = (\begin{matrix} 2 & 1 / / 2 \\ 1 / / 2 & 2 \end{matrix}), Σ_{2} = (\begin{matrix} 1 & 0 0 \\ 0 0 & 1 \end{matrix})

$\Sigma_1=\left(\begin{matrix} 2&1/2\\\\ 1/2&2 \end{matrix}\right),\ \Sigma_2=\left(\begin{matrix} 1&0\\\\ 0&1 \end{matrix}\right)$

El límite del clasificador óptimo de Bayes corresponderá al punto donde dos densidades son iguales

Dado que su clasificador elegirá la clase más probable en cada punto, debe integrarse sobre la densidad que no es la más alta para cada punto. Para el problema anterior, corresponde a volúmenes de las siguientes regiones

Puede integrar dos piezas por separado utilizando algún paquete de integración numérica. Para el problema anterior, obtengo el 0.253579siguiente código de Mathematica

dens1[x_, y_] = PDF[MultinormalDistribution[{-1, -1}, {{2, 1/2}, {1/2, 2}}], {x, y}];
dens2[x_, y_] = PDF[MultinormalDistribution[{1, 1}, {{1, 0}, {0, 1}}], {x, y}];
piece1 = NIntegrate[dens2[x, y] Boole[dens1[x, y] > dens2[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece2 = NIntegrate[dens1[x, y] Boole[dens2[x, y] > dens1[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece1 + piece2

— Yaroslav Bulatov
fuente

44

Buena respuesta. ¿Podría por favor proporcionar comandos para reproducir sus hermosas figuras?

— Andrej

3

(+1) Estos gráficos son hermosos.

— COOLSerdash

1

Parece que puede hacer esto de dos maneras, dependiendo de los supuestos del modelo que esté feliz de hacer.

Enfoque Generativo

Suponiendo un modelo generativo para los datos, también necesita conocer las probabilidades previas de cada clase para una declaración analítica del error de clasificación. Busque Análisis discriminante para obtener el límite de decisión óptimo en forma cerrada, luego calcule las áreas en el lado equivocado de cada clase para obtener las tasas de error.

Asumo que este es el enfoque previsto por su invocación de la clasificador de Bayes, que se define sólo cuando se especifica todo lo relacionado con el proceso de generación de datos. Dado que esto rara vez es posible, siempre vale la pena considerar

Enfoque de discriminación

Si no desea o no puede especificar las probabilidades de clase anteriores, puede aprovechar el hecho de que la función discriminante puede, en muchas circunstancias (aproximadamente, distribuciones condicionales de clase familiar exponencial) ser modelada directamente por un modelo de regresión logística. El cálculo de la tasa de error es el del modelo de regresión logística relevante.

Para una comparación de enfoques y una discusión de las tasas de error, Jordan 1995 y Jordan 2001 y las referencias pueden ser de interés.

— conjugadoprior
fuente

0

Aquí puede encontrar varias pistas para su pregunta, tal vez no existe la respuesta completa, pero ciertamente partes muy valiosas. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2766788/

— mariana más suave
fuente

0

$(1 - TV) / 2$ $TV$

Para completar, no es difícil encontrar buenas referencias que calculen la TV entre distribuciones gaussianas multivariadas.

— dohmatob
fuente