Pros de Jeffries Matusita distancia

Según algún artículo que estoy leyendo, la distancia de Jeffries y Matusita se usa comúnmente. Pero no pude encontrar mucha información al respecto, excepto la fórmula a continuación

JMD (x, y) = $\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2}$

Es similar a la distancia euclidiana, excepto por la raíz cuadrada

E (x, y) = $\sqrt[2]{\sum(x_i-y_i)^2}$

Se dice que la distancia JM es más confiable que la distancia euclidiana en términos de clasificación. ¿Alguien puede explicar por qué esta diferencia hace que la distancia JM sea mejor?

classification k-nearest-neighbour euclidean

— romy_ngo
fuente

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

y

$y$

p (x)

$p(x)$

q (x)

$q(x)$

@ user603 Sí, creo que lo tienes. Ahora las conexiones con las divergencias de KL y la medida de Battacharyya se hacen evidentes.

— whuber

Algunas diferencias clave, que preceden a una explicación más larga a continuación, son:

Crucialmente: la distancia Jeffries-Matusita se aplica a distribuciones, en lugar de vectores en general.
La fórmula de distancia JM que cita arriba solo se aplica a vectores que representan distribuciones de probabilidad discretas (es decir, vectores que suman 1).
A diferencia de la distancia euclidiana, la distancia JM se puede generalizar a cualquier distribución para la que se pueda formular la distancia Bhattacharrya.
La distancia JM tiene, a través de la distancia Bhattacharrya, una interpretación probabilística.

$b_{p,q}$ $[0, \inf)$ $[0, \sqrt{2}]$

J M_{p, q} = \sqrt{2 (1 - \exp (- b (p, q))}

$JM_{p,q}=\sqrt{2(1-\exp(-b(p,q))}$

Una ventaja práctica de la distancia JM, de acuerdo con este documento, es que esta medida "tiende a suprimir los valores altos de separabilidad, mientras que enfatiza demasiado los valores bajos de separabilidad".

La distancia de Bhattacharrya mide la disimilitud de dos distribuciones y en el siguiente sentido continuo abstracto: Si las distribuciones y son capturados por histogramas, representados por vectores de longitud unitaria (donde el ésimo elemento es el recuento normalizado para ésima de contenedores) esto se convierte en: Y, en consecuencia, la distancia JM para los dos histogramas es: Que, señalando eso para histogramas normalizados $p$ $q$

b (p, q) = - \ln \int \sqrt{p (x) q (x)} d x

$b(p,q)=-\ln\int{\sqrt{p(x)q(x)}}dx$

p

$p$

q

$q$

i

$i$

i

$i$

N

$N$

b (p, q) = - \ln \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}}

$b(p,q)=-\ln\sum_{i=1}^{N}\sqrt{p_i\cdot q_i}$

J M_{p, q} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

\sum_{i} p_{i} = 1

$\sum_{i}{p_i}=1$ , es la misma que la fórmula que proporcionó anteriormente:

J M_{p, q} = \sqrt{\sum_{i = 1}^{N} {(\sqrt{p_{i}} - \sqrt{q_{i}})}^{2}} = \sqrt{\sum_{i = 1}^{N} (p_{i} - 2 \sqrt{p_{i}} \sqrt{q_{i}} + q_{i})} = \sqrt{2 (1 - \sum_{i = 1}^{N} \sqrt{p_{i} \cdot q_{i}})}

$JM_{p,q}=\sqrt{\sum_{i=1}^{N}{\left(\sqrt{p_i} - \sqrt{q_i}\right)^2}}=\sqrt{\sum_{i=1}^{N}{\left(p_i -2 \sqrt{p_i}\sqrt{q_i} + q_i \right)}}=\sqrt{2\left(1-\sum_{i=1}^{N}{\sqrt{p_i\cdot q_i}}\right)}$

— rroowwllaanndd
fuente

+1 Muchas gracias por saltar y hacer este esfuerzo muy bien hecho para aclarar la situación.

— whuber