Agrupación: ¿Debería usar la divergencia Jensen-Shannon o su cuadrado?

Estoy agrupando distribuciones de probabilidad usando el algoritmo de Propagación de afinidad , y planeo usar la Divergencia de Jensen-Shannon como mi métrica de distancia.

¿Es correcto usar JSD en sí mismo como la distancia, o JSD al cuadrado? ¿Por qué? ¿Qué diferencias resultarían de elegir uno u otro?

— AlcubierreDrive
fuente

Creo que depende de cómo se use.

Solo como referencia para otros lectores, si y son medidas de probabilidad, entonces la Divergencia de Jensen-Shannon es $P$ $Q$ donde

J (PAG, Q) = \frac{1}{2} (re (PAG ∣∣ R) + re (Q ∣∣ R))

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

es la medida del punto medio y

es la divergencia Kullback-Leibler.

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

Ahora, estaría tentado a usar la raíz cuadrada de la divergencia de Jensen-Shannon, ya que es una métrica , es decir, satisface todas las propiedades "intuitivas" de una medida de distancia.

Para más detalles sobre esto, vea

Endres y Schindelin, una nueva métrica para distribuciones de probabilidad , IEEE Trans. en Info. Tu. vol. 49, no. 3, julio de 2003, págs. 1858-1860.

Por supuesto, en cierto sentido, depende de para qué lo necesite. Si todo lo que está usando es para evaluar alguna medida por pares, entonces cualquier transformación monotónica de JSD funcionaría. Si está buscando algo que esté más cerca de una "distancia al cuadrado", entonces el JSD es la cantidad análoga.

Por cierto, también podría estar interesado en esta pregunta anterior y las respuestas y discusiones asociadas.

— cardenal
fuente

Genial, leeré "una nueva métrica para la distribución de probabilidad" lo antes posible. Txh

— ocram

¡Gracias! No me di cuenta de que JSD en sí ya es análogo a dist ** 2

— AlcubierreDrive

¡Gracias por la grandiosa explicación! Solo una pregunta rápida. Sé que J-Divergence es simétrico en eso J(P,Q) = J(Q,P). Leí que la divergencia JS es simétrica en P y Q. ¿Significa esto JS(P,Q) = JS(Q,P)? Estoy preguntando esto porque estoy usando la KLdivfunción del flexmixpaquete R. Para mis dos distribuciones, la salida de matriz de KLdiv no es simétrica. Esperaba que JS corrigiera esto, pero la salida de JS (calculada usando KL) no es simétrica.

— Leyenda

@Legend: Sí, la divergencia JS es simétrica. Esperemos que sea fácil de ver a partir de la ecuación dada en la respuesta. Asegúrese de tomar la divergencia KL entre

P

$P$ y la medida del punto medio y

Q

$Q$ y la medida del punto medio para cada uno de los dos términos. Por separado, ninguno será simétrico, necesariamente.

— cardenal