Hay algunas modificaciones en la divergencia de KL que hacen que adquiera algunas de las propiedades métricas (aunque no todas).
Por ejemplo, la divergencia de Jeffrey modifica la divergencia de KL para hacerla simétrica.
Hay algunos casos especiales ver [1]: "Desafortunadamente, las medidas tradicionales basadas en la divergencia Kullback-Leibler (KL) y la distancia Bhattacharyya no satisfacen todos los axiomas métricos necesarios para muchos algoritmos. En este documento proponemos una modificación para el KL divergencia y la distancia Bhattacharyya, para densidades gaussianas multivariadas, que transforma las dos medidas en métricas de distancia ".
[1] K. Abou-Moustafa y F. Ferrie, "Una nota sobre propiedades métricas para algunas medidas de divergencia: el caso gaussiano", JMLR: Workshop and Conference Proceedings 25: 1–15, 2012.