Otra forma de decir lo mismo que la respuesta anterior en términos más laicos:
KL Divergence: en realidad, proporciona una medida de cuán grande es la diferencia entre dos distribuciones entre sí. Como se mencionó en la respuesta anterior, esta medida no es una métrica de distancia apropiada ya que no es simétrica. Es decir, la distancia entre la distribución A y B es un valor diferente de la distancia entre la distribución B y A.
Prueba de Kolmogorov-Smirnov: esta es una métrica de evaluación que analiza la mayor separación entre la distribución acumulativa de una distribución de prueba en relación con una distribución de referencia. Además, puede usar esta métrica como un puntaje z contra la distribución de Kolmogorov para realizar una prueba de hipótesis sobre si la distribución de prueba es la misma distribución que la referencia. Esta métrica se puede usar como una función de distancia, ya que es simétrica. Es decir, la mayor separación entre CDF de A frente a CDF de B es igual a la mayor separación entre CDF de B frente a CDF de A.