¿Cómo calcular la distancia / divergencia de Kullback-Leibler?

Tengo tres conjuntos de datos X, Y y Z. Cada conjunto de datos define la frecuencia de un evento. Por ejemplo:

Conjunto de datos X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0, etc.
Conjunto de datos Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0, etc.
Conjunto de datos Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0, etc.

Tengo que encontrar KL-divergencia entre X e Y; y entre X y Z. Como puede ver para algunos de los eventos, habrá 0 y valores distintos de cero. Para algunos de los eventos, los tres conjuntos de datos son 0.

Agradecería que alguien pueda ayudarme a encontrar la divergencia de KL para esto. No soy muy experto en estadística, así que no tengo mucha idea. Los tutoriales que estaba viendo en línea eran demasiado complejos para mi comprensión.

Para responder a su pregunta, debemos recordar la definición de divergencia KL :

$$D_{KL}(Y||X) = \sum_{i=1}^N \ln \left( \frac{Y_i}{X_i} \right) Y_i$$

En primer lugar, debe pasar de lo que tiene a las distribuciones de probabilidad. Para esto, debe normalizar sus datos de modo que sumen uno:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$$Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Luego, para valores discretos tenemos una suposición muy importante que se necesita para evaluar la divergencia de KL y que a menudo se viola:

$X_i = 0$$Y_i = 0$

$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Lo que podría aconsejar desde el punto de vista práctico es:

o haga que sus eventos sean "más grandes" para que tenga menos ceros

u obtener más datos, de modo que cubra incluso eventos raros con al menos una entrada.

Si no puede utilizar ninguno de los consejos anteriores, probablemente necesitará encontrar otra métrica entre las distribuciones. Por ejemplo,

$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Espero que ayude.

Es posible que desee establecer \ epsilon en un valor muy pequeño 0.00001 (digamos) y seguir con valores distintos de cero para todas las probabilidades y calcular las puntuaciones KL.

Por favor, avíseme si esto funciona.