Estoy en busca de una cota en la entropía de la suma de dos variables aleatorias discretas independientes X y Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Sin embargo, aplicado a la suma de n variables aleatorias independientes de Bernoulli Z 1 , ... , Z n , esto da
H ( Z 1 +H( X+ Y)XY
H( X+ Y) ≤ H( X) + H( Y) ( ∗ )
norteZ1, ... , Znorte En otras palabras, el límite crece linealmente con
n cuando se aplica repetidamente. Sin embargo,
Z 1 + ⋯ Z n es compatible con un conjunto de tamaño
n , por lo que su entropía es como máximo
log n . De hecho, por el teorema del límite central, supongo que
H ( Z 1 + ⋯ + Z n ) ≈ ( 1 / 2 ) logH( Z1+ Z2+ ⋯ + Znorte) ≤ n H( Z1)
norteZ1+ ⋯ ZnortenorteIniciar sesiónnorte ya que es esencialmente compatible con un conjunto de tamaño
√H( Z1+ ⋯ + Znorte) ≈ ( 1 / 2 ) lognorte .
norte--√
En resumen, el límite sobrepasa bastante en esta situación. Al leer esta publicación de blog , deduzco que son posibles todo tipo de límites en H ( X + Y ) ; ¿Hay un límite que proporcione los asintóticos correctos (o, al menos, los asintóticos más razonables) cuando se aplican repetidamente a la suma de variables aleatorias de Bernoulli?( ∗ )H( X+ Y)