Revertir a Chernoff atado

¿Existe un límite inverso de Chernoff que limita que la probabilidad de la cola sea al menos tanto?

es decir, si son variables aleatorias binomiales independientes y . Entonces, ¿podemos probar para alguna función .$X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

Aquí hay una prueba explícita de que un límite estándar de Chernoff está ajustado a factores constantes en el exponente para un rango particular de los parámetros. (En particular, siempre que las variables sean 0 o 1, y 1 con probabilidad 1/2 o menos, y , y el límite superior de Chernoff sea menor que una constante).$\epsilon\in(0,1/2)$

Si encuentra un error, hágamelo saber.

Lema 1. (rigidez del límite de Chernoff) Sea el promedio de variables aleatorias independientes 0/1 (rv). Para cualquier y , suponiendo ,$X$$k$$\epsilon\in(0,1/2]$$p\in(0,1/2]$$\epsilon^2 p k \ge 3$

(i) Si cada rv es 1 con probabilidad como máximo , entonces$p$

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Si cada rv es 1 con probabilidad al menos $p$ , entonces

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Prueba. Utilizamos la siguiente observación:

Reclamación 1. Si , entonces ($1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Prueba de reclamación 1. Por aproximación de Stirling, wherelambda∈[1/(12i+1),1/12i]$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Por lo tanto, , que es , es al menos QED k$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$≥

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Prueba de Lema 1 Parte (i). Sin pérdida de generalidad, suponga que cada variable aleatoria 0/1 en la suma es 1 con probabilidad exactamente . Nota es igual a la suma , y .p Pr [ X ≤ ( 1 - ϵ ) p ] ∑ ⌊ ( 1 - ϵ ) p k ⌋ i = 0 Pr [ X = i / k $X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Fix . Los términos en la suma están aumentando, por lo que los términos con índice tienen cada uno un valor de al menos , por lo que su suma tiene un valor total de al menos . Para completar la prueba, mostramos que i ≥ ℓ Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ≥ exp ( - 9 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Los supuestos y dan , por lo que el lado izquierdo de arriba es al menos . Usando la Reclamación 1, para enlazar , esto es a su vez al menos donde y ε ≤ 1 / 2 ε p k ≥ 6 $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$($\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$A = $A\, B$ B= ($A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Para finalizar, mostramos y .B ≥ exp ( - 8 ϵ 2 p k $A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Reclamación 2. $A \ge \exp({-\epsilon^2 pk})$

Prueba de la Reclamación 2. Los supuestos y implican (i) .ε ≤ 1 / 2 p k ≥ $\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

Por definición, . Por (i), . Por lo tanto, (ii) .p k ≥ 12 $\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

Sustituyendo el lado derecho de (ii) por en obtiene (iii) .A A ≥ $\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

La suposición, , implica , que con (iii) da (iv) .ϵ $\epsilon^2 pk \ge 3$ A≥$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

De se deduce que (v) .exp ( - ϵ 2 p k ) ≤ exp ( - 3 ) ≤ $\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) y (v) juntos dan la reclamación. QED

Reclamación 3. .$B\ge \exp({-8\epsilon^2 pk})$

Prueba de reclamación 3. Arregle modo que . La elección de implica , por lo que la reclamación se mantendrá siempre que . Tomando cada lado de esta última desigualdad al poder y simplificando, es equivalente a Sustituyendo y simplificando, es equivalente a ℓ = ( 1 - δ ) p k ℓ δ ≤ 2 ϵ B ≥ exp ( - 2 δ 2 p k ) - 1 / ℓ $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$ℓ=(1-δ)pk(1-δ)(1+δ

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ln(1+z)≤z- $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Tomando el logaritmo de ambos lados y usando dos veces, se mantendrá mientras El lado izquierdo de arriba se simplifica a , que es menor que porque . QED$\ln(1+z)\le z$δ2 $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ 2 δ 2 / ( 1 - δ ) p ≤ 1 /$\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

Las reivindicaciones 2 y 3 implican . Esto implica parte (i) del lema.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Prueba de Lema 1 Parte (ii). Sin pérdida de generalidad, suponga que cada variable aleatoria es con probabilidad exactamente .$1$$p$

Nota . Fix .ℓ = ⌈ ( 1 + 2 ε ) p k ⌉ - $\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Los últimos términos en la suma total al menos , que es al menos . (La prueba de eso es la misma que para (i), excepto con reemplazado por y reemplazado por tal que .) QED$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

El teorema de Berry-Esseen puede dar límites más bajos de probabilidad de cola, siempre que sean más altos que .$n^{-1/2}$

Otra herramienta que puede usar es la desigualdad de Paley-Zygmund . Implica que para cualquier número entero , y cualquier variable aleatoria valor real ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Junto con el teorema multinomial, para una suma de variables aleatorias de rademacher Paley-Zygmund puede obtener límites inferiores bastante fuertes. También funciona con variables aleatorias de independencia limitada. Por ejemplo, puede obtener fácilmente que la suma de variables aleatorias independientes independientes en es con probabilidad constante.$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Si está de acuerdo con las sumas limitantes de los ensayos de Bernoulli (y no, por ejemplo, las variables aleatorias limitadas), lo siguiente es bastante estricto.

Desigualdad de lodo *. Deje que sea ​​iid se basa en un rv de Bernoulli con , y deje que se proporcione el entero . Si (a) y , o (b) , entonces donde es el cdf de una norma normal.$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Tratando el argumento de como transformando el estándar normal, esto concuerda exactamente con lo que el CLT le dice; de ​​hecho, nos dice que los binomios que satisfagan las condiciones del teorema dominarán sus gaussianos correspondientes en las colas superiores).$\Phi$

Desde aquí, puede usar límites en para obtener algo mejor. Por ejemplo, en el primer libro de Feller, en la sección sobre gaussianos, se muestra para cada que donde es la densidad de una normal estándar. Hay límites similares en el artículo de Wikipedia para "Q-function" también.$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Aparte de eso, y lo que otras personas han dicho, también puede intentar usar el Binomial directamente, tal vez con un poco de Stirling.

(*) Algunas declaraciones más recientes de la desigualdad de Slud omiten algunas de estas condiciones; He reproducido el del papel de Slud.

El teorema de Moivre-Laplace muestra que variables como, después de ser adecuadamente normalizado y bajo ciertas condiciones, convergerá en distribución a una distribución normal. Eso es suficiente si quieres límites inferiores constantes.$|T\cap S_1|$

Para límites inferiores como , necesita una herramienta ligeramente más fina. Aquí hay una referencia que conozco (pero solo por accidente, nunca tuve la oportunidad de usar esa desigualdad). Algunos límites inferiores explícitos en las probabilidades de cola de las distribuciones binomiales se dan como Teorema 1.5, el libro Gráficos aleatorios de Béla Bollobás, Cambridge, segunda edición, donde se dan más referencias a Una introducción a la probabilidad y sus aplicaciones por Feller y Fundamentos de probabilidad por Rényi.$n^{-c}$

El teorema generalizado de Littlewood-Offord no es exactamente lo que quiere, pero da lo que yo considero un "Chernoff inverso" limitado al mostrar que la suma de variables aleatorias es poco probable que se encuentre dentro de un rango pequeño alrededor de un valor en particular (incluyendo la expectativa). Quizás sea útil.

Formalmente, el teorema es el siguiente.

Teorema generalizado de Littlewood-Offord : Sea y números reales tales que para y deje que sean variables aleatorias independientes que tengan valores cero y uno. Para , suponga que para todo . Entonces, para cualquier , Donde es una constante que depende solo de .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

El exponente en el límite estándar de Chernoff como se establece en Wikipedia es ajustado para variables aleatorias con valor 0/1. Deje que y que sean una secuencia de variables aleatorias independientes tales que para cada , y . Luego, por cada , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Aquí, , que es la divergencia Kullback-Leibler entre el azar de Bernoulli variables con parámetros e .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Como se mencionó, el límite superior en la desigualdad anterior se demuestra en Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) bajo el nombre "Teorema de Chernoff-Hoeffding, forma aditiva". El límite inferior se puede probar utilizando, por ejemplo, el "método de tipos". Ver Lema II.2 en [1]. Además, esto está cubierto en el libro de texto clásico sobre teoría de la información de Cover y Thomas.

[1] Imre Csiszár: El método de los tipos. IEEE Transactions on Information Theory (1998). http://dx.doi.org/10.1109/18.720546