¿Cuál es la prueba de esta versión no estándar de la desigualdad de Azuma?

En el Apéndice B de Impulso y privacidad diferencial de Dwork et al., Los autores declaran el siguiente resultado sin pruebas y se refieren a él como la desigualdad de Azuma:

Supongamos que $C_1, \dots, C_k$ sean variables aleatorias con valores reales de modo que para cada $i \in [k]$ ,

$\Pr[|C_i| \leq \alpha] = 1$

por cada , tenemos . $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$

Luego, para cada , tenemos . $z > 0$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$

Tengo problemas para probar esto. La versión estándar de la desigualdad de Azuma dice:

Supongamos que es una martingala y casi seguro. Entonces, para todos los , tenemos . $\{X_0, X_1, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq \gamma_i$ $t > 0$ $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$

Para probar la versión de la desigualdad de Azuma establecida por Dwork et al., Pensé que deberíamos tomar y . De esa manera, creo que es una martingala. Pero todo lo que podemos decir es que casi seguro, ¿verdad? Ese factor de dos causa problemas, porque significa que después de la sustitución, simplemente encontramos que , que es más débil que la conclusión establecida por Dwork et al. $X_0 = 0$ $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ $\{X_0, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq 2\alpha$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$

¿Hay un truco simple que me estoy perdiendo? Es la declaración de Dwork et al. falta un factor de dos?

pr.probability

— William Hoza
fuente

La declaración en el documento es cierta, pero no se desprende de la versión "habitual" de la desigualdad de Azuma. El problema es que la declaración usual asume pero cualquier intervalo de la misma longitud servirá; No hay razón para asumir un intervalo simétrico.

X_{i} - X_{i - 1} \in [- a, a]

$X_i-X_{i-1}\in[-a,a]$

— Thomas apoya a Mónica el

No puedo encontrar una referencia, así que esbozaré la prueba aquí.

Teorema. Deje que sean variables aleatorias reales. Deje ser constantes. Supongamos que, para todo y todos en el soporte de , tenemos $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ y

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ .

Entonces, para todo , $t\geq0$
$P [\sum_{i = 1}^{n} X_{i} \geq t] \leq \exp (\frac{- 2 t^{2}}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

Prueba. Defina . Afirmamos que Para todos y , tenemos Por supuesto, y para todos en el soporte de $Y_i = \sum_{j=1}^i X_j$

\begin{matrix} (*) & \forall i \in {1, \dots, n} \forall λ \geq 0 E [e^{λ Y_{i}}] \leq e^{\frac{1}{8} λ^{2} \sum_{j = 1}^{i} (b_{j} - a_{j})^{2}} . \end{matrix}

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i

$i$

λ

$\lambda$

E [e^{λ Y_{i}}] = E [e^{λ Y_{i - 1}} \cdot e^{λ X_{i}}] = E [e^{λ Y_{i - 1}} \cdot E [e^{λ X_{i}} | Y_{i - 1}]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ (y_{i - 1}) := E [X_{i} | Y_{i - 1} = y_{i - 1}] \leq 0

$\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P [X_{i} \in [a_{i}, b_{i}]] = 1

$\mathbb{P}[X_i \in [a_i,b_i]] =1$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$ . (Tenga en cuenta que .) Por lo tanto, según el lema de Hoeffding , para todos en apoyo de y todos . Como , tenemos, para todos , Ahora la inducción produce el reclamo (*) anterior.

Y_{i - 1} = X_{1} + \dots + X_{i - 1}

$Y_{i-1}=X_1+\cdots+X_{i-1}$

E [e^{λ X_{i}} | Y_{i - 1} = y_{i - 1}] \leq e^{λ μ (y_{i - 1}) + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$

λ \in R

$\lambda \in \mathbb{R}$

μ (y_{i - 1}) \leq 0

$\mu(y_{i-1})\leq 0$

λ \geq 0

$\lambda \geq 0$

E [e^{λ Y_{i}}] \leq E [e^{λ Y_{i - 1}} \cdot e^{0 + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$

Ahora aplicamos la desigualdad de Markov a y usamos nuestro reclamo (*). Para todas las , Finalmente, configure para minimizar la expresión de la mano derecha y obtener el resultado. $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum_{i = 1}^{n} X_{i} \geq t] = P [Y_{n} \geq t] = P [e^{λ Y_{n}} \geq e^{λ t}] \leq \frac{E [e^{λ Y_{n}}]}{e^{λ t}} \leq \frac{e^{\frac{1}{8} λ^{2} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}}{e^{λ t}} .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ = \frac{4 t}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}

$\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

\begin{matrix} ◼ \end{matrix}

$\tag*{$\blacksquare$}$

Como mencioné en mi comentario, la diferencia clave entre esto y la declaración "habitual" de la desigualdad de Azuma requiere , en lugar de . El primero permite una mayor flexibilidad y esto ahorra un factor de 2 en algunos casos. $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

Tenga en cuenta que las variables aleatorias en la prueba son una supermartingala. Puede obtener la versión habitual de la desigualdad de Azuma tomando un Martingala , estableciendo y (donde ) y luego aplica el resultado anterior. $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— Thomas apoya a Mónica
fuente

En la primera línea de la prueba, presumiblemente debería ser (límite superior de la suma como lugar de ) ....

Y_{i} = \sum_{j = 1}^{i} X_{j}

$Y_i = \sum_{j=1}^i X_j$

i

$i$

n

$n$

— Dougal

La prueba también se da en la monografía de Dubhashi y Panconesi.

— Kristoffer Arnsfelt Hansen

@KristofferArnsfeltHansen: Genial. ¿Tienes un enlace?

— Thomas apoya a Monica el