Prueba de comprensión de un lema utilizado en la desigualdad de Hoeffding

Estoy estudiando las notas de la conferencia de Larry Wasserman sobre Estadística que usa Casella y Berger como texto principal. Estoy trabajando a través de su conjunto de notas de clase 2 y me quedé atrapado en la derivación del lema utilizado en la desigualdad de Hoeffding (pp.2-3). Estoy reproduciendo la prueba en las notas a continuación y después de la prueba señalaré dónde estoy atascado.

Lema

Suponga que y que . Entonces . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Prueba

Como $a \le X \le b$ , podemos escribir $X$ como una combinación convexa de $a$ y $b$ , es decir, $X = \alpha b + (1 - \alpha) a$ donde $\alpha = \frac{X-a}{b-a}$ . Por convexidad de la función $y \to e^{ty}$ tenemos

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Tome expectativas de ambos lados y use el hecho $\mathbb{E}(X) = 0$ para obtener

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

donde $u = t(b-a)$ , $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ y $\gamma = -a /(b-a)$ . Tenga en cuenta que $g(0) = g^{'}(0) = 0$ . También $g^{''}(u) \le 1/4$ para todo $u > 0$ .

Según el teorema de Taylor, hay un $\varepsilon \in (0, u)$ tal que $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Por lo tanto, $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Podría seguir la prueba hasta

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ pero no puedo entender cómo derivar . $u, g(u), \gamma$

probability probability-inequalities

— Anand
fuente

Es interesante que el valor máximo de es y, por lo tanto, el resultado es efectivamente que parece demasiado familiar para surgir por pura coincidencia. Sospecho que puede haber otra forma, posiblemente más fácil, de obtener el resultado a través de un argumento probabilístico.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@DilipSarwate Entiendo que la variación máxima se produce para una variable aleatoria uniforme . La varianza de es . ¿Puede explicar cómo obtuvo ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

Al concentrar la masa en los puntos finales ...

— Elvis

@DilipSarwate Agregué algunos comentarios en la prueba, que pueden aclarar un poco por qué el peor de los casos es la varianza máxima.

— Elvis

@DilipSarwate - Vea el lema 1 y el ejercicio 1 aquí: terrytao.wordpress.com/2010/01/03/… . Parece que hay una derivación más simple que se basa en la desigualdad de Jensen y la expansión de Taylor. Sin embargo, los detalles de esto no están claros para mí. Quizás alguien pueda darle sentido. (derivación de (9) a (10) y ejercicio 1)

— Leo

No estoy seguro de haber entendido su pregunta correctamente. Trataré de responder: intenta escribir en función de : esto es natural ya que desea un límite en .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Ayudado por la experiencia, sabrá que es mejor elegir escribirlo en la forma . Entonces lleva a con . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

¿Es ese el tipo de cosas que pedías?

Editar: algunos comentarios sobre la prueba

El primer truco merece ser examinado cuidadosamente: si es una función convexa y es una variable aleatoria centrada, entonces donde es la variable discreta definida por Como consecuencia, obtienes que es la variable centrada con soporte en que tiene la varianza más alta: Tenga en cuenta que si arreglamos un ancho de soporte $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , esto es menor que como Dilip dice en los comentarios, esto es porque ; el límite se alcanza para . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Ahora pasa a nuestro problema. ¿Por qué es posible obtener un límite dependiendo solo de ? Intuitivamente, es solo una cuestión de reescalado de : si tiene un límite para el caso , entonces el límite general se puede obtener tomando . Ahora piense en el conjunto de variables centradas con soporte de ancho 1: no hay tanta libertad, por lo que debería existir un límite como . Otro enfoque es decir simplemente que según el lema anterior en , más generalmente , que depende solo de y $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : si arregla y , y deja que varíe, solo hay un grado de libertad, y , , . Obtenemos Usted sólo tiene que encontrar un límite que implica solamente . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Ahora estamos convencidos de que se puede hacer, ¡debe ser mucho más fácil! Para empezar , no necesariamente piensas en . El punto es que debes escribir todo en función de y . Primero tenga en cuenta que , , y . Entonces Ahora estamos en el caso particular ... I Creo que puedes terminar. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Espero haberlo aclarado un poco.

— Elvis
fuente

eso es exactamente lo que estaba buscando. Muchas gracias.

— Anand

@Y sé que es un consejo difícil de seguir, sin embargo, creo que no deberías comenzar centrándote en los detalles técnicos, sino más bien tratar de entender por qué puede existir tal límite ... entonces la prueba debería parecer más fácil. Traté de mostrarle el por qué en la segunda parte, agregué esta mañana (necesita dormir en una pregunta como esta, al menos lo necesito). Creo que es terrible cómo este tipo de intuiciones no aparece en la mayoría de los libros de texto ... incluso si obtienes la parte técnica, siempre y cuando no tengas las ideas, todo parece mágico. ¡Gracias y CrossV por darme la oportunidad de pensar en esto en detalle!

— Elvis

¡Guauu! +1 para la edición. Gracias. Pero no sería bueno si fuera posible obtener algo como

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@Elvis Gracias por el consejo y por tomarse el tiempo para escribir la parte intuitiva. ¡Necesito pasar un tiempo para entender esto!

— Anand

@Elvis Tomando en cuenta la intuición, quiero aclarar mi comprensión. Para obtener límites más agudos, uno necesita momentos más altos. Markov usa el primer momento, Chebyshev el segundo momento y el Hoeffding usa mgf. ¿Es esto correcto? Si alguien puede ampliar y aclarar esta parte, sería genial.

— Anand