Comprensión medir desigualdades de concentración

En el espíritu de esta pregunta Comprensión de la prueba de un lema utilizado en la desigualdad de Hoeffding , estoy tratando de entender los pasos que conducen a la desigualdad de Hoeffding.

Lo que tiene más misterio para mí en la prueba es la parte donde se calculan los momentos exponenciales para la suma de las variables iid, después de lo cual se aplica la desigualdad de Markov.

Mi objetivo es entender: ¿por qué esta técnica da una desigualdad apretada, y es la más estricta que podemos lograr? Una explicación típica se refiere al momento que genera propiedades del exponente. Sin embargo, esto me parece demasiado vago.

Una publicación en el blog de Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , podría contener algunas respuestas.

Con este objetivo en mente, mi pregunta es acerca de tres puntos en la publicación de Tao en los que estoy atrapado y que espero puedan dar una idea explicada una vez.

Tao deriva la siguiente desigualdad usando el k-ésimo momento Si esto es cierto para cualquier k, concluye un límite exponencial. Aquí es donde estoy perdido.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
Se presenta el lema de Hoeffding: Lema 1 (lema de Hoeffding) Sea una variable escalar que toma valores en un intervalo . Entonces, para cualquier , ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ En particular La prueba del Lema 1 comienza tomando expectativas sobre la expansión de taylor $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ ¿Por qué la expansión puede estar limitada por ese término cuadrático? ¿Y cómo sigue la ecuación 10?
Finalmente, se da un ejercicio:
Ejercicio 1 Muestra que la factor en (10) se puede reemplazar con , y que esto es agudo. Esto proporcionaría una prueba mucho más corta que la deEntender la prueba de un lema utilizado en la desigualdad de Hoeffding, pero no sé cómo resolver esto. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Cualquier otra intuición / explicación sobre la prueba de la desigualdad o la razón por la que no podemos derivar un límite más estricto son definitivamente bienvenidas.

probability probability-inequalities

— León
fuente

¿Has leído el artículo original de Hoeffding?

— Alecos Papadopoulos

@AlecosPapadopoulos En realidad no. Tengo la impresión de que la derivación consiste en pasos algebraicos que generalmente se imparten en cursos de matemáticas que carecen de la explicación que estoy buscando. ¿Puedes decir lo contrario?

— Leo

Te sugiero que lo leas. La url estable en JSTOR es jstor.org/stable/2282952 . Lo que "tiene más misterio para ti" son los Teoremas 1, 2 y 3 del documento, cuyas pruebas se encuentran en la sección 4 del documento (no al final), y me parecen bastante claros. No sé si está buscando una intuición "no matemática", si es así, no siempre existe.

— Alecos Papadopoulos

El uso de momentos exponenciales es un paso común en el proceso de probar la concentración de desigualdades de medida. Mi comprensión es la siguiente 1) Al usar lugar de , uno captura todos los momentos de , en lugar de solo el primer momento. Por lo tanto, siempre es ventajoso vincular , en lugar de vincular , ya que hay más información en $\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— gmravi2003
fuente

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

— whuber

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

No lo he investigado, pero sospecho que el exponencial disfruta de algunas propiedades particulares, incluidas las que usted nombre, que son críticas: todos los coeficientes deben ser estrictamente positivos y es útil que converja absolutamente en todas partes. Pero creo que hay razones más profundas por las que esta función es esencial, relacionada con las propiedades de las transformadas de Fourier y Laplace. ¡Puede ser esclarecedor explorar las derivaciones de las desigualdades de la medida para ver qué propiedades de la exponencial se usan realmente! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Me gustaría interesarle una pregunta sobre la estanqueidad de este límite: stats.stackexchange.com/questions/77019/…

— Leo