Esta respuesta sigue mutando. La versión actual no se relaciona con la discusión que tuve con @cardinal en los comentarios (aunque fue a través de esta discusión que agradecidamente me di cuenta de que el enfoque de condicionamiento no parecía conducir a ninguna parte).
Para este intento, usaré otra parte del artículo original de Hoeffding de 1963 , a saber, la sección 5 "Sumas de variables aleatorias dependientes".
Establezca
Wi≡Yi∑ni=1Yi,∑i=1nYi≠0,∑i=1nWi=1,n≥2
mientras establecemos if .Wi=0∑ni=1Yi=0
Entonces tenemos la variable
Zn=∑i=1nWiXi,E(Zn)≡μn
Estamos interesados en la probabilidad
Pr(Zn≥μn+ϵ),ϵ<1−μn
Al igual que muchas otras desigualdades, Hoeffding comienza su razonamiento al señalar que
y eso
Pr(Zn≥μn+ϵ)=E[1{Zn−μn−ϵ≥0}]
1{Zn−μn−ϵ≥0}≤exp{h(Zn−μn−ϵ)},h>0
Para el caso de las variables dependientes, como Hoeffding usamos el hecho de que e invocamos la desigualdad de Jensen para la función exponencial (convexa), para escribir∑ni=1Wi=1
ehZn=exp{h(∑i=1nWiXi)}≤∑i=1nWiehXi
y vinculando resultados para llegar a
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)E[∑i=1nWiehXi]
Centrándonos en nuestro caso, dado que y son independientes, los valores esperados se pueden separar,WiXi
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)∑i=1nE(Wi)E(ehXi)
En nuestro caso, los son iid Bernoullis con el parámetro , y es su función generadora de momentos comunes en , . EntoncesXiθE[ehXi]hE[ehXi]=1−θ+θeh
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)(1−θ+θeh)∑i=1nE(Wi)
Minimizando el RHS con respecto a , obtenemosh
eh∗=(1−θ)(μn+ϵ)θ(1−μn−ϵ)
Conectándolo a la desigualdad y manipulando obtenemos
Pr(Zn≥μn+ϵ)≤(θμn+ϵ)μn+ϵ⋅(1−θ1−μn−ϵ)1−μn−ϵ∑i=1nE(Wi)
mientras
Pr(Zn≥θ+ϵ)≤(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ∑i=1nE(Wi)
Hoeffding muestra que
(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ≤e−2ϵ2
Cortesía del OP (gracias, me estaba agotando un poco ...)
∑i=1nE(Wi)=1−1/2n
Entonces, finalmente, el "enfoque de variables dependientes" nos da
Pr(Zn≥θ+ϵ)≤(1−12n)e−2ϵ2≡BD
Comparemos esto con el límite de Cardinal, que se basa en una transformación de "independencia", . Para que nuestro límite sea más estricto, necesitamosBI
BD=(1−12n)e−2ϵ2≤e−nϵ2/2=BI
⇒2n−12n≤exp{(4−n2)ϵ2}
Entonces, para tenemos . Para , vuelve más que pero para muy pequeño , mientras que incluso esta pequeña "ventana" converge rápidamente a cero. Por ejemplo, para , si , entonces es más estricto. En resumen, el límite de Cardinal es más útil. B D ≤ B I n ≥ 5 B I B D ϵ n = 12 ϵ ≥ 0.008 B In≤4BD≤BIn≥5BIBDϵn=12ϵ≥0.008BI
COMENTARIO
Para evitar impresiones engañosas con respecto al artículo original de Hoeffding, debo mencionar que Hoeffding examina el caso de una combinación convexa determinista de variables aleatorias dependientes. Específicamente, sus son números, no variables aleatorias, mientras que cada es una suma de variables aleatorias independientes, mientras que la dependencia puede existir entre las . Luego considera varias "estadísticas U" que se pueden representar de esta manera.X i X iWiXiXi