Límite superior exponencial


12

Supongamos que tenemos variables aleatorias IID con distribución . Vamos a observar una muestra de las 's de la siguiente manera: dejemos que sean variables aleatorias independientes , supongamos que todas las e ' s son independientes y definen el tamaño de la muestra . Los indican cuáles de los están en la muestra, y queremos estudiar la fracción de éxitos en la muestra definida por X1,,XnBer(θ)XiY1,,YnBer(1/2)XiYiN=i=1nYiYiXi

Z={1Ni=1nXiYiifN>0,0ifN=0.
Para , queremos encontrar un límite superior para que decae exponencialmente con . La desigualdad de Hoeffding no se aplica inmediatamente debido a las dependencias entre las variables.ϵ>0Pr(Zθ+ϵ)n

1
Deje . (i) ¿No es independiente de ? (ii) ¿no es ? ... Como resultado, no está claro para mí que no sea 'una suma de variables aleatorias independientes'Zi=1NXiYiZiZjiZ=ZiZ
Glen_b -Reinstate Monica

Ah, buen punto. Estaba pensando en , en lugar de . Pero, ¿no puedes escribir y dejar que ? Es decir, sumar todos los casos, ya sea que sea ​​1 o 0. ... no, eso no funciona. El numerador es el mismo pero el denominador es diferente. N Z i = 1nNZ= n i = 1 ZiYZi=1nXiYiZ=i=1nZiY
Glen_b -Reinstate a Monica el

Eso da menos de la fracción de éxitos en la muestra, que es la cantidad de interés en el problema, porque , ya que . N n(1/n)i=1nXiYi(1/N)i=1nXiYiNn
Zen

1
Sí, por eso terminé con "no, eso no funciona". Hay desigualdades que se aplican al caso no independiente, como algunas de las desigualdades de Bernstein (ver el cuarto ítem), y hay una serie de desigualdades que se aplican a los martingales (aunque no sé si se aplicarán aquí).
Glen_b -Reinstate Monica

1
Echaré un vistazo y también intentaré encontrar una conexión con los resultados de martingales. El límite para es tan fácil ( ) que es tentador conectar esto con usando algún tipo de condicionamiento. P r ( U θ / 2 + ϵ ) exp ( - 2 n ϵ 2 ) ZU=(1/n)i=1nXiYiPr(Uθ/2+ϵ)exp(2nϵ2)Z
Zen

Respuestas:


16

Podemos establecer una conexión con la desigualdad de Hoeffding de una manera bastante directa .

Tenga en cuenta que tenemos

{Z>θ+ϵ}={iXiYi>(θ+ϵ)iYi}={i(Xiθϵ)Yi>0}.

Establezca para que sea ​​iid, y mediante una aplicación directa de la desigualdad de Hoeffding (ya que y así tomar valores en un intervalo de tamaño uno).Z i E Z i = 0 P ( Z > θ + ϵ ) = P ( i Z i > n ϵ / 2 )e - n ϵ 2 / 2Zi=(Xiθϵ)Yi+ϵ/2ZiEZi=0Z i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]

P(Z>θ+ϵ)=P(iZi>nϵ/2)enϵ2/2,
Zi[θϵ/2,1θϵ/2]

Existe una literatura relacionada rica y fascinante que se ha acumulado en los últimos años, en particular, sobre temas relacionados con la teoría de matrices aleatorias con diversas aplicaciones prácticas. Si está interesado en este tipo de cosas, le recomiendo:

R. Vershynin, Introducción al análisis no asintótico de matrices aleatorias , Capítulo 5 de Detección, teoría y aplicaciones comprimidas. Editado por Y. Eldar y G. Kutyniok. Cambridge University Press, 2012.

Creo que la exposición es clara y proporciona una forma muy agradable de aclimatarse rápidamente a la literatura.


1
Dado que incluye en su definición, tengo la impresión de que (el límite no cambia). ϵZiZ i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]ϵ/2Zi[θϵ/2,1θϵ/2]
Alecos Papadopoulos

1
Estimado @Zen: Tenga en cuenta que una contabilidad cuidadosa del caso le permitirá reemplazar la desigualdad estricta por todas partes sin cambiar el límite final. > N=0>
cardenal

Estimado @cardinal: He reformulado la pregunta porque en realidad es un estimador ( ) ligeramente sesgado de , ya que . θ EZθE[Z]=E[I{N=0}Z]+E[I{N>0}Z]=(11/2n)θ
Zen

6

Detalles para atender el caso . N=0

{Zθ+ϵ}=({Zθ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({0θ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({N=0})({Zθ+ϵ}{N>0})={i=1nXiYi(θ+ϵ)i=1nYi}{N>0}{i=1nXiYi(θ+ϵ)i=1nYi}={i=1n(Xiθϵ)Yi0}={i=1n((Xiθϵ)Yi+ϵ/2)nϵ/2}.

Por alecos.

E[i=1nWi]=E[I{i=1nYi=0}i=1nWi]+E[I{i=1nYi>0}i=1nWi]=E[I{i=1nYi>0}i=1nYii=1nYi]=E[I{i=1nYi>0}]=11/2n.

5

Esta respuesta sigue mutando. La versión actual no se relaciona con la discusión que tuve con @cardinal en los comentarios (aunque fue a través de esta discusión que agradecidamente me di cuenta de que el enfoque de condicionamiento no parecía conducir a ninguna parte).

Para este intento, usaré otra parte del artículo original de Hoeffding de 1963 , a saber, la sección 5 "Sumas de variables aleatorias dependientes".

Establezca

WiYii=1nYi,i=1nYi0,i=1nWi=1,n2

mientras establecemos if .Wi=0i=1nYi=0

Entonces tenemos la variable

Zn=i=1nWiXi,E(Zn)μn

Estamos interesados ​​en la probabilidad

Pr(Znμn+ϵ),ϵ<1μn

Al igual que muchas otras desigualdades, Hoeffding comienza su razonamiento al señalar que y eso

Pr(Znμn+ϵ)=E[1{Znμnϵ0}]

1{Znμnϵ0}exp{h(Znμnϵ)},h>0

Para el caso de las variables dependientes, como Hoeffding usamos el hecho de que e invocamos la desigualdad de Jensen para la función exponencial (convexa), para escribiri=1nWi=1

ehZn=exp{h(i=1nWiXi)}i=1nWiehXi

y vinculando resultados para llegar a

Pr(Znμn+ϵ)eh(μn+ϵ)E[i=1nWiehXi]

Centrándonos en nuestro caso, dado que y son independientes, los valores esperados se pueden separar,WiXi

Pr(Znμn+ϵ)eh(μn+ϵ)i=1nE(Wi)E(ehXi)

En nuestro caso, los son iid Bernoullis con el parámetro , y es su función generadora de momentos comunes en , . EntoncesXiθE[ehXi]hE[ehXi]=1θ+θeh

Pr(Znμn+ϵ)eh(μn+ϵ)(1θ+θeh)i=1nE(Wi)

Minimizando el RHS con respecto a , obtenemosh

eh=(1θ)(μn+ϵ)θ(1μnϵ)

Conectándolo a la desigualdad y manipulando obtenemos

Pr(Znμn+ϵ)(θμn+ϵ)μn+ϵ(1θ1μnϵ)1μnϵi=1nE(Wi)

mientras

Pr(Znθ+ϵ)(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵi=1nE(Wi)

Hoeffding muestra que

(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵe2ϵ2

Cortesía del OP (gracias, me estaba agotando un poco ...)

i=1nE(Wi)=11/2n

Entonces, finalmente, el "enfoque de variables dependientes" nos da

Pr(Znθ+ϵ)(112n)e2ϵ2BD

Comparemos esto con el límite de Cardinal, que se basa en una transformación de "independencia", . Para que nuestro límite sea más estricto, necesitamosBI

BD=(112n)e2ϵ2enϵ2/2=BI

2n12nexp{(4n2)ϵ2}

Entonces, para tenemos . Para , vuelve más que pero para muy pequeño , mientras que incluso esta pequeña "ventana" converge rápidamente a cero. Por ejemplo, para , si , entonces es más estricto. En resumen, el límite de Cardinal es más útil. B DB I n 5 B I B D ϵ n = 12 ϵ 0.008 B In4BDBIn5BIBDϵn=12ϵ0.008BI

COMENTARIO
Para evitar impresiones engañosas con respecto al artículo original de Hoeffding, debo mencionar que Hoeffding examina el caso de una combinación convexa determinista de variables aleatorias dependientes. Específicamente, sus son números, no variables aleatorias, mientras que cada es una suma de variables aleatorias independientes, mientras que la dependencia puede existir entre las . Luego considera varias "estadísticas U" que se pueden representar de esta manera.X i X iWiXiXi


Alecos: (eche un vistazo a la derivación al final de mi respuesta). Su límite no decae exponencialmente con como lo hace el cardenal. nE[W1]=(11/2n)/nn
Zen

@Zen De hecho (de hecho, aumenta con el tamaño de la muestra, aunque de forma limitada), es por eso que el límite de Cardinal es más útil para la mayoría de los tamaños de muestra.
Alecos Papadopoulos
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.