Probabilidad de desigualdades

Estoy buscando algunas desigualdades de probabilidad para sumas de variables aleatorias ilimitadas. Realmente agradecería si alguien me puede dar algunos pensamientos.

Mi problema es encontrar un límite superior exponencial sobre la probabilidad de que la suma de variables aleatorias iid ilimitadas, que de hecho son la multiplicación de dos iid gaussianos, exceda cierto valor, es decir, , donde , y se generan iid desde . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Intenté usar el límite de Chernoff usando la función de generación de momento (MGF), el límite derivado viene dado por:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

donde $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ es el MGF de $X$ . Pero el límite no es tan apretado. El problema principal en mi problema es que las variables aleatorias son ilimitadas, y desafortunadamente no puedo usar el límite de la desigualdad de Hoeffding.

Seré feliz si me ayudas a encontrar un límite exponencial ajustado.

— Farzad
fuente

Suena como un problema relacionado con la detección comprimida. Busque las notas de R. Vershynin sobre la teoría de la matriz aleatoria no asintótica, específicamente los límites de lo que él llama variables aleatorias subexponenciales . Eso te ayudará a comenzar. Si necesita más sugerencias, infórmenos e intentaré publicar más información.

— Cardenal

Hay al menos un par de preguntas y respuestas relacionadas con este tema sobre matemáticas. SE (descargo de responsabilidad: incluido uno en el que participé).

— Cardenal

El producto tiene como distribución de 'producto normal'. Creo que la media de este producto es cero y la varianza es donde es la varianza de y . Para son más bien tirando, se podría utilizar el teorema del límite central para obtener norality aproximada de . Si puede calcular el sesgo de la distribución normal del producto, creo que puede aplicar el teorema de Berry-Esseen para limitar la tasa de convergencia del CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

— shabbychef

@shabbychef, Berry-Esseen tiene convergencia bastante lento, ya que es una cota uniforme sobre la clase de todas las funciones de distribución .

F

$F$

— cardenal

@DilipSarwate: Lo siento, ahora estoy viendo tu comentario de hace un tiempo. Creo que podría estar interesado en el siguiente pequeño documento, que he vinculado a un par de veces en matemáticas. SE también: TK Phillips y R. Nelson (1995), El momento límite es más estricto que el límite de Chernoff para la cola positiva. probabilidades , The American Statistician , vol 42, no. 2., 175-178.

— cardenal

Respuestas:

Usando el límite de Chernoff que sugirió para algunos $s\le 1/(2\sigma^2)$ que se especificarán más adelante,

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$ donde la segunda desigualdad se cumple gracias a

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$ para cualquier

x \in (0, 1 / 2)

$x\in(0,1/2)$ . Ahora tome

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$ y

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$ , el lado derecho se convierte en

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$ que produce

para cualquier

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Otra vía es aplicar directamente las desigualdades de concentración, como la desigualdad de Hanson-Wright, o las desigualdades de concentración para el caos gaussiano de orden 2 que abarca la variable aleatoria que le interesa.

Enfoque más simple sin usar la función de generación de momentos

Tome $\sigma=1$ por simplicidad (de lo contrario, uno puede reescalar dividiendo por $\sigma^2$ ).

Write $v=(v_1,...,v_n)^T$ y $w=(w_1,...,w_n)^T$ . Está solicitando límites superiores en $P(v^Tw>\epsilon N)$ .

Sea $Z= w^T v/\|v\|$ . Entonces $Z\sim N(0,1)$ por independencia de $v,w$ y $\|v\|^2$ es independiente de $Z$ con la distribución $\chi^2$ con $n$ grados de libertad.

Por los límites estándar en normal estándar y $\chi^2$ variables aleatorias,

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$ Combining with the union bound gives an upper bound on

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$ of the form

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$ .

— jlewk
fuente

The bound you obtain is of order $e^{-\epsilon}$ as $\epsilon \to \infty$ . I don't think you can do much better for general $\epsilon$ . From the Wikipedia page on Product Variables the distribution of $w_i v_i$ is $K_0(z)/\pi$ where $K_0$ is a modified Bessel function. From (10.25.3) in the DLMF function list, $K_0(t) \sim e^{-t}/\sqrt{t}$ so that for $x$ sufficiently large $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$ which is not going to give you a sub-Gaussian bound.

— BookYourLuck
fuente