Aproximación normal a la distribución de Poisson.

12

Aquí en Wikipedia dice:

Para valores suficientemente grandes de $λ$ , (digamos $λ>1000$ ), la distribución normal con media $λ$ y varianza $λ$ (desviación estándar $\sqrt{\lambda}$ ), es una excelente aproximación a la distribución de Poisson. Si $λ$ es mayor que aproximadamente 10, entonces la distribución normal es una buena aproximación si se realiza una corrección de continuidad apropiada, es decir, $P(X ≤ x),$ donde (en minúsculas) $x$ es un entero no negativo, se reemplaza por $P(X ≤ x + 0.5).$

$F_\mathrm{Poisson}(x;\lambda) \approx F_\mathrm{normal}(x;\mu=\lambda,\sigma^2=\lambda)$

Lamentablemente esto no se cita. Quiero poder mostrar / probar esto con cierto rigor. ¿Cómo puede realmente decir que la distribución normal es una buena aproximación cuando $\lambda > 1000$ , cómo cuantifica esta aproximación 'excelente', qué medidas se utilizaron?

Lo más avanzado que tengo con esto es aquí, donde John habla sobre el uso del teorema de Berry-Esseen y aproxima el error en los dos CDF. Por lo que puedo ver, no prueba ningún valor de $\lambda \geq 1000$ .

normal-distribution poisson-distribution approximation

— hgeop
fuente

66

No puedes probarlo sin definir 'bueno'. (Puede probar un resultado asintótico, pero no puede declarar que es "bueno" en un tamaño de muestra específico sin definir sus criterios). Puede demostrar su comportamiento mediante un ejemplo directo (a partir del cual las personas pueden ver qué tan bueno es "bueno" es por sus propias luces). Para los criterios típicos que las personas tienden a usar, una corrección de continuidad funciona bien para

siempre que no profundices en la cola.

λ > 10

$\lambda>10$

— Glen_b -Reinstale a Monica el

1

(Para ser más específicos, si su criterio es error absoluto, que potencialmente puede lograr 'bueno' en todas partes a los pequeños tamaños de muestra como 10, pero la mayoría de las personas se preocupan por algo más cerca de error relativo)

— Glen_b -Reinstate Monica

7

$X$ $\lambda$ $Y$ $\lambda$ $\Pr(X = n)$ $\Pr(Y \in [n-\frac12,n+\frac12])$ $n = \lambda + \alpha \sqrt\lambda$ $n$ $\alpha$

Entonces hice trampa. Yo usé Mathematica. Entonces, tanto como son asintóticos a como . Pero su diferencia es asintótica a Si Si traza esto en función de , obtendrá la misma curva que se muestra en la penúltima figura en http://www.johndcook.com/blog/normal_approx_to_poisson/ . $\Pr(X = n)$ $\Pr(Y \in [n-\frac12,n+\frac12])$

\frac{1}{\sqrt{2 π λ}} e^{- α^{2} / 2}

$\frac 1{\sqrt{2\pi \lambda}} e^{-\alpha^2/2}$

λ \to \infty

$\lambda \to \infty$

\frac{α (α^{2} - 3) e^{- α^{2} / 2}}{6 \sqrt{2 π} λ}

$\frac{\alpha \left(\alpha ^2-3\right) e^{-\alpha ^2/{2}}}{6 \sqrt{2 \pi } \lambda }$

α

$\alpha$

Aquí están los comandos que usé:

  n = lambda + alpha Sqrt[lambda];
  p1 = Exp[-lambda] lambda^n/n!;
  p2 = Integrate[1/Sqrt[2 Pi]/Sqrt[lambda] Exp[-(x-lambda)^2/2/lambda], {x, n-1/2, n+1/2}];
  Series[p1, {lambda, Infinity, 1}]
  Series[p2, {lambda, Infinity, 1}]

Además, con un poco de experimentación, me parece que una mejor aproximación asintótica a es . Entonces el error es que es aproximadamente veces más pequeño. $\Pr(X = n)$ $\Pr(Y \in [n-\alpha^2/6,n+1-\alpha^2/6])$

- \frac{(5 α^{4} - 9 α^{2} - 6) e^{- α^{2} / 2}}{72 \sqrt{2 π} λ^{3 / 2}}

$-\frac{\left(5 \alpha ^4-9 \alpha ^2-6\right) e^{-{\alpha ^2}/{2}} }{72 \sqrt{2 \pi } \lambda ^{3/2} }$

\sqrt{λ}

$\sqrt\lambda$

— Stephen Montgomery-Smith
fuente

2

Glen_b tiene razón en que "buen ajuste" es una noción muy subjetiva. Sin embargo, si desea verificar que su distribución de Poisson es razonablemente normal, puede utilizar una prueba hipotética de Kolmorgov-Smirnov con la hipótesis nula de el CDF proviene de una distribución , suponiendo su muestra vendrá de un poisson ( ). Como en realidad no está probando una muestra, sino una distribución frente a otra, debe pensar detenidamente sobre el tamaño de la muestra y el nivel de significación que asume para esta prueba hipotética (ya que no estamos usando la prueba KS en su forma típica). Es decir: $H_{0}:$ $N(\lambda,\lambda)$ $\lambda$

Elija un tamaño de muestra representativo e hipotético, n, y ajuste el nivel de significación de la prueba a un valor típico, por ejemplo, 5%.

Ahora, calcule la tasa de error de Tipo II para esta prueba asumiendo que sus datos realmente provienen de un poisson ( ). Su grado de ajuste con una distribución normal será esta tasa de error Tipo II, en el sentido de que las muestras de tamaño n de su distribución particular de poisson serán, en promedio, aceptadas % del tiempo por una prueba de normalidad KS en su selección Nivel significativo. $\lambda$ $\beta$

De todos modos, esa es solo una forma de conseguir una sensación de "bondad de ajuste". Sin embargo, todos se basan en algunas nociones subjetivas de "bondad" que tendrá que definir por sí mismo.

2

La derivación de la distribución binomial podría darle alguna idea.

Tenemos una variable aleatoria binomial;

p (x) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$p(x) = {n \choose x} p^x (1-p)^{n-x}$

Alternativamente, esto se puede calcular de forma recursiva;

p (x) = \frac{(n - x + 1) p}{x (1 - p)} p (x - 1)

$p(x) = \frac{(n-x+1)p}{x(1-p)}p(x-1)$

Si mantiene la condición inicial;

p (0) = (1 - p)^{n}

$p(0) = (1-p)^n$

Ahora supongamos que es grande y es pequeño, pero el éxito promedio de es constante . Entonces podemos hacer lo siguiente; $n$ $p$ $p(x)$ $(np = \lambda)$

P (X = i) = (\binom{n}{i}) p^{x} (1 - p)^{n - x}

$P( X = i ) = {n \choose i} p^x (1-p)^{n-x}$

Usamos que . $p = \lambda / n$

P (X = i) = \frac{n!}{(n - i)! i!} {(\frac{λ}{n})}^{i} {(1 - \frac{λ}{n})}^{n - i}

$P( X = i ) = \frac{n!}{(n-i)!i!} \left(\frac{\lambda}{n}\right)^i \left(1-\frac{\lambda}{n}\right)^{n-i}$

Cambiamos algunas variables y evaluamos;

P (X = i) = \frac{n (n - 1) (n - 2) \dots (n - i + 1)}{n^{i}} \frac{λ^{i}}{i!} \frac{(1 - \frac{λ}{n})^{n}}{(1 - \frac{λ}{n})^{i}}

$P( X = i ) = \frac{n(n-1)(n-2)\cdots(n-i+1)}{n^i} \frac{\lambda^i}{i!} \frac{(1-\frac{\lambda}{n})^n}{(1-\frac{\lambda}{n})^i}$

Por cálculo sabemos que . También sabemos que porque tanto la parte superior como la inferior son polinomios de grado . $\lim_{n\to\infty} (1 + x/n)^n = e^x$ $[n(n-1)(n-2)\cdots(n-i+1)]/n^i \approx 1$ $i$

Esto lleva a la conclusión de que como : $n \to \infty$

P (X = i) \to \frac{e^{- λ} λ^{i}}{i!}

$P(X=i) \to \frac{ e^{-\lambda}{\lambda^i}}{i!}$

Luego puede verificar que y través de la definición. Sabemos que la distribución binomial se aproxima a la normal en las condiciones del Teorema de De Moivre-Laplace siempre que corrija la continuidad, por lo que se reemplaza por . $E(X) = \lambda$ $\operatorname{Var}(X) = \lambda$ $P(X\le x)$ $P(X\le x+0.5)$

— Vincent Warmerdam
fuente