¿Cómo calcular la probabilidad asociada con puntuaciones Z absurdamente grandes?

Los paquetes de software para la detección de motivos de red pueden arrojar puntajes Z enormemente altos (el más alto que he visto es más de 600,000, pero los puntajes Z de más de 100 son bastante comunes). Planeo mostrar que estos puntajes Z son falsos.

Las puntuaciones Z enormes corresponden a probabilidades asociadas extremadamente bajas. Los valores de las probabilidades asociadas se dan, por ejemplo, en la página de wikipedia de distribución normal (y probablemente en todos los libros de texto de estadísticas) para puntuaciones Z de hasta 6. Entonces ...

Pregunta : ¿Cómo se calcula la función de error para n hasta 1,000,000, por ejemplo?$1-\mathrm{erf}(n/\sqrt{2})$

Estoy particularmente después de un paquete ya implementado para esto (si es posible). Lo mejor que he encontrado hasta ahora es WolframAlpha, que logra calcularlo para n = 150 ( aquí ).

La pregunta se refiere a la función de error complementaria

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

para valores "grandes" de $x$ ( $=n/\sqrt{2}$ en la pregunta original), es decir, entre 100 y 700,000 más o menos. (En la práctica, cualquier valor mayor que aproximadamente 6 debe considerarse "grande", como veremos). Tenga en cuenta que debido a que esto se usará para calcular los valores p, hay poco valor para obtener más de tres dígitos significativos (decimales) .

Para comenzar, considere la aproximación sugerida por @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

dónde

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Aunque esta es una aproximación excelente a la función de error en sí, es una aproximación terrible a $\textrm{erfc}$ . Sin embargo, hay una manera de arreglarlo sistemáticamente.

Para los valores p asociados con valores tan grandes de , estamos interesados ​​en el error relativo f ( x ) / erfc ( x ) - 1 : esperamos que su valor absoluto sea menor que 0.001 para tres dígitos significativos de precisión. Desafortunadamente, esta expresión es difícil de estudiar para x grande debido a flujos inferiores en el cálculo de doble precisión. Aquí hay un intento, que traza el error relativo versus x para 0 ≤ x ≤ 5.8 :$x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

El cálculo se vuelve inestable una vez que excede aproximadamente 5.3 y no puede entregar un dígito significativo más allá de 5.8. Esto no es sorprendente: exp ( - 5.8 2 ) ≈ 10 - 14.6 está empujando los límites de la aritmética de doble precisión. Debido a que no hay evidencia de que el error relativo sea aceptablemente pequeño para una x mayor , debemos hacerlo mejor.$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

Realizar el cálculo en aritmética extendida (con Mathematica ) mejora nuestra imagen de lo que está sucediendo:

El error aumenta rápidamente con no muestra signos de nivelación. Pasado x = 10 más o menos, ¡esta aproximación ni siquiera ofrece un dígito confiable de información!$x$$x=10$

Sin embargo, la trama comienza a verse lineal. Podríamos adivinar que el error relativo es directamente proporcional a . (Esto tiene sentido por motivos teóricos: erfc es manifiestamente una función impar yf es manifiestamente par, por lo que su relación debería ser una función impar. Por lo tanto, esperaríamos que el error relativo, si aumenta, se comportara como una potencia impar de x .) Esto nos lleva a estudiar el error relativo dividido por x . De manera equivalente, elijo examinar x ⋅ erfc ( x ) / f ( x $x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$, porque la esperanza es que esto debería tener un valor límite constante. Aquí está su gráfico:

Nuestra conjetura parece estar confirmada: esta relación parece estar llegando a un límite de alrededor de 8 más o menos. Cuando se le pregunte, Mathematica lo suministrará:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

El valor es . Esto nos permite mejorar la estimación:tomamos$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

como el primer refinamiento de la aproximación. Cuando es realmente grande, mayor que unos pocos miles, esta aproximación está bien. Debido a que todavía no será lo suficientemente bueno para un rango interesante de argumentos entre 5.3 y 2000 más o menos, iteremos el procedimiento. Esta vez, el error relativo inverso - específicamente, la expresión 1 - erfc ( x ) / f 1 ( x ) - debería comportarse como 1 / x 2 para x grande (en virtud de las consideraciones de paridad anteriores). En consecuencia, multiplicamos por x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$ y encuentra el siguiente límite:

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

El valor es

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Este proceso puede continuar todo el tiempo que queramos. Lo di un paso más, encontrando

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

con un valor aproximado de 1623.67. (La expresión completa implica una función racional de grado ocho de y es demasiado larga para ser útil aquí).$\pi$

Desenrollar estas operaciones produce nuestra aproximación final

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

El error es proporcional a . De importación es la constante de proporcionalidad, así que graficamos x 6 ( 1 - erfc ( x ) / f 3 ( x ) ) :$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Se acerca rápidamente a un valor límite alrededor de 2660.59. Usando la aproximación , obtenemos estimaciones de erfc ( x ) cuya precisión relativa es mejor que 2661 / x 6 para todo x > 0 . Una vez que x excede 20 o menos, tenemos nuestros tres dígitos significativos (o mucho más, a medida que x se hace más grande). Como verificación, aquí hay una tabla que compara los valores correctos con la aproximación para x entre 10 y 20 :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

De hecho, esta aproximación ofrece al menos dos cifras significativas de precisión para adelante, que es justo donde los cálculos de peatones (como la función de Excel ) se agotan.$x=8$NormSDist

Finalmente, uno podría preocuparse por nuestra capacidad de calcular la aproximación inicial . Sin embargo, eso no es difícil: cuando x es lo suficientemente grande como para causar desbordamientos en la exponencial, la raíz cuadrada se aproxima a la mitad de la exponencial,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Calcular el logaritmo de esto (en la base 10) es simple y proporciona fácilmente el resultado deseado. Por ejemplo, sea . El logaritmo común de esta aproximación es$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Exponentiating yields

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Applying the correction (in $f_3$) produces

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Note that the correction reduces the original approximation by over 99% (and indeed, $a_1/x \approx 1\text{%}$.) (This approximation differs from the correct value only in the last digit. Another well-known approximation, $\exp(-x^2)/(x\sqrt{\pi})$, equals $1.860038 \cdot 10^{-434298}$, erring in the sixth significant digit. I'm sure we could improve that one, too, if we wanted, using the same techniques.)

A simple upper bound

For very large values of the argument in the calculation of upper tail probability of a normal, excellent bounds exist that are probably as good as one will get using any other methods with double-precision floating point. For $z > 0$, let

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ where $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$ is the standard normal pdf. I've used the notation $S(z)$ in deference to the standard notation in survival analysis. In engineering contexts, they call this function the $Q$-function and denote it by $Q(z)$.

Then, a very simple, elementary upper bound is

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$ where the notation on the right-hand side indicates this is an upper-bound estimate. This answer gives a proof of the bound.

There are several nice complementary lower bounds as well. One of the handiest and easiest to derive is the bound

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$ There are at least three separate methods for deriving this bound. A rough sketch of one such method can be found in this answer to a related question.

A picture

Below is a plot of the two bounds (in grey) along with the actual function $S(z)$.

How good is it?

From the plot, it seems that the bounds become quite tight even for moderately large $z$. We might ask ourselves how tight they are and what sort of quantitative statement in that regard can be made.

One useful measure of tightness is the absolute relative error

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$ This gives you the proportional error of the estimate.

Now, note that, since all of the involved functions are nonnegative, by using the bounding properties of $\Su(z)$ and $\Sl(z)$, we get

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ and so this provides a proof that for $z \geq 10$ the upper-bound is correct to within 1%, for $z \geq 28$ it is correct to within 0.1% and for $z \geq 100$ it is correct to within 0.01%.

In fact, the simple form of the bounds provides a good check on other "approximations". If, in the numerical calculation of more complicated approximations, we get a value outside these bounds, we can simply "correct" it to take the value of, e.g., the upper bound provided here.

There are many refinements of these bounds. The Laplace bounds mentioned here provide a nice sequence of upper and lower bounds on $S(z)$ of the form $R(z) \varphi(z)$ where $R(z)$ is a rational function.

Finally, here is another somewhat-related question and answer.

You can approximate it with much simpler functions - see this Wikipedia section for more information. The basic approximation is that $\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

The article has an incorrect link for that section. The PDF referenced can be found in Sergei Winitzki's files - or at this link.