¿En qué se diferencia la distribución de Poisson de la distribución normal?


29

He generado un vector que tiene una distribución de Poisson, de la siguiente manera:

x = rpois(1000,10)

Si hago un histograma usando hist(x), la distribución se parece a la distribución normal familiar en forma de campana. Sin embargo, una prueba de Kolmogorov-Smirnoff usando ks.test(x, 'pnorm',10,3)dice que la distribución es significativamente diferente a una distribución normal, debido a un pvalor muy pequeño .

Entonces mi pregunta es: ¿en qué se diferencia la distribución de Poisson de una distribución normal, cuando el histograma se parece tanto a una distribución normal?


Además (como complemento de la respuesta de David): lea esto ( stats.stackexchange.com/a/2498/603 ) y configure su tamaño de muestra en 100 y vea la diferencia que hace.
user603

Respuestas:


20
  1. Una distribución de Poisson es discreta, mientras que una distribución normal es continua, y una variable aleatoria de Poisson siempre es> = 0. Por lo tanto, una prueba de Kolgomorov-Smirnov a menudo podrá distinguir la diferencia.

  2. Cuando la media de una distribución de Poisson es grande, se vuelve similar a una distribución normal. Sin embargo, rpois(1000, 10)ni siquiera parece que similar a una distribución normal (no llega a 0 y en la cola derecha es demasiado largo).

  3. ¿Por qué lo estás comparando en ks.test(..., 'pnorm', 10, 3)lugar de ks.test(..., 'pnorm', 10, sqrt(10))? La diferencia entre 3 y es pequeño pero en sí mismo hará una diferencia al comparar distribuciones. Incluso si la distribución fuera realmente normal, terminaría con una distribución anti-conservadora de valor p:10

    set.seed(1)
    
    hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
    

ingrese la descripción de la imagen aquí


3
A menudo la gente verá algo vagamente simétrico y asumirá que se ve "normal". Sospecho que lo que vio @Ross.
Fraijo

2
Tenga en cuenta que la prueba de KS generalmente asume distribuciones continuas, por lo que confiar en el valor p informado en este caso puede (también) ser algo sospechoso.
cardenal

1
Cierto: la ejecución hist(replicate(1000, ks.test(rpois(1000, 10), rpois(1000, 10))$p.value))demuestra que una prueba que compara dos distribuciones de Poisson idénticas sería demasiado conservadora.
David Robinson


17

Aquí hay una manera mucho más fácil de entenderlo:

Puede ver la distribución binomial como la "madre" de la mayoría de las distribuciones. La distribución normal es solo una aproximación de la distribución binomial cuando n se vuelve lo suficientemente grande. De hecho, Abraham de Moivre descubrió esencialmente la distribución normal al intentar aproximar la distribución binomial porque rápidamente se va de la mano para calcular la distribución binomial a medida que n crece, especialmente cuando no tiene computadoras ( referencia ).

La distribución de Poisson también es solo otra aproximación de la distribución binomial, pero es mucho mejor que la distribución normal cuando n es grande y p es pequeña, o más precisamente cuando el promedio es aproximadamente igual a la varianza (recuerde que para la distribución binomial, promedio = np y var = np (1-p)) ( referencia ). ¿Por qué es tan importante esta situación particular? Aparentemente aparece mucho en el mundo real y es por eso que tenemos esta aproximación "especial". El siguiente ejemplo ilustra escenarios donde la aproximación de Poisson funciona realmente bien.

Ejemplo

Tenemos un centro de datos de 100,000 computadoras. La probabilidad de que cualquier computadora falle hoy es 0.001. Entonces, en promedio np = 100 computadoras fallan en el centro de datos. ¿Cuál es la probabilidad de que solo 50 computadoras fallen hoy?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

De hecho, la calidad de aproximación para la distribución normal se va por el desagüe a medida que avanzamos en la cola de la distribución, pero Poisson continúa resistiendo muy bien. En el ejemplo anterior, consideremos ¿cuál es la probabilidad de que solo 5 computadoras fallen hoy?

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

Con suerte, esto le brinda una mejor comprensión intuitiva de estas 3 distribuciones.


¡Qué respuesta tan increíble y genial! Muchas gracias. :)
Bora M. Alper

11

λnortepagsnortepagsnorte=λ/ /norte

Un desarrollo bastante largo se puede encontrar en este blog .

Xnortesiyonorteometroyounal(norte,λ/ /norte) k

PAGS(Xnorte=k)=norte!k!(norte-k)!(λnorte)k(1-λnorte)norte-k=norte!norte-k(norte-k)!1λkk!(1-λ/ /norte)nortemi-λ(1-λ/ /norte)-k1.

nortek

PAGS(Xnorte=k)mi-λλkk!,
norte(1-λ/ /norte)nortemi-λ

nortepagsrenorte(nortepags,nortepags(1-pags))nortepagspagsnorte=λ/ /norte0 0λnorte


(+1) Bienvenido al sitio. He hecho algunas ediciones; por favor verifique que no haya introducido ningún error en el proceso. No estaba muy seguro de qué hacer con la última frase de la última oración. Algunas aclaraciones adicionales allí podrían ser útiles.
cardenal

1
nortepagsnorteλpagsλ

1
norteλpagsnorte1/ /2

Gracias. Ahora veo lo que intentabas decir. En general, estoy de acuerdo, con la advertencia de que se debe tener cuidado con la relación entre los parámetros, que se consideran fijos y que varían con los demás. :)
cardenal

λ
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.