Cómo realizar una prueba usando R para ver si los datos siguen una distribución normal

Tengo un conjunto de datos con la siguiente estructura:

a word | number of occurrence of a word in a document | a document id 

¿Cómo puedo realizar una prueba de distribución normal en R? Probablemente sea una pregunta fácil, pero soy un novato de R.

Si entiendo su pregunta correctamente, para probar si las apariciones de palabras en un conjunto de documentos siguen una distribución Normal, puede usar una prueba de shapiro-Wilk y algunos qqplots. Por ejemplo,

## Generate two data sets
## First Normal, second from a t-distribution
words1 = rnorm(100); words2 = rt(100, df=3)

## Have a look at the densities
plot(density(words1));plot(density(words2))

## Perform the test
shapiro.test(words1); shapiro.test(words2)

## Plot using a qqplot
qqnorm(words1);qqline(words1, col = 2)
qqnorm(words2);qqline(words2, col = 2)

Los comandos qqplot dan:

Puede ver que el segundo conjunto de datos claramente no es Normal por las colas pesadas ( Más información ).

En la prueba de normalidad Shapiro-Walk, el valor p es grande para el primer conjunto de datos (> .9) pero muy pequeño para el segundo conjunto de datos (<.01). Esto lo llevará a rechazar la hipótesis nula para el segundo.

Suponiendo que su conjunto de datos se llama wordsy tiene una countscolumna, puede trazar el histograma para tener una visualización de la distribución:

hist(words$counts, 100, col="black")

donde 100 es el número de contenedores

También puede hacer un diagrama QQ normal usando

qqnorm(words$counts)

Finalmente, también puede usar la prueba de Shapiro-Wilk para la normalidad

shapiro.test(word$counts)

Sin embargo, mire esta discusión: Prueba de normalidad: '¿Es esencialmente inútil?'

Ninguna prueba le mostrará que sus datos tienen una distribución normal; solo podrá mostrarle cuando los datos sean lo suficientemente inconsistentes con una normal que rechazaría el valor nulo.

Pero los recuentos no son normales en cualquier caso, son enteros positivos: ¿cuál es la probabilidad de que una observación de una distribución normal tome un valor que no sea un entero? (... ese es un evento de probabilidad 1).

¿Por qué probarías la normalidad en este caso? Obviamente es falso.

[En algunos casos, no necesariamente importa que puedas decir que tus datos no son realmente normales. Los datos reales nunca (o casi nunca) se extraerán de una distribución normal.]

Si realmente necesita hacer una prueba, la prueba de Shapiro-Wilk ( ?shapiro.test) es una buena prueba general de normalidad, muy utilizada.

Una forma más formal de ver la normalidad es probando si la curtosis y la asimetría son significativamente diferentes de cero.

Para hacer esto, necesitamos obtener:

kurtosis.test <- function (x) {
m4 <- sum((x-mean(x))^4)/length(x)
s4 <- var(x)^2
kurt <- (m4/s4) - 3
sek <- sqrt(24/length(x))
totest <- kurt/sek
pvalue <- pt(totest,(length(x)-1))
pvalue 
}

para curtosis y:

skew.test <- function (x) {
m3 <- sum((x-mean(x))^3)/length(x)
s3 <- sqrt(var(x))^3
skew <- m3/s3
ses <- sqrt(6/length(x))
totest <- skew/ses
pt(totest,(length(x)-1))
pval <- pt(totest,(length(x)-1))
pval
}

por sesgo.

Ambas pruebas son de una cola, por lo que deberá multiplicar el valor p por 2 para convertirse en dos colas. Si su valor p se vuelve mayor que uno, deberá usar 1-kurtosis.test () en lugar de kurtosis.test.

Si tiene alguna otra pregunta, puede enviarme un correo electrónico a j.bredman@gmail.com

Además de la prueba Shapiro-Wilk del paquete de estadísticas, el paquete del norte (disponible en CRAN) proporciona otras pruebas de normalidad.

Al usar el nortestpaquete de R, estas pruebas se pueden realizar:

• Realizar la prueba de normalidad Anderson-Darling

  ad.test(data1)

• Realizar la prueba de Cramér-von Mises para la normalidad

  cvm.test(data1)

• Realizar la prueba de chi-cuadrado de Pearson para la normalidad

  pearson.test(data1)

• Realizar la prueba de normalidad de Shapiro-Francia

  sf.test(data1)

Se pueden hacer muchas otras pruebas utilizando el normtestpaquete. Ver descripción en https://cran.r-project.org/web/packages/normtest/normtest.pdf