¿Por qué es válida una correlación de rangos de Pearson a pesar de la suposición de normalidad?

Actualmente estoy leyendo sobre suposiciones para las correlaciones de Pearson. Una suposición importante para la prueba t resultante parece ser que ambas variables provienen de distribuciones normales; si no lo hacen, se recomienda el uso de medidas alternativas como el Spearman rho. La correlación de Spearman se calcula como la correlación de Pearson, solo usando los rangos de X e Y en lugar de X e Y, ¿correcto?

Mi pregunta es: si las variables de entrada en una correlación de Pearson necesitan distribuirse normalmente, ¿por qué el cálculo de una correlación de Spearman es válido aunque las variables de entrada sean rangos? Mis filas ciertamente no provienen de distribuciones normales ...

La única explicación que he llegado hasta ahora es que la importancia de rho podría probarse de manera diferente a la de la prueba t de correlación de Pearson (de una manera que no requiere normalidad), pero hasta ahora no he encontrado ninguna fórmula. Sin embargo, cuando ejecuté algunos ejemplos, los valores p para rho y para la prueba t de la correlación de rangos de Pearson siempre coincidían, salvo los últimos dígitos. Para mí, esto no parece un procedimiento revolucionario diferente.

¡Cualquier explicación e idea que pueda tener sería apreciada!

— GST95
fuente

Respuestas:

No se requiere normalidad para calcular una correlación de Pearson; es solo que algunas formas de inferencia sobre la cantidad de población correspondiente se basan en los supuestos normales (IC y pruebas de hipótesis).

Si no tiene normalidad, las propiedades implícitas de esa forma particular de inferencia no se mantendrán.

En el caso de la correlación de Spearman, no tiene normalidad, pero está bien porque los cálculos de inferencia para la correlación de Spearman (como la prueba de hipótesis) no se basan en un supuesto de normalidad.

Se derivan de ser un conjunto de filas emparejadas de una distribución bivariada continua; en este caso, la prueba de hipótesis usa la distribución de permutación del estadístico de prueba basado en los rangos.

Cuando los supuestos habituales para la inferencia con la correlación de Pearson se mantienen (normalidad bivariada), la correlación de Spearman suele ser muy cercana (aunque en promedio un poco más cerca de 0).

(Entonces, cuando podría usar Pearson, Spearman a menudo funciona bastante bien. Si tuviera datos normales casi bivariados, aparte de cierta contaminación con algún otro proceso (que causó valores atípicos), Spearman sería una forma más sólida de estimar la correlación en la distribución no contaminada)

— Glen_b -Reinstate a Monica
fuente

¡Gracias, la referencia a la distribución de permutación es útil!

— GST95

"El Spearman sería una forma más robusta de estimar la correlación". Para el punto de partida, Spearman estimaría la asociación , NO la correlación lineal.

— landroni

@landroni Si hablaba del Spearman en general, caracterizas correctamente lo que hace el Spearman, pero en esa oración estoy hablando explícitamente de comparar dos estimaciones de la correlación de la población bajo contaminación, y me refiero a lo que digo allí literalmente. Imagine una bivariada normal con correlación y luego agregue un valor atípico realmente extremo. Si quiero estimar en esa situación, el Spearman es un estimador de más robusto que la correlación de Pearson.

ρ

$\rho$

ρ

$\rho$

ρ

$\rho$

— Glen_b -Reinstate Monica

@landroni ... Tal situación puede ocurrir cuando tienes el proceso principal que se comporta bien y algún proceso contaminante que puede ser muy extremo pero que solo ocurre ocasionalmente. Si está interesado en estimar la correlación del proceso no contaminado, la correlación de Pearson es muy susceptible a la contaminación, en un grado mucho mayor que el Spearman.

— Glen_b -Reinstate Monica

cuando ejecuté algunos ejemplos, los valores p para rho y para la prueba t de la correlación de rangos de Pearson siempre coincidían, salvo los últimos dígitos

Bueno, entonces has estado ejecutando los ejemplos equivocados.

a = c(1,2,3,4,5,6,7,8,9)
b = c(1,2,3,4,5,6,7,8,90)
cor.test(a,b,method='pearson')

    Pearson's product-moment correlation

data:  a and b
t = 2.0528, df = 7, p-value = 0.0792
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 -0.08621009  0.90762506
sample estimates:
      cor 
0.6130088 

cor.test(a,b,method='spearman')

    Spearman's rank correlation rho

data:  a and b
S = 0, p-value = 5.511e-06
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
  1

Los vectores ay btienen una buena, pero lejos de ser perfecta, correlación lineal (Pearson). Sin embargo, tienen una correlación de rango perfecta . Ver - para Spearman's , en este caso, no importa si el último dígito de es 8.1, 9, 90 o 9000 (¡pruébelo!), Solo importa si es mayor que 8 . Eso es lo que marca la diferencia en la correlación de rangos. $\rho$ b

Por el contrario, mientras que ay btienen rango de correlación perfecta, su coeficiente de correlación de Pearson es menor que 1. Esto demuestra que la correlación de Pearson no se refleja en las filas.
Una correlación de Pearson refleja una función lineal, una correlación de rango simplemente una función monotónica. En el caso de los datos normales, los dos se parecerán mucho entre sí, y sospecho que es por eso que sus datos no muestran grandes diferencias entre Spearman y Pearson.

Para un ejemplo práctico, considere lo siguiente; quieres ver si las personas más altas pesan más. Sí, es una pregunta tonta ... pero suponga que esto es lo que le importa. Ahora, la masa no se escala linealmente con el peso, ya que las personas altas también son más anchas que las pequeñas; entonces el peso no es una función lineal de la altura. Alguien que es 10% más alto que usted es (en promedio) más de 10% más pesado. Es por eso que el índice cuerpo / masa usa el cubo en el denominador.
En consecuencia, asumiría una correlación lineal para reflejar incorrectamente la relación altura / peso. En contraste, la correlación de rango es insensible a las leyes molestas de la física y la biología en este caso; no refleja si las personas crecen linealmente más pesadas a medida que aumentan de altura, simplemente refleja si las personas más altas (mayor rango en una escala) son más pesadas (mayor rango en la otra escala).

Un ejemplo más típico podría ser el de las clasificaciones de cuestionarios tipo Likert, como las personas que califican algo como "perfecto / bueno / decente / mediocre / malo / horrible". "perfecto" está tan lejos de ser "decente" como "decente" está de "malo" en la escala , pero ¿podemos realmente decir que la distancia entre los dos es la misma? Una correlación lineal no es necesariamente apropiada. La correlación de rango es más natural.

Para abordar más directamente su pregunta: no, los valores de p para las correlaciones de Pearson y Spearman no deben calcularse de manera diferente . Mucho es diferente acerca de los dos, tanto conceptual como numéricamente, pero si el estadístico de prueba es equivalente, el valor p será equivalente.

Sobre la cuestión de un supuesto de normalidad en la correlación de Pearson, vea esto .
En términos más generales, otras personas han elaborado mucho mejor que yo con respecto al tema de las correlaciones paramétricas versus no paramétricas (también ver aquí ), y lo que esto significa con respecto a los supuestos de distribución.

— jona
fuente

¡Gracias! La próxima vez me aseguraré de experimentar más con los ejemplos. :)

— GST95

No, espera, en realidad esa no era mi pregunta. No comparé el método = "pearson" con el método = "spearman" versión de x e y. He comparado cor.test(x, y, method = "spearman")con cor.test(rank(x), rank(y), method = "pearson"). Estas estimaciones serán idénticas sin importar qué datos elija. ¡Gracias de todos modos! :)

— GST95

@ GST95, la correlación de Spearman es exactamente la correlación de Pearson realizada en datos transformados por rango. Sus dos "métodos" son realmente precisamente el mismo método.

— Dennis

@Dennis, exactamente, no estaba comparando los coeficientes rho (idénticos) sino los valores p para ver si ambos se obtuvieron con una prueba t.

— GST95