Prueba de significancia sobre la diferencia del coeficiente de correlación de Spearman

(¡Muchas gracias por las respuestas rápidas! Hice un mal trabajo al hacer la pregunta, así que déjenme volver a intentarlo).

No sé cómo averiguar si la diferencia entre dos correlaciones de Spearman es estadísticamente significativa. Me gustaría saber cómo averiguarlo.

La razón que quería averiguar es que en el siguiente artículo: Interpretación semántica basada en Wikipedia para el procesamiento del lenguaje natural , por Gabrilovich y Markovitch ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

En la Tabla 2 (p. 457), los autores muestran que su método (ESA-Wikipedia) logra una correlación de Spearman más alta y estadísticamente significativa que otros métodos, y me gustaría hacer lo mismo para mostrar que mi método es mejor que el anterior métodos para algún problema.

No sé cómo calcularon la significación estadística, y me gustaría saberlo. El autor del artículo afirmó que la correlación de rango de Spearman se trató como la correlación de Pearson. No estoy seguro de si esa es la forma correcta de hacerlo. Tengo dos correlaciones de Spearman y me gustaría saber si la diferencia entre ellas es estadísticamente significativa o no.

Soy consciente de que los sitios web, como http://faculty.vassar.edu/lowry/rdiff.html , proporcionan una calculadora en línea para obtener la diferencia entre dos correlaciones de Pearson. No puedo encontrar una calculadora en línea similar para la diferencia entre dos correlaciones de Spearman.

Una solución del enlace proporcionado por Peter Flom

NOTA: Los procedimientos solo admiten las correlaciones de Spearman que están por debajo de 0.6.

Deje = el Fisher transformada de la correlación observada de conjunto , = el Fisher transformada de la correlación observada de conjunto . $z_A$ $A$ $z_B$ $B$
Para , sea , donde es la transformada de Fisher del conjunto de la correlación de una sola omisión obtenida por eliminar , volver a clasificar y volver a calcular la correlación. (Cada se basa en $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ pares; cada eliminación es temporal, para que yo sólo, no es permanente.) Repita para el grupo . $n-1$ $B$
es la transformada Fisher de jackknifed. Repita para el grupo. $\bar y_A = \sum y_{A_i}/n$ $B$
es la varianza de . Repita para el grupo . $v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ $\bar y_A$ $B$
Use una prueba -heteroscedastic (Welch-Satterthwaite) para comparar las dos estimaciones de jackknifed: $t$

, dondeyson el número de muestras de conjuntoyrespectivamente.

t = \frac{{\bar{y}}_{UN} - {\bar{y}}_{si}}{\sqrt{v_{{\bar{y}}_{UN}} + v_{{\bar{y}}_{si}}}}, df = \frac{(v_{{\bar{y}}_{UN}} + v_{{\bar{y}}_{si}})^{2}}{\frac{v_{{\bar{y}}_{UN}}^{2}}{{norte}_{UN} - 1} + \frac{v_{{\bar{y}}_{si}}^{2}}{{norte}_{si} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Antes de la primera edición

Tengo un conjunto de clasificación calificado por humanos (RANGO HUMANO), un conjunto de clasificación generado por el método popular utilizado actualmente (RANGO ACTUAL), y finalmente un conjunto de clasificación generado por mi método propuesto (RANGO MISMO) .

Calculé la correlación de Spearman entre HUMAN-RANKING y PRESENT-RANKING. Permítanme llamar a esto: PRESIDENTE HUMANO.

Luego descubrí la correlación de Spearman entre HUMAN-RANKING y MY-RANKING. Déjame llamar a esto: HUMAN-MY-SPEARMAN.

¿Cómo puedo saber si la diferencia entre HUMAN-MY-SPEARMAN y HUMAN-PRESENT-SPEARMAN es estadísticamente significativa?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
fuente

Bienvenido Patrick Estoy luchando con el mismo problema pero con Pearson r. Si marca mis entradas, tendrá una idea de lo que puede hacer.

— Adhesh Josh

Aunque podría tener dificultades para enmarcar esta pregunta en términos estadísticos, sería útil si supiéramos exactamente lo que le interesaba. ¿Le interesa la cercanía de la correlación (qué tan cerca se pronostican los puntajes entre sí) o la existencia de una relación? Más que casualidad. Dado que parece que tiene datos clasificados, repetidos en el tiempo, podría ser útil leer un poco sobre los coeficientes de correlación intraclase. Espero tener ese derecho, la pregunta no está completamente clara.

— rosser

Gracias Adhesh y Rosser. Lamento mi pobre descripción de mi pregunta. Lo he reescrito. Espero que se haya convertido en una pregunta comprensible.

— Patrick Chan

¡Hola! Actualmente estoy luchando con el mismo problema. ¿Por casualidad tiene un código listo que implemente su sugerencia? Además, ¿por qué solo funciona para valores de correlación por debajo de 0.6?

— fsociety

El documento que cita explica el método en los siguientes términos:

[...] mostramos la importancia estadística de la diferencia entre el rendimiento de la versión ESA-Wikipedia (26 de marzo de 2006) y la de otros algoritmos mediante el uso de la transformación z de Fisher (Press, Teukolsky, Vetterling y Flannery, Numerical Recetas en C: El arte de la computación científica, Cambridge University Press, 1997, Sección 14.5).

Le sugiero que siga esa referencia, o eche un vistazo a la página de Wikipedia en el coeficiente de Spearman para más detalles.

— Guillermo G.
fuente

Gracias Guillermo Sospeché que trataron la correlación de rango de Spearman como la correlación de Pearson y calcularon la diferencia de dos correlaciones de Pearson. Sin embargo, me parece que no es la forma correcta de hacerlo, por lo que estoy haciendo una publicación aquí.

— Patrick Chan

¿Quizás conoces una implementación que funcione (preferiblemente en línea) porque esto es lo que busca el OP?

— chl