Limite la diferencia entre la correlación de Spearman y la correlación de Kendall

Estoy tratando de demostrar o refutar que la diferencia entre la Correlación de Spearman y la Correlación de Kendall no es más de 1 (o menos, cuanto más estricta, mejor).

Supongo que no hay vínculos.

En un intento de refutar el resultado usando un ejemplo de contador, verifiqué todas las posibilidades de vectores con longitud 8. Obtuve algunas imágenes bonitas pero ningún ejemplo de contador:

diferencia:

La diferencia nunca es más de 0.4 en este caso, así que creo que es cierto, pero no pude probarlo.

correlation spearman-rho kendall-tau

— Pqqwetiqe
fuente

Hay una publicación muy interesante que podría ser un duplicado parcial de su pregunta. Es "Kendall Tau o Spearman rho? Stats.stackexchange.com/questions/3943/kendall-tau-or-spearmans-rho.

— Michael R. Chernick

Para aquellos que quieran abordar un enfoque algebraico directo, creo que el resultado se puede obtener en dos pasos. Primero (el paso clave), muestre que el valor absoluto extremo de la diferencia se alcanza para los datos

(1, n), (2, n - 1), \dots, (n, 1), (n + 1, 2 n), (n + 2, 2 n - 1), \dots, (2 n, n + 1)

$(1,n),(2,n-1),\ldots, (n,1),(n+1,2n),(n+2,2n-1),\ldots,(2n,n+1)$ para

2 n

$2n$ puntos y

(1, n + 1), (2, n), \dots, (n + 1, 1), (n + 2, 2 n + 1), (n + 3, 2 n), \dots, (2 n + 1, n + 2)

$(1,n+1),(2,n),\ldots,(n+1,1),(n+2,2n+1),(n+3,2n),\ldots,(2n+1,n+2)$ para

2 n + 1

$2n+1$ puntos. Luego calcule las diferencias para estos conjuntos de datos. (En el primer caso hay otro máximo y en el segundo caso hay otros tres máximos implicados por simetrías obvias.)

— whuber

@Glen_b Si estoy en lo correcto, entonces la diferencia absoluta máxima para datos de longitud

n

$n$ es

\frac{2 (n - 2) ⌈ \frac{n}{2} ⌉ ⌊ \frac{n}{2} ⌋}{n (n^{2} - 1)},

$\frac{2 (n-2) \left\lceil \frac{n}{2}\right\rceil \left\lfloor \frac{n}{2}\right\rfloor }{n \left(n^2-1\right)},$ que tiene un valor límite de

1 / 2

$1/2$ (desde abajo) como

n \to \infty .

$n\to\infty.$ Eso apoya lo que escribiste. Esta fórmula está relacionada con A111384 , cuyos valores se dividen por

n (n^{2} - 1) / 4

$n(n^2-1)/4$ .

— whuber

Ese límite parece coincidir con su fórmula incluso para n (y sus casos límite en el comentario anterior ciertamente coinciden con los obtenidos mediante un cálculo exhaustivo para todos los pequeños

n

$n$ valores que podría verificar fácilmente, pero espero que ya lo haya hecho). Es interesante que el límite sea 1/2. ¿Cometí un error en el extraño caso n? (editar: No, ahora veo, estaba justo aparte de manipular su fórmula)

— Glen_b -Reinstate Monica

@Glen_b Un límite de

1 / 2

$1/2$ es intuitivo: para los patrones que describí, Spearman está cerca de

1 / 2

$1/2$ mientras Kendall es

O (1 / n)

$O(1/n)$ . El álgebra se simplifica generalizando mi enfoque de "crayón" a la covarianza. Aquí está el Rcódigo que implementa las fórmulas relevantes. Los argumentos consisten en dos permutaciones de 1:n. Spearman : function(x, y) mean(outer(x, x, '-') * outer(y, y, '-')) * 6 / (length(x)^2 - 1) Kendall :function(x,y) mean(sign(outer(x, x, '-')) * sign(outer(y, y, '-'))) * (1 + 1/(length(x)-1))

— whuber

¡Quizás quieras mirar este artículo ! Y otros trabajos de estos autores. No recuerdo exactamente dónde, pero he visto tu primer gráfico en sus documentos, y algunas pruebas junto con él. Creo que esto se puede hacer aprovechando las cópulas (como Kendall tau y Spearman rho se pueden escribir en función de la cópula subyacente entre las dos variables). Espero eso ayude.

$C$ es la cópula de $(X,Y)$ .

$\tau(X,Y) = 4\int_0^1 \int_0^1 C(u,v) c(u,v) du dv - 1$

(La correlación de Kendall es la expectativa de la cópula reescalada en $[0,1]$ )

$\rho(X,Y) = 12 \int_0^1 \int_0^1 C(u,v) du dv - 3$

Entonces, $|\tau - \rho| \leq \ldots$

— mic
fuente

El artículo es una buena referencia para las técnicas que exhibe. Sin embargo, no parece contener un resultado que pueda implicar fácilmente el conjeturado en esta pregunta. Esto se debe principalmente a que sus resultados no son universales: se aplican bajo varias condiciones restrictivas e incluso solo en el límite a medida que la distribución conjunta se acerca a la independencia.

— whuber