Uso de correlación como métrica de distancia (para agrupamiento jerárquico)

Me gustaría agrupar jerárquicamente mis datos, pero en lugar de usar la distancia euclidiana, me gustaría usar la correlación. Además, dado que el coeficiente de correlación varía de -1 a 1, con -1 y 1 denotando "corregulación" en mi estudio, estoy tratando a -1 y 1 como d = 0. Entonces mi cálculo es $\ d = 1-|r|$

Leí en una pregunta separada (con respecto a la agrupación de k-medias), que debes convertir r en euclidiana verdadera d usando el teorema del coseno: $d = \sqrt{2(1-r)}$

¿Cuál es la forma más precisa de convertir la correlación en distancia para la agrupación jerárquica?

— Megatron
fuente

Sí, uno de los posibles, y geométricamente cierto , es la última fórmula. Pero puede ignorar el signo de

si tiene sentido para usted, de modo que

. En la mayoría de los casos, puede soltar

forma segura sin afectar los resultados de la agrupación. La distancia se puede tratar como cuadrado euclidiano. En este hilo se discutió si las medidas de correlación convertidas a distancia son distancias métricas.

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

Además, no tiene que convertir siempre

en una disimilitud lineal como la distancia euclidiana. No es tan raro que la gente haga agrupaciones basadas directamente en

como en similitud; es similitud angular

r

$r$

r

$r$

| r |

$|r|$

— ttnphns

Requisitos para la agrupación jerárquica

La agrupación jerárquica se puede utilizar con medidas de similitud y disparidad arbitrarias. (La mayoría de las herramientas esperan una diferencia, pero permitirán valores negativos; depende de usted asegurarse de que se prefiera un valor pequeño o grande).

Solo los métodos basados en centroides o varianza (como el método de Ward) son especiales y deben usarse con Euclidiana al cuadrado. (Para entender por qué, estudie estos vínculos cuidadosamente).

El enlace simple, el enlace promedio, el enlace completo no se ven muy afectados, seguirá siendo el mínimo / promedio / máximo de las diferencias de pares.

Correlación como medida de distancia

Si preprocesas tus datos ( $n$ observaciones, $p$ características) de modo que cada característica tenga $\mu=0$ y $\sigma=1$ (¡lo que no permite características constantes!), La correlación se reduce a coseno:

Corr (X, Y) = \frac{Cov (X, Y)}{σ_{X} σ_{Y}} = \frac{E [(X - μ_{X}) (Y - μ_{Y})]}{σ_{X} σ_{Y}} = E [X Y] = \frac{1}{n} ⟨ X, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

En las mismas condiciones, la distancia euclidiana al cuadrado también se reduce a coseno:

d_{Euclid}^{2} (X, Y) = \sum (X_{i} - Y_{i})^{2} = \sum X_{i}^{2} + \sum Y_{i}^{2} - 2 \sum X_{i} Y_{i} = 2 n - 2 ⟨ X, Y ⟩ = 2 n [1 - Corr (X, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Por lo tanto, a menos que sus datos estén degenerados, usar la correlación para la agrupación jerárquica debería estar bien. Solo preprocese como se explicó anteriormente, luego use la distancia euclidiana al cuadrado.

— Anony-Mousse
fuente

Only ward's method is special, and should be used with squared Euclidean. No solo de Ward. Cualquier método que calcule los centroides o las desviaciones de los centroides necesitará una distancia euclidiana o cuadrada euclidiana (dependiendo de la implementación), en aras de la precisión geométrica. Con la pérdida de tales y la debida advertencia, podrían usarse con otras distancias métricas. Esos métodos son centroide, "mediana", de Ward, varianza (¡no debe confundirse con Ward!) Y algunos otros.

— ttnphns

Gracias, lo dejé más claro. No estaba al tanto de estas variaciones, solo estaba pensando en single / average / complete / ward.

— Anony-Mousse

¡Hay muchos errores tipográficos y expresiones indefinidas en esta publicación! ¿Podría por favor revisarlo, arreglarlo y explicar qué "

⟨, ⟩

$\langle, \rangle$ "son y qué"

d i m

$dim$ "podría referirse?

— whuber