Medidas de similitud o distancia entre dos matrices de covarianza.

28

¿Hay alguna medida de similitud o distancia entre dos matrices de covarianza simétrica (ambas tienen las mismas dimensiones)?

Estoy pensando aquí en análogos a la divergencia KL de dos distribuciones de probabilidad o la distancia euclidiana entre vectores, excepto que se aplica a las matrices. Me imagino que habría bastantes medidas de similitud.

Idealmente, también me gustaría probar la hipótesis nula de que dos matrices de covarianza son idénticas.

— Ram Ahluwalia
fuente

3

Las respuestas a esta pregunta: quant.stackexchange.com/q/121/108 pueden ser de alguna utilidad.

— shabbychef

2

excelente pregunta y respuesta en el enlace - gracias - Sí, esto es donde iba :)

— Ram Ahluwalia

2

Pregunta relacionada: Gráfico de diagnóstico para evaluar la homogeneidad de las matrices de varianza-covarianza . Documento relacionado: Un procedimiento simple para la comparación de matrices de covarianza .

— ameba dice Reinstate Monica

21

Puede usar cualquiera de las normas (consulte Wikipedia en una variedad de normas; tenga en cuenta que la raíz cuadrada de la suma de las distancias al cuadrado, $\| A-B \|_p$ , se llama norma Frobenius, y es diferente de lanorma, que es la raíz cuadrada del mayor valor propio de, aunque por supuesto lo harían generar la misma topología). La distancia KL entre las dos distribuciones normales con las mismas medias (digamos cero) y las dos matrices de covarianza específicas también está disponible enWikipediacomo $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ . $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

Editar: si una de las matrices es una matriz implícita en el modelo y la otra es la matriz de covarianza de muestra, entonces, por supuesto, puede formar una prueba de razón de probabilidad entre las dos. Mi colección favorita personal de tales pruebas para estructuras simples se da en Rencher (2002) Métodos de análisis multivariante . Casos más avanzados están cubiertos en el modelo de estructura de covarianza, en el cual un punto de partida razonable es Bollen (1989) Ecuaciones estructurales con variables latentes .

— StasK
fuente

tengo un problema con

: no da el mismo valor si se permutan

y

(una distancia real debería ser simétrica )

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— user603

(A - B)^{2}

$(A-B)^2$

.

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— user603

2

Primero, KL no es una distancia real, y ese es un hecho bien conocido. En segundo lugar, si las matrices se miden en unidades diferentes, no pueden ser iguales.

— StasK

¿La distancia KL es similar a la razón de probabilidad, o están relacionadas?

— hashmuke

7

Denote y sus matrices ambas de dimensión . $\varSigma_1$ $\varSigma_2$ $p$

Número Cond: donde ( ) es el más grande (el más pequeño) autovalor de , donde se define como: $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

Editar: edité la segunda de las dos propuestas. Creo que había entendido mal la pregunta. La propuesta basada en números de condición se usa mucho en estadísticas sólidas para evaluar la calidad del ajuste. Una fuente antigua que pude encontrar es:

Yohai, VJ y Maronna, RA (1990). El sesgo máximo de covarianzas robustas. Comunicaciones en estadística: teoría y métodos, 19, 3925–2933.

Originalmente había incluido la medida de la relación Det:

Det ratio: donde. $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

que sería la distancia Bhattacharyya entre dos distribuciones gaussianas que tienen el mismo vector de ubicación. Debo haber leído originalmente la pregunta como perteneciente a un entorno donde las dos covarianzas provenían de muestras de poblaciones que se suponía que tenían los mismos medios.

— usuario603
fuente

7

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$

— davidc
fuente

+1. Muchas gracias por esta respuesta, fue muy útil para mí.

— ameba dice Reinstate Monica

1

Esta es una similitud de coseno menos, ¿verdad?

— Firebug

4

La distancia de la matriz de covarianza se usa para rastrear objetos en Computer Vision.

La métrica utilizada actualmente se describe en el artículo: "Una métrica para matrices de covarianza" , de Förstner y Moonen.

— Andres Romero
fuente