¿Cada matriz de correlación es positiva definida?

11

Estoy hablando aquí de matrices de correlaciones de Pearson.

A menudo escuché decir que todas las matrices de correlación deben ser semidefinidas positivas. Tengo entendido que las matrices definidas positivas deben tener valores propios , mientras que las matrices semidefinidas positivas deben tener valores propios . Esto me hace pensar que mi pregunta puede reformularse como "¿Es posible que las matrices de correlación tengan un valor propio ?" $> 0$ $\ge 0$ $= 0$

¿Es posible que una matriz de correlación (generada a partir de datos empíricos, sin datos faltantes) tenga un valor propio , o un valor propio ? ¿Qué pasaría si se tratara de una matriz de correlación de población? $= 0$ $< 0$

Leí en la respuesta superior a esta pregunta sobre las matrices de covarianza que

Considere tres variables, , y . Su matriz de covarianza, , no es positiva definida, ya que hay un vector ( ) para el cual no es positivo. $X$ $Y$ $Z = X+Y$ $M$ $z$ $= (1, 1, -1)'$ $z'Mz$

Sin embargo, si en lugar de una matriz de covarianza hago esos cálculos en una matriz de correlación, entonces resulta positivo. Por lo tanto, creo que tal vez la situación es diferente para las matrices de correlación y covarianza. $z'Mz$

Mi razón para preguntar es que me preguntaron en stackoverflow , en relación con una pregunta que hice allí.

covariance-matrix eigenvalues correlation-matrix

— user1205901 - Restablecer Monica
fuente

Si, por ejemplo, dos atributos son una cosa y solo tienen nombres diferentes, la matriz es singular. Si dos atributos se suman a una constante, es más singular, etcétera .

— ttnphns

Si una matriz de covarianza es singular, la matriz de correlación también es singular.

— ttnphns

2

Casi duplicados: ¿todas las matrices de correlación son semi-definidas positivas? que tiene menos foco en el ángulo definido versus semi-definido, y ¿Es definida positivamente cada matriz de covarianza? lo cual es relevante porque una covarianza es esencialmente una correlación reescalada.

— Silverfish

16

Las matrices de correlación no necesitan ser definitivas positivas.

Considere una variable aleatoria escalar X que tiene una varianza no nula. Entonces, la matriz de correlación de X consigo misma es la matriz de todos, que es positiva semi-definida, pero no positiva definida.

En cuanto a la correlación de la muestra, considere los datos de la muestra para lo anterior, teniendo la primera observación 1 y 1, y la segunda observación 2 y 2. Esto da como resultado que la correlación de la muestra sea la matriz de todos, por lo que no es definitivo positivo.

Una matriz de correlación de muestra, si se calcula en aritmética exacta (es decir, sin error de redondeo) no puede tener valores propios negativos.

— Mark L. Stone
fuente

44

Cabe mencionar los posibles efectos de los valores faltantes en la matriz de correlación de la muestra . El fuzz numérico no es la única razón para obtener un valor propio negativo en una matriz de correlación / covarianza de muestra.

— Silverfish

1

Sí, no lo hice explícito, pero suponía, según la declaración de la pregunta, "sin datos faltantes". Una vez que entras en el mundo salvaje y loco de datos faltantes y ajustes para eso, todo vale.

— Mark L. Stone

Sí, lo siento, tienes razón, la pregunta decía "no hay datos faltantes", ¡solo pensé que valía la pena mencionarla en algún lugar ya que los futuros buscadores podrían estar interesados incluso si el apetito del OP está saciado!

— Silverfish

7

Las respuestas de @yoki y @MarkLStone (+1 a ambas) señalan que una matriz de correlación de población puede tener valores propios cero si las variables están relacionadas linealmente (por ejemplo, en el ejemplo de @MarkLStone y en el ejemplo de @yoki). $X_1 = X_2$ $X_1 = 2X_2$

Además de eso, una matriz de correlación de muestra necesariamente tendrá valores propios cero si , es decir, si el tamaño de la muestra es menor que el número de variables. En este caso, las matrices de covarianza y correlación serán a lo sumo del rango , por lo que habrá al menos valores propios cero. Consulte ¿Por qué una matriz de covarianza muestral es singular cuando el tamaño de la muestra es menor que el número de variables? y ¿Por qué el rango de matriz de covarianza es como máximo ? $n<p$ $n-1$ $p-n+1$ $n-1$

— ameba
fuente

Cierto. Supongo que podría y debería haber proporcionado esta información también, pero mi objetivo era producir un contraejemplo para refutar la hipótesis del OP, mostrando así su invalidez. Sin embargo, debe ajustar su segunda oración para que sea "En este caso matrices de covarianza y correlación tendrá como máximo el rango n − 1, por lo que habrá al menos (p − n + 1) valores propios cero ".

— Mark L. Stone

4

Considere que es un rv con media 0 y varianza de 1. Sea , y calcule la matriz de covarianza de . Como , , y . Debido a la configuración media cero, los segundos momentos son iguales a las covarianzas adecuadas, por ejemplo: . $X$ $Y=2X$ $(X,Y)$ $2X=Y$ $E[Y^2]=4E[X^2]=\sigma_Y^2$ $E[XY]=2E[X^2]$ $\mbox{Cov}(X,Y)=E[XY]-EXEY=E[XY]$

Entonces la matriz de covarianza será: con un valor propio cero. La matriz de correlación será: tiene un valor propio cero. Debido a la correspondencia lineal entre e , es fácil ver por qué obtenemos esta matriz de correlación: la diagonal siempre será 1 y la diagonal fuera de 1 es debido a la relación lineal.

Λ = (\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}),

$\Lambda = \left(\array{1 & 2 \\ 2 & 4 }\right),$

Λ = (\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix}),

$\Lambda = \left(\array{1 & 1 \\ 1 & 1 }\right),$

X

$X$

Y

$Y$

— yoki
fuente

Solo para lectores con problemas de matemáticas como yo, permítanme señalar que 2in es el esta última igualdad resultante de: .

Λ

$\Lambda$

c o v (X, Y) = E (X Y) - E (X) E (Y) = 2 E [X^{2}] = 2 (σ_{X}^{2} + [E (X)]^{2})

$cov(X,Y)= \mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)= 2\mathbb{E}[X^2]=2\left(\sigma_X^2+[E(X)]^2\right)$

E (X^{2}) = Var (X) + [E (X)]^{2}

$E(X^2)=\text{Var}(X)+[E(X)]^2$

— Antoni Parellada

+1 para tu publicación. Quería facilitar el seguimiento para todos al incluir la fórmula , pero el formato de comentarios no lo permite. ¿Crees que hay algún punto válido para incluirlo en tu publicación?

d i a g Λ^{- 1 / 2} Λ d i a g Λ^{1 / 2}

$diag \Lambda^{-1/2}\,\Lambda\, diag \Lambda^{1/2}$

— Antoni Parellada

@AntoniParellada, no estoy exactamente seguro de lo que quieres decir: la covarianza aquí es un cálculo directo. Pero editaré y aclararé eso. Gracias.

— yoki