¿Por qué el rango de matriz de covarianza es como máximo

Como se indicó en esta pregunta, el rango máximo de la matriz de covarianza es $n-1$ donde $n$ es el tamaño de la muestra y, por lo tanto, si la dimensión de la matriz de covarianza es igual al tamaño de la muestra, sería singular. No puedo entender por qué restamos $1$ del rango máximo $n$ de la matriz de covarianza.

covariance-matrix linear-algebra

— usuario3070752
fuente

Para obtener la intuición, piense en

n = 2

$n=2$ puntos en 3D. ¿Cuál es la dimensionalidad del subespacio en el que se encuentran estos puntos? ¿Puedes colocarlos en una línea (subespacio 1D)? ¿O necesitas un plano (subespacio 2D)?

— ameba dice Reinstate Monica

¿Entonces entiendes que

n = 2

$n=2$ conduce a la matriz de covarianza de rango 1? Bien, tomemos

n = 3

$n=3$ puntos. ¿Puedes ver que siempre puedes ajustarlos en un plano 2D?

— ameba dice Reinstate Monica

@amoeba, su ejemplo fue claro, pero no puedo entender cuál es la relación entre ajustar el hiperplano en su ejemplo y la matriz de covarianza.

— user3070752

Perdón por el retraso;)

— user3070752

Respuestas:

El estimador imparcial de la matriz de covarianza muestral dado $n$ puntos de datos $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ es dondees el promedio de todos los puntos. Denotemoscomo. El

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

factor

no cambia el rango, y cada término en la suma tiene (por definición) el rango

, por lo que el núcleo de la pregunta es el siguiente:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

¿Por qué tengo rango y no rango , como parece porque estamos sumando Rank- matrices? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

La respuesta es que sucede porque no es independiente. Por construcción, . Entonces, si conoce de , entonces el último restante está completamente determinado; no estamos sumando independientes Rank- matrices, estamos sumando solamente independientes Rank- matrices y luego la adición de uno más Rank- matriz que está totalmente determinado linealmente por el resto. Esta última adición no cambia el rango general. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Podemos ver esto directamente si reescribimos como y ahora lo conectamos a la expresión anterior: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Ahora solo quedan términos en la suma y queda claro que toda la suma puede tener como máximo el rango .

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Este resultado, por cierto, sugiere por qué el factor en el estimador imparcial de covarianza es y no $\frac{1}{n-1}$ . $\frac{1}{n}$

La intuición geométrica a la que aludí en los comentarios anteriores es que siempre se puede ajustar una línea 1D a dos puntos en 2D y siempre se puede ajustar un plano 2D a tres puntos en 3D, es decir, la dimensionalidad del subespacio siempre es ; esto solo funciona porque suponemos que esta línea (y plano) se puede "mover" para ajustar nuestros puntos. "Posicionar" esta línea (o plano) de modo que pase a través de es equivalente a centrarse en el argumento algebraico anterior. $n-1$ $\bar \x$

— ameba dice Reinstate Monica
fuente

Un poco más corto, creo, la explicación es así:

Definamos matriz $n$ x $m$ matriz $x$ de puntos de datos de muestra donde $n$ es un número de variables $m$ es un número de muestras para cada variable. Supongamos que ninguna de las variables es linealmente dependiente.

El rango de $x$ es $min(n,m)$ .

Definamos la matriz $n$ x $m$ matriz $z$ de variables centradas en rowwise:

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
fuente