Entendiendo que intuitivamente

Acabo de ver esta pregunta y la maravillosa respuesta aceptada en este foro. Luego me activaron para tratar de comprender intuitivamente por qué la división de está normalizando la covarianza: $S_xS_y$

\frac{COV (X, Y)}{S_{x} S_{y}} \in [- 1, 1]

$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$

Creo que será útil si entiendo por qué normaliza para ser . Por supuesto, entiendo que, por definición, son iguales. Pero mi pregunta es básicamente esta: usando la terminología de la respuesta aceptada, ¿por qué la suma total de rojo en la gráfica es exactamente (más exacto, hasta donde yo entiendo, es decir la suma de los rectángulos divididos por debe ser ). Quiero decir, si tomamos una muestra de observaciones, que tenemos rectángulos, mientras usamos la definición, tenemos que encontrar la media de solo valores. $S_xS_x$ $\operatorname{COV}(X,X)$ $1$ $S_xS_x = \operatorname{VAR}(X)$ $n^2$ $\operatorname{VAR}(X)$ $10$ $45$ $10$

— Delaware
fuente

Esta publicación presenta un poderoso método de razonamiento que evita una gran cantidad de álgebra y cálculo. Para aquellos familiarizados con este método, el trabajo es tan automático y natural que la respuesta inicial de uno a una pregunta como esta es "¡es obvio!" Pero tal vez no sea tan obvio hasta que hayas visto el método. Por lo tanto, se explican todos los detalles, paso a paso.

Antecedentes

Hay varias fórmulas para la varianza de datos (con media ), incluyendo $\mathbf{x}=x_1, x_2, \ldots, x_n$ $\bar x = (x_1+\cdots + x_n)/n$

\begin{matrix} (1) & Var (x) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = \frac{1}{n} (\sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2} . \end{matrix}

$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$

Esto determina la covarianza de los datos emparejados través de $(x_1,y_1), \ldots, (x_n, y_n)$

Cov (x, y) = \frac{1}{4} (Var (x + y) - Var (x - y)) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$

La fórmula implícita en la publicación referenciada de covarianza con crayones es

\begin{matrix} (2) & C (x, y) = \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) = \frac{1}{2} \sum_{i, j = 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) . \end{matrix}

$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$

Esa publicación afirma que es proporcional a la covarianza. La constante de proporcionalidad podría (y varía) con . Por lo tanto, cuando una implicación de esta afirmación es que $C$ $c(n)$ $n$ $\mathbf{x}=\mathbf{y}$

C (x, x) = c (n) Var (x) .

$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$

Análisis

Aunque esto podría demostrarse con álgebra de fuerza bruta, hay una mejor manera: explotemos las propiedades fundamentales de la covarianza. ¿Qué propiedades serían esas? Me gustaría sugerir que los siguientes son básicos:

Lugar de independencia. Es decir, para cualquier número . (La expresión refiere al conjunto de datos .)
$Cov (x, y) = Cov (x - a, y)$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$ $a$ $\mathbf{x}-\mathbf{a}$ $x_1-a, x_2-a, \ldots, x_n-a$
Multilinealidad. Esto implica para cualquier número . (La expresión refiere al conjunto de datos .)
$Cov (λ x, y) = λ Cov (x, y)$ $\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$ $\lambda$ $\lambda\mathbf{x}$ $\lambda x_1, \lambda x_2, \ldots, \lambda x_n$
Simetría. La covarianza de y es la covarianza de y : $\mathbf{x}$ $\mathbf{y}$ $\mathbf{y}$ $\mathbf{x}$
$Cov (x, y) = Cov (y, x) .$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$
Invarianza bajo permutaciones. La covarianza no cambia cuando volvemos a indexar . Formalmente, para cualquier permutación . (Expresiones como representan reordenar el acuerdo con , de modo que ) $(x_i, y_i)$
$Cov (x, y) = Cov (x^{σ}, y^{σ})$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$ $\sigma\in\mathfrak{S}_n$ $\mathbf{x}^\sigma$ $x_i$ $\sigma$ $\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

Todas estas propiedades obviamente son válidas tanto para como para al inspeccionar las formas de las expresiones y . El único que podría necesitar alguna explicación es la independencia de la ubicación. Sin embargo, un cambio constante de valores de no cambia los residuos ni las diferencias: $\operatorname{Var}$ $C$ $(1)$ $(2)$ $x_i$

x_{i} - \bar{x} = (x_{i} - a) - \bar{x - a}

$x_i - \bar{x} = (x_i - a) - \overline{x - a}$

x_{j} - x_{i} = (x_{j} - a) - (x_{i} - a) .

$x_j - x_i = (x_j - a) - (x_i - a).$

En consecuencia, es obvio que la primera versión de y son independientes de la ubicación. $(1)$ $(2)$

Solución

Aquí, entonces, está el razonamiento. Como es simétrico y multilineal, es una forma cuadrática completamente determinada por los coeficientes : $C$ $c_{ij} = c_{ji}$

C (x, y) = \sum_{i, j = 1}^{n} c_{i j} x_{i} y_{j} .

$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$

Debido a que es invariante a la permutación, para cualquier índice para el cual e ; también, para todos los índices e . Por lo tanto, está determinado por solo dos números, digamos y . Finalmente, uno de estos números determina los otros dos en virtud de la invariancia de ubicación: esa condición significa $c_{ij} = c_{i^\prime j^\prime}$ $i,j,i^\prime,j^\prime$ $i\ne j$ $i^\prime \ne j^\prime$ $c_{ii} = c_{i^\prime i^\prime}$ $i$ $i^\prime$ $C$ $c_{11}$ $c_{12}$

0 = C (0, 0) \overset{location-invariance}{=} C (1, 0) \overset{symmetry}{=} C (0, 1) \overset{location-invariance}{=} C (1, 1)

$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$

(donde " " y " " se refieren a -vectores constantes con estos valores). Pero $\mathbf{0}$ $\mathbf{1}$ $n$

0 = C (1, 1) = \sum_{i, j}^{n} c_{i j} = n c_{11} + (n^{2} - n) c_{12},

$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$ determinando cada de y en términos del otro.

c_{11}

$c_{11}$

c_{12}

$c_{12}$

Esto ya demuestra el punto principal: debe ser proporcional a , ya que cada uno está determinado por cualquiera de sus coeficientes. Para encontrar la constante de proporcionalidad, inspeccione las dos fórmulas y , buscando todas las apariencias de : puede leer el valor asociado de de ellas. De la segunda versión de , el coeficiente de claramente es . Desde la primera versión de , con , el coeficiente de claramente es $C$ $\operatorname{Cov}$ $(1)$ $(2)$ $x_1^2$ $c_{11}$ $(1)$ $x_1^2$ $1/n - (1/n)^2$ $(2)$ $\mathbf{y} = \mathbf{x}$ $x_1^2$ $n-1$ . (Geométricamente, cada punto en el diagrama de dispersión de está emparejado con otros, de donde el cuadrado de su coordenada aparecerá veces.) Por lo tanto $(\mathbf{x},\mathbf{x})$ $n-1$ $n-1$

c (n) = \frac{n - 1}{1 / n - (1 / n)^{2}} = n^{2},

$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$

QED . Este fue el único cálculo requerido para demostrar

Cov (x, y) = \frac{1}{n^{2}} C (x, y) = \frac{1}{n^{2}} \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$

— whuber
fuente