Combinando dos matrices de covarianza

Estoy calculando la covarianza de una distribución en paralelo y necesito combinar los resultados distribuidos en gaussiano singular. ¿Cómo combino los dos?

La interpolación lineal entre los dos casi funciona, si están distribuidos y dimensionados de manera similar.

Wikipedia proporciona una forumla en la parte inferior para la combinación, pero no parece correcta; dos distribuciones idénticamente distribuidas deben tener la misma covarianza, pero la fórmula en la parte inferior de la página duplica la covarianza.

¿Hay alguna manera de combinar dos matrices?

covariance moments

— Matt Kemp
fuente

La fórmula de Wikipedia responde a su pregunta, Matt: es posible que no haya notado que es una fórmula parcial donde luego debe dividir por el tamaño de la muestra.

— whuber

He resuelto esto ahora, con tu ayuda; si pones esto en una respuesta, lo marcaré como respondido.

— Matt Kemp

Esta pregunta surge mucho en varias formas. Lo que es común para ellos es

¿Cómo puedo combinar estadísticas basadas en momentos calculadas a partir de subconjuntos disjuntos de mis datos?

La aplicación más simple se refiere a datos que se han dividido en dos grupos. Conoces los tamaños de grupo y los medios del grupo. Solo en términos de estas cuatro cantidades, ¿cuál es la media general de los datos?

Otras aplicaciones generalizan desde medias hasta variaciones, desviaciones estándar, matrices de covarianza, sesgos y estadísticas multivariadas; y podría involucrar múltiples subgrupos de datos. Observe que muchas de estas cantidades son combinaciones de momentos algo complicadas: la desviación estándar, por ejemplo, es la raíz cuadrada de una combinación cuadrática del primer y segundo momento (media y media cuadrática).

Todos estos casos se manejan fácilmente reduciendo los diversos momentos a sumas, porque las sumas se combinan de manera obvia y fácil: se agregan. Matemáticamente, todo se reduce a esto: tiene un lote de datosque se han separado en grupos disjuntos de tamaños:. Llamemos alésimo grupo. Por definición, elésimo momento de cualquier lote de datoses el promedio de $X = (x_1, x_2, \ldots, x_n)$ $j_1, j_2, \ldots, j_g$ $(x_1, x_2, \ldots, x_{j_1}; x_{j_1+1}, \ldots, x_{j_1+j_2}; x_{j_1+j_2+1}, \ldots; \ldots; \ldots, x_n)$ $i$ $X_{(i)} = (x_{j_i+1},x_{j_i+2}, \ldots, x_{j_{i+1}})$ $k$ $y_1, \ldots, y_j$ $k$ th poderes,

μ_{k} (y) = (y_{1}^{k} + y_{2}^{k} + \dots + y_{j}^{k}) / j .

$\mu_k(y) = \left(y_1^k + y_2^k + \cdots + y_j^k\right)/j.$

Obviamente es la suma de las ésimas potencias. Por lo tanto, refiriéndonos a nuestra descomposición previa de datos en subgrupos, podemos dividir una suma de potencias en grupos de sumas, obteniendo $j \mu_k(y)$ $k$ $g$ $n$

\begin{aligned} n μ_{k} (X) & = (x_{1}^{k} + x_{2}^{k} + \dots + x_{n}^{k}) \\ = (x_{1}^{k} + x_{2}^{k} + \dots + x_{j_{1}}^{k}) + \dots + (x_{j_{1} + \dots + j_{g - 1} + 1}^{k} + x_{j_{1} + \dots + j_{g - 1} + 2}^{k} + \dots + x_{n}^{k}) \\ = j_{1} μ_{k} (X_{(1)}) + j_{2} μ_{k} (X_{(2)}) + \dots + j_{g} μ_{k} (X_{(g)}) . \end{aligned}

$\eqalign{ n \mu_k(X) &= \left(x_1^k + x_2^k + \cdots + x_n^k\right) \\ &= \left(x_1^k + x_2^k + \cdots + x_{j_1}^k\right) + \cdots + \left(x_{j_1+\cdots+j_{g-1}+1}^k + x_{j_1+\cdots+j_{g-1}+2}^k + \cdots + x_n^k\right)\\ &= j_1 \mu_k(X_{(1)}) + j_2 \mu_k(X_{(2)}) + \cdots + j_g \mu_k(X_{(g)}). }$

Dividiendo por exhibe el ésimo momento de todo el lote en términos de la ésimo momentos de sus subgrupos. $n$ $k$ $k$

En la presente solicitud, las entradas en la matriz de covarianza son, por supuesto, covarianzas, que se pueden expresar en términos de segundos momentos y primeros momentos multivariados. La parte clave del cálculo se reduce a esto: en cada paso se habrá centrado en dos componentes particulares de sus datos multivariados; vamos a llamarlos e . Los números que está viendo están en el formulario $x$ $y$

((x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{n}, y_{n})),

$((x_1,y_1), (x_2,y_2), \ldots, (x_n,y_n)),$

dividido como antes en grupos . Para cada grupo conoce la suma promedio de productos de : este es el momento multivariado , . Para combinar estos valores de grupo, los multiplicará por los tamaños de grupo, sumará esos resultados y dividirá el total entre . $g$ $x_iy_i$ $(1,1)$ $\mu_{(1,1)}$ $n$

Para aplicar este enfoque, debe pensar en el futuro : no es posible combinar, por ejemplo, covarianzas si solo conoce las covarianzas y los tamaños de los subgrupos: también necesita conocer los medios de los subgrupos (porque los medios están involucrados de una manera esencial en todas las fórmulas de covarianza), o algo algebraicamente reducible a las medias. También es posible que tenga que tener cuidado con las constantes que aparecen en las fórmulas; La trampa principal para los incautos es confundir una "covarianza de muestra" (que implica una suma de productos dividida por ) con una "covarianza de población" (donde la división es por ). Esto no introduce nada nuevo; solo debe recordar multiplicar la covarianza de la muestra por (o covarianza de grupo por $n-1$ $n$ $n-1$ $j_i-1$ ) para recuperar la suma, en lugar de por (o ). $n$ $j_i$

Oh, sí: sobre la presente pregunta. La fórmula dada en el artículo de Wikipedia se da en términos de medios grupales (primeros momentos) y las sumas grupales de productos. Como describí anteriormente, estos se combinarán agregándolos y luego ajustando los resultados con una división para obtener las covarianzas. La división final por no se muestra. $n$

— whuber
fuente

Estoy un poco confundido sobre la definición del k-ésimo momento. ¿Está suponiendo cero datos medios?

— reschu

@reschu Parece que estás pensando en los momentos centrales . Para asegurarme de que esta publicación se entendería correctamente, definí lo que quise decir con " moment". La definición aparece justo antes de la primera fórmula.

k^{th}

$k^\text{th}$

— whuber

Que mal! Estaba mezclando momentos 'centrales' y 'crudos'. ¡Gracias por la aclaración!

— reschu

Creo que "para conocer las medias de los tamaños de los subgrupos" en el penúltimo párrafo debería leer "para conocer las medias de los subgrupos". (Dudo en editar esto yo mismo ya que no me molesté en estudiar la respuesta con mucho cuidado)

— Juho Kokkala

@Juho Tienes toda la razón. ¡Gracias por notar eso!

— whuber