¿Es posible encontrar la desviación estándar combinada?

Supongamos que tengo 2 juegos:

Conjunto A : número de elementos , , $n= 10$ $\mu = 2.4$ $\sigma = 0.8$

Conjunto B : número de elementos , , $n= 5$ $\mu = 2$ $\sigma = 1.2$

Puedo encontrar la media combinada ( ) fácilmente, pero ¿cómo se supone que debo encontrar la desviación estándar combinada? $\mu$

standard-deviation

— kype
fuente

en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Entonces, si solo desea que dos de estas muestras se unan en una, tiene:

$s_1 = \sqrt{\frac{1}{n_1}\Sigma_{i = 1}^{n_1} (x_i - \bar{y}_1)^2}$

$s_2 = \sqrt{\frac{1}{n_2}\Sigma_{i = 1}^{n_2} (y_i - \bar{y}_2)^2}$

donde y son medias de muestra y y son desviaciones estándar de muestra. $\bar{y}_1$ $\bar{y}_2$ $s_1$ $s_2$

Para sumarlos tienes:

$s = \sqrt{\frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} (z_i - \bar{y})^2}$

lo cual no es tan sencillo ya que la nueva media es diferente de y : $\bar{y}$ $\bar{y}_1$ $\bar{y}_2$

$\bar{y} = \frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} z_i = \frac{n_1 \bar{y}_1 + n_2 \bar{y}_2}{n_1 + n_2}$

La fórmula final es:

$s = \sqrt{\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }}$

Para la versión de desviación estándar de Bessel corregida (" denominador") de uso común, los resultados para las medias son como antes, pero $n-1$

$s = \sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2 + n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1+n_2 - 1} }$

Puede leer más información aquí: http://en.wikipedia.org/wiki/Standard_deviation

— sashkello
fuente

n - 1

$n-1$

En ese caso, esta sección hace el truco. (edite para vincular a la versión antigua de Wikipedia ya que se eliminó de la nueva)

— Glen_b -Reinstale Monica

@Glen_b Buena captura. ¿Puedes editar esto en la respuesta para que sea más útil entonces?

— sashkello

Fui a Wikipedia para encontrar la prueba, pero desafortunadamente esta fórmula ya no está allí. ¿Te gustaría elaborar (la prueba) o mejorar Wikipedia? :)

— Rauni Lillemets

@RauniLillemets ver en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

$K$

s = \sqrt{\frac{\sum_{k = 1}^{K} (n_{k} - 1) s_{k}^{2} + n_{k} ({\bar{y}}_{k} - \bar{y})^{2}}{(\sum_{k = 1}^{K} n_{k}) - 1}}

$s = \sqrt{ \frac{\sum_{k=1}^K (n_k-1)s_k^2 + n_k(\bar{y}_k-\bar{y})^2} {(\sum_{k=1}^K n_k) -1} }$

— Ravi Varadhan
fuente

Esto es un poco breve para nuestros estándares. ¿Podría decir un poco más sobre cómo se deriva esto y por qué esta es la respuesta correcta?

— Sycorax dice Reinstate Monica

Tuve el mismo problema: teniendo la desviación estándar, las medias y los tamaños de varios subconjuntos con intersección vacía, calcule la desviación estándar de la unión de esos subconjuntos.

Me gusta la respuesta de sashkello y Glen_b ♦ , pero quería encontrar una prueba de ello. Lo hice de esta manera, y lo dejo aquí en caso de que sea de ayuda para alguien.

s = {(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2}

$s = \left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2}$

{(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i} - \bar{y_{1}})^{2} + \sum_{i = 1}^{n_{2}} (y_{i} - \bar{y_{2}})^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} ((x_{i} - \bar{y_{1}})^{2} + ({\bar{y}}_{1} - \bar{y})^{2}) + \sum_{i = 1}^{n_{2}} ((y_{i} - \bar{y_{2}})^{2} + ({\bar{y}}_{2} - \bar{y})^{2})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{1}}}^{2} - 2 x_{i} \bar{y_{1}} - 2 \bar{y_{1}} \bar{y})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{2}}}^{2} - 2 y_{i} \bar{y_{2}} - 2 \bar{y_{2}} \bar{y})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} \sum_{i = 1}^{n_{1}} x_{i}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} \sum_{i = 1}^{n_{2}} y_{i}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} n_{1} \bar{y_{1}}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} n_{2} \bar{y_{2}}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}})}{n_{1} + n_{2}})}^{1 / 2}

$\left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}(x_i - \bar{y_1})^2 + \sum_{i=1}^{n_2}(y_i - \bar{y_2})^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left((x_i - \bar{y_1})^2 + (\bar{y}_1-\bar{y})^2\right) + \sum_{i=1}^{n_2}\left((y_i - \bar{y_2})^2 + (\bar{y}_2-\bar{y})^2\right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 + 2\bar{y_1}^2 -2x_i\bar{y_1} -2\bar{y_1}\bar{y} \right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 + 2\bar{y_2}^2 -2y_i\bar{y_2} -2\bar{y_2}\bar{y} \right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}\sum_{i=1}^{n_1}x_i}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}\sum_{i=1}^{n_2}y_i}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}n_1\bar{y_1}}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}n_2\bar{y_2}}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right)}{n_1 + n_2}\right)^{1/2}$

- 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}

$-2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}$

n_{1}

$n_1$

\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} x_{i}),

$\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}x_i\right),$

= {(\frac{\sum_{i = 1}^{n_{1}} {(x_{i} - \bar{y})}^{2}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} {(y_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1} + n_{2}} {(z_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = s ◻

$= \left(\frac{\sum_{i=1}^{n_1}\left(x_i - \bar{y}\right)^2}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1 + n_2}\left(z_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = s \qquad \square$

Dicho esto, probablemente haya una manera más simple de hacer esto.

$k$

— iipr
fuente

No veo cómo la pregunta es clara. ¿Se supone que los dos conjuntos de datos provienen de la misma distribución? ¿El OP tiene las observaciones reales disponibles o solo las estimaciones de muestra de la media y la desviación estándar?

— Michael R. Chernick

Sí, se supone que provienen de la misma distribución. Las observaciones no están disponibles, solo la media y la desviación estándar de los subconjuntos.

— iipr

Entonces, ¿por qué están usando una fórmula que involucra las observaciones individuales?

— Michael R. Chernick

Quizás mi respuesta no sea clara. Simplemente estoy publicando una prueba matemática de la fórmula anterior que permite calcular a spartir de las desviaciones estándar, medias y tamaños de dos subconjuntos. En la fórmula no hay referencia a las observaciones individuales. En la prueba hay, pero es solo una prueba, y desde mi punto de vista, correcta.

— iipr