Variación ponderada, una vez más

La variación ponderada imparcial ya se abordó aquí y en otros lugares, pero todavía parece haber una sorprendente cantidad de confusión. Parece haber un consenso hacia la fórmula presentada en el primer enlace, así como en el artículo de Wikipedia . Esto también se parece a la fórmula utilizada por R, Mathematica y GSL (pero no MATLAB). Sin embargo, el artículo de Wikipedia también contiene la siguiente línea que parece un gran control de cordura para una implementación de variación ponderada:

Por ejemplo, si los valores {2,2,4,5,5,5} se extraen de la misma distribución, entonces podemos tratar este conjunto como una muestra no ponderada, o podemos tratarlo como la muestra ponderada {2,4, 5} con los pesos correspondientes {2,1,3}, y deberíamos obtener los mismos resultados.

Mis cálculos dan el valor de 2.1667 para la varianza de los valores originales y 2.9545 para la varianza ponderada. ¿Realmente debería esperar que sean lo mismo? ¿Por qué o por qué no?

Sí, debe esperar que ambos ejemplos (no ponderado versus ponderado) le den los mismos resultados.

He implementado los dos algoritmos del artículo de Wikipedia.

Este funciona:

$x_i$$w_i$

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

Sin embargo, este (usando pesos fraccionarios) no funciona para mí:

$x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

Todavía estoy investigando las razones por las cuales la segunda ecuación no funciona según lo previsto.

/ EDITAR: Encontré la razón por la cual la segunda ecuación no funcionó como pensé: puede usar la segunda ecuación solo si tiene pesos normalizados o pesos de varianza ("confiabilidad"), y NO es imparcial, porque si no lo hace use pesas "repetidas" (contando la cantidad de veces que se observó una observación y, por lo tanto, debe repetirse en sus operaciones matemáticas), pierde la capacidad de contar la cantidad total de observaciones y, por lo tanto, no puede usar un factor de corrección.

Esto explica la diferencia en sus resultados usando la varianza ponderada y no ponderada: su cálculo está sesgado.

Por lo tanto, si desea tener una varianza ponderada imparcial, use solo pesos de "repetición" y use la primera ecuación que he publicado anteriormente. Si eso no es posible, bueno, no puedes evitarlo.

También he actualizado el artículo de Wikipedia si desea más información: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

Y un artículo vinculado sobre covarianza ponderada imparcial (que de hecho es la misma varianza debido a la identidad de polarización ): ecuación correcta para la covarianza muestral imparcial ponderada