La varianza de la media ponderada es mayor que la media no ponderada

Un revisor mío pregunta por una razón por la que he usado datos no ponderados, en lugar de datos ponderados. He discutido el problema con un estadístico y su respuesta fue similar a la de

Si tiene observaciones independientes y toma la media general, su varianza siempre es menor que la varianza de una media ponderada como el estimador. ... ¡Entonces los intervalos de confianza se ampliarán!

Desde entonces he encontrado la siguiente pregunta en este sitio web y, según tengo entendido, sugieren que la variación debería ser la misma. Entonces, ¿puede alguien, por favor, con una mente más dotada estadísticamente que la mía, por favor confirme la respuesta del estadístico y explique en términos simples la teoría, o con un ejemplo trabajado.

variance weighted-mean weighted-data

— user08041991
fuente

Si los "pesos" son, de hecho, frecuencias de observación o de población, entonces deben usarse, ya que los números no ponderados no tienen sentido. Es probable que la cita de su estadístico sea cierta para una población con una distribución unimodal, aunque no es necesario que sea cierta en general.

— Henry

Sería bastante fácil proporcionar un ejemplo trabajado con más contexto. ¿Qué representan los pesos? ¿Estás hablando de la varianza de la media muestral? ¿Son las muestras de una población finita? Con o sin reemplazo?

— Henry

Digamos que hemos recopilado una serie de mediciones de frecuencia cardíaca de una muestra de personas en un hospital. Luego se puede aplicar un factor de ponderación a cada individuo para escalar las mediciones para que reflejen las estimaciones nacionales o la población, comparando una serie de factores de confusión (por ejemplo, edad, altura, peso, etc.).

— user08041991

La pregunta a la que se vincula es sobre los pesos de frecuencia. ¿Eso es lo que tienes?

— mdewey

La media de

n

$n$ valores

x_{i}

$x_i$ es la media ponderada

\bar{x} = \sum_{i} w_{i} x_{i}

$\bar x=\sum_iw_ix_i$ con pesas

w_{i} = 1 / n

$w_i=1/n$ . Cuando el

x_{i}

$x_i$ son independientes, las reglas básicas de varianza implican

\begin{matrix} (1) & Var (\bar{X}) = \sum_{yo} w_{yo}^{2} Var (X_{yo}) . \end{matrix}

$\operatorname{Var}(\bar x) =\sum_iw_i^2 \operatorname{Var}(x_i).\tag{1}$ Cuando además el

x_{i}

$x_i$ todos tienen la misma varianza

σ^{2}

$\sigma^2$ , esto se simplifica a

\sum w_{i}^{2}

$\sum w_i^2$ veces

σ^{2}

$\sigma^2$ . Como los pesos son positivos y suman unidad,

(1)

$(1)$ se minimiza solo cuando

w_{i} = 1 / n

$w_i=1/n$ . En este sentido, el estadístico es correcto. Esta conclusión general es independiente de cualquier otra propiedad de la distribución de

x_{i}

$x_i$ , como la unimodalidad.

— whuber

Respuestas:

Su pregunta vinculada es abordar el uso de pesos como un atajo para lidiar con la varianza igualmente ponderada por punto de datos en la que algunos puntos de datos ocurren más de una vez.

@whuber ha abordado en un comentario la situación en la que las variaciones de todos los puntos de datos son iguales. Así que abordaré la situación en la que no son iguales. En esta situación, la media ponderada óptima produce una varianza menor que la media no ponderada, es decir, igualmente ponderada.

La media ponderada, usando pesas $w_i$ , es igual $\Sigma_{i=1}^n{w_i x_i}$ y tiene varianza = $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ . Entonces deseamos minimizar $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ , sujeto a $\Sigma_{i=1}^n{w_i} = 1$ y $w_i \ge 0$ por todo lo i.

Las condiciones de Karush-Kuhn-Tucker, que son necesarias y suficientes para un mínimo global para este problema, dado que es un problema de programación cuadrática convexo, dan como resultado una solución de forma cerrada, a saber:

Lo óptimo $w_i = [1/Var(x_i)]/\Sigma_{j=1}^n{[1/Var(x_j)]}$ para 1 = 1 .. n.

La varianza de la media ponderada óptima correspondiente = $1/\Sigma_{i=1}^n{[1/Var(x_i)]}$ .

Por el contrario, igual ponderación significa $w_i = \frac{1}{n}$ para todo i, donde n es el número de puntos de datos. Como señaló Whuber, los pesos iguales son óptimos si todas las variaciones de puntos de datos son iguales, lo que se puede ver en la fórmula anterior para un óptimo $w_i$ . Sin embargo, como es evidente por esa fórmula, los pesos iguales no son óptimos si las variaciones de los puntos de datos no son todas iguales, y de hecho resultan en una varianza mayor (de la media ponderada) que los pesos óptimos. La varianza de la media ponderada por igual, es decir, la varianza de la media ponderada usando pesos iguales = $\frac{1}{n^2}\Sigma_{i=1}^n{Var(x_i)}$ .

Aquí hay algunos ejemplos de resultados numéricos:

Hay dos puntos de datos, que tienen variaciones respectivamente de 1 y 4. La media no ponderada tiene una varianza = 1.25. La media ponderada que usa los pesos óptimos de 0.8 y 0.2 respectivamente, tiene una varianza = 0.8, que por supuesto es menor que 1.25.
Hay tres puntos de datos, que tienen varianzas respectivamente de 1, 4 y 9. La media no ponderada tiene varianza = 1.5556. La media ponderada utilizando los pesos óptimos de 0.7347, 0.1837, 0.0816 respectivamente, tiene una varianza = 0.7347, que por supuesto es menor que 1.5556.

Por supuesto, es posible que la media ponderada tenga una mayor varianza que la media no ponderada, si las ponderaciones se eligen de manera deficiente. Al elegir el peso de 1 en el punto de datos con la mayor varianza, y 0 para todos los demás puntos de datos, la media ponderada tendría varianza = la mayor varianza de cualquier punto de datos. Este ejemplo extremo sería el resultado de maximizar en lugar de minimizar en el problema de optimización que expuse.

— Mark L. Stone
fuente

Estoy confundido acerca de su referencia a los puntos de datos individuales que tienen varianza (por ejemplo, hay dos puntos de datos, que tienen variaciones respectivamente de 1 y 4), ¿puede explicar?

— edstatsuser

Decir punto de datos

x_{i}

$x_i$ tiene una variación particular es abreviada para decir que

x_{i}

$x_i$ se extrae de una población (variable aleatoria) que tiene esa varianza. Por lo tanto, los diferentes puntos de datos se pueden extraer de diferentes poblaciones, porque no se supone que esto sea en un muestreo.

— Mark L. Stone

Aquí hay un ejemplo simple usando el $\frac1n\sum_i\left(x_i-\frac1n\sum_j x_j\right)^2$ y $\frac1{\sum_k w_k}\sum_i w_i\left(x_i-\frac1{\sum_k w_k}\sum_j w_j x_j\right)^2$ formas de la varianza:

Supongamos que su población tiene medidas $20,30,40,50$ .

Sin ponderar la media es $35$ y la varianza es $125$
Con pesas respectivas $1000,4000,3000,2000$ la media ponderada es $36$ y la varianza ponderada es $84$
Con pesas respectivas $3000,2000,1000,4000$ la media ponderada es $36$ y la varianza ponderada es $164$

Este ejemplo es consistente con mi comentario de que es probable que la cita de su estadístico sea cierta para una población con una distribución unimodal, aunque no es necesario que sea cierta en general.

Supongo que el punto es que si cita la media ponderada, probablemente debería asociarla con la varianza ponderada. Si de hecho su media es el resultado de la muestra, el error estándar de la media muestral ponderada es un cálculo más complicado.

— Enrique
fuente

Esta respuesta parece confundir la varianza de una muestra (o población finita) con la varianza de la distribución muestral de la media (o media ponderada). En consecuencia, incluye declaraciones que parecen no ser ciertas y pueden ser engañosas.

— whuber