¿Se puede calcular la desviación estándar para la media armónica?

12

¿Se puede calcular la desviación estándar para la media armónica? Entiendo que la desviación estándar se puede calcular para la media aritmética, pero si tiene una media armónica, ¿cómo calcula la desviación estándar o CV?

standard-deviation harmonic-mean

— kjetil b halvorsen
fuente

13

La media armónica de las variables aleatorias se define como $H$ $X_1,...,X_n$

H = \frac{1}{\frac{1}{n} \sum_{i = 1}^{n} \frac{1}{X_{i}}}

$H=\frac{1}{\frac{1}{n}\sum_{i=1}^n\frac{1}{X_i}}$

Tomando momentos de las fracciones es un negocio sucio, así que en vez yo preferiría trabajar con el . Ahora $1/H$

\frac{1}{H} = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{X_{i}}

$\frac{1}{H}=\frac{1}{n}\sum_{i=1}^n\frac{1}{X_i}$ .

Usando el teorema del límite central, obtenemos que

\sqrt{n} (H^{- 1} - E X_{1}^{- 1}) \to N (0, V a r X_{1}^{- 1})

$\sqrt{n}\left(H^{-1}-EX_1^{-1}\right)\to N(0,VarX_1^{-1})$

si, por supuesto, y son iid, ya que simplemente trabajamos con la media aritmética de las variables . $VarX_1^{-1}<\infty$ $X_i$ $Y_i=X_i^{-1}$

Ahora usando el método delta para la función obtenemos que $g(x)=x^{-1}$

\sqrt{n} (H - (E X_{1}^{- 1})^{- 1}) \to N (0, \frac{V a r X_{1}^{- 1}}{(E X_{1}^{- 1})^{4}})

$\sqrt{n}(H-(EX_1^{-1})^{-1})\to N\left(0, \frac{VarX_1^{-1}}{(EX_1^{-1})^4}\right)$

Este resultado es asintótico, pero para aplicaciones simples puede ser suficiente.

Actualización Como @whuber señala con razón, las aplicaciones simples son un nombre inapropiado. El teorema del límite central se mantiene solo si existe, lo cual es una suposición bastante restrictiva. $VarX_1^{-1}$

Actualización 2 Si tiene una muestra, para calcular la desviación estándar, simplemente conecte los momentos de muestra a la fórmula. Entonces, para la muestra , la estimación de la media armónica es $X_1,...,X_n$

\begin{aligned} \hat{H} = \frac{1}{\frac{1}{n} \sum_{i = 1}^{n} \frac{1}{X_{i}}} \end{aligned}

$\begin{align} \hat{H}=\frac{1}{\frac{1}{n}\sum_{i=1}^n\frac{1}{X_i}} \end{align}$

Los momentos de muestra y respectivamente son: $EX_1^{-1}$ $Var(X_1^{-1})$

\begin{aligned} {\hat{μ}}_{R} & = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{X_{i}} \\ {\hat{σ}}_{R}^{2} & = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{1}{X_{i}} - μ_{R})}^{2} \end{aligned}

$\begin{align} \hat{\mu}_{R}&=\frac{1}{n}\sum_{i=1}^n\frac{1}{X_i}\\\\ \hat{\sigma}_{R}^2&=\frac{1}{n}\sum_{i=1}^n\left(\frac{1}{X_i}-\mu_R\right)^2 \end{align}$

aquí significa recíproco. $R$

Finalmente, la fórmula aproximada para la desviación estándar de es $\hat{H}$

\begin{aligned} s d (\hat{H}) = \sqrt{\frac{{\hat{σ}}_{R}^{2}}{n {\hat{μ}}_{R}^{4}}} \end{aligned}

$\begin{align*} sd(\hat{H})=\sqrt{\frac{\hat{\sigma}_R^2}{n\hat{\mu}_R^4}} \end{align*}$

Ejecuté algunas simulaciones de Monte-Carlo para variables aleatorias distribuidas uniformemente en intervalos . Aquí está el código: $[2,3]$

hm <- function(x)1/mean(1/x)
sdhm <- function(x)sqrt((mean(1/x))^(-4)*var(1/x)/length(x))

n<-1000

nn <- c(10,30,50,100,500,1000,5000,10000)

N<-1000

mc<-foreach(n=nn,.combine=rbind) %do% {

    rr <- matrix(runif(n*N,min=2,max=3),nrow=N)

    c(n,mean(apply(rr,1,sdhm)),sd(apply(rr,1,sdhm)),sd(apply(rr,1,hm)))

}
colnames(mc) <- c("n","DeltaSD","sdDeltaSD","trueSD")

> mc
             n     DeltaSD    sdDeltaSD      trueSD
result.1    10 0.089879211 1.528423e-02 0.091677622
result.2    30 0.052870477 4.629262e-03 0.051738941
result.3    50 0.040915607 2.705137e-03 0.040257673
result.4   100 0.029017031 1.407511e-03 0.028284458
result.5   500 0.012959582 2.750145e-04 0.013200580
result.6  1000 0.009139193 1.357630e-04 0.009115592
result.7  5000 0.004094048 2.685633e-05 0.004070593
result.8 10000 0.002894254 1.339128e-05 0.002964259

Simulé Nmuestras de muestras ndimensionadas. Para cada nmuestra de tamaño, calculé la estimación de la estimación estándar (función sdhm). Luego comparo la media y la desviación estándar de estas estimaciones con la desviación estándar de la muestra de la media armónica estimada para cada muestra, que supuestamente debería ser la verdadera desviación estándar de la media armónica.

Como puede ver, los resultados son bastante buenos incluso para tamaños de muestra moderados. Por supuesto, la distribución uniforme es muy buena, por lo que no sorprende que los resultados sean buenos. Dejaré que otra persona investigue el comportamiento de otras distribuciones, el código es muy fácil de adaptar.

Nota: En la versión anterior de esta respuesta hubo un error en el resultado del método delta, variación incorrecta.

— mpiktas
fuente

2

@mpiktas Este es un buen comienzo y proporciona una guía cuando el CV es bajo. Pero incluso en situaciones prácticas y simples, no está claro si se aplica el CLT. Esperaría que los recíprocos de muchas variables no tengan segundos o incluso primeros momentos finitos cuando haya una probabilidad apreciable de que sus valores puedan estar cerca de cero. También esperaría que el método delta no se aplique debido a los derivados potencialmente grandes del recíproco cercano a cero. Por lo tanto, podría ayudar a caracterizar con mayor precisión las "aplicaciones simples" donde su método podría funcionar. Por cierto, ¿qué es "D"?

— whuber

@whuber, D es por varianza, . Por aplicaciones simples me refería a aquellas para las que existe varianza y media de reciprocidad. Como dice para las variables aleatorias con una probabilidad apreciable de que sus valores podrían estar cerca de cero, el recíproco puede no tener una media. Pero entonces la respuesta a la pregunta original es no. Supuse que el OP preguntó si es posible calcular la desviación estándar cuando existe. Claramente no lo hace para muchas variables aleatorias.

D X = E (X - E X)^{2}

$DX=E(X-EX)^2$

— mpiktas

@whuber, BTW por curiosidad, es una notación bastante estándar para mí, pero uno podría decir que vengo de la escuela de probabilidad rusa. ¿No es tan común en el "Occidente capitalista"? :)

D X

$DX$

— mpiktas

@mpiktas Nunca he visto esta notación de variación. ¡Mi primera reacción fue que es un operador diferencial! Las notaciones estándar son mnemotécnicas, como .

D

$D$

V a r [X]

$Var[X]$

— whuber

1

El artículo "Distribuciones invertidas" de EL Lehmann y Juliet Popper Shaffer es una lectura interesante sobre las distribuciones de variables aleatorias invertidas.

— emakalic

2

Mi respuesta a una pregunta relacionada señala que la media armónica de un conjunto de datos positivos es una estimación de mínimos cuadrados ponderados (WLS) (con pesos ). Por lo tanto, puede calcular su error estándar utilizando métodos WLS. Esto tiene algunas ventajas, que incluyen simplicidad, generalidad e interpretabilidad, además de ser producido automáticamente por cualquier software estadístico que permita ponderaciones en su cálculo de regresión. $x_i$ $1/x_i$

La desventaja principal es que el cálculo no produce buenos intervalos de confianza para distribuciones subyacentes muy sesgadas. Es probable que eso sea un problema con cualquier método de propósito general: la media armónica es sensible a la presencia de incluso un pequeño valor en el conjunto de datos.

Para ilustrar, aquí hay distribuciones empíricas de muestras generadas independientemente de tamaño partir de una distribución Gamma (5) (que está ligeramente sesgada). Las líneas azules muestran la media armónica verdadera (igual a ) mientras que las líneas discontinuas rojas muestran las estimaciones de mínimos cuadrados ponderados. Las bandas grises verticales alrededor de las líneas azules son intervalos de confianza aproximados de 95% para la media armónica. En este caso, en las muestras, el IC cubre la media armónica verdadera. Las repeticiones de esta simulación (con semillas aleatorias) sugieren que la cobertura está cerca de la tasa prevista del 95%, incluso para estos pequeños conjuntos de datos. $20$ $n=12$ $4$ $20$

Aquí está el Rcódigo para la simulación y las figuras.

k <- 5             # Gamma parameter
n <- 12            # Sample size
hm <- k-1          # True harmonic mean
set.seed(17)

t.crit <- -qt(0.05/2, n-1)
par(mfrow=c(4, 5))
for(i in 1:20) {
  #
  # Generate a random sample.
  #
  x <- rgamma(n, k)
  #
  # Estimate the harmonic mean.
  #
  fit <- lm(x ~ 1, weights=1/x)
  beta <- coef(summary(fit))[1, ]
  message("Harmonic mean estimate is ", signif(beta["Estimate"], 3), 
          " +/- ", signif(beta["Std. Error"], 3))
  #
  # Plot the results.
  #
  covers <- abs(beta["Estimate"] - hm) <= t.crit*beta["Std. Error"]
  plot(ecdf(x), main="Empirical CDF", sub=ifelse(covers, "", "***"))
  rect(beta["Estimate"] - t.crit*beta["Std. Error"], 0, 
       beta["Estimate"] + t.crit*beta["Std. Error"], 1.25, 
       border=NA, col=gray(0.5, alpha=0.10))
  abline(v = hm, col="Blue", lwd=2)
  abline(v = beta["Estimate"], col="Red", lty=3, lwd=2)
}

— whuber
fuente

1

Aquí hay un ejemplo de exponencial r.v's.

La media armónica para puntos de datos se define como $n$

S = \frac{1}{\frac{1}{n} \sum_{i = 1}^{n} X_{i}}

$S = \frac{1}{\frac{1}{n} \sum_{i=1}^n X_i}$

Suponga que tiene iid muestras de una variable aleatoria exponencial, . La suma de variables exponenciales sigue una distribución gamma $n$ $X_i \sim {\rm Exp}(\lambda)$ $n$

\sum_{i = 1}^{n} X_{i} \sim G a m m a (n, θ)

$\sum_{i=1}^n X_i \sim {\rm Gamma}(n, \theta)$

donde . También sabemos que $\theta = \frac{1}{\lambda}$

\frac{1}{n} G a m m a (n, θ) \sim G a m m a (n, \frac{θ}{n})

$\frac{1}{n} {\rm Gamma}(n, \theta) \sim {\rm Gamma}(n, \frac{\theta}{n})$

La distribución de es por lo tanto $S$

S \sim I n v G a m m a (n, \frac{n}{θ})

$S \sim {\rm InvGamma}(n, \frac{n}{\theta})$

La varianza (y la desviación estándar) de este rv son bien conocidas, véase, por ejemplo, aquí .

— emakalic
fuente

3

su definición de media armónica no concuerda con wikipedia

— mpiktas

Usar exponenciales es un buen enfoque para comprender el problema.

— whuber

1

Toda esperanza no está completamente perdida. Si Xi ~ Exp (\ lambda) entonces Xi ~ Gamma (1, \ lambda) entonces 1 / Xi ~ InvGamma (1, 1 / \ lambda). Luego use "V. Witkovsky (2001) Calculando la distribución de una combinación lineal de variables gamma invertidas, Kybernetika 37 (1), 79-90" y vea hasta dónde llega.

— Tristan

0

Existe cierta preocupación de que CLT de mpiktas requiere una variación acotada en . Es cierto que tiene colas locas cuando tiene una densidad positiva alrededor de cero. Sin embargo, en muchas aplicaciones que usan la media armónica, . Aquí, está limitado por , ¡dándote todos los momentos que quieras! $1/X$ $1/X$ $X$ $X\ge1$ $1/X$ $1$

— karl
fuente

0

Lo que sugeriría es utilizar la siguiente fórmula como sustituto de la desviación estándar:

σ = \sqrt{\frac{N}{\sum_{i = 1}^{N} {(\frac{1}{\hat{x}} - \frac{1}{x_{i}})}^{2}}},

$\sigma=\sqrt{\frac{N}{\sum_{i=1}^{N}{\left(\frac{1}{\hat{x}}-\frac{1}{x_i}\right)^2}}},$

donde . Lo bueno de esta fórmula es que se minimiza cuando , y tiene las mismas unidades que la desviación estándar (que son las mismas unidades que tiene). $\hat{x} = \frac{N}{\sum \frac{1}{x_i}}$ $\hat{x} = \frac{N}{\sum \frac{1}{x_i}}$ $x$

Esto está en analogía con la desviación estándar, que es el valor que toma cuando se minimiza sobre . Se minimiza cuando es la media: . $\sqrt{\frac{1}{N}\sum(\hat{x}-x_i)^2}$ $\hat{x}$ $\hat{x}$ $\hat{x}=\mu=\frac{1}{N}\sum x_i$

— Gil Wolff
fuente