Valor máximo del coeficiente de variación para el conjunto de datos acotado

17

En la discusión que siguió a una pregunta reciente sobre si la desviación estándar puede exceder la media, se planteó una pregunta brevemente pero nunca se respondió por completo. Entonces lo estoy preguntando aquí.

Considere un conjunto de $n$ números no negativos $x_i$ donde $0 \leq x_i \leq c$ para $1 \leq i \leq n$ . No es necesario que sea distinto, es decir, el conjunto podría ser un conjunto múltiple. La media y la varianza del conjunto se definen como y la desviación estándar es . Tenga en cuenta que el conjunto de números no es $x_i$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = (\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2}

$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i, ~~ \sigma_x^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \bar{x}^2$

σ_{x}

$\sigma_x$ una muestra de una población y no estamos estimando una media poblacional o una varianza poblacional. La pregunta entonces es:

¿Cuál es el valor máximo de , el coeficiente de variación, sobre todas las opciones de las 's en el intervalo ? $\dfrac{\sigma_x}{\bar{x}}$ $x_i$ $[0,c]$

El valor máximo que puedo encontrar para $\frac{\sigma_x}{\bar{x}}$ es $\sqrt{n-1}$ que se logra cuando $n-1$ de $x_i$ tiene el valor $0$ y el resto (atípico) $x_i$ tiene valor $c$ , dando

\bar{x} = \frac{c}{n}, \frac{1}{n} \sum x_{i}^{2} = \frac{c^{2}}{n} \Rightarrow σ_{x} = \sqrt{\frac{c^{2}}{n} - \frac{c^{2}}{n^{2}}} = \frac{c}{n} \sqrt{n - 1} .

$\bar{x} = \frac{c}{n},~~ \frac{1}{n}\sum x_i^2 = \frac{c^2}{n} \Rightarrow \sigma_x = \sqrt{\frac{c^2}{n} - \frac{c^2}{n^2}} = \frac{c}{n}\sqrt{n-1}.$ Pero esto no depende de

c

$c$ en absoluto, y me pregunto si se pueden lograr valores mayores, posiblemente dependientes de

n

$n$ y

c

$c$ .

¿Algunas ideas? Estoy seguro de que esta pregunta se ha estudiado anteriormente en la literatura estadística, por lo que las referencias, si no los resultados reales, serían muy apreciadas.

— Dilip Sarwate
fuente

Creo que tienes razón acerca de que ese es el mayor valor posible, y también me sorprende que no importe. Frio.

c

$c$

— Peter Flom - Restablece a Monica

77

no debería afectar el resultado como

c

$c$

no cambia si todos los valores se multiplican por cualquier constante positiva

.

\frac{σ_{x}}{\bar{x}}

$\frac{\sigma_x}{\bar{x}}$

k

$k$

— Henry

15

La geometría proporciona información y las desigualdades clásicas permiten un fácil acceso al rigor.

Solución geométrica

Sabemos, por la geometría de los mínimos cuadrados , que es la proyección ortogonal del vector de datos sobre El subespacio lineal generado por el vector constante y que $\mathbf{\bar{x}} = (\bar{x}, \bar{x}, \ldots, \bar{x})$ $\mathbf{x}=(x_1, x_2, \ldots, x_n)$ $(1,1,\ldots,1)$ $\sigma_x$ es directamente proporcional a la distancia (euclidiana) entre y Las restricciones de no negatividad son lineales y la distancia es una función convexa, por lo que los extremos de la distancia deben alcanzarse en los bordes del cono determinados por las restricciones. Este cono es el orante positivo en y sus bordes son los ejes de coordenadas, de donde se deduce inmediatamente que todos menos uno de los deben ser cero en las distancias máximas. Para tal conjunto de datos, un cálculo directo (simple) muestra $\mathbf{x}$ $\mathbf{\bar{x}}.$ $\mathbb{R}^n$ $x_i$ $\sigma_x/\bar{x}=\sqrt{n}.$

Solución que explota las desigualdades clásicas

se optimiza simultáneamente con cualquier transformación monotónica de los mismos. A la luz de esto, maximicemos $\sigma_x/\bar{x}$

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} = \frac{1}{n} (\frac{n - 1}{n} {(\frac{σ_{x}}{\bar{x}})}^{2} + 1) = f (\frac{σ_{x}}{\bar{x}}) .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} = \frac{1}{n}\left(\frac{n-1}{n}\left(\frac{\sigma_x}{\bar{x}}\right)^2+1\right) = f\left(\frac{\sigma_x}{\bar{x}}\right).$

(La fórmula para puede parecer misteriosa hasta que se dé cuenta de que solo registra los pasos que se tomarían al manipular algebraicamente para obtener una forma de aspecto simple, que es el lado izquierdo). $f$ $\sigma_x/\bar{x}$

Una manera fácil comienza con la desigualdad de Holder ,

x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2} \leq (x_{1} + x_{2} + \dots + x_{n}) max ({x_{i}}) .

$x_1^2+x_2^2+\ldots+x_n^2 \le \left(x_1+x_2+\ldots+x_n\right)\max(\{x_i\}).$

(Esto no necesita una prueba especial en este contexto simple: simplemente reemplace un factor de cada término por el componente máximo : obviamente la suma de los cuadrados no disminuirá. el término común produce el lado derecho de la desigualdad). $x_i^2 = x_i \times x_i$ $\max(\{x_i\})$ $\max(\{x_i\})$

Debido a que no son todos (eso dejaría indefinido), la división por el cuadrado de su suma es válida y da la desigualdad equivalente $x_i$ $0$ $\sigma_x/\bar{x}$

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} \leq \frac{max ({x_{i}})}{x_{1} + x_{2} + \dots + x_{n}} .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} \le \frac{\max(\{x_i\})}{x_1+x_2+\ldots+x_n}.$

Debido a que el denominador no puede ser menor que el numerador (que en sí mismo es solo uno de los términos en el denominador), el lado derecho está dominado por el valor , que se logra solo cuando todos menos uno de iguales a . De dónde $1$ $x_i$ $0$

\frac{σ_{x}}{\bar{x}} \leq f^{- 1} (1) = \sqrt{(1 \times (n - 1)) \frac{n}{n - 1}} = \sqrt{n} .

$\frac{\sigma_x}{\bar{x}} \le f^{-1}\left(1\right) = \sqrt{\left(1 \times (n - 1)\right)\frac{n}{n-1}}=\sqrt{n}.$

Enfoque alternativo

Dado que no es negativo y no puede sumar , los valores determinan una distribución de probabilidad en . Escribiendo para la suma de , reconocemos $x_i$ $0$ $p(i) = x_i/(x_1+x_2+\ldots+x_n)$ $F$ $\{1,2,\ldots,n\}$ $s$ $x_i$

\begin{aligned} \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} & = \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{s^{2}} \\ = (\frac{x_{1}}{s}) (\frac{x_{1}}{s}) + (\frac{x_{2}}{s}) (\frac{x_{2}}{s}) + \dots + (\frac{x_{n}}{s}) (\frac{x_{n}}{s}) \\ = p_{1} p_{1} + p_{2} p_{2} + \dots + p_{n} p_{n} \\ = E_{F} [p] . \end{aligned}

$\eqalign{ \frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} &= \frac{x_1^2+x_2^2+\ldots+x_n^2}{s^2} \\ &= \left(\frac{x_1}{s}\right)\left(\frac{x_1}{s}\right)+\left(\frac{x_2}{s}\right)\left(\frac{x_2}{s}\right) + \ldots + \left(\frac{x_n}{s}\right)\left(\frac{x_n}{s}\right)\\ &= p_1 p_1 + p_2 p_2 + \ldots + p_n p_n\\ &= \mathbb{E}_F[p]. }$

El hecho axiomático de que ninguna probabilidad puede exceder implica que esta expectativa tampoco puede exceder , pero es fácil hacerlo igual a estableciendo que todos menos uno de los iguales a y, por lo tanto, exactamente uno de los no es cero. Calcule el coeficiente de variación como en la última línea de la solución geométrica anterior. $1$ $1$ $1$ $p_i$ $0$ $x_i$

— whuber
fuente

¡Gracias por una respuesta detallada de la que he aprendido mucho! Supongo que la diferencia entre el

en tu respuesta y el

\sqrt{n}

$\sqrt{n}$

que obtuve (y Henry confirmó) se debe al hecho de que está usando

\sqrt{n - 1}

$\sqrt{n-1}$

como la definición de

mientras usaba

σ_{x} = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\sigma_x = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2}$

σ_{x}

$\sigma_x$

σ_{x} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} ?

$\sigma_x = \sqrt{\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2}?$

— Dilip Sarwate

1

Sí Dilip, eso es correcto. Perdón por la discrepancia con la pregunta; Debería haber comprobado primero y debería haber definido

(que tenía la intención de hacer, pero olvidé).

σ_{x}

$\sigma_x$

— whuber

10

Algunas referencias, como pequeñas velas en los pasteles de otros:

Katsnelson y Kotz (1957) demostraron que mientras todos , entonces el coeficiente de variación no puede exceder $x_i \ge 0$ . Este resultado fue mencionado anteriormente por Longley (1952). Cramér (1946, p.357) demostró un resultado menos agudo, y Kirby (1974) demostró un resultado menos general. $\sqrt{n − 1}$

Cramér, H. 1946. Métodos matemáticos de estadística . Princeton, NJ: Princeton University Press.

Katsnelson, J. y S. Kotz. 1957. En los límites superiores de algunas medidas de variabilidad. Archiv für Meteorologie, Geophysik und Bioklimatologie , Serie B 8: 103-107.

Kirby, W. 1974. Límite algebraico de estadísticas de muestra. Water Resources Research 10: 220–222.

Longley, RW 1952. Medidas de la variabilidad de la precipitación. Monthly Weather Review 80: 111–117.

Encontré estos papeles trabajando en

Cox, NJ 2010. Los límites de la asimetría de la muestra y la curtosis. Stata Journal 10: 482-495.

que analiza límites ampliamente similares en asimetría y curtosis basadas en momentos.

— Nick Cox
fuente

8

With two numbers $x_i \ge x_j$ , some $\delta \gt 0$ and any $\mu$ :

(x_{i} + δ - μ)^{2} + (x_{j} - δ - μ)^{2} - (x_{i} - μ)^{2} - (x_{j} - μ)^{2} = 2 δ (x_{i} - x_{j} + δ) > 0.

$(x_i+\delta - \mu)^2 + (x_j - \delta - \mu)^2 - (x_i - \mu)^2 - (x_j - \mu)^2 = 2\delta(x_i - x_j +\delta) \gt 0.$

Applying this to $n$ non-negative datapoints, this means that unless all but one of the $n$ numbers are zero and so cannot be reduced further, it is possible to increase the variance and standard deviation by widening the gap between any pair of the data points while retaining the same mean, thus increasing the coefficient of variation. So the maximum coefficient of variation for the data set is as you suggest: $\sqrt{n-1}$ .

$c$ should not affect the result as $\frac{\sigma_x}{\bar{x}}$ does not change if all the values are multiplied by any positive constant $k$ (as I said in my comment).

— Henry
fuente