¿Cómo se calcula la función de densidad de probabilidad del máximo de una muestra de variables aleatorias uniformes de IID?

45

Dada la variable aleatoria

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

donde $X_i$ son variables uniformes IID, ¿cómo calculo el PDF de $Y$ ?

pdf maximum

— Mascarpone
fuente

44

Si esto es tarea, lea las preguntas frecuentes y actualice su pregunta en consecuencia.

— cardenal

¿Se puede usar la identidad de Vandermonde para mostrar la función conjunta de las estadísticas de 2 órdenes como F_y (r) * G_y (r)?

— Larry Mintz

Por interés, ¿qué curso cubre este tipo de problema? No es algo que encontré en mi curso de probabilidad de ingeniería.

— Alex

@Alex ¿Qué pasa con un curso de estadística que cubre el remuestreo?

— SOFe

65

Es posible que esta pregunta sea tarea, pero sentí que a esta clásica pregunta de probabilidad elemental todavía le faltaba una respuesta completa después de varios meses, así que le daré una aquí.

De la declaración del problema, queremos la distribución de

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

donde son iid . Sabemos que si y solo si cada elemento de la muestra es menor que . Entonces esto, como se indica en la sugerencia de @varty, combinado con el hecho de que las son independientes, nos permite deducir $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

donde es el CDF de la distribución uniforme . Por lo tanto, el CDF de es $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Como tiene una distribución absolutamente continua , podemos derivar su densidad diferenciando el CDF . Por lo tanto, la densidad de es $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

En el caso especial en que , se tiene que , que es la densidad de una distribución Beta con y , ya que . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Como nota, la secuencia que obtienes si ordenaras tu muestra en orden creciente - - se llaman estadísticas de orden . Una generalización de esta respuesta es que todas las estadísticas de orden de una muestra distribuida tienen una distribución Beta , como se indica en la respuesta de @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— Macro
fuente

En realidad, esta fue una pregunta de tarea para mí. Gracias por la explicación.

— Paul PM

Siento que debería ser capaz de tomar sus ideas aquí y responder a esta pregunta , pero no veo cómo hacerlo. ¿Me puedes ayudar? ¿Me puede recomendar un libro de texto o capítulo que hable sobre este tema general?

@PaulPM Por interés, ¿qué curso cubre este tipo de problema? No es algo que encontré en mi curso de probabilidad de ingeniería.

— Alex

6

El máximo de una muestra es una de las estadísticas de orden , en particular la estadística de orden de la muestra . En general, calcular la distribución de estadísticas de pedidos es difícil, como se describe en el artículo de Wikipedia; para algunas distribuciones especiales, las estadísticas de pedido son bien conocidas (por ejemplo, para la distribución uniforme, que tiene estadísticas de pedido distribuidas en Beta). $n$ $X_1,\dots,X_n$

EDITAR: El artículo de Wikipedia sobre muestra máxima y mínima también es útil y más específico para su problema.

— bnaul
fuente

55

Para distribuciones con densidades, calcular la distribución marginal de una estadística de orden particular es bastante sencillo. Es aún más fácil para las estadísticas de pedidos "especiales" como el mínimo y el máximo.

— cardenal

Supongo que depende de lo que se entienda por "calcular" en la pregunta original. Ciertamente, hacerlo numéricamente es sencillo; Interpreté la pregunta como preguntar cómo encontrar una solución de forma cerrada, que en general no es fácil.

— bnaul

8

@bnaul: Let ser una arbitraria función de distribución y dejar que ser una muestra iid de . Sea ser la estadística de orden . EntoncesQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— cardenal

1

Quizás una forma de entender la respuesta de los cardenales (dado que comprende la estadística de orden para uniforme) es que debido a que los cdfs son transformaciones monótonas 1 a 1 de un cdf uniforme, siempre podemos expresar el evento {X <a} en términos de un uniforme variable aleatoria (es por eso que funciona Monte Carlo). Por lo tanto, cualquier resultado basado en una distribución uniforme se generalizará fácilmente a otras variables aleatorias: simplemente aplique la transformación .

U = F_{X} (X)

$U=F_{X}(X)$

— probabilidadislogica

2

@probabilityislogic: la intuición es buena, aunque parece que tiene en mente comentarios aleatorios continuos en su comentario. (El resultado en mi segundo comentario anterior, por ejemplo, funciona para una función de distribución arbitraria.)

— cardenal

1

Si es el CDF de , entonces Entonces puede usar la propiedad iid y el cdf de una uniforme para calcular . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— varty
fuente

-3

El máximo de un conjunto de variables aleatorias IID cuando se normaliza adecuadamente generalmente convergerá a uno de los tres tipos de valores extremos. Este es el teorema de Gnedenko, la equivalencia del teorema del límite central para los extremos. El tipo particular depende del comportamiento de la cola de la distribución de la población. Sabiendo esto, puede usar la distribución limitante para aproximar la distribución al máximo.

Dado que la distribución uniforme en [a, b] es el tema de esta pregunta, Macro ha dado la distribución exacta para cualquier ny una muy buena respuesta. El resultado es bastante trivial. Para la distribución normal, no es posible una buena forma cerrada, pero se normaliza adecuadamente el máximo para que la normal converja a la distribución de Gumbel F (x) = exp (- e ). $^-$ $^x$

Para el uniforme, la normalización es (ba) -x / ny F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

que converge a e . Tenga en cuenta aquí que y = bax / n. y F (y) converge a 1 cuando y va a ba. Esto vale para todos los 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

En este caso, es fácil comparar el valor exacto con su límite asintótico.

— Michael Chernick
fuente

44

Para que esta respuesta sea practicable, debe estipular, en detalle, cómo uno "normaliza adecuadamente" los valores y también debe proporcionar alguna forma de estimar qué tan grande debe ser antes de que la fórmula asintótica se convierta en una aproximación confiable.

n

$n$

— whuber

@whuber Cualquiera puede mirar el teorema de Gnedenko para ver la normalización. Igualmente importante son las características de la cola que determinan cuál de los tres tipos se aplica. El teorema generaliza a procesos estocásticos estacionarios. Por lo tanto, cualquiera que quiera conocer los detalles esenciales puede consultar el libro de Leadbetter o mi tesis doctoral. Cuando n es lo suficientemente grande, es una pregunta difícil de responder para cualquier forma de asintótica. Supongo que el teorema de Berry-Esseen ayuda al teorema del límite central. No sé qué es comparable para los extremos.

— Michael Chernick