Distribución del fragmento más grande de un palo roto (separaciones)

Deje que un palo de longitud 1 se rompa en fragmentos uniformemente al azar. ¿Cuál es la distribución de la longitud del fragmento más largo? $k+1$

Más formalmente, sea ser IID , y sea las estadísticas de pedido asociadas, es decir , simplemente ordenamos la muestra de tal manera que . Deje . $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

Estoy interesado en la distribución de $Z_k$ . Momentos, resultados asintóticos o aproximaciones para $k \uparrow \infty$ también son interesantes.

— gui11aume
fuente

Este es un problema bien estudiado; ver R. Pyke (1965), "Spacings", JRSS (B) 27 : 3, pp. 395-449. Intentaré volver para agregar alguna información más adelante a menos que alguien me gane. También hay un artículo de 1972 del mismo autor (" Spacings revisited ") pero creo que lo que buscas es casi todo al principio. Hay algunas asintóticas en Devroye (1981) , "Leyes del logaritmo iterado para estadísticas de orden de espaciamiento uniforme" Ann. Probab , 9 : 5, 860-867.

— Glen_b -Reinstate Monica

Esos también deberían dar algunos buenos términos de búsqueda para encontrar trabajo posterior si lo necesita.

— Glen_b -Reinstate Monica

Esto es asombroso La primera referencia es difícil de encontrar. Para aquellos interesados, lo puse en The Grand Locus .

— gui11aume

Corrija el error de imprenta: lugar de .

Y_{(k)}

$Y_{(k)}$

U_{(k)}

$U_{(k)}$

— Viktor

Gracias @Viktor! Para cosas tan pequeñas, no dude en hacer la edición usted mismo (creo que será revisado por otros usuarios para su aprobación).

— gui11aume

Con la información dada por @Glen_b pude encontrar la respuesta. Usando las mismas anotaciones que la pregunta

P (Z_{k} \leq x) = \sum_{j = 0}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} (1 - j x)_{+}^{k},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

donde si y contrario. También doy la expectativa y la convergencia asintótica a la distribución de Gumbel ( NB : no Beta) $a_+ = a$ $a > 0$ $0$

E (Z_{k}) = \frac{1}{k + 1} \sum_{i = 1}^{k + 1} \frac{1}{i} \sim \frac{\log (k + 1)}{k + 1}, P (Z_{k} \leq x) \sim \exp (- e^{- (k + 1) x + \log (k + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

El material de las pruebas se toma de varias publicaciones vinculadas en las referencias. Son algo largos, pero directos.

1. Prueba de la distribución exacta.

Deje ser variables aleatorias uniformes IID en el intervalo . Al ordenarlos, obtenemos las estadísticas de orden indicadas . Los uniformes se definen como , con y . Los espacios ordenados son las estadísticas ordenadas correspondientes . La variable de interés es . $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

Para fijo , definimos la variable indicadora . Por simetría, el vector aleatorio es intercambiable, por lo que la distribución conjunta de un subconjunto de tamaño es la misma que la distribución conjunta de la primera . Al expandir el producto, obtenemos así $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$

PAGS (Δ_{(k + 1)} \leq X) = mi (\prod_{yo = 1}^{k + 1} (1 - 1_{yo})) = 1 + \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} mi (\prod_{yo = 1}^{j} 1_{yo}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

Ahora demostraremos que , que establecerá la distribución dada anteriormente. Probamos esto para , ya que el caso general se demuestra de manera similar. $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

Si , los puntos de interrupción están en el intervalo . Condicionalmente en este evento, los puntos de ruptura siguen siendo intercambiables, por lo que la probabilidad de que la distancia entre el segundo y el primer punto de ruptura sea mayor que es la misma que la probabilidad de que la distancia entre el primer punto de ruptura y la barrera izquierda (en la posición ) es mayor que . Asi que $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 x)_{+}^{k} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. Expectativa

Para distribuciones con soporte finito, tenemos

E (X) = \int P (X > x) d x = 1 - \int P (X \leq x) d x .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

Integrando la distribución de , obtenemos $\Delta_{(k+1)}$

E (Δ_{(k + 1)}) = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

La última igualdad es una representación clásica de números armónicos , que demostramos a continuación. $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

Con el cambio de la variable y expandiendo el producto, obtenemos $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. Construcción alternativa de separaciones uniformes.

Para obtener la distribución asintótica del fragmento más grande, necesitaremos exhibir una construcción clásica de espacios uniformes como variables exponenciales divididas por su suma. La densidad de probabilidad de las estadísticas de orden asociadas es $(U_{(1)}, \ldots, U_{(k)})$

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

Si denotamos los espaciamientos uniformes , con , obtenemos $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

Al definir , obtenemos así $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

Ahora, sea ser IID variables aleatorias exponenciales con media 1, y sea . Con un simple cambio de variable, podemos ver que $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

Defina , de modo que mediante un cambio de variable obtengamos $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

Integrando esta densidad con respecto a , obtenemos así $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

Entonces la distribución conjunta de espaciamientos uniformes en el intervalo es la misma que la distribución conjunta de variables aleatorias exponenciales divididas por su suma. Llegamos a la siguiente equivalencia de distribución $k+1$ $(0,1)$ $k+1$

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. Distribución asintótica.

Usando la equivalencia anterior, obtenemos

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

donde . Esta variable desaparece en probabilidad porque y . Asintóticamente, la distribución es la misma que la de . Debido a que los son IID, tenemos $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} PAGS (X_{(k + 1)} - Iniciar sesión (k + 1) \leq X) & = PAGS {(X_{1} \leq X + Iniciar sesión (k + 1))}^{k + 1} \\ = {(1 - {mi}^{- X - Iniciar sesión (k + 1)})}^{k + 1} = {(1 - \frac{{mi}^{- X}}{k + 1})}^{k + 1} \sim \exp {- {mi}^{- X}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. Resumen gráfico

La siguiente gráfica muestra la distribución del fragmento más grande para diferentes valores de . Para , también he superpuesto la distribución asintótica de Gumbel (línea delgada). El Gumbel es una muy mala aproximación para valores pequeños de así que los omito para no sobrecargar la imagen. La aproximación de Gumbel es buena desde . $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. Referencias

Las pruebas anteriores se toman de las referencias 2 y 3. La literatura citada contiene muchos más resultados, como la distribución de los espacios ordenados de cualquier rango, su distribución límite y algunas construcciones alternativas de los espacios uniformes ordenados. Las referencias clave no son fácilmente accesibles, por lo que también proporciono enlaces al texto completo.

Bairamov y col. (2010) Límite de resultados para espaciamiento uniforme ordenado , Stat papers, 51: 1, pp 227-240
Holst (1980) En las longitudes de las piezas de un palo roto al azar , J. Appl. Prob., 17, págs. 623-634
Pyke (1965) Spacings , JRSS (B) 27: 3, págs. 395-449
Renyi (1953) Sobre la teoría de las estadísticas del orden , Acta math Hung, 4, pp 191-231

— gui11aume
fuente

Brillante. Por cierto, ¿hay alguna asintótica conocida para ?

E (Z_{k}^{2})

$E(Z_k ^2)$

— Amir Sagiv

@AmirSagiv esta es una buena pregunta. Eché un vistazo rápido a las referencias y no pude encontrarlo. Tampoco pude adaptar la prueba anterior. Esto me hizo darme cuenta de que no sé cuál es la distribución de un cuadrado de un Gumbel. Quizás un buen lugar para comenzar?

— gui11aume

$ gui11aume Mira aquí: mathoverflow.net/a/293381/42864

— Amir Sagiv

@AmirSagiv Esta es una muy buena publicación. Por alguna razón, mal su pregunta y pensé que estaba interesado en la distribución asintótica de (a pesar de que su comentario fue muy claro), por lo que mi comentario anterior no es tan relevante.

Z_{k}^{2}

$Z_k^2$

— gui11aume

Esta no es una respuesta completa, pero hice algunas simulaciones rápidas, y esto es lo que obtuve: Histograma del fragmento más largo.

Esto parece notablemente beta-ish, y esto tiene un poco de sentido, ya que las estadísticas de orden de las distribuciones uniformes de iid son beta wiki .

Esto podría dar algún punto de partida para derivar el pdf resultante.

Actualizaré si llego a una solución final cerrada.

¡Aclamaciones!

— Lima
fuente

Solo una cosa más, la forma del histograma para aumentar k no cambia considerablemente, aparte de "aplastarse" cerca de 0.

— Lima

Gracias por sus pensamientos @Lima (y bienvenidos a Cross Validated). Creo que tu respuesta puede mejorarse. Primero, me abstendría de hacer declaraciones sin pruebas. Si esto es incorrecto, puede poner a las personas que ven este hilo en el camino equivocado. En segundo lugar, documentaría lo que hiciste. Sin el valor de que usó ni el código, la figura no ayuda a nadie. Finalmente, copiaría y editaría la respuesta y eliminaría todo lo que no responda directamente a la pregunta.

k

$k$

— gui11aume

Gracias por las sugerencias Son válidos más allá del intercambio de pila, y recordaré usarlos.

— Lima

Produje la respuesta para una conferencia en Siena (Italia) en 2005. El documento (2006) se presenta en mi sitio web aquí (pdf) . Las distribuciones exactas de todos los espacios (de menor a mayor) se encuentran en las páginas 75 y 76.

Espero dar una presentación sobre este tema en la Conferencia RSS en Manchester (Inglaterra) en septiembre de 2016.

— CJStephens
fuente

Bienvenido al sitio. Estamos tratando de construir un repositorio permanente de información estadística de alta calidad en forma de preguntas y respuestas. Por lo tanto, desconfiamos de las respuestas de solo enlace, debido a linkrot. ¿Puede publicar una cita completa y un resumen de la información en el enlace, en caso de que falle? Además, no firmes tus publicaciones aquí. Cada publicación tiene un enlace a su página de usuario donde puede publicar esa información.

— gung - Restablecer Monica