¿Esta distribución discreta tiene un nombre?

¿Esta distribución discreta tiene un nombre? Para $i \in 1...N$

$f(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j}$

Me encontré con esta distribución de lo siguiente: Tengo una lista de elementos clasificados por alguna función de utilidad. Quiero seleccionar aleatoriamente uno de los elementos, sesgando hacia el comienzo de la lista. Entonces, primero elijo un índice entre 1 y uniforme. Luego selecciono un elemento entre los índices 1 y . Creo que este proceso da como resultado la distribución anterior. $N$ $j$ $N$ $j$

— Tom
fuente

Esto no es una distribución: no está normalizado.

— whuber

@whuber Lo pensé al principio (y comenté antes de darme cuenta de que había entendido mal y eliminé el comentario), pero resultó que entendí mal la definición. A menos que tenga otro malentendido, es una función de masa de probabilidad normalizada.

— Glen_b: reinstala a Monica

Esta normalizado. 1/1 aparecerá en la suma exactamente una vez (estará en f (1)). 1/2 aparecerá exactamente dos veces (estará en f (1) yf (2)). etc. Entonces la suma de todas esas sumas será N y la constante de normalización se muestra como 1 / N. Echa un vistazo.

— rcorty

Más al punto, sin embargo, no sé cómo se llama esta distribución. Tampoco sé cómo el proceso que describiste conduce a esta distribución. Un pensamiento que tuve es que suena como una versión discreta de un proceso de ruptura de palo, que es muy fácil de buscar.

— rcorty

@Glen_b Gracias. Estaba leyendo esto en mi teléfono, que no mostraba con suficiente claridad.

f

$f$

— whuber

Respuestas:

Tiene una versión discretizada de la distribución de registro negativa, es decir, la distribución cuyo soporte es y cuyo pdf es . $[0, 1]$ $f(t) = - \log t$

Para ver esto, voy a redefinir su variable aleatoria para tomar valores en el conjunto lugar de y llamar a la distribución resultante . Entonces, mi reclamo es que $\{ 0, 1/N, 2/N, \ldots, 1 \}$ $\{0, 1, 2, \ldots, N \}$ $T$

PAGS r (T = \frac{t}{norte}) \to - \frac{1}{norte} Iniciar sesión (\frac{t}{norte})

$Pr\left( T = \frac{t}{N} \right) \rightarrow - \frac{1}{N} \log \left( \frac{t}{N} \right)$

como mientras se mantiene (aproximadamente) constante. $N, t \rightarrow \infty$ $\frac{t}{N}$

Primero, un pequeño experimento de simulación que demuestra esta convergencia. Aquí hay una pequeña implementación de una muestra de su distribución:

t_sample <- function(N, size) {
  bounds <- sample(1:N, size=size, replace=TRUE)
  samples <- sapply(bounds, function(t) {sample(1:t, size=1)})
  samples / N
}

Aquí hay un histograma de una muestra grande tomada de su distribución:

ss <- t_sample(100, 200000)
hist(ss, freq=FALSE, breaks=50)

ingrese la descripción de la imagen aquí

y aquí está el pdf logarítmico superpuesto:

linsp <- 1:100 / 100
lines(linsp, -log(linsp))

ingrese la descripción de la imagen aquí

Para ver por qué ocurre esta convergencia, comience con su expresión

PAGS r (T = \frac{t}{norte}) = \frac{1}{norte} \sum_{j = t}^{norte} \frac{1}{j}

$Pr \left( T = \frac{t}{N} \right) = \frac{1}{N} \sum_{j=t}^N \frac{1}{j}$

$N$

PAGS r (T = \frac{t}{norte}) = \frac{1}{norte} \sum_{j = t}^{norte} \frac{norte}{j} \frac{1}{norte}

$Pr \left( T = \frac{t}{N} \right) = \frac{1}{N} \sum_{j=t}^N \frac{N}{j} \frac{1}{N}$

$g(x) = \frac{1}{x}$ $\frac{t}{N}$ $1$ $N$

PAGS r (T = \frac{t}{norte}) \approx \frac{1}{norte} \int_{\frac{t}{norte}}^{1} \frac{1}{X} re X = - \frac{1}{norte} Iniciar sesión (\frac{t}{norte})

$Pr \left( T = \frac{t}{N} \right) \approx \frac{1}{N} \int_{\frac{t}{N}}^1 \frac{1}{x} dx = - \frac{1}{N} \log \left( \frac{t}{N} \right)$

cual es la expresión a la que quería llegar.

— Matthew Drury
fuente

Eres extremadamente bienvenido. Esta fue una gran pregunta y me divertí mucho resolviéndola.

— Matthew Drury

Esto parece estar relacionado con la distribución de Whitworth. (No creo que sea la distribución de Whitworth, ya que si recuerdo bien, esa es la distribución de un conjunto de valores ordenados, pero parece estar conectada a ella y se basa en el mismo esquema de suma).

Hay una discusión sobre Whitworth (y numerosas referencias) en

Anthony Lawrance y Robert Marks, (2008)
"Distribuciones de tamaño de empresa en una industria con recursos limitados",
Applied Economics , vol. 40, número 12, páginas 1595-1607

(Parece que habrá una versión en papel de trabajo aquí )

Ver también

Nancy L Geller, (1979)
Una prueba de importancia para la distribución de Whitworth,
Journal of the American Society for Information Science , Vol. 30 (4), pp.229-231

— Glen_b -Reinstate a Monica
fuente

Para que esta respuesta sea autónoma, ¿podría proporcionar una definición de la distribución de Whitworth y tal vez proporcionar algunas palabras de explicación sobre la conexión que ve?

— whuber

@whuber Sí, debería ser un comentario tal como está. Editaré algunos detalles, pero terminará mucho más tiempo.

— Glen_b -Reinstale a Monica

Solo algún tipo de definición estaría bien.

— whuber

Gracias, eso se entendió, pero sin embargo ese será el resultado.

— Glen_b: reinstala a Monica