Considere la suma de distribuciones uniformes en , o . ¿Por qué desaparece la cúspide en el PDF de para ?

Me he estado preguntando sobre esto por un tiempo; Me resulta un poco extraño lo abruptamente que sucede. Básicamente, ¿por qué necesitamos solo tres uniformes para que suavice como lo hace? ¿Y por qué el suavizado ocurre tan rápido? $Z_n$

$Z_2$ :

$Z_3$ :

(Imágenes robadas descaradamente del blog de John D. Cook: http://www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/ )

¿Por qué no lleva, digamos, cuatro uniformes? O cinco? O...?

— tetragrammaton
fuente

bueno, para ser tan simple como fácil, porque la suma de 3 uniformes tiene segmentos cuadráticos en su pf, y una vez que obtienes dos o más uniformes tienes un pico en la media. Un pico cuadrático es "suave" ... y las uniones entre las piezas cuadráticas están en 1 y 2, por lo que no puede doblarse en 1.5; hay otras formas de llegar a la misma conclusión

— Glen_b -Reinstate a Monica el

Podemos adoptar varios enfoques para esto, cualquiera de los cuales puede parecer intuitivo para algunas personas y menos intuitivo para otras. Para acomodar tal variación, esta respuesta examina varios de estos enfoques, cubriendo las principales divisiones del pensamiento matemático - análisis (el infinito e infinitesimal), geometría / topología (relaciones espaciales) y álgebra (patrones formales de manipulación simbólica) - como así como la probabilidad misma. Culmina en una observación que unifica los cuatro enfoques, demuestra que hay una pregunta genuina a responder aquí y muestra exactamente cuál es el problema. Cada enfoque proporciona, a su manera, una visión más profunda de la naturaleza de las formas de las funciones de distribución de probabilidad de sumas de variables uniformes independientes.

Fondo

La distribución Uniforme $[0,1]$ tiene varias descripciones básicas. Cuando tiene tal distribución, $X$

La posibilidad de que encuentre en un conjunto medible es solo la medida (longitud) de , escrita. $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
De esto es inmediato que la función de distribución acumulativa (CDF) es

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
La función de densidad de probabilidad (PDF), que es la derivada del CDF, es para y contrario. (No está definido en y ). $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

Intuición de funciones características (análisis)

La función característica (CF) de cualquier variable aleatoria es la expectativa de (donde es la unidad imaginaria, ). Usando el PDF de una distribución uniforme podemos calcular $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

El CF es una (versión de) la transformada de Fourier del PDF, . Los teoremas más básicos sobre las transformadas de Fourier son: $\phi(t) = \hat{f}(t)$

El CF de una suma de variables independientes es el producto de sus CF. $X+Y$
Cuando el PDF original es continuo y está limitado, puede recuperarse de CF mediante una versión estrechamente relacionada de la transformada de Fourier $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

Cuando es diferenciable, su derivada se puede calcular bajo el signo integral: $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
Para que esto esté bien definido, la última integral debe converger absolutamente; es decir,

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
debe converger a un valor finito. Por el contrario, cuando converge, la derivada existe en todas partes en virtud de estas fórmulas de inversión.

Ahora está claro exactamente cuán diferenciable es el PDF para una suma de variables uniformes: desde la primera viñeta, el CF de la suma de las variables iid es el CF de una de ellas elevada a la potencia , aquí igual a . El numerador está acotado (consiste en ondas sinusoidales) mientras que el denominador es . Podemos multiplicar dicho integrando por y aún convergerá absolutamente cuando y convergerá condicionalmente cuando . Por lo tanto, la aplicación repetida de la tercera viñeta muestra que el PDF para la suma de variables uniformes será continuamente $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ veces diferenciable y, en la mayoría de los lugares, será veces diferenciable. $n-1$

CF para n = 10

La curva sombreada azul es un gráfico log-log del valor absoluto de la parte real de la CF de la suma de iid variables uniformes. La línea roja discontinua es una asíntota; su pendiente es , lo que muestra que el PDF es veces diferenciable. Como referencia, la curva gris traza la parte real de la FC para una función gaussiana de forma similar (un PDF normal). $n=10$ $-10$ $10 - 2 = 8$

Intuición de la probabilidad

Deje que y sean variables aleatorias independientes donde tiene una distribución Uniforme . Considere un intervalo estrecho . Descomponemos la posibilidad de que en la posibilidad de que esté suficientemente cerca de este intervalo multiplicado por la probabilidad de que sea del tamaño correcto para colocar en este intervalo, dado que está lo suficientemente cerca: $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

La igualdad final proviene de la expresión para el PDF de . Dividiendo ambos lados por y tomando el límite como da $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

En otras palabras, agregar una variable uniforme a cualquier variable cambia el pdf a un CDF diferenciado . Debido a que el PDF es la derivada del CDF, esto implica que cada vez que agregamos una variable uniforme independiente a , el PDF resultante es una vez más diferenciable que antes. $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

Vamos a aplicar este conocimiento, a partir de una variable uniforme . El PDF original no es diferenciable en o : allí es discontinuo. La PDF de no es diferenciable en , , o , pero debe ser continuo en esos puntos, ya que es la diferencia de las integrales de la PDF de . Agregue otra variable uniforme independiente : el PDF de es diferenciable en , , y , pero no necesariamente tiene un segundo $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ derivados en esos puntos. Y así.

Intuición de la geometría

El CDF en de una suma de iid variables uniformes es igual al volumen de la unidad hipercubo encuentra dentro del medio espacio . Aquí se muestra la situación para variantes, con establecido en , y luego . $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

Cubo 3D

A medida que progresa de a , el hiperplano cruza los vértices en , . En cada momento, la forma de la sección transversal cambia: en la figura, primero es un triángulo (un simple), luego un hexágono, luego un triángulo nuevamente. ¿Por qué el PDF no tiene curvas cerradas en estos valores de ? $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

Para entender esto, primero considere pequeños valores de . Aquí, el hiperplano corta un -simplex. Todas dimensiones del símplex son directamente proporcionales a , por lo que su "área" es proporcional a . Alguna notación para esto será útil más tarde. Sea la "función de paso de unidad" $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

Si no fuera por la presencia de las otras esquinas del hipercubo, esta escala continuaría indefinidamente. Un gráfico del área del -simplex se vería como la curva azul sólida a continuación: ¡es cero en valores negativos e igual a¡en el positivo, convenientemente escrito. Tiene un "nudo" del orden en el origen, en el sentido de que todas las derivadas a través del orden existen y son continuas, pero que las derivadas izquierda y derecha del orden existen pero no están de acuerdo en el origen . $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

(Las otras curvas que se muestran en esta figura son (Rojo), (Oro) y (Negro). Sus funciones en el caso se analizan más adelante). $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

Parcela de área simple

Para comprender lo que sucede cuando cruza , examinemos en detalle el caso , donde toda la geometría ocurre en un plano. Podemos ver la unidad "cubo" (ahora solo un cuadrado) como una combinación lineal de cuadrantes , como se muestra aquí: $t$ $1$ $n=2$

Cuadrantes

El primer cuadrante aparece en el panel inferior izquierdo, en gris. El valor de es , determinando la línea diagonal que se muestra en los cinco paneles. El CDF es igual al área amarilla que se muestra a la derecha. Esta área amarilla se compone de: $t$ $1.5$

El área gris triangular en el panel inferior izquierdo,
menos el área verde triangular en el panel superior izquierdo,
menos el área roja triangular en el panel central bajo,
más cualquier área azul en el panel central superior (pero no existe tal área, ni la habrá hasta que exceda ). $t$ $2$

Cada una de estas áreas es el área de un triángulo. La primera escala como , las siguientes dos son cero para y, de lo contrario, escala como , y la última es cero para y de lo contrario escalas como . Este análisis geométrico ha establecido que el CDF es proporcional a = ; de manera equivalente, el PDF es proporcional a la suma de las tres funciones , y $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ (cada uno de ellos escalando linealmente cuando ). El panel izquierdo de esta figura muestra sus gráficos: evidentemente, son todas las versiones del gráfico original , pero (a) desplazado por , y unidades a la derecha y (b) reescalado por , y , respectivamente. $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

Gráficos para n = 2

El panel derecho muestra la suma de estos gráficos (la curva negra sólida, normalizada para tener un área unitaria: este es precisamente el PDF de aspecto angular que se muestra en la pregunta original.

Ahora podemos entender la naturaleza de los "pliegues" en el PDF de cualquier suma de variables uniformes iid. Todos son exactamente como el "pliegue" que ocurre en en la función , posiblemente reescalada y desplazada a los enteros correspondientes a donde está el hiperplano cruza los vértices del hipercubo. Para , este es un cambio visible en la dirección: la derivada derecha de en es mientras que su derivada izquierda es . Para , este es un continuo $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ cambio de dirección, pero un cambio repentino (discontinuo) en la segunda derivada. Para general , habrá derivadas continuas a través del orden pero una discontinuidad en la derivada . $n$ $n-2$ $n-1^\text{st}$

Intuición de la manipulación algebraica

La integración para calcular el CF, la forma de la probabilidad condicional en el análisis probabilístico y la síntesis de un hipercubo como una combinación lineal de cuadrantes sugieren volver a la distribución uniforme original y volver a expresarla como una combinación lineal de cosas más simples. . De hecho, su PDF se puede escribir

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

Presentemos el operador shift : actúa sobre cualquier función desplazando su gráfico una unidad a la derecha: $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

Formalmente, entonces, para el PDF de una variable uniforme podemos escribir $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

El PDF de una suma de uniformes iid es la convolución de consigo mismo veces. Esto se deduce de la definición de una suma de variables aleatorias: la convolución de dos funciones y es la función $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

Es fácil verificar que la convolución conmuta con . Simplemente cambie la variable de integración de a : $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

Para el PDF de la suma de uniformes iid, ahora podemos proceder algebraicamente a escribir $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

(donde el "poder" denota convolución repetida, no multiplicación puntual! Ahora es una integración directa, elemental, que da $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

El resto es álgebra, porque se aplica el teorema binomial (como ocurre en cualquier álgebra conmutativa sobre los reales):

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

Debido a que simplemente cambia su argumento por , esto exhibe el PDF como una combinación lineal de versiones desplazadas de , exactamente como dedujimos geométricamente: $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

(John Cook cita esta fórmula más adelante en su publicación de blog, usando la notación para .) $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

En consecuencia, debido a que es una función uniforme en todas partes, cualquier comportamiento singular del PDF ocurrirá solo en lugares donde es singular (obviamente solo ) y en esos lugares desplazados a la derecha por . La naturaleza de ese comportamiento singular, el grado de suavidad, será, por lo tanto, igual en todas las ubicaciones . $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

Esto ilustra la imagen para , que muestra (en el panel izquierdo) los términos individuales en la suma y (en el panel derecho) las sumas parciales, que culminan en la suma misma (curva negra sólida): $n=8$

Parcela para n = 8

Comentarios de cierre

Es útil observar que este último enfoque finalmente ha producido una expresión compacta y práctica para calcular el PDF de una suma de iid variables uniformes. (Se obtiene de manera similar una fórmula para el CDF). $n$

El Teorema del límite central tiene poco que decir aquí. Después de todo, una suma de variables binomiales iid converge a una distribución Normal, pero esa suma siempre es discreta: ¡ni siquiera tiene un PDF en absoluto! No debemos esperar ninguna intuición sobre "torceduras" u otras medidas de diferenciabilidad de un PDF proveniente del CLT.

— whuber
fuente

(+1) ¡Fantástico! Ahora, ¿cuánto tiempo te llevó armar todo esto?

— cardenal

@ Cardenal Esta fue la última pregunta que leí antes de perder el poder el lunes pasado. Durante la semana siguiente, las largas tardes oscuras brindaron la oportunidad de pensarlo detenidamente :-) y, por diversión, desarrollar múltiples respuestas. Después de que se restableció el poder el fin de semana pasado, era solo cuestión de encontrar algo de tiempo para hacer las ilustraciones y escribirlas (lo que tomó más tiempo de lo esperado, lo confieso). Espero que tal vez parte de este hilo sirva como referencia para futuras preguntas relacionadas sobre sumas de variables aleatorias.

— whuber

Guau. Desearía poder 'marcar' esta respuesta como favorita .

— Ruibarbo

Whuber, esto es absolutamente increíble. Nunca me di cuenta de cuán profunda podría ser una pregunta tan simple. Me tomará un tiempo entender tu respuesta, pero por ahora, ¡muchas gracias!

— tetragrammaton

Violaré la política de SE en los comentarios, al decir que nosotros (todos los crossvalidate.com) deberíamos sobornar a su compañía eléctrica para que corte el suministro eléctrico con mayor frecuencia :)

— mpiktas

Se podría argumentar que la función de densidad de probabilidad de una variable aleatoria uniforme es finita,

así que su función de densidad acumulativa integral de una variable aleatoria uniforme es continua,

entonces la función de densidad de probabilidad de la suma de dos variables aleatorias uniformes es continua,

por lo tanto, su función de densidad acumulativa integral de la suma de dos variables aleatorias uniformes es uniforme (continuamente diferenciable),

entonces la función de densidad de probabilidad de la suma de tres variables aleatorias uniformes es suave.

— Enrique
fuente

Creo que lo más sorprendente es que obtienes el pico agudo para . $n=2$

El teorema del límite central dice que para tamaños de muestra lo suficientemente grandes, la distribución de la media (y la suma es solo la media por , una constante fija para cada gráfico) será aproximadamente normal. Resulta que la distribución uniforme se comporta realmente bien con respecto al CLT (simétrica, sin colas pesadas (bueno, no hay muchas colas), sin posibilidad de valores atípicos), por lo que para el uniforme el tamaño de la muestra debe ser "suficientemente grande" "no es muy grande (alrededor de 5 o 6 para una buena aproximación), ya está viendo la aproximación correcta en . $n$ $n=3$

— Greg Snow
fuente