Valor esperado de x en una distribución normal, dado que está por debajo de un cierto valor

Solo me pregunto si es posible encontrar el valor esperado de x si se distribuye normalmente, dado que está por debajo de un cierto valor (por ejemplo, por debajo del valor medio).

normal-distribution conditional-probability expected-value

— Jazmín
fuente

Por supuesto que es posible. Como mínimo, puede calcular por la fuerza bruta . O si conoce y , puede estimarlo usando una simulación.

F (t)^{- 1} \int_{- \infty}^{x} t f (t) d t

$F(t)^{-1} \int_{- \infty}^{x} t f(t) dt$

μ

$\mu$

σ

$\sigma$

— dsaxton

@dsaxton Hay algunos errores tipográficos en esa fórmula, pero tenemos la idea. Lo que me interesa es cómo ejecutaría exactamente la simulación cuando el umbral esté muy por debajo de la media.

— whuber

@whuber Sí, debería ser . No sería muy inteligente hacer una simulación cuando está cerca de cero, pero como usted señaló, hay una fórmula exacta de todos modos.

F (t)

$F(t)$

F (x)

$F(x)$

F (x)

$F(x)$

— dsaxton

@dsaxton OK, bastante justo. Solo esperaba que tuvieras en mente algún tipo de idea inteligente y simple para simular desde la cola de una distribución normal.

— whuber

Más o menos la misma pregunta en Math.SE: math.stackexchange.com/questions/749664/average-iq-of-mensa

— JiK

Respuestas:

Una variable normalmente distribuida con media y varianza tiene la misma distribución que donde es una variable normal estándar. Todo lo que necesitas saber sobre es que $X$ $\mu$ $\sigma^2$ $\sigma Z + \mu$ $Z$ $Z$

su función de distribución acumulativa se llama , $\Phi$
tiene una función de densidad de probabilidad , y que $\phi(z) = \Phi^\prime(z)$
$\phi^\prime(z) = -z \phi(z)$ .

Las dos primeras viñetas son solo notación y definiciones: la tercera es la única propiedad especial de las distribuciones normales que necesitaremos.

Deje que el "cierto valor" sea . Anticipando el cambio de a , defina $T$ $X$ $Z$

t = (T - μ) / σ,

$t = (T-\mu)/\sigma,$

así que eso

Pr (X \leq T) = Pr (Z \leq t) = Φ (t) .

$\Pr(X \le T) = \Pr(Z \le t) = \Phi(t).$

Luego, comenzando con la definición de la expectativa condicional, podemos explotar su linealidad para obtener

\begin{aligned} E (X | X \leq T) & = E (σ Z + μ | Z \leq t) = σ E (Z | Z \leq t) + μ E (1 | Z \leq t) \\ = (σ \int_{- \infty}^{t} z ϕ (z) d z + μ \int_{- \infty}^{t} ϕ (z) d z) / Pr (Z \leq t) \\ = (- σ \int_{- \infty}^{t} ϕ^{'} (z) d z + μ \int_{- \infty}^{t} Φ^{'} (z) d z) / Φ (t) . \end{aligned}

$\eqalign{ \mathbb{E}(X\,|\, X \le T) &= \mathbb{E}(\sigma Z + \mu \,|\, Z \le t) = \sigma \mathbb{E}(Z \,|\, Z \le t) + \mu \mathbb{E}(1 \,|\, Z \le t) \\ &= \left(\sigma \int_{-\infty}^t z \phi(z) dz + \mu \int_{-\infty}^t \phi(z) dz \right) / \Pr(Z \le t)\\ &=\left(-\sigma \int_{-\infty}^t \phi^\prime(z) dz + \mu \int_{-\infty}^t \Phi^\prime(z) dz\right) / \Phi(t). }$

El teorema fundamental del cálculo afirma que cualquier integral de una derivada se encuentra evaluando la función en los puntos finales: . Esto se aplica a ambas integrales. Como tanto como deben desaparecer en , obtenemos $\int_a^b F^\prime(z) dz = F(b) - F(a)$ $\Phi$ $\phi$ $-\infty$

E (X | X \leq T) = μ - σ \frac{ϕ (t)}{Φ (t)} .

$\mathbb{E}(X\,|\, X \le T) = \mu - \sigma \frac{\phi\left(t\right)}{\Phi\left(t\right)}.$

Es la media original menos un término de corrección proporcional a la Relación de molinos inversos .

Como era de esperar, la relación inversa de Mills para debe ser positiva y exceder (cuyo gráfico se muestra con una línea roja punteada). Tiene que disminuir a medida que crece, ya que el truncamiento en (o ) no cambia casi nada. A medida que vuelve muy negativo, la relación inversa de Mills debe aproximarse a porque las colas de la distribución normal disminuyen tan rápidamente que casi toda la probabilidad en la cola izquierda se concentra cerca de su lado derecho (en ). $t$ $-t$ $0$ $t$ $Z=t$ $X=T$ $t$ $-t$ $t$

Finalmente, cuando está en la media, donde la relación inversa de Mills es igual a . Esto implica que el valor esperado de , truncado en su media (que es el negativo de una distribución medio normal ), es veces su desviación estándar por debajo de la media original. $T = \mu$ $t=0$ $\sqrt{2/\pi} \approx 0.797885$ $X$ $-\sqrt{2/\pi}$

— whuber
fuente

En general, dejemos que tenga la función de distribución . $X$ $F(X)$

Tenemos, para , Puede obtener casos especiales tomando, por ejemplo, , que produce . $x\in[c_1,c_2]$

\begin{array}{rcl} P (X \leq x | c_{1} \leq X \leq c_{2}) & = & \frac{P (X \leq x \cap c_{1} \leq X \leq c_{2})}{P (c_{1} \leq X \leq c_{2})} = \frac{P (c_{1} \leq X \leq x)}{P (c_{1} \leq X \leq c_{2})} \\ = & \frac{F (x) - F (c_{1})}{F (c_{2}) - F (c_{1})} \end{array}

$\begin{eqnarray*} P(X\leq x|c_1\leq X \leq c_2)&=&\frac{P(X\leq x\cap c_1\leq X \leq c_2)}{P(c_1\leq X \leq c_2)}=\frac{P(c_1\leq X \leq x)}{P(c_1\leq X \leq c_2)}\\&=&\frac{F(x)-F(c_1)}{F(c_2)-F(c_1)} \end{eqnarray*}$

c_{1} = - \infty

$c_1=-\infty$

F (c_{1}) = 0

$F(c_1)=0$

Usando cdfs condicionales, puede obtener densidades condicionales (p. Ej., para ), que pueden usarse para expectativas condicionales. $f(x|X<0)=2\phi(x)$ $X\sim N(0,1)$

En su ejemplo, la integración por partes da como en la respuesta de @ whuber.

E (X | X < 0) = 2 \int_{- \infty}^{0} x ϕ (x) = - 2 ϕ (0),

$E(X|X<0)=2\int_{-\infty}^0x\phi(x)=-2\phi(0),$

— Christoph Hanck
fuente

+1 (de alguna manera me perdí esto cuando apareció por primera vez). La primera parte es una excelente explicación de cómo obtener funciones de distribución truncadas y la segunda muestra cómo calcular sus PDF.

— whuber