¿Es posible tener un par de variables aleatorias gaussianas para las cuales la distribución conjunta no es gaussiana?

Alguien me hizo esta pregunta en una entrevista de trabajo y le respondí que su distribución conjunta siempre es gaussiana. Pensé que siempre podría escribir un gaussiano bivariado con sus medios, varianza y covarianzas. Me pregunto si puede haber un caso en el que la probabilidad conjunta de dos gaussianos no sea gaussiana.

— MarkSAlen
fuente

Otro ejemplo de Wikipedia . Por supuesto, si las variables son independientes y marginalmente gaussianas, entonces son conjuntamente gaussianas.

Un ejemplo aquí wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent

Respuestas:

138

¡La distribución normal bivariada es la excepción , no la regla!

Es importante reconocer que "casi todas" las distribuciones conjuntas con márgenes normales no son la distribución normal bivariada. Es decir, el punto de vista común de que las distribuciones conjuntas con marginales normales que no son bivariadas son de alguna manera "patológicas", es un poco equivocado.

Ciertamente, la normalidad multivariada es extremadamente importante debido a su estabilidad bajo transformaciones lineales, y por eso recibe la mayor parte de la atención en las aplicaciones.

Ejemplos

Es útil comenzar con algunos ejemplos. La siguiente figura contiene mapas de calor de seis distribuciones bivariadas, todas las cuales tienen márgenes normales normales. Los de la izquierda y el medio en la fila superior son normales bivariados, los restantes no lo son (como debería ser evidente). Se describen más abajo.

Ejemplos de distribución bivariada con marginales normales estándar.

Los huesos desnudos de las cópulas.

Las propiedades de dependencia a menudo se analizan eficientemente usando cópulas . Una cópula bivariada es solo un nombre elegante para una distribución de probabilidad en la unidad cuadrada con marginales uniformes . $[0,1]^2$

Supongamos que es una cópula bivariada. Entonces, inmediatamente de lo anterior, sabemos que , y , por ejemplo. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Podemos construir variables aleatorias bivariadas en el plano euclidiano con marginales preespecificados mediante una simple transformación de una cópula bivariada. Deje que y se prescriban distribuciones marginales para un par de variables aleatorias . Entonces, si es una cópula bivariada, es una función de distribución bivariada con marginales y . Para ver este último hecho, solo tenga en cuenta que El mismo argumento funciona para . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Para y continuos , el teorema de Sklar afirma una inversa que implica unicidad. Es decir, dada una distribución bivariada con marginales continuos , , la cópula correspondiente es única (en el espacio de rango apropiado). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

La bivariada normal es excepcional.

El teorema de Sklar nos dice (esencialmente) que solo hay una cópula que produce la distribución normal bivariada. Esta es, acertadamente llamada, la cópula gaussiana que tiene densidad en donde el numerador es la distribución normal bivariada con correlación evaluada en y . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Pero, hay muchas otras cópulas y todas ellas darán una distribución bivariada con marginales normales que no es la bivariada normal al usar la transformación descrita en la sección anterior.

Algunos detalles sobre los ejemplos

Tenga en cuenta que si es una cópula arbitraria con densidad , la densidad bivariada correspondiente con marginales normales estándar bajo la transformación es $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Tenga en cuenta que al aplicar la cópula gaussiana en la ecuación anterior, recuperamos la densidad normal bivariada. Pero, para cualquier otra opción de , no lo haremos. $c(u,v)$

Los ejemplos en la figura se construyeron de la siguiente manera (cruzando cada fila, una columna a la vez):

Bivariada normal con componentes independientes.
Bivariada normal con . $\rho = -0.4$
El ejemplo dado en esta respuesta de Dilip Sarwate . Se puede ver fácilmente que es inducida por la cópula con densidad . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Generado a partir de la cópula Frank con el parámetro . $\theta = 2$
Generado a partir de la cópula Clayton con el parámetro . $\theta = 1$
Generado a partir de una modificación asimétrica de la cópula Clayton con el parámetro . $\theta = 3$

— cardenal
fuente

¡+1 para el comentario de que la densidad normal bivariada es el caso excepcional!

— Dilip Sarwate

Tal vez me falta algo, pero si comenzamos desde , la distribución conjunta se define automáticamente, independientemente de cualquier construcción de cópula, y si aplicamos una no Construcción de cópula gaussiana para sus CDF, es cierto que obtendremos un CDF no gaussiano , pero esta función en general no será el CDF del par de variables aleatorias que comenzamos, derecha ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— RandomGuy

Ejemplo de cómo simular como en el panel inferior derecho: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— medio pase el

@RandomGuy, te estás perdiendo una suposición no declarada de que . Si supone que son independientes, entonces sí, ya conoce la distribución conjunta. Sin el supuesto de independencia, conocer las distribuciones marginales no proporciona suficiente información para especificar la distribución conjunta.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune

Es cierto que cada elemento de un vector normal multivariante está distribuido en sí mismo normalmente, y puede deducir sus medias y variaciones. Sin embargo, no es cierto que cualquiera de las dos variables aleatorias guasianas se distribuyan normalmente de manera conjunta. Aquí hay un ejemplo:

Editar: En respuesta al consenso de que una variable aleatoria que es una masa puntual puede considerarse como una variable normalmente distribuida con , estoy cambiando mi ejemplo. $\sigma^2=0$

Deje y deje donde es una variable aleatoria . Es decir, cada uno con probabilidad . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Primero mostramos que tiene una distribución normal estándar. $Y$ Por la ley de probabilidad total ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Próximo,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

donde es el CDF normal estándar . Similar, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Por lo tanto,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

entonces, el CDF de es , entonces . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Ahora mostramos que no se distribuyen normalmente de manera conjunta. $X,Y$ Como señala @cardinal, una caracterización de la multivariada normal es que cada combinación lineal de sus elementos está normalmente distribuida. no tienen esta propiedad, ya que $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Por lo tanto, es una mezcla de una variable aleatoria y una masa puntual en 0, por lo tanto, no puede distribuirse normalmente. $Y+X$ $50/50$ $N(0,4)$

— Macro
fuente

No estoy de acuerdo con esta respuesta. Una masa puntual degenerada de en generalmente se considera una variable aleatoria gaussiana degenerada con varianza cero. Además, no son conjuntamente continuos, aunque son marginalmente continuos. Para ver un ejemplo de dos variables aleatorias conjuntas continuas que son marginalmente gaussianas pero no conjuntamente gaussianas, vea, por ejemplo, la segunda mitad de esta respuesta .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Dilip Sarwate

@DilipSarwate, la pregunta era dar un ejemplo (si existe) de dos variables que normalmente se distribuyen pero su distribución conjunta no es multivariada normal. Esto es un ejemplo. La mayoría de las definiciones estándar de la distribución normal (por ejemplo, wikipedia en.wikipedia.org/wiki/Normal_distribution ) requieren que la varianza sea estrictamente positiva, por lo que no incluye una masa puntual como parte de la familia de distribuciones normales.

— Macro

Una caracterización estándar del gaussiano multivariado es que es gaussiano multivariante si y solo si es gaussiano para todos . Como sugiere @Dilip, vale la pena considerar si esto es cierto para su ejemplo.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— cardenal

Como aparentemente no le gustan las apelaciones a la racionalidad ;-), ¿qué tal las apelaciones a la autoridad? (Eso es una broma, si no es evidente.) Simplemente me topé con esto por casualidad cuando estaba buscando algo más: Ejemplo 2.4 , página 22 de GAF Seber y AJ Lee, Análisis de regresión lineal , 2do. ed., Wiley. Cita: "Deje y ponga ... Por lo tanto, tiene una distribución normal multivariante".

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— cardenal

La discusión es sobre definiciones. Claramente, si la matriz de covarianza por definición se requiere que no sea singular, Macro proporciona un ejemplo, pero este no es un ejemplo de acuerdo con la definición más liberal a la que también se refiere @cardinal. Una buena razón para preferir la definición más liberal es que todas las transformaciones lineales de las variables normales son normales. En particular, en la regresión lineal con errores normales, los residuos tienen una distribución normal conjunta, pero la matriz de covarianza es singular.

— NRH

La siguiente publicación contiene un resumen de una prueba, solo para dar las ideas principales y comenzar.

Sea dos variables aleatorias gaussianas independientes y sea ser $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Cada , pero como ambas son combinaciones lineales de los mismos r.vs independientes, son dependientes conjuntamente. $X_i \sim N(\mu_i, \sigma_i^2)$

Definición Se dice que un par de r.vs es bivariante normalmente distribuido si se puede escribir como una combinación lineal de r.vs normal independiente . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Lema Si es una Gaussiana bivariada, cualquier otra combinación lineal de ellas es nuevamente una variable aleatoria normal. $x = (X_1, X_2)$

Prueba . Trivial, saltado para no ofender a nadie.

Propiedad Si no están correlacionadas, entonces son independientes y viceversa. $X_1, X_2$

Distribución de $X_1 | X_2$

Suponga que son los mismos r.vs gaussianos que antes pero supongamos que tienen una varianza positiva y una media cero para simplificar. $X_1, X_2$

Si es el subespacio que abarca , deje que y . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ y son combinaciones lineales de , por lo que también lo son. Son conjuntamente gaussianos, no correlacionados (lo prueban) e independientes. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

La descomposición mantiene con

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Entonces

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Dos variables aleatorias gaussianas univariadas son conjuntamente gaussianas si las condicionales e son gaussianos. $X, Y$ $X | Y$ $Y|X$

— auxiliar
fuente

No es evidente cómo esta observación responde a la pregunta. Dado que la regla del producto es prácticamente la definición de distribución condicional, no es especial para las distribuciones binormales. La siguiente declaración "entonces en orden ..." no proporciona ninguna razón: ¿exactamente por qué las distribuciones condicionales también deben ser normales?

— whuber

Whuber, estoy respondiendo a la pregunta principal: "Me pregunto si puede haber un caso para el cual la probabilidad conjunta de dos gaussianos no sea gaussiana". Entonces, la respuesta es: cuando el condicional no es normal. - Auxiliar

— auxiliar

¿Podrías completar esa demostración? En este momento es solo una afirmación de su parte, sin pruebas. No es del todo evidente que sea correcto. También es incompleto, porque necesita establecer la existencia: es decir, debe demostrar que en realidad es posible que una distribución conjunta tenga márgenes normales, pero para los cuales al menos un condicional no es normal. Ahora, de hecho, eso es trivialmente cierto, porque puede alterar libremente cada distribución condicional de un binormal en un conjunto de medida cero sin cambiar sus márgenes, pero esa posibilidad parece contradecir sus afirmaciones.

— whuber

Hola @whuber, espero que esto ayude más. ¿Tienes alguna sugerencia o edición que hacer? Escribí esto muy rápido ya que en este momento no tengo mucho tiempo libre :-) pero valoraría cualquier sugerencia o mejora que pueda hacer. Mejor

— auxiliar

(1) ¿Qué estás tratando de demostrar? (2) Debido a que la pregunta se hace cuando una distribución con marginales gaussianos no es conjuntamente gaussiana, no veo cómo este argumento conduce a algo relevante.

— whuber