¿Cómo generar números aleatorios correlacionados (medias, variaciones y grado de correlación dados)?

53

Lo siento si esto parece demasiado básico, pero supongo que solo estoy buscando confirmar la comprensión aquí. Tengo la sensación de que tendría que hacer esto en dos pasos, y he comenzado a tratar de asimilar las matrices de correlación, pero está empezando a parecer realmente complicado. Estoy buscando una explicación concisa (idealmente con sugerencias para una solución de pseudocódigo) de una forma buena, idealmente rápida, de generar números aleatorios correlacionados.

Dadas dos variables pseudoaleatorias de altura y peso con medias y variaciones conocidas, y una correlación dada, creo que básicamente estoy tratando de entender cómo debería ser este segundo paso:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

¿Cómo calculo la media y la varianza correlacionadas? Pero quiero confirmar que ese es realmente el problema relevante aquí.
¿Necesito recurrir a la manipulación matricial? ¿O tengo algo más muy mal en mi enfoque básico de este problema?

— Joseph Weissman
fuente

1

No estoy seguro de que te entiendo correctamente, pero no tienes que calcular "media y varianza correlacionadas". Si está asumiendo que las variables son bivariadas normales, debería ser suficiente para especificar las medias y variaciones individuales y la correlación. ¿Hay algún software en particular que quieras usar para esto?

— mark999

3

Las siguientes Q están estrechamente relacionadas y serán de interés: ¿Cómo definir una distribución tal que se extraiga de ella se correlacione con un sorteo de otra distribución especificada previamente? & Generar una variable aleatoria con una correlación definida con una variable existente .

— gung - Restablece a Monica

1

Además: ¿Cómo puedo generar datos con una matriz de correlación preespecificada?

— gung - Restablecer Monica

44

Para responder a su pregunta sobre "una forma buena, idealmente rápida, de generar números aleatorios correlacionados": Dada una matriz varianza-covarianza deseada que es, por definición, positiva definida, la descomposición de Cholesky es: = ; siendo matriz triangular inferior. $C$ $C$ $LL^T$ $L$

Si ahora usa esta matriz para proyectar un vector variable aleatorio no correlacionado , la proyección resultante será la de las variables aleatorias correlacionadas. $L$ $X$ $Y = LX$

Puede encontrar una explicación concisa de por qué sucede esto aquí .

— usεr11852 dice Reinstate Monic
fuente

¡Gracias! Esto fue de gran ayuda. Creo que al menos tengo una mejor idea de lo que necesito mirar a continuación.

— Joseph Weissman

77

¿Este método se aplica solo a las distribuciones gaussianas (como se especifica en la pregunta), o puede usarse para generar variables correlacionadas que siguen a otras distribuciones? Si no es así, ¿conoce algún método que pueda usarse en ese caso?

— user000001

1

@ Michael: Sí. Dicho esto, dado que

es una matriz de covarianza válida, la descomposición de Cholesky es la forma más rápida. También puede obtener la matriz

raíz cuadrada (simétrica) de

usando SVD (entonces

, donde

de

) pero eso sería más costoso también.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852 dice Reinstate Monic el

1

@ Michael: Por supuesto. Su covarianza será (aproximadamente) la misma, no los números en sí.

— usεr11852 dice Reinstate Monic el

1

@Sid: cualquier distribución continua no admitida en toda la línea real fallará inmediatamente. Por ejemplo, si usamos un uniforme

no podemos garantizar que los "números correlacionados" estarán en

; de manera similar para un Poisson terminaremos con números no discretos. Además, cualquier distribución donde la suma de las distribuciones no sea la misma distribución (por ejemplo, la suma de la distribución

no da como resultado

distribuciones) también fallará. En todos los casos mencionados, los números producidos se correlacionarán de acuerdo con la

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$ pero no se corresponderán con la distribución que comenzamos.

— usεr11852 dice Reinstate Monic

36

+1 a @ user11852 y @ jem77bfp, estas son buenas respuestas. Permítanme abordar esto desde una perspectiva diferente, no porque piense que es necesariamente mejor en la práctica , sino porque creo que es instructivo. Aquí hay algunos hechos relevantes que ya conocemos:

es la pendiente de la línea de regresión cuando e estánestandarizados, es decir, , $r$ $X$ $Y$ $\mathcal N(0,1)$
$r^2$ $Y$ $X$

(también, de las reglas para las variaciones ):
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

$r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ $a$ $1-r^2$ $x_i$ $e_i$ $v_e$ $y_i$

Si desea hacer esto en R, el siguiente código podría funcionar para usted:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

$0$

Nuevamente, esto, en su forma más simple, solo le permite generar un par de variables correlacionadas (esto podría ampliarse, pero se vuelve feo rápido), y ciertamente no es la forma más conveniente de hacer el trabajo. En R, desearía usar ? Mvrnorm en el paquete MASS , tanto porque es más fácil como porque puede generar muchas variables con una matriz de correlación de población dada. No obstante, creo que vale la pena haber recorrido este proceso para ver cómo se desarrollan algunos principios básicos de una manera simple.

— gung - Restablece a Monica
fuente

Este enfoque esencialmente regresivo es particularmente agradable al permitir que uno genere una Y aleatoria correlacionada con cualquier número de "predictores" X existentes . ¿Estoy en lo cierto?

— ttnphns

Depende exactamente de qué patrón de correlaciones entre las variables que desee, @ttnphns. Puede repetir esto uno tras otro, pero sería tedioso. Para crear muchas variables correlacionadas con un patrón dado, es mejor usar la descomposición de Cholesky.

— gung - Restablece a Monica

Gung, ¿sabes cómo usar Cholesky para generar una Y correlacionada (aproximadamente, como en tu método) de acuerdo con un vector de correlaciones con varias X existentes (no simuladas)?

— ttnphns

@ttnphns, ¿desea generar una sola Y con una correlación de población dada con un conjunto de X, no un conjunto de variables p que todas tengan correlaciones de población previamente especificadas? Una manera simple sería escribir una ecuación de regresión para generar un solo sombrero Y a partir de sus X, luego usar el método anterior para generar Y como correlato de su sombrero Y. Puede hacer una nueva pregunta al respecto, si lo desea.

— gung - Reinstale a Monica

1

Esto es lo que quise decir en mi comentario inicial: este método sería una extensión directa de lo que hablas en tu respuesta: esencialmente un método regresivo (Hat).

— ttnphns

16

En general, esto no es algo simple de hacer, pero creo que hay paquetes para la generación de variables normales multivariadas (al menos en R, ver mvrnormen el MASSpaquete), donde simplemente ingresas una matriz de covarianza y un vector medio.

$(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

$F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

$\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Si no comprende el significado de conectar una variable uniforme en una función de distribución de probabilidad inversa, intente hacer un bosquejo del caso univariado y luego recuerde cuál es la interpretación geométrica de la función inversa.

— jem77bfp
fuente

¡Idea inteligente! Tiene un atractivo intuitivo simple. Pero sí parece caro computacionalmente.

— MichaelChirico

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

1

Si está listo para renunciar a la eficiencia, puede usar un alogoritmo desechable. Su ventaja es que permite cualquier tipo de distribución (no solo gaussiana).

$\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

$c_{old}=corr(\{x_i\},\{y_i\})$

$n_1$ $n_2: 1 \leq n_{1,2} \leq N$

$x_{n_1}$ $x_{n_2}$

$c_{new}=corr( \{x_i\},\{y_i\})$

$|C-c_{new}| < |C-c_{old}|$

$|C-c| < \epsilon$

${x_i}$

¡Buena suerte!

— F. Jatpil
fuente

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$