Es esto correcto ? (generando un Truncated-norm-multivariate-Gaussian)

Si es decir, $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Quiero una versión análoga de una distribución normal truncada en un caso multivariante.

Más precisamente, quiero generar una norma restringida (a un valor $\geq a$ ) Gaussiano multivariante $Y$ st

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ donde $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Ahora observo lo siguiente:

Si $x=(x_1,x_2,\ldots,x_n)$ , $||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Por lo tanto, al elegir $x_1,\ldots,x_{n-1}$ como muestras gaussianas, se puede restringir $x_n$ como muestra fuera de una distribución de distribución normal truncada (siguiendo una cola gaussiana $\geq T$ ) $\mathcal{N}_T(0,\sigma^2)$ , excepto por su signo elegido al azar con probabilidad $1/2$ .

Ahora mi pregunta es esta,

Si genero cada muestra de vector $(x_1,\ldots,x_n)$ de $(X_1,\ldots,X_n)$ como,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

y

$x_n = Z_1 *Z_2~$ donde, , , (es decir, un RV truncada-escalar-normal con$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

¿Será un gaussiano multivariado con restricción de norma ( )? (es decir, igual que definido anteriormente). ¿Cómo debo verificar? ¿Alguna otra sugerencia si este no es el camino?$(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

EDITAR:

Aquí hay un diagrama de dispersión de los puntos en caso 2D con la norma truncada a valores superiores a "1"

Nota: Hay algunas respuestas excelentes a continuación, pero falta la justificación de por qué esta propuesta es incorrecta. De hecho, ese es el punto principal de esta pregunta.

La distribución normal multivariada de es esféricamente simétrica. La distribución que busca trunca el radio continuación en . Debido a que este criterio depende solo de la longitud de , la distribución truncada permanece esféricamente simétrica. Como es independiente del ángulo esféricoy tiene un de distribución , por lo tanto, se puede generar valores de la distribución truncada en tan sólo unos sencillos pasos:$X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$$\rho\,\sigma$$\chi(n)$

1. Genere .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Genere como la raíz cuadrada de una truncada en .$P$$\chi^2(d)$$(a/\sigma)^2$

3. Deje.$Y = \sigma P\, X/||X||$

En el paso 1, se obtiene como una secuencia de realizaciones independientes de una variable normal estándar.$X$$d$

En el paso 2, se genera fácilmente invirtiendo la función cuantil de una : genera una variable uniforme soportada en el rango (de cuantiles) entre y y establezca .$P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Aquí hay un histograma de tales realizaciones independientes de para en dimensiones, truncadas a continuación en . Se tardó aproximadamente un segundo en generar, lo que demuestra la eficacia del algoritmo.$10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

La curva roja es la densidad de una truncada de escalada por . Su estrecha coincidencia con el histograma es evidencia de la validez de esta técnica.$\chi(11)$$\sigma=3$

Para obtener una intuición para el truncamiento, considere el caso , en dimensiones. Aquí hay un diagrama de dispersión de contra (para realizaciones independientes). Muestra claramente el agujero en el radio :$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Finalmente, tenga en cuenta que (1) los componentes deben tener distribuciones idénticas (debido a la simetría esférica) y (2) excepto cuando , esa distribución común no es Normal. De hecho, como crece grande, la rápida disminución de la (univariado) distribución Normal causa la mayoría de la probabilidad de que la multivariable esférica truncada normal a agruparse cerca de la superficie de la -sphere (de radio de ). Por lo tanto, la distribución marginal debe aproximarse a una distribución Beta simétrica a escala concentrada en el intervalo . Esto es evidente en el diagrama de dispersión anterior, donde$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$ya es grande en dos dimensiones: los puntos forman un anillo (una esfera ) de radio .$2-1$$3\sigma$

Aquí hay histogramas de las distribuciones marginales de una simulación de tamaño en dimensiones con , (para el cual la distribución aproximada de Beta es uniforme):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Como los primeros marginales del procedimiento descrito en la pregunta son normales (por construcción), ese procedimiento no puede ser correcto.$n-1$

---

El siguiente Rcódigo generó la primera figura. Se construye a pasos paralelos 1-3 para la generación de . Fue modificada para generar la segunda cifra por variables cambiantes , , , y a continuación, emite el comando parcela después fue generado.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

La generación de se modifica en el código para una mayor resolución numérica: el código genera en realidad y usos que para calcular .$U$$1-U$$P$

La misma técnica de simular datos de acuerdo con un supuesto algoritmo, resumirlos con un histograma y superponer un histograma puede usarse para probar el método descrito en la pregunta. Confirmará que el método no funciona como se esperaba.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

He escrito esto asumiendo que no quieres ningún punto que tenga || y || > a, que es el análogo del truncamiento unidimensional habitual. Sin embargo, ha escrito que desea mantener puntos con | y || > = a y tirar a los demás. Sin embargo, el ajuste obvio a mi solución se puede hacer si realmente desea mantener los puntos que tienen | y || > = a.

La forma más directa, que resulta ser una técnica muy general, es utilizar el rechazo de aceptación https://en.wikipedia.org/wiki/Rejection_sampling . Será bastante rápido siempre que Prob (|| X ||> a) sea bastante bajo, porque entonces no habrá muchos rechazos.

Genere un valor de muestra x a partir de la Multivariada Normal sin restricciones (aunque su problema indique que la Multivariada Normal es esférica, la técnica se puede aplicar incluso si no lo es). Si || x || <= a, aceptar, es decir, usar x, de lo contrario rechazarlo y generar una nueva muestra. Repita este proceso hasta que tenga tantas muestras aceptadas como necesite. El efecto de aplicar este procedimiento es generar y tal que su densidad sea c * f_X (y), si || y || <= a, y 0 si || y || > a, según mi corrección a la parte inicial de su pregunta. Nunca necesitas calcular c; en efecto, el algoritmo lo determina automáticamente en función de la frecuencia con la que se rechazan las muestras.

Este es un buen intento, pero no funciona debido a la "constante de normalización": si considera la densidad de la junta la descomposición

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ que se integra a en , muestra que $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. La distribución condicional de dados los otros componentes, , es una distribución normal truncada;$X_n$$X_{-n}$
2. La distribución marginal de los otros componentes, , no es una distribución normal debido al término adicional ;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

La única forma en que puedo ver al aprovechar esta propiedad es ejecutar una muestra de Gibbs, un componente a la vez, utilizando las distribuciones condicionales normales truncadas.

La pregunta se origina en la idea de usar, la descomposición condicional básica de distribuciones conjuntas, para dibujar muestras de vectores.

Sea un gaussiano multivariante con componentes iid.$X$

Deje que e $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

El algoritmo en cuestión se propone en base a la siguiente factorización condicional (toda interpretación correcta pero engañosa):

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

La respuesta más corta es que el último factor no es un gaussiano truncado, (más importante) ni siquiera una distribución.

---

Aquí está la explicación detallada de por qué la factorización anterior tiene algún defecto fundamental. En una sola oración: cualquier factorización condicional de una distribución conjunta dada debe satisfacer algunas propiedades muy fundamentales, y la factorización anterior no las satisface (ver más abajo).

En general, si alguna vez factorizamos entonces es el marginal de y es la distribución condicional de . Lo que significa:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. El factor de "asumido como" debe ser una distribución. Y,$f(x,y)$$f_X(x)$
2. El segundo factor "asumido como" debe ser una distribución para cada elección de$f_{Y|X}(y|x)$$x$

En el ejemplo anterior, estamos tratando de condicionar como . Significa que la propiedad-1 debería ser válida para el factor gaussiano y la propiedad-2 debería ser válida para la última parte.$Y_n|(Y_1\ldots Y_{n-1})$

Está claro que la propiedad-1 se mantiene bien en el primer factor. Pero el problema es con la propiedad-2. ¡Desafortunadamente, el último factor anterior no es una distribución en absoluto (olvídate del gaussiano truncado) para casi cualquier valor de !!$(Y_1\ldots Y_{n-1})$

---

Tal propuesta de algoritmo es probablemente el resultado de la siguiente concepción errónea: una vez que una distribución se factoriza naturalmente a partir de una distribución conjunta (como las gaussianas de arriba), conduce a una factorización condicional. ---- No lo hace! ---- El otro (segundo) factor también debe ser bueno.

---

Nota: Hay una gran respuesta de @whuber anteriormente, que realmente resuelve el problema de generar una norma gaussiana trivacada multivariada. Estoy aceptando su respuesta. Esta respuesta es solo para aclarar y compartir mi propia comprensión y la génesis de la pregunta.