¿Cómo asegurar las propiedades de la matriz de covarianza cuando se ajusta el modelo normal multivariado usando la máxima probabilidad?

Supongamos que tengo el siguiente modelo

donde $y_i\in \mathbb{R}^K$ , $x_i$ es un vector de variables explicativas, $\theta$ es los parámetros de la función no lineal $f$ y $\varepsilon_i\sim N(0,\Sigma)$ , donde $\Sigma$ naturalmente es $K\times K$ matriz.

El objetivo es el habitual para estimar $\theta$ y $\Sigma$ . La elección obvia es el método de máxima verosimilitud. Diario de probabilidad para este modelo (suponiendo que tenemos una muestra $(y_i,x_i),i=1,...,n$ ) se parece

Ahora, esto parece simple, se especifica la probabilidad de registro, se colocan datos y se usa algún algoritmo para la optimización no lineal. El problema es cómo garantizar que $\Sigma$ sea ​​positivo definido. Usar, por ejemplo, optimen R (o cualquier otro algoritmo de optimización no lineal) no me garantizará que $\Sigma$ sea ​​positivo definido.

Entonces, la pregunta es cómo garantizar que mantenga positivo definido. Veo dos posibles soluciones:$\Sigma$

1. Reparametrise como R R ′ donde R es una matriz triangular superior o simétrica. Entonces Σ siempre será positivo-definido y R puede estar sin restricciones.$\Sigma$$RR'$$R$$\Sigma$$R$

2. Usa la probabilidad de perfil. Derivar las fórmulas para θ ( Σ ) y Σ ( θ ) . Start con algunos θ 0 y iterate Σ j = Σ ( θ j - 1 ) , θ j = θ ( Σ j - 1 ) hasta la convergencia.$\hat\theta(\Sigma)$$\hat{\Sigma}(\theta)$$\theta_0$$\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$$\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$

¿Hay alguna otra manera y qué pasa con estos 2 enfoques, funcionarán, son estándar? Esto parece un problema bastante estándar, pero la búsqueda rápida no me dio ningún indicio. Sé que la estimación bayesiana también sería posible, pero por el momento no me gustaría participar en ella.

Suponiendo que al construir la matriz de covarianza, usted se está ocupando automáticamente del problema de simetría, su probabilidad de registro será cuando Σ no es definitivo positivo debido al término log d e t Σ en el modelo, ¿verdad? Para evitar un error numérico si d e t Σ < 0 , precalcularía d e t Σ y, si no es positivo, haría que la probabilidad de registro sea igual -Inf, de lo contrario, continúe. De todos modos, debe calcular el determinante, por lo que esto no le está costando ningún cálculo adicional. $-\infty$$\Sigma$$\log {\rm det} \ \Sigma$${\rm det} \ \Sigma < 0$${\rm det} \ \Sigma$

Como resultado, puede usar la máxima probabilidad de perfil para garantizar las propiedades necesarias. Se puede demostrar que para determinado θ , l ( θ , Σ ) se maximiza$\hat\theta$$l(\hat\theta,\Sigma)$

dónde

Entonces es posible demostrar que

por lo tanto solo necesitamos maximizar

Naturally in this case $\Sigma$ will satisfy all the necessary properties. The proofs are identical for the case when $f$ is linear which can be found in Time Series Analysis by J. D. Hamilton page 295, hence I omitted them.

An alternative parameterization for the covariance matrix is in terms of eigenvalues $\lambda_1,...,\lambda_p$ and $p(p-1)/2$ "Givens" angles $\theta_ij$.

That is, we can write

where $G$ is orthonormal, and

$\lambda_1 \geq ... \geq \lambda_p \geq 0$

$G$$p(p-1)/2$ angles, $\theta_{ij}$, where $i = 1,2,...,p-1$ and $j = i, ..., p-1$.[1]

(details to be added)

[1]: Hoffman, Raffenetti, Ruedenberg. "Generalization of Euler Angles to N‐Dimensional Orthogonal Matrices". J. Math. Phys. 13, 528 (1972)

Along the lines of charles.y.zheng's solution, you may wish to model $\Sigma = \Lambda + C C^{\top}$, where $\Lambda$ is a diagonal matrix, and $C$ is a Cholesky factorization of a rank update to $\Lambda$. You only then need to keep the diagonal of $\Lambda$ positive to keep $\Sigma$ positive definite. That is, you should estimate the diagonal of $\Lambda$ and the elements of $C$ instead of estimating $\Sigma$.