Completar una matriz de correlación 3x3: dos coeficientes de los tres dados

20

Me hicieron esta pregunta en una entrevista.

Digamos que tenemos una matriz de correlación de la forma

[\begin{matrix} 1 & 0.6 & 0.8 \\ 0.6 & 1 & γ \\ 0.8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Me pidieron que encontrara el valor de gamma, dada esta matriz de correlación.
Pensé que podría hacer algo con los valores propios, ya que todos deberían ser mayores o iguales a 0. (La matriz debería ser semidefinida positiva), pero no creo que este enfoque arroje la respuesta. Me estoy perdiendo un truco.

¿Podría dar una pista para resolver lo mismo?

pearson-r correlation-matrix

— principiante
fuente

Los comentarios no son para discusión extendida; Esta conversación se ha movido al chat .

— whuber

1

Una búsqueda en este sitio condujo directamente a uno de (varios) hilos que contienen fórmulas relevantes: stats.stackexchange.com/questions/5747 . También hay algunas tramas útiles en la respuesta de felix s .

— whuber

21

Ya sabemos que está delimitado entre La matriz de correlación debe ser semidefinida positiva y, por lo tanto, sus principales menores no deben ser negativos. $\gamma$ $[-1,1]$

Por lo tanto,

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— derechos
fuente

44

@novice Es posible que desee leer sobre el Criterio de Sylvester

— derechos de autor

Gran respuesta. Agregaría lo siguiente: La forma popular de obtener gamma es intentar encontrar la gamma que conduzca a la matriz de correlación de la norma nuclear más pequeña (también conocida como norma ky-fan) posible mientras se resuelven las ecuaciones anteriores. Para obtener más información, busque "terminación de matriz", "detección de compresión" o consulte este informe sobre el tema bit.ly/2iwY1nW .

— Mustafa S Eisa

1

Para que esto sea una prueba, necesita un resultado en la otra dirección: si todos los menores líderes no triviales son y la matriz tiene determinante , entonces la matriz es semidefinida positiva.

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni

10

Aquí hay una solución más simple (y quizás más intuitiva):

Piense en la covarianza como un producto interno sobre un espacio vectorial abstracto . A continuación, las entradas de la matriz de correlación son para los vectores , , , en el que el soporte en ángulo denota el ángulo entre y . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

No es difícil imaginar que está delimitada por . El límite en su coseno ( ) es por lo tanto . La trigonometría básica da $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Editar: Tenga en cuenta que el en la última línea es realmente - la segunda aparición de 0.6 y 0.8 ocurre por coincidencia gracias a $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ .

— yangle
fuente

1

+1, un razonamiento geométrico legítimo (no obstante, no verifiqué tus cálculos). Esto es exactamente lo que he propuesto en los comentarios a la pregunta (desafortunadamente, todos los comentarios fueron movidos por el moderador para chatear, vea el enlace de arriba).

— ttnphns

Me parece que has "probado" que todas las correlaciones deben ser no negativas, porque parece que tu cálculo siempre dará cero para el límite inferior. Si ese no es el caso, ¿podría explicar cómo funciona su cálculo en general? Realmente no confío, o tal vez no entiendo, su límite, porque en tres o más dimensiones siempre puede encontrar un

para el cual

y luego su límite implica

es siempre cero! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@whuber: Perdón por la confusión. El cálculo no siempre da cero para el límite inferior. He modificado mi respuesta.

— yangle

¿Cómo responde a mi última preocupación? Parece indicar que tus límites son incorrectos.

— whuber

@whuber: En su caso, ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, de ahí el límite | ⟨v1, v2⟩ ± ⟨v1, v3⟩ | es [0, π] como se esperaba. El enlace cos⟨v1, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ en γ también resulta ser [-1, 1].

— yangle

4

Esto es lo que quise decir en mi comentario inicial a la respuesta y lo que percibo que @yangle podría estar hablando (aunque no seguí / verifiqué su cálculo).

"La matriz debe ser semidefinida positiva" implica que los vectores variables son un grupo en el espacio euclidiano. El caso de la matriz de correlación es más fácil que la matriz de covarianza porque las tres longitudes de los vectores están fijadas en 1. Imagine 3 vectores unitarios XYZ y recuerde que es el coseno del ángulo . Entonces, , y . ¿Cuáles podrían ser los límites para $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? Esa correlación puede tomar cualquier valor definido por Z circunscribiendo sobre Y (manteniendo el ángulo con él): $r_{yz}=0.8$

A medida que gira, dos posiciones son notables como wrt X final, ambas son cuando Z cae en el plano XY. Uno está entre X e Y, y el otro está en el lado opuesto de Y. Estos se muestran mediante vectores azules y rojos. En ambas posiciones, exactamente la configuración XYZ (matriz de correlación) es singular. Y estos son el ángulo mínimo y máximo (de ahí la correlación) que Z puede alcanzar wrt X.

Al elegir la fórmula trigonométrica para calcular la suma o diferencia de ángulos en un plano, tenemos:

como los límites. $\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

Esta vista geométrica es solo otra (y un caso específico y más simple en 3D) sobre lo que @rightskewed expresó en términos algebraicos (menores, etc.).

— ttnphns
fuente

Si X, Y, Z son variables aleatorias, ¿cómo se asignan a los vectores en el espacio 3d (solo pueden ser vectores en el espacio 1d). Además, si los RV son Nx1, ¿serán vectores en el espacio N dimensional?

— novicio

@novice Sí, inicialmente son 3 vectores en el espacio Nd, pero solo 3 dimensiones no son redundantes. Siga el segundo enlace en la respuesta y lea más referencias allí al espacio temático donde se explica.

— ttnphns

4

Jugar con menores principales puede estar bien en problemas de 3 por 3 o tal vez de 4 por 4, pero se queda sin gasolina y estabilidad numérica en dimensiones más altas.

Para un único problema de parámetro "libre" como este, es fácil ver que el conjunto de todos los valores que forman la matriz psd será un intervalo único. Por lo tanto, es suficiente encontrar el mínimo y el máximo de tales valores. Esto se puede lograr fácilmente resolviendo numéricamente un par de problemas de programación SemiDefinite lineal (SDP):

minimizar γ sujeto a matriz es psd.
maximizar γ sujeto a matriz es psd.

Por ejemplo, estos problemas pueden formularse y resolverse numéricamente utilizando YALMIP en MATLAB.

gamma = sdpvar; A = [1 .6 .8; .6 1 gamma; .8 gamma 1]; optimizar (A> = 0, gamma)
optimizar (A> = 0, -gamma)

Rápido, fácil y confiable.

Por cierto, si el entrevistador de smarty pants que hace la pregunta no sabe que la Programación SemiDefinite, que está bien desarrollada y tiene optimizadores numéricos sofisticados y fáciles de usar para resolver problemas prácticos de manera confiable, puede usarse para resolver este problema, y muchos más. variantes difíciles, dígale que esto ya no es 1870, y es hora de aprovechar los desarrollos computacionales modernos.

— Mark L. Stone
fuente

4

Consideremos el siguiente conjunto convexo

{(x, y, z) \in R^{3} : [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

$3$

$x=0.6$ $y=0.8$

El límite del eliptograma es una superficie cúbica definida por

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

$x=0.6$ $y=0.8$

0.96 z - z^{2} = z (0.96 - z) = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Por lo tanto, la intersección del eliptograma con los dos planos es el segmento de línea parametrizado por

{(0.6, 0.8, t) ∣ 0 \leq t \leq 0.96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Rodrigo de Azevedo
fuente

1

Toda matriz semi-definida positiva es una matriz de correlación / covarianza (y viceversa).

$A$ $A$ $A=UDU^T$ $U$ $D$ $B= U D^{1/2} U^T$ $D^{1/2}$

$\mathbf{x}$ $B \mathbf{x}$ $A$

$R=E[\mathbf{x}\mathbf{x}^T]$ $R = R^T$ $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ so the Rayleigh quotient is non-negative for any non-zero $\mathbf{a}$ so $R$ is positive semi-definite.

Now, noting that a symmetric matrix is positive semi-definite if and only if its eigenvalues are non-negative, we see that your original approach would work: calculate the characteristic polynomial, look at its roots to see if they are non-negative. Note that testing for positive definiteness is easy with Sylvester's Criterion (as mentioned in another answer's comment; a matrix is positive definite if and only if the principal minors all have positive determinant); there are extensions for semidefinite (all minors have non-negative determinant), but you have to check $2^n$ minors in this case, versus just $n$ for positive definite.

— Batman
fuente