Subconjunto menos correlacionado de variables aleatorias de una matriz de correlación

Tengo una matriz de correlación $A$ , que obtuve usando el coeficiente de correlación lineal de Pearson a través de corrcoef de Matlab () . La matriz de correlación de dimensión 100x100, es decir, calculé la matriz de correlación en 100 variables aleatorias.

Entre estas 100 variables aleatorias, me gustaría encontrar las 10 variables aleatorias cuya matriz de correlación contiene la "pequeña correlación" posible (vea Cuantificar cuánta "más correlación" contiene una matriz de correlación A en comparación con una matriz de correlación B con respecto a las métricas para medir la correlación general en una matriz de correlación). Solo me importa la correlación por pares.

¿Existen buenos métodos para encontrar esas 10 variables aleatorias en un período de tiempo razonable (por ejemplo, no quiero probar combinaciones )? Los algoritmos de aproximación están bien.$\binom{100}{10}$

Consideremos la suma de correlaciones absolutas por pares como nuestra medida de elección. Por lo tanto, buscamos un vector con que minimizará donde.$v\in\{0,1\}^N$$l_1(v)=n$$v'Qv$$Q_{ij}=|A_{ij}|$

Suponga que Q también es positivo definido como A, el problema se reduce a resolver el problema de optimización cuadrática restringida:

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in\{0,1\}$$

Esto sugiere la siguiente relajación:

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in[0,1]$$

que se puede resolver fácilmente utilizando solucionadores estándar; entonces el resultado está dado por los componentes más grandes en .$n$$v^*$

Código de muestra de matlab:

N=100;
n=10;
% Generate random data
A=rand(N,1000);
C=corrcoef(A');
Q=abs((C+C')/2); % make sure it is symmetric
x = cplexqp(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
% If you don't use CPLEX, use matlab's default
% x = quadprog(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
assert(abs(sum(x)-n)<1e-10);
% Find the n largest values
I=sort(x); 
v=zeros(size(x)); v(x>I(N-n))=1; 
assert(abs(sum(v)-n)<1e-10);
% Make sure we do better than 10K random trials
for i=1:10000
   vc=zeros(size(x)); vc(randperm(N,n))=1;
   assert(sum(vc)==n, 'Wrong l0 norm');
   assert(vc'*Q*vc>v'*Q*v, 'Improves result');
end
% Show results
J=find(v==1);
fprintf('The optimal solution total off-diagonal correlations are %1.3f\n', v'*Q*v-n);
fprintf('The matrix:\n');
C(J,J)

Esto puede ser peor que la idea de agrupación jerárquica de @ ttnphns. Pero: acabo de pasar por un artículo que usa como una función objetivo submodular creciente:$\log \det(I + A)$

Vanchinathan, Marfurt, Robelin, Kossman y Krause. Descubriendo artículos valiosos de datos masivos . KDD 2015. ( doi , arXiv )

Si cree que es una medida razonable de "menos correlacionada", puede obtener un factor del conjunto óptimo simplemente eligiendo iterativamente el punto que maximiza eso. Esto se puede hacer de manera eficiente con la descomposición del bloque LU , donde es el vector de correlaciones con las entradas que ya están en la matriz:$1-1/e$$v$

$$\begin{align*} \det \begin{bmatrix} I+A & v \\ v^T & 2 \end{bmatrix} &= \det \left( \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \right) \\&= \det \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \det \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \det \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \\&= (2 - v^T (I+A)^{-1} v) \det (I+A) \end{align*}$$

y, por supuesto, debe calcular , donde es la factorización de Cholesky de y utilizando un solucionador triangular que es . Entonces, todo este proceso debería tomar tiempo para seleccionar de elementos, suponiendo que la matriz de correlación ya esté calculada .$v^T (I+A)^{-1} v = \lVert L^{-1} v \rVert^2$$L$$I + A$$O(n^2)$$O( \sum_{k=1}^n N k^2 + k^3) = O( N n^3 )$$n$$N$

No estoy seguro de entender completamente lo que quiere decir con "solo me importa la correlación por pares" , pero aquí hay algo que puede ayudar: use la inversión de su matriz de correlación. El término es igual a , donde es la x construida a partir de donde se han eliminado la -ésima columna y línea.$A^{-1}_{ii}$$det(A_{0_i}) / det(A)$$A_{0_i}$$(n-1)$$(n-1)$$A$$i$

Obtener el índice del coeficiente diagonal mínimo en le indica qué punto tiene la correlación más baja con el resto del conjunto.$A^{-1}$

Dependiendo de lo que realmente quiera hacer, puede tomar los 10 valores más bajos en la diagonal de la inversión u obtener el primero, luego calcular la inversión con el punto eliminado, y así sucesivamente.

Si esto no es lo que necesita, creo que este truco podría ser útil, pero no estoy seguro de cómo hacerlo.

Encuentra de elementos con la correlación por lo menos dos a dos: Desde una correlación de, por ejemplo explica de la relación entre dos series que tiene más sentido para minimizar la suma de los cuadrados de las correlaciones para su blanco elementos. Aquí está mi solución simple.$k$$n$$0.6$$0.36$$k$

Reescribe tu matriz de correlaciones en una matriz de cuadrados de correlaciones. Suma los cuadrados de cada columna. Eliminar la columna y la fila correspondiente con la mayor suma. Ahora tiene una matriz . Repita hasta que tenga una matriz . También podría mantener las columnas y las filas correspondientes con las sumas más pequeñas. La comparación de los métodos, he encontrado en una matriz con y que sólo dos elementos con cierre sumas se mantienen de manera diferente y eliminados.$n \times n$$(n−1)\times (n−1)$$k\times k$$k$$n=43$$k=20$