Técnica de rastreo aleatorio

10

Conocí la siguiente técnica de rastreo aleatorio en M. Seeger, "Actualizaciones de bajo rango para la descomposición de Cholesky", Universidad de California en Berkeley, Tech. Representante, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

donde . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Como una persona sin profundos antecedentes matemáticos, me pregunto cómo se puede lograr esta igualdad. Además, ¿cómo podemos interpretar , por ejemplo geométricamente? ¿Dónde debo mirar para comprender el significado de tomar el producto interno de un vector y su valor de rango? ¿Por qué la media es igual a la suma de los valores propios? Además de la propiedad teórica, ¿cuál es su importancia práctica? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

He escrito un fragmento de código MATLAB para ver si funciona

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

La traza es 15 donde la aproximación es 14.9696.

normal-distribution matlab

— petrichor
fuente

12

Nota: El resultado indicado no depende de ningún supuesto de normalidad o incluso independencia de las coordenadas de . Tampoco depende de que sea positivo definido. De hecho, suponga solo que las coordenadas de tienen media cero, varianza de uno y no están correlacionadas (pero no necesariamente independientes); es decir, , y para todo . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Enfoque de manos desnudas

Sea una matriz arbitraria . Por definición . Entonces, y así hemos terminado. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

En caso de que no sea bastante obvio, tenga en cuenta que el lado derecho, por linealidad de expectativa, es

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Prueba a través de propiedades de rastreo

Hay otra forma de escribir esto que es sugerente, pero que se basa conceptualmente en herramientas ligeramente más avanzadas. Necesitamos que tanto la expectativa como el operador de rastreo sean lineales y que, para cualquiera de las dos matrices y de dimensiones apropiadas, . Entonces, dado que , tenemos y así, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Formas cuadráticas, productos internos y elipsoides.

Si es positivo definido, entonces un producto interno en se puede definir a través de y define un elipsoide en centrado en el origen. $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— cardenal
fuente

Es bastante confuso seguir las variables bold y mormalcase . Creo que son valores escalares. Entiendo más claramente cuando comienzo desde el formulario de expectativas como lo hiciste en la última parte. Entonces es muy claro para mí ahora.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— petrichor

x_{i}

$\mathbf{x}_i$ es la coordenada del vector . Los otros son simplemente errores tipográficos. Lo siento por eso. Intentaba seguir tu notación lo más de cerca posible. Normalmente usaría con como las coordenadas de la variable aleatoria . Pero, no quería confundir (potencialmente).

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— cardenal

En realidad, es consistente dentro de la respuesta. Solo quería asegurarme de que las variables con subíndice son los elementos del vector. Ahora esta claro.

— petrichor

Bueno, es consistente (ahora) ¡porque lo edité! :) Gracias por señalar los errores tipográficos. Intentaré agregar un poco más sobre la geometría en algún momento durante los próximos días.

— Cardenal

3

Si es simétrico positivo definido, entonces con ortonormal y diagonal con valores propios en la diagonal. Como tiene una matriz de covarianza de identidad y es ortonormal, también tiene una matriz de covarianza de identidad. Por lo tanto, escribiendo , tenemos . Como el operador de expectativa es lineal, esto es solo . Cada es chi-cuadrado con 1 grado de libertad, por lo que tiene el valor esperado 1. Por lo tanto, la expectativa es la suma de los valores propios. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

Geométricamente, las matrices simétricas positivas definidas están en correspondencia 1-1 con elipsoides, dada por la ecuación . Las longitudes de los ejes del elipsoide están dadas por donde son los valores propios. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

Cuando donde es la matriz de covarianza, este es el cuadrado de la distancia de Mahalanobis . $A = C^{-1}$ $C$

— aprokopiw
fuente

1

Permítanme abordar la parte de la pregunta "cuál es su importancia práctica". Hay muchas situaciones en las que tenemos la capacidad de los productos de la matriz de vectores de cómputo manera eficiente, incluso si no tenemos una copia almacenada de la matriz o no tienen suficiente capacidad de almacenamiento para guardar una copia de . Por ejemplo, podría tener un tamaño de 100,000 por 100,000 y ser completamente denso; requeriría 80 gigabytes de RAM para almacenar dicha matriz en formato de coma flotante de doble precisión. $Ax$ $A$ $A$ $A$

Algoritmos aleatorios de este tipo pueden ser utilizados para estimar la traza de o (usando un algoritmo relacionado) entradas diagonales individuales de . $A$ $A$

Algunas aplicaciones de esta técnica a problemas de inversión geofísica a gran escala se discuten en

JK MacCarthy, B. Borchers y RC Aster. Estimación eficiente estocástica de la diagonal de matriz de resolución del modelo y validación cruzada generalizada para grandes problemas geofísicos inversos. Journal of Geophysical Research, 116, B10304, 2011. Enlace al documento

— Brian Borchers
fuente

Me encontré con algoritmos aleatorios este semestre y me fascinaron con ellos. Déjame agregar otro buen artículo. Nathan Halko, Per-Gunnar Martinsson, Joel A. Tropp, "Encontrar estructura con aleatoriedad: algoritmos probabilísticos para construir descomposiciones de matriz aproximadas", 2010, arxiv.org/abs/0909.4061

— petrichor