Regresión incremental del proceso gaussiano

Quiero implementar una regresión incremental del proceso gaussiano usando una ventana deslizante sobre los puntos de datos que llega uno por uno a través de una secuencia.

Deje denotar la dimensionalidad del espacio de entrada. Entonces, cada punto de datos x i tiene d número de elementos.$d$$x_i$$d$

Sea el tamaño de la ventana deslizante.$n$

Para hacer predicciones, necesito calcular el inverso de la matriz de gramo , donde K i j = k ( x i , x j ) yk es el núcleo exponencial cuadrado.$K$$K_{ij} = k(x_i, x_j)$

Para evitar que K se agrande con cada nuevo punto de datos, pensé que podría eliminar el punto de datos más antiguo antes de agregar nuevos puntos y así evitaré que el gramo crezca. Por ejemplo, sea donde Σ es la covarianza de los pesos y φ es la función de mapeo implícito que implica el cuadrado exponencial kernel.$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

Ahora dejemos que ] y X n e w = [ x t - n + 2 | . . . El | x t | x t + 1 ] donde x 's son d por matrices de 1 columna.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Necesito una manera eficaz de encontrar el potencialmente usando K . Esto no parece ser el inverso de un problema de matriz actualizado de rango 1 que puede tratarse eficientemente con la fórmula de Sherman-Morrison.$K_{new}^{-1}$$K$

Ha habido varios algoritmos recursivos para hacer esto. Debe echar un vistazo al algoritmo de mínimos cuadrados recursivos del núcleo (KRLS) y los algoritmos GP en línea relacionados.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. y Principe, JC (2010). Kernel de presupuesto fijo de mínimos cuadrados recursivos . In Acoustics Speech and Signal Processing (ICASSP), 2010 IEEE International Conference on, páginas 1882-1885. IEEE
• Lazaro-Gredilla, M., Van Vaerenbergh, S. y Santamaria, I. (2011). Un enfoque bayesiano para el seguimiento con kernel de mínimos cuadrados recursivos . En Machine Learning for Signal Processing (MLSP), Taller Internacional IEEE 2011 en, páginas 1-6. IEEE
• Pérez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M. y Santamaria, I. (2013). Procesos gaussianos para el procesamiento de señales no lineales: una visión general de los avances recientes . IEEE Signal Processing Magazine, 30 (4): 40-50.

La estimación gradual de los modelos GP está bien estudiada en la literatura. La idea subyacente es, en lugar de condicionar todas las nuevas observaciones que desea predecir, condicionar en el punto de avance de un paso y hacerlo repetidamente. Esto se acerca de alguna manera al filtrado de Kalman.