Proceso gaussiano: propiedades de aproximación de funciones

Estoy aprendiendo sobre el Proceso Gaussiano y solo he escuchado fragmentos. Realmente agradecería comentarios y respuestas.

Para cualquier conjunto de datos, ¿es cierto que una aproximación de la función del Proceso Gaussiano daría un error de ajuste cero o insignificante en los puntos de datos? En otro lugar también escuché que el Proceso Gaussiano es particularmente bueno para datos ruidosos. ¿Esto parece estar en conflicto con el error de ajuste bajo para cualquier dato observado?

Además, más lejos de los puntos de datos parece haber más incertidumbre (covarianza mayor). Si es así, ¿se comporta como modelos locales (RBF, etc.)?

Finalmente, ¿hay alguna propiedad de aproximación universal?

gaussian-process

— oalah
fuente

Supongamos que la muestra de datos es . Supongamos también que tenemos una función de covarianza y una media cero especificada para un proceso gussiano. La distribución para un nuevo punto será gaussiana con media $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

metro (X) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$ y la varianza

El vector

es un vector de covarianzas, matriz

V (X) = k (X, X) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

es una matriz de covarianzas de muestra. En caso de que hagamos una predicción usando el valor medio de la distribución posterior para laspropiedades de interpolación demuestra. Realmente,

Pero, no es el caso si usamos regularización, es decir, incorporamos el término de ruido blanco. en este caso, la matriz de covarianza para la muestra tiene la forma

, pero para las covarianzas con valores de funciones reales tenemos la matriz de covarianza

, y la media posterior es

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

metro (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

Además, la regularización hace que el problema sea más estable computacionalmente.

metro (X) = K (K + σ yo)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

Al elegir la varianza de ruido podemos seleccionar si queremos interpolación ( ) o si queremos manejar observaciones ruidosas ( es grande). $\sigma$ $\sigma = 0$ $\sigma$

$k$ $O(n)$ $n$

— Alexey Zaytsev
fuente