Confusión relacionada con la distribución predictiva de procesos gaussianos

8

Tengo esta confusión relacionada con la distribución predictiva del proceso gaussiano. Estaba leyendo este papel

ingrese la descripción de la imagen aquí

No entendí cómo la integración dio ese resultado. ¿Qué es P (u * | x *, u)? Además, ¿cómo es que la covarianza de la distribución posterior es $\sigma^2(\sigma^2I+K)^{-1}K$

regression normal-distribution gaussian-process

— usuario34790
fuente

+1, tengo casi el mismo problema. Después de buscar en la web, encontré algo más confuso. Vea las notas de esta conferencia de Rasmussen, videolectures.net/site/normal_dl/tag=12546/… . Presta atención a la página 15.

— aguacate

4

$P(u*|x*,u) ~ N(u(x*)$ , ), directamente desde la definición de . $\sigma^2$ $u*$

Tenga en cuenta que la integración de dos pdf gaussianos está normalizada. Se puede demostrar por el hecho de que

\int_{- \infty}^{\infty} PAGS ({tu}^{*} El | X^{*}, tu) re {tu}^{*} = \int_{- \infty}^{\infty} \int_{tu} PAGS ({tu}^{*} El | X^{*}, tu) PAGS (tu El | s) re tu re {tu}^{*} = \int_{tu} PAGS (tu El | s) \int_{- \infty}^{\infty} PAGS ({tu}^{*} El | X^{*}, tu) re {tu}^{*} re tu = \int_{tu} PAGS (tu El | s) \int_{- \infty}^{\infty} norte ({tu}^{*} - tu (X *); 0 0, σ^{2}) re {tu}^{*} re tu = \int_{tu} PAGS (tu El | s) re tu \int_{- \infty}^{\infty} norte ({tu}^{*}; 0 0, σ^{2}) re {tu}^{*} = 1

$\int_{-\infty}^{\infty}P(u^*|x^*, u)du^* =\int_{-\infty}^{\infty}\int_{u}P(u^*|x^*, u)P(u|s)dudu^* =\int_{u}P(u|s)\int_{-\infty}^{\infty}P(u^*|x^*, u)du^*du =\int_{u}P(u|s)\int_{-\infty}^{\infty}N(u^*-u(x*); 0, \sigma^2)du^*du =\int_{u}P(u|s)du\int_{-\infty}^{\infty}N(u^*; 0, \sigma^2)du^* =1$

Con la normalización fuera del camino,

$\int_{u}P(u^*|x^*, u)P(u|s)du$ está integrado por los siguientes consejos:

Sustituya el 2 pdf normal en la ecuación y elimine los términos independientes de , como ya hemos mostrado normalización. $u$
Usando el truco de completar el cuadrado para integrar exponencial multivariante, es decir, construir un pdf normal multivariado con los términos exponenciales restantes. Consulte este video de YouTube .
Eventualmente te queda un exponencial en términos de , se puede observar que este es nuevamente un factor alejado de un pdf normal. Nuevamente, la prueba de normalización nos da la confianza de que la forma final es de hecho un pdf normal. El pdf es el mismo que figura en la publicación original. $u^*$

— Ruohan Wang
fuente

1

Esta debería ser la respuesta aceptada, ya que en realidad responde a la pregunta.

— Michael

2

Las derivaciones detalladas de las ecuaciones para la distribución condicional de un proceso gaussiano se pueden encontrar en el capítulo 2 y el apéndice A del libro [Rasmussen2005].

Eche un vistazo a (Ec. 2.23, 2.24) y superiores, que se basan en las identidades gaussianas (A.6) y la propiedad de la matriz (A.11).

[Rasmussen2005] CE Rasmussen y C. Williams. Procesos gaussianos para el aprendizaje automático . MIT Press, 2005.

— Emile
fuente

Tengo el mismo problema que el OP, y tengo que decir que no descubrí las derivaciones detalladas en el libro GPML. Y me confundí aún más después de leer las notas de la conferencia que publiqué en el comentario anterior. En esas notas, la posterior dada por Rasmussen es diferente de la de la ecuación de OP . Hice la derivación yo mismo, y estoy de acuerdo en que la posterior sea la misma que la ecuación , incluso creo que las notas de la conferencia de Rasmussen podrían estar equivocadas en este punto. Si me pierdo algo o me equivoco, corrígeme. Y espero que puedas dar más detalles sobre la derivación.

p (u | S)

$p(u|S)$

(5)

$(5)$

p (u | S)

$p(u|S)$

(5)

$(5)$

— aguacate

Esto no responde a las preguntas.

— Explosión de Nathan el

@avocado Me doy cuenta de que esto lleva muchos años de retraso, pero en caso de que esto pueda ayudarlo a usted (o a cualquier otra persona que venga), tenga en cuenta que es exactamente igual a , así como a . Por lo tanto, la parte posterior es la misma que la ecuación de OP (5) y como se da en las notas de clase de Rasmussen, simplemente se expresan de manera diferente.

K - K (K + σ^{2} I)^{- 1} K

$K - K(K + \sigma^2 I)^{-1}K$

σ^{2} (K + σ^{2} I)^{- 1} K

$\sigma^2 (K + \sigma^2 I)^{-1} K$

σ^{2} I - σ^{2} I (K + σ^{2} I)^{- 1} σ^{2} I

$\sigma^2 I - \sigma^2 I (K + \sigma^2 I)^{-1} \sigma^2 I$

— Duckmayr