Ajuste de hiperparámetros en la regresión del proceso gaussiano

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

La derivada parcial de los parámetros wrt de probabilidad marginal logarítmica está dada por los siguientes

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

Como las entradas de dependen de los parámetros, también lo hacen los derivados y inversa de . Esto significa que, cuando se emplea un optimizador basado en gradiente, la evaluación del gradiente en un punto dado (valor del parámetro) requerirá un nuevo cálculo de la matriz de covarianza. En mi aplicación, esto no es factible porque calcular la matriz de covarianza desde cero y calcular su inverso en cada iteración del ascenso de gradiente es demasiado costoso. Mi pregunta es ¿cuáles son mis opciones para encontrar una combinación bastante buena de estos tres parámetros? y tampoco sé qué parámetro optimizar primero y agradecería cualquier puntero sobre este tema también. $K$ $K$

— bfaskiplar
fuente

He tenido éxito usando HMC para muestrear hiperparámetros GP para conjuntos de datos de tamaño modesto.

— Sycorax dice Reinstate Monica

Hola @Sycorax, ¿podría decirnos cómo utilizó esta técnica para resolver este problema? Tengo el mismo problema que el OP preguntó y he estado pensando en usar MCMC para resolverlo, pero aún no sé cómo hacerlo.

— Willian Fuks

Acabo de codificar el GP en Stan. Los hiperparámetros GP fueron declarados como parámetros del modelo e inferidos en consecuencia. Esto generó un conjunto de predicciones para cada iteración de HMC. Gelman ilustra cómo funciona todo esto en BDA3.

— Sycorax dice Reinstate Monica

Tiene razón en que necesita un nuevo cálculo de matriz de covarianza en cada iteración del ascenso de gradiente. Entonces, si el cálculo de la matriz no es factible para su configuración, entonces, creo, no puede usar la optimización de probabilidad marginal basada en gradiente.

Mi sugerencia es utilizar métodos sin gradiente para el ajuste de hiperparámetros, como la búsqueda de cuadrícula, la búsqueda aleatoria o la búsqueda basada en la optimización bayesiana . Estos métodos son ampliamente utilizados para la optimización de hiperparámetros de otros algoritmos de aprendizaje automático, por ejemplo, SVM.

Sugiero la búsqueda de cuadrícula para su primer intento. Básicamente, forma una tabla (cuadrícula) de posibles hiperparámetros, prueba cada uno y busca el mejor rendimiento de validación (o la mejor probabilidad marginal).

La búsqueda de cuadrícula produciría un conjunto subóptimo de hiperparámetros, y usted debe especificar la cuadrícula usted mismo (consejo: haga la cuadrícula en una escala logarítmica) pero se necesita mucho menos cálculo. (¡y no necesitas gradiente!)

Si no está familiarizado con la búsqueda de cuadrícula, puede buscar Wikipedia: Optimización de hiperparámetros - Búsqueda de cuadrícula

— Sangwoong Yoon
fuente