Tu preguntaste:
en el caso donde 𝑛 es 10 de millones, ¿sigue funcionando la regresión del proceso gaussiano?
No en el sentido estándar de construir e invertir una matriz grande. Tiene dos opciones: 1) elegir un modelo diferente o 2) hacer una aproximación.
1) Algunos modelos basados en GP se pueden escalar a conjuntos de datos muy grandes, como la máquina del comité bayesiano vinculada en la respuesta anterior. Sin embargo, este enfoque me parece bastante insatisfactorio: hay buenas razones para elegir un modelo GP, y si vamos a cambiar a un modelo más computable, es posible que no conservemos las propiedades del modelo original. Las variaciones predictivas del BCM dependen en gran medida de la división de datos, por ejemplo.
2) El enfoque 'clásico' de aproximación en GP es aproximar la matriz del núcleo. Aquí hay una buena revisión de este tipo de métodos: http://www.jmlr.org/papers/volume6/quinonero-candela05a/quinonero-candela05a.pdf . De hecho, generalmente podemos ver estas aproximaciones matriciales como aproximaciones del modelo, y agruparlas con la máquina del comité bayesiano: son cambios en el modelo y puede ser difícil entender cuándo esos cambios pueden ser patológicos. Aquí hay una súper revisión: https://papers.nips.cc/paper/6477-understanding-probabilistic-sparse-gaussian-process-approximations.pdf
La forma en que abogo por hacer aproximaciones para GP grandes es evitar aproximar la matriz del núcleo o el modelo, y aproximar la distribución posterior usando inferencia variacional. Muchos de los cálculos parecen una aproximación matricial de 'rango bajo', pero hay una propiedad muy deseable: cuanto más cómputo use (más "rangos"), más cercana será la aproximación a la parte posterior verdadera, medida por el KL divergencia.
Estos artículos son un buen punto de partida: http://proceedings.mlr.press/v5/titsias09a/titsias09a.pdf
https://arxiv.org/pdf/1309.6835
Escribí un artículo más largo sobre el mismo argumento aquí: https://www.prowler.io/blog/sparse-gps-approximate-the-posterior-not-the-model
En la práctica, la aproximación variacional funciona realmente bien en muchos casos. Lo he usado ampliamente en aplicaciones reales. Y más recientemente ha habido una excelente teoría para respaldar por qué debería funcionar ( https://arxiv.org/abs/1903.03571 ).
Un complemento final: la inferencia variacional en GP se implementa en gpflow ( https://github.com/GPflow/GPflow )