Preguntas etiquetadas con variational-bayes

¿Cómo funciona el truco de reparameterization para autoencoders variacionales (VAE)? ¿Existe una explicación intuitiva y fácil sin simplificar las matemáticas subyacentes? ¿Y por qué necesitamos el 'truco'?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Creo que tengo la idea general de VI y MCMC, incluidos los diversos sabores de MCMC, como el muestreo de Gibbs, Metropolis Hastings, etc. Este documento proporciona una exposición maravillosa de ambos métodos. Tengo las siguientes preguntas: Si deseo hacer inferencia bayesiana, ¿por qué elegiría un método sobre el otro? …

37 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Leí en alguna parte que el método Variational Bayes es una generalización del algoritmo EM. De hecho, las partes iterativas de los algoritmos son muy similares. Para probar si el algoritmo EM es una versión especial de Variational Bayes, probé lo siguiente: YYY son datos,XXX es la colección de variables …

26 bayesian  expectation-maximization  variational-bayes 

En casi todos los ejemplos de código que he visto de un VAE, las funciones de pérdida se definen de la siguiente manera (este es el código de tensorflow, pero he visto algo similar para theano, torch, etc.) También es para un convnet, pero eso tampoco es demasiado relevante , …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las principales tareas de aprendizaje para las que se …

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Entiendo la estructura básica del autoencoder variacional y el autoencoder normal (determinista) y las matemáticas detrás de ellos, pero ¿cuándo y por qué preferiría un tipo de autoencoder al otro? Todo lo que puedo pensar es que la distribución previa de variables latentes del autoencoder variacional nos permite muestrear las …

19 deep-learning  autoencoders  variational-bayes 

Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la propagación …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Estoy leyendo sobre la inferencia bayesiana y me encontré con la frase "la integración numérica de la probabilidad marginal es demasiado costosa" No tengo experiencia en matemáticas y me preguntaba qué significa exactamente caro aquí. ¿Es solo en términos de potencia de cálculo o hay algo más?

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

A mi entender (muy modesto) de la inferencia variacional, uno intenta aproximar una distribución desconocida al encontrar una distribución que optimice lo siguiente:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Cada vez que invierto tiempo en comprender la inferencia variacional sigo aplicando esta fórmula y no puedo evitar sentir que …

12 variational-bayes 

¿Cuál es la diferencia entre la codificación automática Bayes variacional y la retropropagación estocástica para modelos generativos profundos ? ¿La inferencia en ambos métodos conduce a los mismos resultados? No conozco ninguna comparación explícita entre los dos métodos, a pesar de que ambos grupos de autores se citan entre sí.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

He estado implementando un VAE y he notado dos implementaciones diferentes en línea de la divergencia KL gaussiana univariada simplificada. La divergencia original según aquí es Si suponemos que nuestro anterior es una unidad gaussiana, es decir,μ2=0yσ2=1, esto se simplifica a KLloss=-log(σ1)+σ 2 1 +μ 2 1KLl o s s= …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Estoy leyendo sobre Bayes variacional, y según tengo entendido, todo se reduce a la idea de que aproximas (donde son las variables latentes de tu modelo los datos observados) con una función , suponiendo que factoriza como donde es un subconjunto de las variables latentes. Entonces se puede demostrar que …

10 variational-bayes 

Estoy trabajando en un problema de inferencia de alta dimensión (alrededor de 2000 parámetros del modelo) para el cual somos capaces de realizar una estimación MAP de manera sólida al encontrar el máximo global del log-posterior utilizando una combinación de optimización basada en gradiente y un algoritmo genético. Me gustaría …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Estoy tratando de implementar el modelo de mezcla gaussiana con inferencia variacional estocástica, siguiendo este artículo . Esta es la pgm de Gaussian Mixture. Según el artículo, el algoritmo completo de inferencia variacional estocástica es: Y todavía estoy muy confundido con el método para escalarlo a GMM. Primero, pensé que …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes 

Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la distribución gaussiana ; Esta distribución se utiliza como …

9 neural-networks  deep-learning  autoencoders  variational-bayes