¿Redes de creencias profundas o máquinas de Boltzmann profundas?

Estoy confundido. ¿Hay alguna diferencia entre las redes de creencias profundas y las máquinas Deep Boltzmann? Si es así, ¿cuál es la diferencia?

— Jack Twain
fuente

El artículo de Wikipedia sobre las redes de creencias profundas es bastante claro, aunque sería útil / perspicaz tener una visión más amplia de la etimología / historia de los términos. Básicamente, una red de creencias profundas es bastante análoga a una red neuronal profunda desde el punto de vista probabilístico, y las máquinas de Boltzmann profundas son un algoritmo utilizado para implementar una red de creencias profundas. aparentemente todos los ANN tienen interpretaciones / modelos probabilísticos, pero no se obtienen tan fácil / directamente como algunos modelos de "creencias" bayesianas / probabilísticas.

— vzn

Respuestas:

Aunque Deep Belief Networks (DBNs) y Deep Boltzmann Machines (DBMs) se ven esquemáticamente muy similares, en realidad son cualitativamente muy diferentes. Esto se debe a que los DBN están dirigidos y los DBM no están dirigidos. Si quisiéramos encajarlos en la imagen de ML más amplia, podríamos decir que los DBN son redes de creencias sigmoideas con muchas capas de variables latentes densamente conectadas y los DBM son campos aleatorios de Markov con muchas capas de variables latentes densamente conectadas.

$P(v|h)$ $v$ $h$ $P$

Dicho esto, hay similitudes. Por ejemplo:

Los DBN y el DBM original funcionan utilizando esquemas de inicialización basados en la formación codiciosa en capas de máquinas de Bolzmann restringidas (RBM),
Ambos son "profundos".
Ambos presentan capas de variables latentes que están densamente conectadas a las capas superiores e inferiores, pero no tienen conexiones intracapa, etc.

— alto
fuente

¿Cómo pueden los DBN ser redes de creencias sigmoideas? Las capas de un DBN son RBM, por lo que cada capa es un campo aleatorio de Markov.

— Jack Twain

Creo que hay un error tipográfico aquí "Esto se debe a que los DBM están dirigidos y los DBM no están dirigidos". Creo que quisiste decir que los DBN no están dirigidos

— Jack Twain

@AlexTwain Sí, debería haber leído "Los DBN se dirigen". Aunque puede iniciar un DBN aprendiendo primero un montón de RBM, al final normalmente desata los pesos y termina con una red de creencias sigmoideas profundas (dirigida). En muchos de los trabajos originales de DBN, la gente dejaba la capa superior sin dirigir y luego la afinaba con algo así como despertar, en cuyo caso tienes un híbrido.

— alto

¿Quiere decir en 3. que no tienen conexiones "intracapa" (por ejemplo, entre nodos en la capa oculta) en lugar de * intercapa (por ejemplo, desde la entrada a la capa oculta)?

— ddiez

@ddiez Sí, así es como debería leerse. Gracias por la corrección.

— alto

Ambos son modelos gráficos probabilísticos que consisten en capas apiladas de RBM. La diferencia está en cómo están conectadas estas capas.

Este enlace lo deja bastante claro: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . La Figura 2 y la Sección 3.1 son particularmente relevantes.

Resumir:

En un DBN se dirigen las conexiones entre capas. Por lo tanto, las dos primeras capas forman un RBM (un modelo gráfico no dirigido), luego las capas posteriores forman un modelo generativo dirigido.

En un DBM, la conexión entre todas las capas no está dirigida, por lo que cada par de capas forma un RBM.

— Darkensberge
fuente

¿Entonces todavía se construye una máquina de boltzmann profunda a partir de RBM? Estoy basando mi conclusión en la introducción y la imagen en el periódico

— Marin