La motivación unidades de salida sigmoideas en redes neuronales que empiezan con probabilidades de registro unnormalized lineal en y

12

Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí $P(y=1|x)$ se motiva el uso de sigmoide para generar .

Para resumir parte del material, dejan que

z = w^{T} h + b

$z = w^Th+b$ sea una neurona de salida antes de que se aplique una activación donde

h

$h$ es la salida de la capa oculta anterior,

w

$w$ es un vector de pesos

b

$b$ es un sesgo escalar. El vector de entrada se denota

x

$x$ (que

h

$h$ es una función de) y el valor de salida se denota

y = ϕ (z)

$y=\phi(z)$ donde

ϕ

$\phi$ es la función sigmoide. El libro desea definir una distribución de probabilidad sobre

y

$y$ usando el valor

z

$z$ . Del segundo párrafo de la página 183:

Omitimos la dependencia de $x$ por el momento para discutir cómo definir una distribución de probabilidad sobre $y$ usando el valor $z$ . El sigmoide puede ser motivado construyendo una distribución de probabilidad no normalizada $\tilde P(y)$ , que no suma 1. Podemos entonces dividir por una constante apropiada para obtener una distribución de probabilidad válida. Si comenzamos con el supuesto de que las probabilidades logarítmicas no normalizadas son lineales en $y$ y $z$ , podemos exponer para obtener las probabilidades no normalizadas. Luego nos normalizamos para ver que esto produce una distribución de Bernoulli controlada por una transformación sigmoidal de z:
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Preguntas: Estoy confundido acerca de dos cosas, particularmente la primera:

¿De dónde viene la suposición inicial? ¿Por qué la probabilidad logarítmica no normalizada es lineal en $y$ y $z$ ? ¿Alguien puede darme una idea de cómo los autores comenzaron con $\log\tilde P(y) = yz$ ?
¿Cómo sigue la última línea?

neural-networks deep-learning

— HBeel
fuente

8

Hay dos resultados posibles para . Es muy importante, porque esta propiedad cambia el significado de la multiplicación. Hay dos casos posibles: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Además, es importante notar que la probabilidad logarítmica no normalizada para es constante. Esta propiedad deriva de la suposición principal. La aplicación de cualquier función determinista al valor constante producirá una salida constante. Esta propiedad simplificará la fórmula final cuando haremos la normalización sobre todas las probabilidades posibles, porque solo necesitamos saber la probabilidad no normalizada para y para siempre es constante. Y dado que la salida de la red tiene una probabilidad logarítmica no normalizada, solo necesitaremos una salida, porque se supone que otra es constante. $y=0$ $y=1$ $y=0$

A continuación, estamos aplicando exponenciación a la probabilidad de logaritmo no normalizado para obtener una probabilidad no normalizada.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

A continuación, simplemente normalizamos las probabilidades dividiendo cada probabilidad no normalizada por la suma de todas las probabilidades posibles no normalizadas.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

Solo nos interesa , porque eso es lo que significa la probabilidad de la función sigmoidea. La función obtenida no parece sigmoidea en el primer vistazo, pero son iguales y es fácil de mostrar. $P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

La última declaración puede ser confusa al principio, pero es solo una forma de mostrar que esa función de probabilidad final es sigmoidea. El valor convierte a y a (o podemos decir que sería sin cambio). $(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

Como podemos ver, es solo la forma de mostrar la relación entre y $\sigma$ $P(y)$

— itdxer
fuente

"Además, es importante notar que la probabilidad logarítmica no normalizada para es constante. Esta propiedad se deriva del supuesto principal". La suposición es que ya hemos decidido que ?

y = 0

$y=0$

y = 1

$y=1$

— HBeel

Creo que mi confusión provino del hecho de que el sigmoide da la probabilidad del modelo de independientemente de la etiqueta real. ¡Gracias!

y = 1

$y=1$

— HBeel

No quiero decir que sea grueso aquí, pero ¿cómo es lineal en y ? Esperaría algo de la forma . Me doy cuenta de que en el producto produciría una suma que me llevaría más cerca de la linealidad, pero eso no parece ser directo de lo que afirmó el autor.

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— zebullon

Ya veo, esa es una pregunta realmente interesante. No le presté atención a esta declaración cuando leí la pregunta por primera vez. Ahora también me parece extraño. Un problema es que y variable binaria y no estoy seguro de cómo verificar las propiedades de la función lineal en estas circunstancias. Supongo que tendrá sentido si haces preguntas por separado, tal vez alguien pueda explicarte por qué se ha escrito de esta manera.

— itdxer

2

También encuentro que este fragmento del libro es difícil de seguir, y la respuesta anterior de itdxer merece bastante tiempo para ser comprendida también por alguien que no domina adecuadamente las probabilidades y el pensamiento matemático. Sin embargo, lo logré leyendo la respuesta al revés, así que comienza con el sigmoide de z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

e intenta seguir de nuevo a.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Entonces tiene sentido por qué comenzaron la explicación con yz: es por diseño, igual que el final

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

por construcción permite obtener -1 para y = 0 y 1 para y = 1, que son los únicos valores posibles de y bajo el Bernoulli.

— Jakub Jurek
fuente

0

Aquí hay una redacción más formal que atraerá a aquellos con antecedentes teóricos de la medida.

Deje que sea un Bernoulli rv y deje que denote la medida de avance, es decir, para , y deje que denote su contraparte no normalizada. $Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Tenemos la siguiente cadena de implicaciones:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

La última igualdad es una forma inteligente de mapear a $\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
fuente