Valor esperado de una variable aleatoria gaussiana transformada con una función logística

Tanto la función logística como la desviación estándar generalmente se denotan como $\sigma$ . Voy a usar $\sigma(x) = 1/(1+\exp(-x))$ y $s$ para la desviación estándar.

Tengo una neurona logística con una entrada aleatoria cuya media $\mu$ y desviación estándar $s$ sé. Espero que la diferencia con respecto a la media se pueda aproximar bien con algún ruido gaussiano. Entonces, con un ligero abuso de notación, suponga que produce $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ . ¿Cuál es el valor esperado de $\sigma(N(\mu,s^2))$ ?La desviación estándar $s$ puede ser grande o pequeña en comparación con $\mu$ o $1$ . Una buena aproximación de forma cerrada para el valor esperado sería casi tan buena como una solución de forma cerrada.

No creo que exista una solución de forma cerrada. Esto puede verse como una convolución, y se conoce la función característica de la densidad logística ( $\pi t ~\text{csch} ~\pi t$ ), pero no estoy seguro de cuánto ayuda. La calculadora simbólica inversa no pudo reconocer la densidad en $0$ de la convolución de la densidad de la distribución logística y una distribución normal estándar, lo que sugiere, pero no prueba, que no existe una integral elemental simple. Más evidencia circunstancial: en algunos documentos sobre la adición de ruido de entrada gaussiana a redes neuronales con neuronas logísticas, los documentos tampoco dieron expresiones de forma cerrada.

Esta pregunta surgió al tratar de comprender el error en la aproximación de campo media en las máquinas de Boltzman.

Lo siguiente es lo que terminé usando:

$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Hay problemas de convergencia. La función logística tiene un polo donde , entonces en , impar. La divergencia no es lo mismo que el prefijo es inútil, pero esta aproximación en serie puede no ser confiable cuando es significativo.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Dado que , podemos escribir derivados de como polinomios en . Por ejemplo, y . Los coeficientes están relacionados con OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

Lo que tienes aquí es una variable aleatoria que sigue una distribución logit-normal (o logistic-normal) (ver wikipedia ), es decir, . Los momentos de la distribución logit-normal no tienen soluciones analíticas.$\mbox{logit}[x] \sim N(\mu, s^2)$

Pero, por supuesto, uno puede obtenerlos a través de la integración numérica. Si usa R, existe el paquete logitnorm que tiene todo lo que necesita. Un ejemplo:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Esto produce:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Entonces, incluso hay una función de conveniencia que le dará directamente la media y la varianza.