Derivando Negentropía. Quedarse atascado

Por lo tanto, esta pregunta es algo complicada, pero he tratado minuciosamente de hacerlo lo más sencillo posible.

Objetivo: Para resumir, hay una derivación de la negentropía que no involucra acumulantes de orden superior, y estoy tratando de entender cómo se derivó.

Antecedentes: (entiendo todo esto)

Estoy estudiando el libro 'Análisis de componentes independientes' , que se encuentra aquí. (Esta pregunta es de la sección 5.6, en caso de que tenga el libro - 'Aproximación de la entropía por funciones no polinómicas').

Tenemos , que es una variable aleatoria, y cuya negentropía queremos estimar, a partir de algunas observaciones que tenemos. El PDF de x viene dado por p x ( ζ ) . La negentropía es simplemente la diferencia entre la entropía diferencial de una variable aleatoria gaussiana estandarizada y la entropía diferencial de x . La entropía diferencial aquí está dada por H , de modo que:$x$$x$$p_x(\zeta)$$x$$H$

$$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$$

y entonces, la negentropía viene dada por

$$J(x) = H(v) - H(x)$$

donde es un rv gaussiano estandarizado, con PDF dado por ϕ ( ζ ) .$v$$\phi(\zeta)$

Ahora, como parte de este nuevo método, mi libro ha derivado una estimación del PDF de , dada por:$x$

$$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$$

(Donde . Por cierto, i no es una potencia, sino un índice).$c_i = \mathbb{E}\{F^i(x)\}$$i$

Por ahora, 'acepto' esta nueva fórmula PDF, y la preguntaré otro día. Este no es mi problema principal. Sin embargo, lo que hace ahora es volver a conectar esta versión del PDF de en la ecuación de negentropía, y termina con:$x$

$$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$$

Tenga en cuenta que la sigma (aquí y para el resto de la publicación), solo recorre el índice . Por ejemplo, si solo tuviéramos dos funciones, la señal se repetiría para i = 2 e i = 2 . Por supuesto, debería contarte sobre esas funciones que está usando. Aparentemente, esas funciones F i se definen así:$i$$i=2$$i=2$$F^i$

Las funciones no son funciones polinómicas en este caso. (Suponemos que rv x es media cero y de varianza unitaria). Ahora, hagamos algunas restricciones y demos propiedades de esas funciones:$F^i$$x$

$$F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$$

$$F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$$

Para los cálculos simplifican, hagamos otra, supuesto puramente técnica: Las funciones , forman un sistema ortonormal, como tal:$F^i, i = 1, ... n$

$$\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$$

y

$$\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$$

¡Casi ahí! Bien, entonces todo eso era el trasfondo, y ahora para la pregunta. La tarea es entonces, simplemente colocar este nuevo PDF en la fórmula de entropía diferencial, . Si entiendo esto, entenderé el resto. Ahora, el libro da la derivación (y estoy de acuerdo con ella), pero me quedo estancado hacia el final, porque no sé / veo cómo se está cancelando. Además, no sé cómo interpretar la pequeña notación de la expansión de Taylor.$H(x)$

Este es el resultado:

Uso de la expansión Taylor , paraH(x)obtenemos:$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$$H(x)$

$$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$$

y entonces

La pregunta: (No entiendo esto)

$$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$$

Entonces, mi problema: a excepción de , no entiendo cómo obtuvo los últimos 4 términos en la última ecuación. (es decir, el 0, el 0 y los últimos 2 términos). Entiendo todo antes de eso. Él dice que ha explotado las relaciones de ortogonalidad dadas en las propiedades anteriores, pero no veo cómo. (Tampoco entiendo la pequeña notación aquí, en el sentido de cómo se usa).$H(v)$

¡¡¡¡GRACIAS!!!!

EDITAR:

Continué y agregué las imágenes del libro que estoy leyendo, casi dice lo que dije anteriormente, pero en caso de que alguien necesite un contexto adicional.

Y aquí, marcado en rojo, está la parte exacta que me está confundiendo. ¿Cómo usa las propiedades de ortogonalidad para obtener esa última parte, donde las cosas se cancelan, y las sumas finales que involucran , y la suma de la notación pequeña?$c_i^2$

$c_i$

$$c_i=\int p_0(\xi)G^i(\xi)d\xi.$$ $\xi$$\xi'$$c_i$

>> Para obtener los términos cero:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$$\log\varphi(\xi)$

$$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$$ $$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$$

$\int \varphi(\xi)F^i(\xi)\xi^k$$0$$k=0,1,2$. The integral on the first term in the right of eq. $(1)$ is of this form (with $k=2$) and the integral in the second term too, (with $k=0$). You just have to exploit this fact on the sums and you are done!

>> To obtain the $\sum c_i^2$ terms:

Note that the integral to be obtained to obtain these terms is:

$$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$$ We can use the multinomial theorem to expand the squared sum. This gives us: $$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$$ However, from (5.39) again, note that all the terms in this sum which include integrals for the form $$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$$ are zero for $i\neq j$ and one for $i=j$. This leave us with the result $$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$$

>> About the $o(\text{whatever})$ notation

I think this is pretty confusing from the authors, but I recall that they use it just to mean that there are terms of order $\text{whatever}$ every time they put $o(\text{whatever})$ (i.e., just like the big-O notation). However, as @Macro commented on this same answer, there is a difference between the big-O notation and the little-O one. Maybe you should check by yourself and see which one suits the problem in this Wikipedia article.

PS: This is a great book by the way. The papers of the authors on the subject are also very good and are a must read if you are trying to understand and implement ICA.