Arpillera de la función logística

Tengo dificultad para derivar el hessiano de la función objetivo, $l(\theta)$ , en regresión logística donde $l(\theta)$ es:

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$ es una función logística. El Hessian es$X^T D X$ . Traté de deducirlo calculando$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ , pero entonces no era obvio para mí como llegar a la notación de matriz a partir de$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ .

¿Alguien sabe alguna forma limpia y fácil de derivar $X^T D X$ ?

Aquí deduzco todas las propiedades e identidades necesarias para que la solución sea autónoma, pero aparte de eso, esta derivación es limpia y fácil. Formalicemos nuestra notación y escribamos la función de pérdida un poco más compacta. Considere $m$ muestras $\{x_i,y_i\}$ tal que $x_i\in\mathbb{R}^d$ y $y_i\in\mathbb{R}$ . Recuerde que en la regresión logística binaria típicamente tenemos la función de hipótesis $h_\theta$ ser la función logística. Formalmente

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

donde $\omega\in\mathbb{R}^d$ y $z_i=\omega^Tx_i$ . La función de pérdida (que creo que a los OP les falta un signo negativo) se define como:

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

Hay dos propiedades importantes de la función logística que obtengo aquí para referencia futura. Primero, tenga en cuenta que $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ .

También tenga en cuenta que

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

En lugar de tomar derivados con respecto a componentes, aquí trabajaremos directamente con vectores (puede revisar derivados con vectores aquí ). La arpillera de la función de pérdida $l(\omega)$ viene dada por $\vec{\nabla}^2l(\omega)$ , pero primero recuerde que $\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$y$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$.

Let $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$. Using the properties we derived above and the chain rule

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

It's now trivial to show that

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

whew!

Our last step is to compute the Hessian

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

For $m$ samples we have $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$. This is equivalent to concatenating column vectors $x_i\in\mathbb{R}^d$ into a matrix $X$ of size $d\times m$ such that $\sum_{i=1}^m x_ix_i^T=XX^T$. The scalar terms are combined in a diagonal matrix $D$ such that $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$. Finally, we conclude that

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

A faster approach can be derived by considering all samples at once from the beginning and instead work with matrix derivatives. As an extra note, with this formulation it's trivial to show that $l(\omega)$ is convex. Let $\delta$ be any vector such that $\delta\in\mathbb{R}^d$. Then

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

since $D>0$ and $\|\delta^TX\|\geq 0$. This implies $H$ is positive-semidefinite and therefore $l$ is convex (but not strongly convex).