Sesgo de regresión de Softmax y probabilidades previas para clases desiguales

Estoy usando la regresión de Softmax para un problema de clasificación de varias clases. No tengo iguales probabilidades previas para cada una de las clases.

Sé por Regresión logística (regresión softmax con 2 clases) que las probabilidades previas de las clases se agregan implícitamente al sesgo ( ). $\log(p_0/p_1)$

Por lo general, lo que hago es eliminar manualmente este término del sesgo.

Mi pregunta es, ¿cuál es el término correspondiente en el sesgo de regresión softmax?

Gracias.

logistic prior unbalanced-classes

— Corrió
fuente

Hasta donde yo sé, la justificación para la inicialización del sesgo softmax es un poco ondulada. Recordar la regresión de softmax es la estimación de probabilidad máxima (log) para , siendo el modelo el siguiente: Con la inicialización de sesgo, nuestra intención es encontrar un buen valor con el que comience alto. Bajo el supuesto de que inicializamos con pequeños valores cercanos a 0 y que $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$

y

$y$ es una etiqueta en , entonces: Sumando las probabilidades de registro para todos los ejemplos supuestamente independientes , a una buena inicialización para minimizaría la probabilidad total aproximada de registro de datos: El gradiente de wrt es , con el vector de conteos de cada clase. La función anterior también es cóncava,

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ Vea la pregunta aquí sobre smooth max para una prueba.

Los dos hechos anteriores implican que un máximo está disponible siempre que . Esto, a su vez, sugiere una inicialización viable para el -ésimo término del sesgo es de hecho , la proporción de ejemplos etiquetados como en el conjunto de entrenamiento (también conocido como las estadísticas marginales). Es posible que vea que puede agregar cualquier constante a y lograr otro sesgo de maximización de probabilidad también; Sin embargo, a gran escala podría interponerse en el camino del aprendizaje . La relación con el sesgo logístico no es casual --- este tutorial discute la similitud. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

— VF1
fuente