¿Qué significa "compartir parámetros entre características y clases"?

Al leer este documento, hay una línea que dice "los clasificadores lineales no comparten parámetros entre entidades y clases". ¿Cuál es el significado de esta declaración? ¿Significa que los clasificadores lineales como la regresión logística necesitan características que sean mutuamente independientes?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
fuente

Intentaré responder a esta pregunta mediante regresión logística , uno de los clasificadores lineales más simples.

El caso más simple de regresión logística es si tenemos una tarea de clasificación binaria ( y solo una característica de entrada ( ). En este caso, el resultado de la regresión logística sería: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ donde

w

$w$ y

b

$b$ son ambos escalares . La salida del modelo

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ corresponde a la probabilidad de que

x

$x$ sea de la clase

1

$1$ .

Trataremos de dividir la frase "los clasificadores lineales no comparten parámetros entre entidades y clases" en dos partes. Examinaremos los casos de múltiples características y múltiples clases por separado para ver si la regresión logística comparte parámetros para esas tareas:

¿Los clasificadores lineales comparten parámetros entre las características?

En este caso, para cada ejemplo, $y$ es un escalar que toma valores binarios (como antes), mientras que $x$ es un vector de longitud $N$ (donde $N$ es el número de características). Aquí, la salida es una combinación lineal de las características de entrada (es decir, una suma ponderada de estas características más los sesgos).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ donde y son vectores de longitud . El producto produce un escalar. Como puede ver desde arriba, hay un peso separado para cada característica de entrada y estos pesos son independientes por todos los medios. De esto podemos concluir que no hay intercambio de parámetros entre las características .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

¿Los clasificadores lineales comparten parámetros entre clases?

En este caso, es un escalar, sin embargo, es un vector de longitud (donde es el número de clases). Para abordar esto, la regresión logística esencialmente produce una salida separada para cada una de las clasesCada salida es un escalar y corresponde a la probabilidad de que pertenezca a la clase . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

La forma más fácil de pensar en esto es como simples regresiones logísticas independientes, cada una con una salida de: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

De lo anterior es obvio que no se comparten pesos entre las diferentes clases .

Multi-característica y multi-clase :

Al combinar los dos casos anteriores, finalmente podemos llegar al caso más general de múltiples características y múltiples clases:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ donde es un vector con un tamaño de , es un vector con un tamaño de , es un vector con un tamaño de y es una matriz con un tamaño de .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

En cualquier caso, los clasificadores lineales no comparten ningún parámetro entre entidades o clases .

Para responder a su segunda pregunta, los clasificadores lineales tienen una suposición subyacente de que las características deben ser independientes , sin embargo, esto no es lo que el autor del artículo pretendía decir.

— Djib2011
fuente

Buena explicación :)

— joydeep bhattacharjee