¿Qué significa "compartir parámetros entre características y clases"?


Respuestas:


22

Intentaré responder a esta pregunta mediante regresión logística , uno de los clasificadores lineales más simples.

El caso más simple de regresión logística es si tenemos una tarea de clasificación binaria ( y solo una característica de entrada ( ). En este caso, el resultado de la regresión logística sería:y{0,1})xR

y^=σ(wx+b)
donde w y b son ambos escalares . La salida del modelo y^[0,1] corresponde a la probabilidad de que x sea ​​de la clase 1 .

Trataremos de dividir la frase "los clasificadores lineales no comparten parámetros entre entidades y clases" en dos partes. Examinaremos los casos de múltiples características y múltiples clases por separado para ver si la regresión logística comparte parámetros para esas tareas:

¿Los clasificadores lineales comparten parámetros entre las características?

En este caso, para cada ejemplo, y es un escalar que toma valores binarios (como antes), mientras que x es un vector de longitud N (donde N es el número de características). Aquí, la salida es una combinación lineal de las características de entrada (es decir, una suma ponderada de estas características más los sesgos).

x w N xw w i x i

y^=σ(iN(wixi)+b)orσ(wx+b)
donde y son vectores de longitud . El producto produce un escalar. Como puede ver desde arriba, hay un peso separado para cada característica de entrada y estos pesos son independientes por todos los medios. De esto podemos concluir que no hay intercambio de parámetros entre las características .xwNxw wixi

¿Los clasificadores lineales comparten parámetros entre clases?

En este caso, es un escalar, sin embargo, es un vector de longitud (donde es el número de clases). Para abordar esto, la regresión logística esencialmente produce una salida separada para cada una de las clasesCada salida es un escalar y corresponde a la probabilidad de que pertenezca a la clase .y M M y j M y j[ 0 , 1 ] x jxyMMyjMyj[0,1]xj

y^=wx+b,wherey^=y^1,y^2,...,yM

La forma más fácil de pensar en esto es como simples regresiones logísticas independientes, cada una con una salida de:M

y^j=σ(wjx+bj)

De lo anterior es obvio que no se comparten pesos entre las diferentes clases .

Multi-característica y multi-clase :

Al combinar los dos casos anteriores, finalmente podemos llegar al caso más general de múltiples características y múltiples clases:

y MxNbMW(N×M)

y^=σ(Wx+b)
donde es un vector con un tamaño de , es un vector con un tamaño de , es un vector con un tamaño de y es una matriz con un tamaño de .y^MxNbMW(N×M)

En cualquier caso, los clasificadores lineales no comparten ningún parámetro entre entidades o clases .

Para responder a su segunda pregunta, los clasificadores lineales tienen una suposición subyacente de que las características deben ser independientes , sin embargo, esto no es lo que el autor del artículo pretendía decir.


1
Buena explicación :)
joydeep bhattacharjee
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.