Máquinas de factorización de campo

¿Alguien puede explicar cómo las máquinas de factorización de campo (FFM) se comparan con las máquinas de factorización estándar (FM)?

Estándar: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf

"Field Aware": http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

Parece que estás pidiendo una descripción de alto nivel. Si hace referencia a las diapositivas vinculadas dentro de las diapositivas de su publicación original, hay una comparación de FM (diapositiva 11) frente a FFM (diapositiva 12).

Como ejemplo rápido, si está aprendiendo sobre usuarios y películas, FM podría tener el siguiente factor:

w_{user_1}*w_{movie_1}*... + w{user_1}*w_{genre_1}*...

FFM tendría:

w_{user_1, movies}*w_{movie_1, users}*... + w{user_1, genres}*w_{genre_1, users}*...

La diferencia clave es que en FM, el w_{user_1}coeficiente es el mismo en ambos términos: hay una sola noción del usuario. En FFM, se aprende una forma separada w_{user_1}para cada contexto, por ejemplo, si se trata de interactuar con películas o géneros. Tenga en cuenta que no se aprende por separado para cada película o género en particular, sino para películas y géneros en general. Es decir, aprende por separado el contexto del usuario para cada tipo de interacción.

También tenga en cuenta que w_{movie_1}fue w_{movie_1, users}ya que ese término está interactuando con w_{user_1}un usuario.

Suponga que (antes de la codificación en caliente) tiene predictores / campos de un conjunto (por ejemplo, género de película, género de usuario y raza de usuario). Supongamos además que cada predictor puede tomar uno de los valores de . Después de la codificación de un solo uso, tendrá un nuevo conjunto de características binarias de tamaño .$Z$$z \in Z$$k_z$$X$$K := \sum_{z \in Z}k_z$

En un modelo con todas las interacciones, debe estimar una matriz de coeficientes de interacción , que tiene términos únicos.$Q$$K\times (K+1) / 2$

La máquina de factorización coloca la estructura en la matriz y supone que , donde es de dimensión , con algún número especificado por el usuario. Estimamos en lugar de .$Q$$Q \equiv W^{T} W$$W$$l \times K$$1\le l \le K$$W$$Q$

La máquina de factorización con reconocimiento de campo también pone estructura enDivide en bloques basados ​​en (las características originales). Si denota el bloque de , suponemos que proviene de la bloque de , donde es de dimensión . Al igual que con la FM, se estima la en lugar de .$Q$$Q$$z$$q_{z_i, z_j}$$z_i,z_j$$Q$$q_{z_i,z_j}$$z_i,z_j$$W_j^{T} W_i$$W_i$$l \times K$$W_i$$Q$

La factorización FM de tiene parámetros . El FM "feild-aware" tieneparámetros Un modelo con todas las interacciones tiene parámetros . $Q$$K \times l$$K\times l\times |Z|$$K \times (K+1)/2$

Las máquinas de factorización estándar también tienen campos. La "novedad" aquí parece ser el uso de funciones GBDT y la aplicación de los trucos de hashing. Parece que no tiene un gran efecto: mira el rango de minutos en el rendimiento en la última diapositiva.