En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de (matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras resultantes?
CBOW:
Saltar-gramo:
Respuestas:
Garten y col. {1} comparó vectores de palabras obtenidos mediante la adición de vectores de palabras de entrada con vectores de palabras de salida, frente a vectores de palabras obtenidos mediante la concatenación de vectores de palabras de entrada con vectores de palabras de salida. En sus experimentos, la concatenación produce resultados significativamente mejores:
La conferencia de video {2} recomienda promediar vectores de palabras de entrada con vectores de palabras de salida, pero no se compara con la concatenación de vectores de palabras de entrada con vectores de palabras de salida.
Referencias