Me gustaría comparar la diferencia entre la misma palabra mencionada en diferentes fuentes. Es decir, cómo los autores difieren en el uso de palabras mal definidas, como "democracia".
Un breve plan fue
- Tome los libros que mencionan el término "democracia" como texto sin formato
- En cada libro, reemplace
democracycondemocracy_%AuthorName% - Entrenar a una
word2vecmodelo en estos libros - Calcule la distancia entre
democracy_AuthorA,democracy_AuthorBy otras menciones etiquetadas de "democracia"
Por lo tanto, la "democracia" de cada autor tiene su propio vector, que se utiliza para comparar.
Pero parece que word2vecrequiere mucho más que varios libros (cada palabra etiquetada aparece solo en un subconjunto de libros) para entrenar vectores confiables. La página oficial recomienda conjuntos de datos que incluyen miles de millones de palabras.
Solo quería preguntar qué tan grande debería ser el subconjunto de los libros de un autor para hacer tal inferencia word2veco herramientas alternativas, si están disponibles.
1
¿Los libros que está utilizando únicamente sobre el tema de la democracia, de lo contrario, su métrica de distancia podría no verse afectada por diferencias más grandes entre los contenidos de los libros? Este es un efecto secundario de su problema al estar en un espacio dimensional muy alto y ser tocado por la maldición de la dimensionalidad. Quizás ayudaría tomar solo una pequeña región de texto alrededor de la palabra de interés, pero sigue siendo un problema con una dimensión significativa.
—
image_doctor
Sí, esa es la esencia de eso. aquí va con una metáfora probablemente mal pensada. Imagine capítulos de libros representados por colores. Y un libro es un todo representado como la mezcla de todos los colores de los capítulos. Un libro sobre democracia en Europa occidental probablemente terminaría con un tono rojizo en general como la suma de sus capítulos. Si representamos el turismo por azul, un libro sobre Turismo en Cuba, con un único capítulo sobre democracia y su influencia en el desarrollo económico, tendría un fuerte tono azul. Por lo tanto, los dos libros parecerían muy diferentes cuando se vieran como un todo.
—
image_doctor
Esa es la forma más accesible de decir lo que un científico de datos expresaría como los vectores para los dos libros estarán muy separados en el espacio de características y, por lo tanto, parecerán bastante diferentes. Es realmente difícil cuantificar de antemano cuántos ejemplos necesitará sin jugar con los datos, pero el lenguaje es sutil y estratificado, por lo que probablemente querrá tantos como pueda ... y tal vez más. En última instancia, no lo sabrá hasta que lo intente. No es una respuesta concreta, pero a menos que alguien tenga experiencia directa de hacer algo similar, probablemente sea lo mejor que obtendrá.
—
image_doctor
word2vec ya solo usa "una pequeña región de texto alrededor de la palabra de interés". El
—
jamesmf
windowparámetro establece cuántas palabras en el contexto se utilizan para entrenar el modelo para su palabra w
@político científico No había terminado este proyecto.
—
Anton Tarasenko