Preguntas etiquetadas con word2vec

Estoy tratando de entender cuál es la similitud entre la asignación de Dirichlet latente y word2vec para calcular la similitud de palabras. Según tengo entendido, LDA asigna palabras a un vector de probabilidades de temas latentes , mientras que word2vec las asigna a un vector de números reales (relacionado con …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

¿Cómo uso una incrustación de palabras para asignar un documento a un vector de características, adecuado para su uso con aprendizaje supervisado? Una incrustación de palabras asigna cada palabra www a un vector , donde es un número no demasiado grande (por ejemplo, 500). Las incrustaciones de palabras populares incluyen …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Después de entrenar vectores de palabras con word2vec, ¿es mejor normalizarlos antes de usarlos para algunas aplicaciones posteriores? Es decir, ¿cuáles son los pros / contras de normalizarlos?

38 natural-language  word2vec  word-embeddings 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Estoy usando caret para ejecutar un bosque aleatorio validado cruzado sobre un conjunto de datos. La …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

He estado tratando de entender el concepto de muestreo negativo en el contexto de word2vec. No puedo digerir la idea del muestreo [negativo]. Por ejemplo en los documentos de Mikolov, la expectativa de muestreo negativa se formula como Iniciar sesiónσ( ⟨ W , c ⟩ ) + k ⋅ ECnorte∼ …

19 machine-learning  word2vec  word-embeddings 

Me pregunto por qué skip-gram es mejor para palabras poco frecuentes que CBOW en word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Mi pregunta puede ser tonta. Así que me disculparé de antemano. Estaba tratando de usar el modelo GLOVE pre-entrenado por el grupo Stanford NLP ( enlace ). Sin embargo, noté que mis resultados de similitud mostraron algunos números negativos. Eso inmediatamente me llevó a mirar el archivo de datos de …

17 machine-learning  word2vec  cosine-similarity 

No estoy seguro si este es el sitio de pila correcto, pero aquí va. ¿Cómo funciona el método .similiarity? Wow SpaCy es genial! ¡Su modelo tfidf podría ser más fácil, pero w2v con solo una línea de código ?! En su tutorial de 10 líneas sobre spaCy andrazhribernik nos muestra …

13 natural-language  word2vec  tf-idf  nltk 

Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de codificación de uno …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener representaciones significativas, tengo que permitir un gran número de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Soy muy nuevo en las incrustaciones de palabras. Quiero visualizar cómo se ven los documentos después de aprender. Leí que t-SNE es el enfoque para hacerlo. Tengo 100K documentos con 250 dimensiones como tamaño de la incrustación. También hay varios paquetes disponibles. Sin embargo, para t-SNE, no sé cuántas iteraciones …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente frecuencia en los datos de …

11 natural-language  word2vec  lstm  word-embeddings 

Estoy tratando de abrirme camino a través del primer conjunto de problemas del material del curso en línea de la clase de Stanford cs224d y tengo algunos problemas con el problema 3A: cuando uso el modelo de omisión de word2vec con la función de predicción softmax y la función de …

10 machine-learning  self-study  word2vec 

Estoy pasando por los problemas en los problemas de asignación escrita de la clase de aprendizaje profundo de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Estoy tratando de entender la respuesta para 3a donde están buscando la derivada del vector para la palabra central. Suponga que se le da un vector de palabras pronosticado …

9 self-study  neural-networks  backpropagation  word2vec