Preguntas etiquetadas con word-embeddings

En muchas bibliotecas de redes neuronales, hay 'capas de incrustación', como en Keras o Lasagne . No estoy seguro de entender su función, a pesar de leer la documentación. Por ejemplo, en la documentación de Keras dice: Convierta enteros positivos (índices) en vectores densos de tamaño fijo, por ejemplo. [[4], …

92 machine-learning  neural-networks  python  word-embeddings 

Necesita comprender el funcionamiento de la capa 'Incrustación' en la biblioteca Keras. Ejecuto el siguiente código en Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) que da el siguiente …

70 text-mining  word-embeddings  keras 

¿Cómo uso una incrustación de palabras para asignar un documento a un vector de características, adecuado para su uso con aprendizaje supervisado? Una incrustación de palabras asigna cada palabra www a un vector , donde es un número no demasiado grande (por ejemplo, 500). Las incrustaciones de palabras populares incluyen …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Después de entrenar vectores de palabras con word2vec, ¿es mejor normalizarlos antes de usarlos para algunas aplicaciones posteriores? Es decir, ¿cuáles son los pros / contras de normalizarlos?

38 natural-language  word2vec  word-embeddings 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Estoy usando caret para ejecutar un bosque aleatorio validado cruzado sobre un conjunto de datos. La …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Me impresionaron los resultados en el documento ICML 2014 " Representaciones distribuidas de oraciones y documentos " de Le y Mikolov. La técnica que describen, llamada "vectores de párrafo", aprende representaciones sin supervisión de párrafos / documentos arbitrariamente largos, basados ​​en una extensión del modelo word2vec. El documento informa sobre …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

He estado tratando de entender el concepto de muestreo negativo en el contexto de word2vec. No puedo digerir la idea del muestreo [negativo]. Por ejemplo en los documentos de Mikolov, la expectativa de muestreo negativa se formula como Iniciar sesiónσ( ⟨ W , c ⟩ ) + k ⋅ ECnorte∼ …

19 machine-learning  word2vec  word-embeddings 

Me pregunto por qué skip-gram es mejor para palabras poco frecuentes que CBOW en word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

¿Cómo se entrena la capa de incrustación en la capa de incrustación de Keras? (digamos que usa el tensorflow backend, lo que significa que es similar a word2vec, glove o fasttext) Supongamos que no utilizamos una incrustación preentrenada.

13 deep-learning  keras  word-embeddings 

Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de codificación de uno …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener representaciones significativas, tengo que permitir un gran número de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Soy muy nuevo en las incrustaciones de palabras. Quiero visualizar cómo se ven los documentos después de aprender. Leí que t-SNE es el enfoque para hacerlo. Tengo 100K documentos con 250 dimensiones como tamaño de la incrustación. También hay varios paquetes disponibles. Sin embargo, para t-SNE, no sé cuántas iteraciones …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Una forma de generar incrustaciones de palabras es la siguiente ( espejo ): Obtenga un corpus, por ejemplo, "Me gusta volar. Me gusta la PNL. Me gusta el aprendizaje profundo". Construya la matriz de concordancia de palabras a partir de ella: Realice SVD en y mantenga las primeras columnas de …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models