Preguntas etiquetadas con natural-language

No estoy seguro si este es el sitio de pila correcto, pero aquí va. ¿Cómo funciona el método .similiarity? Wow SpaCy es genial! ¡Su modelo tfidf podría ser más fácil, pero w2v con solo una línea de código ?! En su tutorial de 10 líneas sobre spaCy andrazhribernik nos muestra …

13 natural-language  word2vec  tf-idf  nltk 

Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como …

12 neural-networks  deep-learning  natural-language  backpropagation 

En dos bibliotecas de identificación de idiomas populares, Compact Language Detector 2 para C ++ y el detector de idiomas para java, ambos utilizaron n-gramos (basados ​​en caracteres) para extraer características de texto. ¿Por qué no se usa una bolsa de palabras (una sola palabra / diccionario), y cuál es …

12 machine-learning  classification  text-mining  natural-language 

Descripción: Deje que el dominio del problema sea la clasificación de documentos donde existe un conjunto de vectores de características, cada uno de los cuales pertenece a 1 o más clases. Por ejemplo, un documento doc_1puede pertenecer a Sportsy Englishcategorías. Pregunta: Usando la red neuronal para la clasificación, ¿cuál sería …

12 machine-learning  neural-networks  natural-language  multilabel 

Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de codificación de uno …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener representaciones significativas, tengo que permitir un gran número de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Encontré un tutorial muy útil sobre el algoritmo EM . El ejemplo y la imagen del tutorial es simplemente brillante. Pregunta relacionada sobre el cálculo de probabilidades ¿cómo funciona la maximización de expectativas? Tengo otra pregunta sobre cómo conectar la teoría descrita en el tutorial con el ejemplo. Durante el …

11 machine-learning  clustering  algorithms  natural-language 

Una forma de generar incrustaciones de palabras es la siguiente ( espejo ): Obtenga un corpus, por ejemplo, "Me gusta volar. Me gusta la PNL. Me gusta el aprendizaje profundo". Construya la matriz de concordancia de palabras a partir de ella: Realice SVD en y mantenga las primeras columnas de …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente frecuencia en los datos de …

11 natural-language  word2vec  lstm  word-embeddings 

¿Cómo puedo cuantificar la cantidad de dispersión en un vector de recuento de palabras? Estoy buscando una estadística que sea alta para el documento A, porque contiene muchas palabras diferentes que ocurren con poca frecuencia, y baja para el documento B, porque contiene una palabra (o algunas palabras) que ocurren …

10 variance  natural-language  gini  dispersion  bag-of-words 

Estaba leyendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Pero parece que no puedo entender exactamente por qué la fórmula se construyó de la manera en que está. Lo que sí entiendo: iDF debería medir en algún nivel la frecuencia con la que aparece un término S en cada uno de los documentos, disminuyendo su valor …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Un enfoque tradicional de construcción de características para la minería de texto es el enfoque de bolsa de palabras, y puede mejorarse usando tf-idf para configurar el vector de características que caracteriza un documento de texto dado. En la actualidad, estoy tratando de usar el modelo de lenguaje bi-gram o …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Estoy tratando de agrupar, por ejemplo, cadenas sobre programación con otras cadenas sobre programación, cadenas sobre física con otras cadenas sobre física, etc., para una amplia gama de temas. A pesar del aspecto lingüístico teórico deslumbrante del problema, estoy tratando de hacer esto realmente usando programación / software. El resumen: …

10 natural-language  data-mining