Ciencia de los datos nlp

1

Recientemente me encontré con los términos Word2Vec , Sentence2Vec y Doc2Vec y me confundí un poco porque soy nuevo en la semántica de vectores. ¿Puede alguien explicar las diferencias en estos métodos en palabras simples? ¿Cuáles son las tareas más adecuadas para cada método?

18 machine-learning data-mining clustering nlp unsupervised-learning

5

El mejor algoritmo práctico para la similitud de oraciones

Tengo dos oraciones, S1 y S2, ambas con un recuento de palabras (generalmente) por debajo de 15. Cuáles son los algoritmos más útiles y exitosos (aprendizaje automático), que posiblemente sean fáciles de implementar (la red neuronal está bien, a menos que la arquitectura sea tan complicada como Google Inception, etc.). …

18 nlp clustering word2vec similarity

1

PNL: ¿por qué "no" es una palabra de parada?

Estoy tratando de eliminar palabras de detención antes de realizar el modelado de temas. Noté que algunas palabras de negación (no, ni, nunca, ninguna, etc.) generalmente se consideran palabras vacías. Por ejemplo, NLTK, spacy y sklearn incluyen "no" en sus listas de palabras de detención. Sin embargo, si eliminamos "no" …

18 nlp topic-model sentiment-analysis

4

Mejore la velocidad de implementación de t-sne en python para obtener grandes datos

Me gustaría hacer una reducción de dimensionalidad en casi 1 millón de vectores cada uno con 200 dimensiones ( doc2vec). Estoy usando la TSNEimplementación del sklearn.manifoldmódulo para él y el principal problema es la complejidad del tiempo. Incluso con method = barnes_hut, la velocidad de cálculo sigue siendo baja. Algún …

18 python bigdata nlp scikit-learn dimensionality-reduction

2

PNL - ¿Es el Gazetteer un tramposo?

En PNL, existe el concepto de Gazetteerque puede ser bastante útil para crear anotaciones. Hasta donde yo entiendo: Un diccionario geográfico consiste en un conjunto de listas que contienen nombres de entidades como ciudades, organizaciones, días de la semana, etc. Estas listas se utilizan para encontrar las ocurrencias de estos …

16 nlp named-entity-recognition

2

Extrae la mayoría de las partes informativas del texto de los documentos.

¿Hay algún artículo o discusión sobre la extracción de parte del texto que contenga la mayor parte de la información sobre el documento actual? Por ejemplo, tengo un gran corpus de documentos del mismo dominio. Hay partes del texto que contienen la información clave de la que habla un solo …

16 nlp text-mining

5

agrandar el mapa de calor marino

Creo un corr()df a partir de un df original. El corr()DF salió 70 X 70 y es imposible de visualizar el mapa de calor ... sns.heatmap(df). Si trato de mostrar corr = df.corr(), la tabla no se ajusta a la pantalla y puedo ver todas las correlaciones. ¿Es una forma …

16 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

3

¿Cuál es la diferencia entre los RNN de generación de texto basados en palabras y basados en caracteres?

Mientras leía sobre la generación de texto con redes neuronales recurrentes, noté que algunos ejemplos se implementaron para generar texto palabra por palabra y otros carácter por carácter sin decir realmente por qué. Entonces, ¿cuál es la diferencia entre los modelos RNN que predicen texto por palabra y los que …

15 machine-learning neural-network nlp rnn

4

Similitud entre dos palabras.

Estoy buscando una biblioteca de Python que me ayude a identificar la similitud entre dos palabras u oraciones. Haré la conversión de audio a texto, lo que dará como resultado un diccionario de inglés o palabras que no estén en el diccionario (podría ser el nombre de una persona o …

15 nlp nltk

5

Predicción de similitud de oraciones

Estoy tratando de resolver el siguiente problema: tengo un conjunto de oraciones como mi conjunto de datos, y quiero poder escribir una nueva oración y encontrar la oración con la que la nueva es más similar en el conjunto de datos. Un ejemplo se vería así: Nueva oración: " I …

15 python nlp scikit-learn similarity text

4

¿Cómo inicializar un nuevo modelo de word2vec con pesos de modelo previamente entrenados?

Estoy usando Gensim Library en python para usar y entrenar el modelo word2vector. Recientemente, estaba buscando inicializar los pesos de mi modelo con un modelo word2vec previamente entrenado como (modelo preformado GoogleNewDataset). He estado luchando con eso un par de semanas. Ahora, acabo de buscar que en gesim hay una …

14 python nlp word-embeddings word2vec gensim

2

¿Qué características se usan generalmente de los árboles Parse en el proceso de clasificación en PNL?

Estoy explorando diferentes tipos de estructuras de árbol de análisis. Las dos estructuras de árbol de análisis ampliamente conocidas son: a) árbol de análisis basado en la circunscripción yb) estructuras de árbol de análisis basadas en la dependencia. Puedo usar generar ambos tipos de estructuras de árbol de análisis usando …

13 machine-learning nlp feature-selection feature-extraction

1

¿Qué es una capa convolucional 1D en aprendizaje profundo?

Tengo una buena comprensión general del papel y el mecanismo de las capas convolucionales en Deep Learning para el procesamiento de imágenes en caso de implementaciones 2D o 3D: "simplemente" intentan capturar patrones 2D en imágenes (en 3 canales en caso de 3D). Pero recientemente me topé con capas convolucionales …

13 deep-learning nlp convolution

1

Entonces, ¿cuál es el problema con LSTM?

Estoy ampliando mi conocimiento del paquete Keras y he estado trabajando con algunos de los modelos disponibles. Tengo un problema de clasificación binaria de PNL que estoy tratando de resolver y he estado aplicando diferentes modelos. Después de trabajar con algunos resultados y leer más y más sobre LSTM, parece …

12 neural-network nlp lstm recurrent-neural-net

4

Alternativas a TF-IDF y Cosine Similarity al comparar documentos de diferentes formatos

He estado trabajando en un proyecto pequeño y personal que toma las habilidades laborales de un usuario y sugiere la carrera más ideal para ellos en función de esas habilidades. Utilizo una base de datos de listados de trabajo para lograr esto. Por el momento, el código funciona de la …

12 nlp text-mining similarity cosine-distance

Preguntas etiquetadas con nlp