Extracción de palabras clave / frases de texto usando bibliotecas de Deep Learning

Quizás esto es demasiado amplio, pero estoy buscando referencias sobre cómo utilizar el aprendizaje profundo en una tarea de resumen de texto.

Ya he implementado el resumen de texto utilizando enfoques estándar de frecuencia de palabras y clasificación de oraciones, pero me gustaría explorar la posibilidad de utilizar técnicas de aprendizaje profundo para esta tarea. También he pasado por algunas implementaciones dadas en wildml.com usando Convolutional Neural Networks (CNN) para el análisis de sentimientos; Me gustaría saber cómo se pueden usar bibliotecas como TensorFlow o Theano para el resumen de texto y la extracción de palabras clave. Ha pasado aproximadamente una semana desde que comencé a experimentar con redes neuronales, y estoy realmente emocionado de ver cómo el rendimiento de estas bibliotecas se compara con mis enfoques anteriores de este problema.

Estoy buscando particularmente algunos documentos interesantes y proyectos de github relacionados con el resumen de texto utilizando estos marcos. ¿Alguien puede proporcionarme algunas referencias?

El Google Research Blog debería ser útil en el contexto de TensorFlow .

En el artículo anterior, hay una referencia al conjunto de datos de Gigaword en inglés anotado que se usa habitualmente para el resumen de texto.

El artículo de 2014 de Sutskever et al titulado Sequence to Sequence Learning with Neural Networks podría ser un comienzo significativo en su viaje, ya que resulta que para textos más cortos, el resumen se puede aprender de extremo a extremo con una técnica de aprendizaje profundo.

Por último, aquí hay un gran repositorio de Github que demuestra el resumen de texto mientras hace uso de TensorFlow.

Esta es un área abierta de investigación y ciertamente depende de la forma en que usted plantee el problema. Si está hablando de un resumen de varios documentos, entonces el problema es ligeramente diferente al de un resumen de un solo documento.

Vale la pena revisar brevemente la literatura.

El enlace proporcionado por u / Society Of Data Scientists es excelente y es útil para el resumen tarea de resumen en un solo documento. También se trabaja en resúmenes de extracción , que identifican oraciones importantes para extraer.

Rush et. Al tiene un buen artículo sobre el resumen abstracto con Atención , que se basa en el aprendizaje profundo.

Para un resumen extractivo, puede usar un LSTM para construir su clasificador y usar las bibliotecas estándar de TensorFlow / Torch, pero no parece haber publicaciones actuales sobre el uso del aprendizaje profundo para este enfoque.

Aquí hay algunos repositorios adicionales de GitHub:

• The Original Rush et. al repo.
• Una implementación de TensorFlow del mismo documento

Parece que este es un resumen más extractivo si está buscando palabras clave. Aquí hay algunos documentos que probablemente tengan implementaciones:

Resumen neuronal mediante la extracción de oraciones y palabras

Resumen extractivo usando Deep Learning

Redes neuronales convolucionales semi-supervisadas para categorización de texto a través de incrustación de región

Además, SpaCy (no afiliado) tiene un buen blog sobre la arquitectura general de las tareas de extracción de texto.