¿Cómo deshacerse de la puntuación usando el tokenizer NLTK?

Estoy empezando a usar NLTK y no entiendo cómo obtener una lista de palabras del texto. Si lo uso nltk.word_tokenize(), obtengo una lista de palabras y puntuación. Solo necesito las palabras en su lugar. ¿Cómo puedo deshacerme de la puntuación? Tampoco word_tokenizefunciona con varias oraciones: se agregan puntos a la última palabra.

Eche un vistazo a las otras opciones de tokenización que nltk proporciona aquí . Por ejemplo, puede definir un tokenizador que seleccione secuencias de caracteres alfanuméricos como tokens y suelte todo lo demás:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Salida:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Realmente no necesita NLTK para eliminar la puntuación. Puede eliminarlo con python simple. Para cuerdas:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

O para unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

y luego usa esta cadena en tu tokenizer.

El módulo de cadena PS tiene algunos otros conjuntos de elementos que se pueden eliminar (como dígitos).

El siguiente código eliminará todos los signos de puntuación, así como los caracteres no alfabéticos. Copiado de su libro.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

salida

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Como se observó en los comentarios, comience con sent_tokenize (), porque word_tokenize () solo funciona en una sola oración. Puede filtrar la puntuación con filter (). Y si tiene cadenas unicode, asegúrese de que sea un objeto unicode (no una 'str' codificada con alguna codificación como 'utf-8').

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Acabo de usar el siguiente código, que eliminó toda la puntuación:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Creo que necesita algún tipo de coincidencia de expresiones regulares (el siguiente código está en Python 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Salida:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Debería funcionar bien en la mayoría de los casos, ya que elimina la puntuación al tiempo que conserva los tokens como "n't", que no se pueden obtener de los tokenizadores regex como wordpunct_tokenize.

Sinceramente preguntando, ¿qué es una palabra? Si su suposición es que una palabra consiste solo en caracteres alfabéticos, está equivocado ya que las palabras como can'tse destruirán en pedazos (como cany t) si elimina la puntuación antes de la tokenización , lo que es muy probable que afecte negativamente a su programa.

Por lo tanto, la solución es tokenizar y luego eliminar los tokens de puntuación .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... y luego, si lo desea, puede reemplazar ciertas fichas como 'mcon am.

Yo uso este código para eliminar la puntuación:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

Y si desea verificar si un token es una palabra inglesa válida o no, es posible que necesite PyEnchant

Tutorial:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Eliminar puntuación (eliminará, así como parte del manejo de puntuación usando el código a continuación)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Muestra de entrada / salida:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

Simplemente agregando a la solución por @rmalouf, esto no incluirá ningún número porque \ w + es equivalente a [a-zA-Z0-9_]

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Puede hacerlo en una línea sin nltk (python 3.x).

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))