Regex avec la tokenisation NLTK

Twitter est une source fréquemment utilisée pour les textes et tâches en NLP. Dans cet exercice, vous allez créer un tokenizeur plus complexe pour des gazouillis contenant des mots-clics (hashtags) et des mentions à l'aide de nltk et des expressions régulières (regex). La classe nltk.tokenize.TweetTokenizer vous offre des méthodes et attributs supplémentaires pour analyser des tweets.

Ici, on vous fournit des exemples de tweets à analyser en utilisant à la fois TweetTokenizer et regexp_tokenize du module nltk.tokenize. Ces tweets d'exemple ont été préchargés dans la variable tweets. N'hésitez pas à l'explorer dans l'IPython Shell!

Contrairement à la syntaxe de la bibliothèque regex, avec nltk_tokenize() vous passez le motif en deuxième argument.