Tokenisation des mots avec NLTK
Ici, vous utiliserez la première scène du film Monty Python and the Holy Grail, déjà chargée dans scene_one. N'hésitez pas à l'examiner dans l'IPython Shell!
Votre tâche dans cet exercice est d'utiliser word_tokenize et sent_tokenize de nltk.tokenize pour segmenter, à partir de chaînes Python, à la fois les mots et les phrases — dans ce cas, la première scène de Monty Python and the Holy Grail.
Cette activité fait partie du cours
Introduction au traitement du langage naturel en Python
Instructions de l’exercice
- Importez les fonctions
sent_tokenizeetword_tokenizedepuisnltk.tokenize. - Segmentez en phrases tout le contenu de
scene_oneà l'aide de la fonctionsent_tokenize(). - Segmentez en mots la quatrième phrase de
sentences, accessible parsentences[3], à l'aide de la fonctionword_tokenize(). - Trouvez les jetons uniques de toute la scène en utilisant
word_tokenize()surscene_one, puis en le convertissant en ensemble avecset(). - Affichez les jetons uniques trouvés. C'est déjà fait pour vous, alors cliquez sur "Soumettre la réponse" pour voir les résultats!
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import necessary modules
____
____
# Split scene_one into sentences: sentences
sentences = ____(____)
# Use word_tokenize to tokenize the fourth sentence: tokenized_sent
tokenized_sent = ____(____[_])
# Make a set of unique tokens in the entire scene: unique_tokens
unique_tokens = ____(____(____))
# Print the unique tokens result
print(unique_tokens)