Prétraiter du texte
Pour construire un système de recommandation, ou tout autre modèle, vous devez d’abord prétraiter le texte.
Un extrait de Sherlock Holmes est chargé ici. Prétraitez ce texte à l’aide des différentes techniques présentées dans la vidéo afin de le préparer pour une analyse ultérieure.
La variable text est un passage du Chien des Baskerville d’Arthur Conan Doyle.
Les packages et fonctions suivants ont été chargés pour vous :
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Cet exercice fait partie du cours
Deep Learning pour le texte avec PyTorch
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)