Lemmatisation
En poursuivant votre analyse des avis des utilisateurs, vous avez remarqué que le lemmatisation génère parfois des mots non standard tels que « fli » à partir de « flying », ce qui peut réduire l'interprétabilité. Pour résoudre ce problème, vous allez maintenant utiliser la lemmatisation, qui renvoie les mots réels et contribue à améliorer la clarté et la précision de votre analyse.
WordNetLemmatizer a été importé, stop_words a été défini et les ressources NLTK nécessaires ont été téléchargées.
Cet exercice fait partie du cours
Traitement du langage naturel (NLP) en Python
Instructions
- Créez une instance
lemmatizerde la classeWordNetLemmatizer(). - Veuillez utiliser l'
lemmatizerpour lemmatiser l'lower_tokens.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)