Lematyzacja
Kontynuując analizę recenzji użytkowników, zauważono, że stemming czasem produkuje niestandardowe słowa – na przykład „fli" zamiast „flying" – co może utrudniać interpretację wyników. Żeby temu zaradzić, skorzystasz teraz z lematyzacji, która zwraca rzeczywiste formy wyrazów i poprawia czytelność oraz dokładność analizy.
WordNetLemmatizer został już zaimportowany, stop_words zostały zdefiniowane, a niezbędne zasoby NLTK pobrane.
To ćwiczenie jest częścią kursu
Przetwarzanie języka naturalnego (NLP) w Pythonie
Instrukcje do ćwiczenia
- Utwórz instancję
lemmatizerklasyWordNetLemmatizer(). - Użyj
lemmatizer, aby zlemmatyzować tokenylower_tokens.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)