ÎncepețiÎncepe gratuit

Lematizare

Continuând analiza recenziilor utilizatorilor, ai observat că stemming-ul produce uneori cuvinte non-standard, precum „fli" din „flying", ceea ce poate reduce lizibilitatea. Pentru a remedia acest lucru, vei folosi acum lematizarea, care returnează cuvinte reale și contribuie la îmbunătățirea clarității și acurateței analizei tale.

WordNetLemmatizer a fost importat, stop_words a fost definit, iar resursele NLTK necesare au fost descărcate.

Acest exercițiu face parte din cursul

Procesarea Limbajului Natural (NLP) în Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează o instanță lemmatizer a clasei WordNetLemmatizer().
  • Folosește lemmatizer pentru a lematiza lower_tokens.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']

# Create lemmatizer
lemmatizer = ____()

# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]

print(lemmatized_tokens)
Editează și rulează codul