Stemming
Teď, když máš text review vyčištěný a odstraněná stop slova i interpunkci, můžeš přistoupit k normalizaci zbývajících slov pomocí stemmingu – tedy jejich převedení na základní tvar. To pomáhá seskupit podobná slova dohromady a udělat analýzu konzistentnější a efektivnější.
K dispozici máš třídu PorterStemmer a seznam clean_tokens.
Toto cvičení je součástí kurzu
Zpracování přirozeného jazyka (NLP) v Pythonu
Pokyny k cvičení
- Inicializuj
PorterStemmer(). - Pomocí list comprehension aplikuj stemming na každý token ze seznamu
clean_tokens.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create stemmer
stemmer = ____()
# Stem each token
stemmed_tokens = [____.____(____) for ____ in clean_tokens]
print(stemmed_tokens)