Стемінг
Тепер, коли ви очистили текст review і видалили стоп-слова та пунктуацію, можна нормалізувати решту слів за допомогою стемінгу, щоб звести їх до кореневої форми. Це допоможе згрупувати подібні слова й зробить ваш аналіз послідовнішим та ефективнішим.
Надано клас PorterStemmer і список clean_tokens.
Ця вправа є частиною курсу
Natural Language Processing (NLP) in Python
Інструкції до вправи
- Ініціалізуйте
PorterStemmer(). - Використайте спискове включення, щоб застосувати стемінг до кожного токена зі списку
clean_tokens.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create stemmer
stemmer = ____()
# Stem each token
stemmed_tokens = [____.____(____) for ____ in clean_tokens]
print(stemmed_tokens)