Стемминг
Теперь, когда вы очистили текст review и удалили стоп-слова и знаки препинания, можно нормализовать оставшиеся слова с помощью стемминга — приведения слов к их корневой форме. Это помогает объединить похожие слова, делая анализ более последовательным и эффективным.
Класс PorterStemmer уже подготовлен, а также доступен список clean_tokens.
Это упражнение является частью курса
Обработка естественного языка (NLP) на Python
Инструкции к упражнению
- Инициализируйте
PorterStemmer(). - Используйте генератор списка, чтобы применить стемминг к каждому токену из списка
clean_tokens.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create stemmer
stemmer = ____()
# Stem each token
stemmed_tokens = [____.____(____) for ____ in clean_tokens]
print(stemmed_tokens)