Лемматизация
Продолжая анализ пользовательских отзывов, вы заметили, что стемминг иногда даёт нестандартные формы слов — например, «fli» вместо «flying», — что снижает читаемость результатов. Чтобы решить эту проблему, воспользуйтесь лемматизацией: она возвращает настоящие словарные формы и помогает повысить точность и понятность анализа.
WordNetLemmatizer уже импортирован, stop_words определены, а необходимые ресурсы NLTK загружены.
Это упражнение является частью курса
Обработка естественного языка (NLP) на Python
Инструкции к упражнению
- Создайте экземпляр
lemmatizerклассаWordNetLemmatizer(). - Используйте
lemmatizer, чтобы лемматизировать токены изlower_tokens.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)