Токенизация предложений и слов
Токенизация — это важный первый шаг в NLP. Она предполагает разбивку текста на более мелкие единицы, называемые токенами, что является ключевым при работе с языковыми данными. Ваша задача — токенизировать фрагмент новостной статьи на предложения и слова.
Это упражнение является частью курса
Обработка естественного языка (NLP) на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import nltk
____
# Download the punkt_tab package
____
text = """
The stock market saw a significant dip today. Experts believe the downturn may continue.
However, many investors are optimistic about future growth.
"""
# Tokenize the text into sentences
sentences = ____
print(sentences)