Токенізація речень і слів
Токенізація — це важливий перший крок у NLP. Вона полягає в поділі тексту на менші одиниці — токени, що є ключовим для роботи з текстовими даними. Ваше завдання — розбити уривок новинної статті і на речення, і на слова.
Ця вправа є частиною курсу
Natural Language Processing (NLP) in Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import nltk
____
# Download the punkt_tab package
____
text = """
The stock market saw a significant dip today. Experts believe the downturn may continue.
However, many investors are optimistic about future growth.
"""
# Tokenize the text into sentences
sentences = ____
print(sentences)