Tokenization câu và từ
Tokenization là bước đầu quan trọng trong NLP. Nó bao gồm việc tách văn bản thành các đơn vị nhỏ hơn gọi là token, đây là chìa khóa để làm việc với dữ liệu ngôn ngữ. Nhiệm vụ của bạn là tách một đoạn bài báo thành cả câu và từ.
Bài tập này là một phần của khóa học
Natural Language Processing (NLP) bằng Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import nltk
____
# Download the punkt_tab package
____
text = """
The stock market saw a significant dip today. Experts believe the downturn may continue.
However, many investors are optimistic about future growth.
"""
# Tokenize the text into sentences
sentences = ____
print(sentences)