Tokenisasi kalimat dan kata
Tokenisasi adalah langkah awal yang penting dalam NLP. Proses ini memecah teks menjadi unit-unit kecil yang disebut token, yang krusial untuk bekerja dengan data bahasa. Tugas Anda adalah melakukan tokenisasi pada cuplikan artikel berita menjadi kalimat dan kata.
Latihan ini merupakan bagian dari kursus
Natural Language Processing (NLP) in Python
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Import nltk
____
# Download the punkt_tab package
____
text = """
The stock market saw a significant dip today. Experts believe the downturn may continue.
However, many investors are optimistic about future growth.
"""
# Tokenize the text into sentences
sentences = ____
print(sentences)