Tokenisasi sebuah string dari GoT
Langkah standar pertama saat bekerja dengan teks adalah melakukan tokenisasi, yaitu membagi sebuah string yang lebih besar menjadi string terpisah, yang biasanya berupa kata tunggal (token).
Sebuah string GoT telah dibuat untuk Anda dan berisi kutipan dari Game of Thrones karya George R.R. Martin. Tugas Anda adalah membaginya menjadi token-token individual.
Latihan ini adalah bagian dari kursus
Analisis Sentimen dengan Python
Petunjuk latihan
- Impor fungsi tokenisasi kata dari
nltk. - Ubah string
GoTmenjadi token-token kata.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))