Tokenisasi sebuah string dari GoT
Langkah standar pertama saat bekerja dengan teks adalah melakukan tokenisasi, yaitu membagi sebuah string yang lebih besar menjadi string terpisah, yang biasanya berupa kata tunggal (token).
Sebuah string GoT telah dibuat untuk Anda dan berisi kutipan dari Game of Thrones karya George R.R. Martin. Tugas Anda adalah membaginya menjadi token-token individual.
Latihan ini merupakan bagian dari kursus
Analisis Sentimen dengan Python
Instruksi latihan
- Impor fungsi tokenisasi kata dari
nltk. - Ubah string
GoTmenjadi token-token kata.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))