GoT içinden bir string’i tokenlaştır
Metinle çalışırken ilk standart adım, onu tokenlaştırmaktır; yani daha büyük bir string’i, genelde tek kelime olan (token) bireysel string’lere ayırmaktır.
Senin için GoT isimli bir string oluşturuldu ve George R.R. Martin’in Game of Thrones eserinden bir alıntı içeriyor. Görevin, bunu tek tek token’lara ayırmak.
Bu egzersiz, kursun bir parçasıdır
Python ile Duygu Analizi
Egzersiz talimatları
nltkiçinden kelime tokenlaştırma fonksiyonunu içe aktar.GoTstring’ini kelime token’larına dönüştür.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))