Tokenizează un șir de caractere din GoT
Un prim pas standard atunci când lucrezi cu text este să îl tokenizezi – cu alte cuvinte, să împarți un șir mai lung în șiruri individuale, de obicei cuvinte unice (tokeni).
A fost creat pentru tine un șir GoT care conține un citat din Game of Thrones de George R.R. Martin. Sarcina ta este să îl împarți în tokeni individuali.
Acest exercițiu face parte din cursul
Analiza sentimentelor în Python
Instrucțiuni pentru exercițiu
- Importă funcția de tokenizare a cuvintelor din
nltk. - Transformă șirul
GoTîn tokeni de tip cuvânt.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))