Токенізуйте рядок із GoT

Перший стандартний крок під час роботи з текстом — це його токенізація, тобто поділ довшого рядка на окремі рядки, зазвичай окремі слова (токени).

Для вас створено рядок GoT із цитатою з роману Джорджа Р. Р. Мартіна Гра престолів. Ваше завдання — розбити його на окремі токени.

Ця вправа є частиною курсу

Аналіз тональності в Python

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the required function
from nltk import ____

# Transform the GoT string to word tokens
print(____(____))