Токенизация строки из «Игры престолов»
Один из первых стандартных шагов при работе с текстом — токенизация: разбиение большой строки на отдельные фрагменты, как правило отдельные слова (токены).
Для вас уже создана строка GoT, содержащая цитату из «Игры престолов» Джорджа Р. Р. Мартина. Ваша задача — разбить её на отдельные токены.
Это упражнение является частью курса
Анализ тональности текста на Python
Инструкции к упражнению
- Импортируйте функцию токенизации слов из
nltk. - Преобразуйте строку
GoTв список токенов.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))