对 GoT 字符串进行分词
处理文本的第一步通常是分词,也就是把较长的字符串拆分为单独的字符串,通常对应单个单词(token)。
我们已为您创建了一个字符串 GoT,其中包含 George R.R. Martin 的《冰与火之歌:权力的游戏》中的一句台词。您的任务是将它拆分成各个 token。
本练习是课程的一部分
Python 中的情感分析
练习说明
- 从
nltk导入单词分词函数。 - 将字符串
GoT转换为单词 token。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))