GoT の文字列をトークン化する
テキストを扱うときの最初の基本ステップはトークン化です。つまり、長い文字列を、通常は単語(トークン)ごとの小さな文字列に分割します。
文字列 GoT はすでに用意されており、George R.R. Martin の『Game of Thrones』からの引用が入っています。これを個々のトークンに分割してください。
この演習はコースの一部です
Pythonで学ぶSentiment Analysis
演習の手順
nltkから単語のトークン化関数をインポートします。GoT文字列を単語トークンに変換します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))