始める無料で始める

GoT の文字列をトークン化する

テキストを扱うときの最初の基本ステップはトークン化です。つまり、長い文字列を、通常は単語(トークン)ごとの小さな文字列に分割します。

文字列 GoT はすでに用意されており、George R.R. Martin の『Game of Thrones』からの引用が入っています。これを個々のトークンに分割してください。

この演習はコースの一部です

Pythonで学ぶSentiment Analysis

コースを見る

演習の手順

  • nltk から単語のトークン化関数をインポートします。
  • GoT 文字列を単語トークンに変換します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Import the required function
from nltk import ____

# Transform the GoT string to word tokens
print(____(____))
コードを編集して実行