Avengers から単語トークンを作る
最初の文字列をトークン化できたので、次はリストの各要素を順に処理して同様にトークン化していきます。これを1行で書く簡単な方法が、リスト内包表記です。
リスト avengers は用意されています。Avengers シリーズのセリフがいくつか入っています。IPython シェルで中身を確認してみてください。
この演習はコースの一部です
Pythonで学ぶSentiment Analysis
演習の手順
- 必要な関数とパッケージをインポートします。
- リストの各要素に単語トークン化の関数を適用します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import the word tokenizing function
from ____ import _____
# Tokenize each item in the avengers
tokens_avengers = [____(item) for item in ____]
print(tokens_avengers)