1. Lära sig
    2. /
  2. Courses
    3. /
  3. spaCyで学ぶNatural Language Processing
Connected

exercise

spaCy でのトークン化

この演習では、テキストのトークン化を練習します。Amazon Fine Food Reviews データセットの最初のレビューを使います。レビューは提供済みの text オブジェクトから参照できます。

en_core_web_sm モデルはすでに読み込まれており、nlp() を呼び出すことで利用できます。リスト内包表記を使って出力のリストを作成してみましょう。

Instruktioner

100 XP
  • 事前に読み込まれているレビューを document オブジェクトとして Doc コンテナに格納します。
  • document のすべてのトークンのテキストを取り出し、first_text_tokens 変数に保存して確認します。