1. 学ぶ
  2. /
  3. コース
  4. /
  5. spaCyで学ぶNatural Language Processing

Connected

演習

spaCyでのレンマ化

この演習では、レンマ化を練習します。レンマ化は、派生語から語根(基本形)を得るのに役立ちます。つまり、任意の文について、レンマの数はトークン数以下になることが期待されます。

最初のAmazonフードレビューは、text という文字列として用意されています。en_core_web_sm は nlp として読み込まれており、text に適用して、文字列の Doc コンテナである document を作成済みです。

text のトークンを含むリスト tokens も、すでに利用できるよう読み込まれています。

指示

100 XP
  • document 内のすべてのトークンについてレンマを取り出して lemmas に追加し、lemmas のリストを出力してください。
  • tokens リストを出力し、tokens と lemmas の違いを観察してください。