spaCyでのレンマ化
この演習では、レンマ化を練習します。レンマ化は、派生語から語根（基本形）を得るのに役立ちます。つまり、任意の文について、レンマの数はトークン数以下になることが期待されます。
最初のAmazonフードレビューは、text という文字列として用意されています。en_core_web_sm は nlp として読み込まれており、text に適用して、文字列の Doc コンテナである document を作成済みです。
text のトークンを含むリスト tokens も、すでに利用できるよう読み込まれています。
この演習はコースの一部です
spaCyで学ぶNatural Language Processing
演習の手順
document内のすべてのトークンについてレンマを取り出してlemmasに追加し、lemmasのリストを出力してください。tokensリストを出力し、tokensとlemmasの違いを観察してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
document = nlp(text)
tokens = [token.text for token in document]
# Append the lemma for all tokens in the document
lemmas = [token.____ for token in document]
print("Lemmas:\n", ____, "\n")
# Print tokens and compare with lemmas list
print("Tokens:\n", ____)