始める無料で始める

レンマ化(Lemmatization)

ユーザーレビューの分析を続ける中で、ステミングでは "flying" が "fli" のような標準的でない語になることがあり、可読性が下がる場合があると気づきました。そこで、実在する単語を返すレンマ化を使い、分析の明確さと精度を高めましょう。

WordNetLemmatizer はすでにインポート済みで、stop_words も定義済み、必要な NLTK リソースもダウンロード済みです。

この演習はコースの一部です

Pythonで学ぶ自然言語処理(NLP)

コースを見る

演習の手順

  • WordNetLemmatizer() クラスのインスタンス lemmatizer を作成します。
  • lemmatizer を使って lower_tokens をレンマ化します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']

# Create lemmatizer
lemmatizer = ____()

# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]

print(lemmatized_tokens)
コードを編集して実行