tf-idfによる単語出現頻度の配列
この演習では、サンプルのドキュメントに対してtf-idfの単語出現頻度の配列を作成します。ここではsklearnのTfidfVectorizerを使います。これはドキュメントのリストを単語出現頻度の配列に変換し、csr_matrix(疎行列)として出力するものです。他のsklearnオブジェクトと同様に、fit()メソッドとtransform()メソッドを備えています。
ペットに関するサンプルドキュメントのリストdocumentsが用意されています。
この演習はコースの一部です
Pythonで学ぶ教師なし学習
演習の手順
sklearn.feature_extraction.textからTfidfVectorizerをインポートしてください。tfidfという名前のTfidfVectorizerインスタンスを作成してください。tfidfの.fit_transform()メソッドをdocumentsに適用し、結果をcsr_matに代入してください。これはcsr_matrix(疎行列)形式の単語出現頻度の配列です。csr_matの.toarray()メソッドを呼び出して結果を出力し、内容を確認しましょう。これはすでに行われています。- 配列の列には各単語が入っています。
tfidfの.get_feature_names_out()メソッドを呼び出して単語のリストを取得し、結果をwordsに代入してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import TfidfVectorizer
from ____ import ____
# Create a TfidfVectorizer: tfidf
tfidf = ____
# Apply fit_transform to document: csr_mat
csr_mat = ____
# Print result of toarray() method
print(csr_mat.toarray())
# Get the words: words
words = ____
# Print words
print(words)