単語のカウント(I)
全体的な情報を整理できたら、各テキストの実際の内容に基づいた特徴量作成に進みます。これには、前のレッスンで行ったカテゴリ変数の扱いと似たアプローチが使えます。
- データセット内のユニークな単語ごとに列を作成します。
- 各レコードについて、その単語が出現した回数を数え、その数を対応する列に入力します。
この「カウント」列を使って Machine Learning モデルを学習させることができます。
この演習はコースの一部です
Python で学ぶ Machine Learning のための特徴量エンジニアリング
演習の手順
sklearn.feature_extraction.textからCountVectorizerをインポートします。CountVectorizerをインスタンス化し、cvに代入します。- ベクトライザを
text_clean列に対して学習させます。 - ベクトライザで生成された特徴量名を出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import CountVectorizer
____
# Instantiate CountVectorizer
cv = ____
# Fit the vectorizer
cv.____(speech_df['text_clean'])
# Print feature names
print(cv.____)