最適なデータセットを選ぶ
それでは、ufo データセットから不要な特徴量を取り除きます。country 列は country_enc としてエンコード済みなので、country_enc を残し、位置情報に関する他の列である city、country、lat、long、state を削除できます。
month と year 列は作成済みなので、もとの date と recorded 列は不要です。また、seconds 列は seconds_log として標準化したため、seconds と minutes を削除できます。
desc はベクトル化済みなので、こちらも削除します。現時点では type は残しておきます。
さらに、length_of_time 列も、minutes を抽出した後は不要なので削除できます。
この演習はコースの一部です
Pythonで学ぶMachine Learningの前処理
演習の手順
- 削除するすべての列のリスト
to_dropを作成します。 - これらの列を
ufoから削除します。 - 以前に作成した
words_to_filter()関数を使い、vocab、vec.vocabulary_、desc_tfidfを渡し、最後の引数には上位4語を指定します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Make a list of features to drop
to_drop = [____]
# Drop those features
ufo_dropped = ufo.____
# Let's also filter some words out of the text vector we created
filtered_words = ____(____, ____, ____, ____)