追加の票を集めるためのアンサンブルモデル
LassoCV() モデルは 32 個の特徴量のうち 22 個を選択しました。悪くはありませんが、次元削減としてはそれほど劇的でもありません。そこで、さらに 2 つのモデルを使い、再帰的特徴量削除(RFE)でそれぞれが最重要と判断する 10 個の特徴量を選んでみましょう。
標準化済みの学習用・テスト用データは、X_train、X_test、y_train、y_test として読み込まれています。
この演習はコースの一部です
Pythonで学ぶ次元削減
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from sklearn.feature_selection import RFE
from sklearn.ensemble import GradientBoostingRegressor
# Select 10 features with RFE on a GradientBoostingRegressor, drop 3 features on each step
rfe_gb = RFE(estimator=____,
n_features_to_select=____, step=____, verbose=1)
rfe_gb.fit(X_train, y_train)