1. 学ぶ
  2. /
  3. コース
  4. /
  5. XGBoost で学ぶ極限の勾配ブースティング

Connected

演習

eta のチューニング

ここからは、他の XGBoost ハイパーパラメータの本格的なチューニングと、それがモデル性能に与える影響を確認していきます。まずは学習率として知られる "eta" を調整します。

XGBoost の学習率は 0 から 1 の範囲のパラメータで、"eta" を大きくすると特徴量の重みに対するペナルティが強くなり、より強力な正則化がかかります。

指示

100 XP
  • 次の "eta" の値を格納するリスト eta_vals を作成します: 0.001, 0.01, 0.1。
  • for ループで eta_vals を反復します。
  • 各反復で、params の "eta" キーに curr_val を代入します。その後、早期終了(5 ラウンド)付きの 3 分割交差検証、ブースティングラウンド数 10、評価指標 "rmse"、seed を 123 にして実行します。出力は DataFrame になるようにしてください。
  • 最終ラウンドの RMSE を best_rmse リストに追加します。