Grid search dengan XGBoost

Setelah Anda mempelajari cara menyetel parameter satu per satu dengan XGBoost, mari naik tingkat dengan memanfaatkan kemampuan GridSearch dan RandomizedSearch dari scikit-learn, dilengkapi validasi silang internal menggunakan fungsi GridSearchCV dan RandomizedSearchCV. Anda akan menggunakannya untuk mencari model terbaik secara menyeluruh dari sekumpulan kemungkinan nilai parameter di beberapa parameter secara bersamaan. Mari mulai bekerja, dimulai dengan GridSearchCV!

Latihan ini adalah bagian dari kursus

Extreme Gradient Boosting dengan XGBoost

Lihat Kursus

Petunjuk latihan

Buat parameter grid bernama gbm_param_grid yang berisi daftar nilai "colsample_bytree" (0.3, 0.7), daftar dengan satu nilai untuk "n_estimators" (50), dan daftar 2 nilai "max_depth" (2, 5).
Instansiasikan objek XGBRegressor bernama gbm.
Buat objek GridSearchCV bernama grid_mse, dengan meneruskan: parameter grid ke param_grid, XGBRegressor ke estimator, "neg_mean_squared_error" ke scoring, dan 4 ke cv. Juga tentukan verbose=1 agar Anda dapat lebih memahami keluarannya.
Latih objek GridSearchCV pada X dan y.
Cetak nilai parameter terbaik dan RMSE terendah, masing-masing menggunakan atribut .best_params_ dan .best_score_ dari grid_mse.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Create the parameter grid: gbm_param_grid
gbm_param_grid = {
    '____': [____, ____],
    '____': [____],
    '____': [____, ____]
}

# Instantiate the regressor: gbm
gbm = ____

# Perform grid search: grid_mse
grid_mse = ____


# Fit grid_mse to the data
____

# Print the best parameters and lowest RMSE
print("Best parameters found: ", ____)
print("Lowest RMSE found: ", np.sqrt(np.abs(____)))

Edit dan Jalankan Kode