Men-tuning colsample_bytree

Sekarang saatnya men-tuning "colsample_bytree". Anda mungkin sudah pernah melihat ini jika Anda pernah bekerja dengan RandomForestClassifier atau RandomForestRegressor di scikit-learn, yang di sana disebut max_features. Baik di xgboost maupun sklearn, parameter ini (meskipun namanya berbeda) menentukan fraksi fitur yang dipilih pada setiap pemisahan di sebuah tree. Dalam xgboost, colsample_bytree harus ditentukan sebagai bilangan pecahan (float) antara 0 dan 1.

Latihan ini adalah bagian dari kursus

Extreme Gradient Boosting dengan XGBoost

Lihat Kursus

Petunjuk latihan

Buat daftar bernama colsample_bytree_vals untuk menyimpan nilai 0.1, 0.5, 0.8, dan 1.
Variasikan "colsample_bytree" secara sistematis dan lakukan validasi silang (cross-validation), persis seperti yang Anda lakukan pada max_depth dan eta sebelumnya.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Create your housing DMatrix
housing_dmatrix = xgb.DMatrix(data=X,label=y)

# Create the parameter dictionary
params={"objective":"reg:squarederror","max_depth":3}

# Create list of hyperparameter values: colsample_bytree_vals
____ = ____
best_rmse = []

# Systematically vary the hyperparameter value 
for curr_val in ____:

    ____ = ____
    
    # Perform cross-validation
    cv_results = xgb.cv(dtrain=housing_dmatrix, params=params, nfold=2,
                 num_boost_round=10, early_stopping_rounds=5,
                 metrics="rmse", as_pandas=True, seed=123)
    
    # Append the final round rmse to best_rmse
    best_rmse.append(cv_results["test-rmse-mean"].tail().values[-1])

# Print the resultant DataFrame
print(pd.DataFrame(list(zip(colsample_bytree_vals, best_rmse)), columns=["colsample_bytree","best_rmse"]))

Edit dan Jalankan Kode