Mengotomatisasi Pemilihan Hyperparameter
Menemukan hyperparameter terbaik tanpa menulis ratusan baris kode untuk ratusan model adalah peningkatan efisiensi penting yang akan sangat membantu pembangunan model machine learning Anda di masa depan.
Salah satu hyperparameter penting untuk algoritma GBM adalah learning rate. Namun, learning rate mana yang terbaik untuk masalah ini? Dengan menulis sebuah loop untuk menelusuri sejumlah kemungkinan, menggabungkannya, dan meninjaunya, Anda dapat menemukan yang terbaik.
Learning rate yang dapat dicoba mencakup 0.001, 0.01, 0.05, 0.1, 0.2, dan 0.5
Anda akan memiliki himpunan data X_train, X_test, y_train, dan y_test, dan GradientBoostingClassifier telah diimpor untuk Anda.
Latihan ini adalah bagian dari kursus
Penyetelan Hyperparameter di Python
Petunjuk latihan
- Buat daftar
learning_ratesuntuk learning rate, danresults_listuntuk menampung skor akurasi dari prediksi Anda. - Tulis sebuah loop untuk membuat model GBM untuk setiap learning rate yang disebutkan dan buat prediksi untuk tiap model.
- Simpan learning rate dan skor akurasi ke dalam
results_list. - Ubah daftar hasil menjadi sebuah DataFrame dan cetak.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Set the learning rates & results storage
learning_rates = ____
results_list = ____
# Create the for loop to evaluate model predictions for each learning rate
for learning_rate in ____:
model = ____(learning_rate=____)
predictions = ____.fit(____, ____).predict(____)
# Save the learning rate and accuracy score
results_list.append([____, accuracy_score(y_test, ____)])
# Gather everything into a DataFrame
results_df = pd.DataFrame(____, columns=['learning_rate', 'accuracy'])
print(results_df)