Menggunakan hasil terbaik
Menganalisis hasil grid search memang menarik, tetapi tujuan akhir kita bersifat praktis: kita ingin membuat prediksi pada himpunan uji menggunakan objek estimator.
Kita dapat mengakses objek ini melalui properti best_estimator_ dari objek grid search kita.
Mari kita lihat isi properti best_estimator_, membuat prediksi, dan menghasilkan metrik evaluasi. Pertama, kita akan menggunakan predict bawaan (menghasilkan prediksi kelas), tetapi kemudian kita perlu menggunakan predict_proba alih-alih predict untuk menghitung skor roc-auc karena roc-auc memerlukan skor probabilitas untuk perhitungannya. Kita gunakan irisan [:,1] untuk mengambil probabilitas kelas positif.
Anda memiliki himpunan data X_test dan y_test yang dapat digunakan serta objek grid_rf_class dari latihan sebelumnya.
Latihan ini adalah bagian dari kursus
Penyetelan Hyperparameter di Python
Petunjuk latihan
- Periksa tipe dari properti
best_estimator_. - Gunakan properti
best_estimator_untuk membuat prediksi pada himpunan uji kita. - Hasilkan confusion matrix dan skor ROC_AUC dari prediksi kita.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# See what type of object the best_estimator_ property is
print(____(____.____))
# Create an array of predictions directly using the best_estimator_ property
predictions = grid_rf_class.____._____(X_test)
# Take a look to confirm it worked, this should be an array of 1's and 0's
print(predictions[0:5])
# Now create a confusion matrix
print("Confusion Matrix \n", confusion_matrix(y_test, ______))
# Get the ROC-AUC score
predictions_proba = grid_rf_class.best_estimator_.predict_proba(X_test)[:,1]
print("ROC-AUC Score \n", roc_auc_score(y_test, _____))