Upaya pertama melakukan bagging
Anda telah melihat apa yang terjadi dalam satu iterasi dari sebuah ansambel bagging. Sekarang mari membangun model bagging kustom!
Dua fungsi telah disiapkan untuk Anda:
def build_decision_tree(X_train, y_train, random_state=None):
# Mengambil sampel dengan pengembalian (with replacement),
# membangun pohon keputusan "lemah",
# dan menyesuaikannya ke himpunan latih
def predict_voting(classifiers, X_test):
# Membuat prediksi individual
# lalu menggabungkannya menggunakan "Voting"
Secara teknis, fungsi build_decision_tree() adalah apa yang Anda lakukan pada latihan sebelumnya. Di sini, Anda akan membangun beberapa pohon seperti itu lalu menggabungkannya. Mari kita lihat apakah ansambel model-model "lemah" ini meningkatkan kinerja!
Latihan ini adalah bagian dari kursus
Metode Ensemble di Python
Petunjuk latihan
- Bangun model-model individual dengan memanggil
build_decision_tree(), berikan himpunan latih dan indeksisebagai random state. - Prediksi label himpunan uji menggunakan
predict_voting(), dengan daftar classifierclf_listdan fitur masukan uji.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Build the list of individual models
clf_list = []
for i in range(21):
weak_dt = ____
clf_list.append(weak_dt)
# Predict on the test set
pred = ____
# Print the F1 score
print('F1 score: {:.3f}'.format(f1_score(y_test, pred)))