Definisikan classifier AdaBoost

Pada latihan berikut, Anda akan kembali menggunakan himpunan data Indian Liver Patient yang telah diperkenalkan di bab sebelumnya. Tugas Anda adalah memprediksi apakah seorang pasien menderita penyakit hati menggunakan 10 fitur termasuk Albumin, usia, dan jenis kelamin. Namun, kali ini Anda akan melatih sebuah ansambel AdaBoost untuk melakukan tugas klasifikasi. Selain itu, karena himpunan data ini tidak seimbang, Anda akan menggunakan skor ROC AUC sebagai metrik alih-alih akurasi.

Sebagai langkah pertama, mulailah dengan membuat instance classifier AdaBoost.

Latihan ini merupakan bagian dari kursus

Machine Learning dengan Model Berbasis Pohon di Python

Instruksi latihan

Impor AdaBoostClassifier dari sklearn.ensemble.
Buat instance DecisionTreeClassifier dengan max_depth diatur ke 2.
Buat instance AdaBoostClassifier yang terdiri dari 180 pohon dan atur base_estimator ke dt.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Import AdaBoostClassifier
____

# Instantiate dt
dt = ____(____=____, random_state=1)

# Instantiate ada
ada = ____(base_estimator=____, n_estimators=____, random_state=1)

Edit dan Jalankan Kode

Latihan ini merupakan bagian dari kursus

Machine Learning dengan Model Berbasis Pohon di Python

SkillTag.level.intermediateSkillTag.label

4.9+

Mulai Kursus Gratis

Classification and Regression Trees (CART) adalah sekumpulan model pembelajaran terawasi yang digunakan untuk permasalahan klasifikasi dan regresi. Pada bab ini, Anda akan diperkenalkan pada algoritma CART.

Exercise 1: Pohon keputusan untuk klasifikasi Exercise 2: Latih pohon klasifikasi pertama Anda Exercise 3: Evaluasi pohon klasifikasi Exercise 4: Logistic regression vs classification tree Exercise 5: Pembelajaran pohon klasifikasi Exercise 6: Membangun pohon klasifikasi Exercise 7: Menggunakan entropy sebagai kriteria Exercise 8: Entropi vs Indeks Gini Exercise 9: Pohon keputusan untuk regresi Exercise 10: Latih pohon regresi pertama Anda Exercise 11: Evaluasi pohon regresi Exercise 12: Regresi linear vs pohon regresi

Trade-off bias-variance adalah salah satu konsep mendasar dalam Machine Learning terawasi. Pada bab ini, Anda akan memahami cara mendiagnosis masalah overfitting dan underfitting. Anda juga akan diperkenalkan pada konsep ensembling, yaitu ketika prediksi dari beberapa model digabungkan untuk menghasilkan prediksi yang lebih tangguh.

Exercise 1: Galat Generalisasi Exercise 2: Kompleksitas, bias, dan varians Exercise 3: Overfitting dan underfitting Exercise 4: Mendiagnosis masalah bias dan varians Exercise 5: Inisialisasi model Exercise 6: Evaluasi galat CV 10-fold Exercise 7: Evaluasi galat pelatihan Exercise 8: Bias tinggi atau varians tinggi?Exercise 9: Ensemble Learning Exercise 10: Mendefinisikan ensemble Exercise 11: Evaluasi pengklasifikasi individual Exercise 12: Kinerja lebih baik dengan Voting Classifier

Bagging adalah metode ensemble yang melibatkan pelatihan algoritma yang sama berkali-kali menggunakan subset berbeda yang diambil dari data pelatihan. Pada bab ini, Anda akan memahami bagaimana bagging dapat digunakan untuk membangun ensemble pohon. Anda juga akan mempelajari bagaimana algoritma random forests dapat meningkatkan keragaman ensemble melalui pengacakan pada tingkat setiap pemisahan di dalam pohon-pohon yang membentuk ensemble.

Exercise 1: Bagging Exercise 2: Definisikan bagging classifier Exercise 3: Evaluasi kinerja Bagging Exercise 4: Evaluasi Out-of-Bag Exercise 5: Persiapkan landasan Exercise 6: Skor OOB vs Skor Test Set Exercise 7: Random Forests (RF)Exercise 8: Latih sebuah regresor RF Exercise 9: Evaluasi RF regressor Exercise 10: Memvisualisasikan pentingnya fitur

Boosting mengacu pada metode ensemble di mana beberapa model dilatih secara berurutan dan setiap model belajar dari kesalahan pendahulunya. Pada bab ini, Anda akan diperkenalkan pada dua metode boosting: AdaBoost dan Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Definisikan classifier AdaBoost

Latihan Saat Ini

Exercise 3: Latih pengklasifikasi AdaBoost Exercise 4: Evaluasi pengklasifikasi AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Definisikan regressor GB Exercise 7: Latih regressor GB Exercise 8: Evaluasi GB regressor Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Regresi dengan SGB Exercise 11: Latih regressor SGB Exercise 12: Evaluasi SGB regressor

Hiperparameter pada sebuah model Machine Learning adalah parameter yang tidak dipelajari dari data. Parameter ini harus ditetapkan sebelum menyesuaikan model ke himpunan pelatihan. Pada bab ini, Anda akan mempelajari cara menyetel hiperparameter model berbasis pohon menggunakan grid search cross validation.

Exercise 1: Menyetel Hyperparameter CART Exercise 2: Hiperparameter pohon Exercise 3: Atur grid hyperparameter untuk tree Exercise 4: Cari pohon yang optimal Exercise 5: Evaluasi pohon optimal Exercise 6: Menyetel Hyperparameter RF Exercise 7: Hyperparameter random forests Exercise 8: Tetapkan grid hyperparameter untuk RF Exercise 9: Cari hutan yang optimal Exercise 10: Evaluasi hutan optimal Exercise 11: Selamat!