Cross validation
Cross validation adalah teknik untuk memeriksa performa holdout suatu model. Teknik ini dilakukan untuk memastikan bahwa performa pengujian tidak disebabkan oleh masalah tertentu dalam pembagian data. Pada latihan ini, Anda akan menggunakan implementasi dari sklearn untuk menjalankan K-fold cross validation dengan menggunakan modul KFold() guna menilai precision dan recall untuk sebuah decision tree.
X_train, y_train, X_test, y_test tersedia di workspace Anda. pandas sebagai pd, numpy sebagai np, dan sklearn juga tersedia di workspace Anda. KFold() dan cross_val_score() dari sklearn.model_selection juga tersedia.
Latihan ini merupakan bagian dari kursus
Memprediksi CTR dengan Machine Learning di Python
Instruksi latihan
- Buat sebuah classifier decision tree.
- Siapkan K-Fold cross validation dengan empat pembagian dan tetapkan ke
k-fold. - Gunakan
k_folduntuk menjalankan cross validation menggunakancross_val_score()guna mengevaluasi precision dan recall model Anda (dan bukan menggunakanrecall_score()atauprecision_score()!).
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Create model
clf = ____
# Set up k-fold
k_fold = ____(n_splits = 4, random_state = 0, shuffle = True)
# Evaluate precision and recall for each fold
precision = ____(
clf, X_train, ____, cv = ____, scoring = 'precision_weighted')
recall = ____(
clf, X_train, ____, cv = ____, scoring = 'recall_weighted')
print("Precision scores: %s" %(precision))
print("Recall scores: %s" %(recall))