Vérifier le score hors sac
Vérifions maintenant le score hors sac du modèle de l'exercice précédent.
Jusqu'ici, vous avez utilisé le score F1 pour mesurer la performance. Toutefois, dans cet exercice, utilisez plutôt la justesse (accuracy) afin de pouvoir la comparer facilement au score hors sac.
Le classificateur à arbre de décision de l'exercice précédent, clf_dt, est disponible dans votre espace de travail.
Le jeu de données pokemon est déjà chargé pour vous et séparé en ensembles d'entraînement et de test.
De plus, le classificateur à arbre de décision a été entraîné et est disponible sous le nom clf_dt pour l'utiliser comme estimateur de base.
Cette activité fait partie du cours
Méthodes d'ensemble en Python
Instructions de l’exercice
- Créez le classificateur de bagging en utilisant l'arbre de décision comme estimateur de base et 21 estimateurs. Cette fois, utilisez le score hors sac en précisant une valeur pour le paramètre
oob_score. - Affichez le score hors sac du classificateur.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Build and train the bagging classifier
clf_bag = ____(
____,
____,
____,
random_state=500)
clf_bag.fit(X_train, y_train)
# Print the out-of-bag score
print('OOB-Score: {:.3f}'.format(____))
# Evaluate the performance on the test set to compare
pred = clf_bag.predict(X_test)
print('Accuracy: {:.3f}'.format(accuracy_score(y_test, pred)))