Pointage OOB vs pointage sur l'ensemble de test

Maintenant que vous avez instancié bc, vous allez l'ajuster à l'ensemble d'entraînement et évaluer ses justesses sur l'ensemble de test et en OOB.

Le jeu de données a été préparé pour vous et séparé en 80 % entraînement et 20 % test. Les matrices de caractéristiques X_train et X_test, ainsi que les tableaux d'étiquettes y_train et y_test, sont disponibles dans votre espace de travail. De plus, nous avons déjà chargé le classificateur bc instancié à l'exercice précédent et la fonction accuracy_score() de sklearn.metrics.

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

Instructions de l’exercice

Ajustez bc à l'ensemble d'entraînement, prédisez les étiquettes de l'ensemble de test et assignez les résultats à y_pred.
Évaluez la justesse sur l'ensemble de test acc_test en appelant accuracy_score.
Évaluez la justesse OOB de bc, acc_oob, en extrayant l'attribut oob_score_ de bc.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Fit bc to the training set 
____.____(____, ____)

# Predict test set labels
y_pred = ____.____(____)

# Evaluate test set accuracy
acc_test = ____(____, ____)

# Evaluate OOB accuracy
acc_oob = ____.____

# Print acc_test and acc_oob
print('Test set accuracy: {:.3f}, OOB accuracy: {:.3f}'.format(acc_test, acc_oob))

Modifier et exécuter le code

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) forment un ensemble de modèles d'apprentissage supervisé utilisés pour des problèmes de classification et de régression. Dans ce chapitre, vous serez initié à l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique vs arbre de classification Exercise 5: Apprentissage d'un arbre de classification Exercise 6: Faire croître un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie vs indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire vs arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux en apprentissage supervisé. Dans ce chapitre, vous verrez comment diagnostiquer les problèmes de surapprentissage et de sous-apprentissage. Vous serez aussi initié à la mise en ensemble, où les prédictions de plusieurs modèles sont agrégées pour produire des résultats plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surapprentissage et sous-apprentissage Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluer l'erreur de CV à 10 volets Exercise 7: Évaluer l'erreur d'entraînement Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage par ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classifieur par vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme sur différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous verrez comment le bagging peut servir à créer un ensemble d'arbres. Vous apprendrez aussi comment l'algorithme des forêts aléatoires peut accroître la diversité de l'ensemble grâce à une randomisation à chaque division dans les arbres qui le composent.

Exercise 1: Bagging Exercise 2: Définir le classifieur par bagging Exercise 3: Évaluer la performance du bagging Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: Pointage OOB vs pointage sur l'ensemble de test

Exercice en cours

Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régressseur RF Exercise 9: Évaluer le régleur RF Exercise 10: Visualiser l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble où plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant des erreurs de ses prédécesseurs. Dans ce chapitre, vous serez initié aux deux méthodes de boosting : AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Définir le régleur GB Exercise 7: Entraîner le régressseur GB Exercise 8: Évaluer le régressseur GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régressseur SGB Exercise 12: Évaluer le régressseur SGB

Les hyperparamètres d'un modèle de Machine Learning sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'ajustement du modèle sur l'ensemble d'entraînement. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle à base d'arbres à l'aide d'une validation croisée par grille de recherche.

Exercise 1: Ajuster les hyperparamètres d'un CART Exercise 2: Hyperparamètres d'un arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Rechercher l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajuster les hyperparamètres d'une RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Trouver la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !