Évaluer l'arbre optimal

Dans cet exercice, vous allez évaluer le score ROC AUC sur l'ensemble de test du meilleur modèle de grid_dt.

Pour y arriver, vous déterminerez d'abord la probabilité d'obtenir l'étiquette positive pour chaque observation de l'ensemble de test. Vous pouvez utiliser la méthode predict_proba() d'un classificateur scikit-learn pour calculer un tableau 2D contenant, par colonnes respectives, les probabilités des étiquettes de classe négative et positive.

Le jeu de données est déjà chargé et préparé pour vous (les variables numériques sont normalisées) ; il est séparé en 80 % entraînement et 20 % test. X_test, y_test sont disponibles dans votre espace de travail. De plus, nous avons aussi chargé l'objet GridSearchCV entraîné grid_dt que vous avez instancié dans l'exercice précédent. Notez que grid_dt a été entraîné comme suit :

grid_dt.fit(X_train, y_train)

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

Instructions de l’exercice

Importez roc_auc_score depuis sklearn.metrics.
Extrayez l'attribut .best_estimator_ de grid_dt et assignez-le à best_model.
Prédisez, pour l'ensemble de test, les probabilités d'obtenir la classe positive y_pred_proba.
Calculez le score ROC AUC sur l'ensemble de test test_roc_auc de best_model.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import roc_auc_score from sklearn.metrics
____

# Extract the best estimator
best_model = ____

# Predict the test set probabilities of the positive class
y_pred_proba = ____

# Compute test_roc_auc
test_roc_auc = ____

# Print test_roc_auc
print('Test set ROC AUC score: {:.3f}'.format(test_roc_auc))

Modifier et exécuter le code

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) forment un ensemble de modèles d'apprentissage supervisé utilisés pour des problèmes de classification et de régression. Dans ce chapitre, vous serez initié à l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique vs arbre de classification Exercise 5: Apprentissage d'un arbre de classification Exercise 6: Faire croître un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie vs indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire vs arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux en apprentissage supervisé. Dans ce chapitre, vous verrez comment diagnostiquer les problèmes de surapprentissage et de sous-apprentissage. Vous serez aussi initié à la mise en ensemble, où les prédictions de plusieurs modèles sont agrégées pour produire des résultats plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surapprentissage et sous-apprentissage Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluer l'erreur de CV à 10 volets Exercise 7: Évaluer l'erreur d'entraînement Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage par ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classifieur par vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme sur différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous verrez comment le bagging peut servir à créer un ensemble d'arbres. Vous apprendrez aussi comment l'algorithme des forêts aléatoires peut accroître la diversité de l'ensemble grâce à une randomisation à chaque division dans les arbres qui le composent.

Exercise 1: Bagging Exercise 2: Définir le classifieur par bagging Exercise 3: Évaluer la performance du bagging Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: Pointage OOB vs pointage sur l'ensemble de test Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régressseur RF Exercise 9: Évaluer le régleur RF Exercise 10: Visualiser l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble où plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant des erreurs de ses prédécesseurs. Dans ce chapitre, vous serez initié aux deux méthodes de boosting : AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Définir le régleur GB Exercise 7: Entraîner le régressseur GB Exercise 8: Évaluer le régressseur GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régressseur SGB Exercise 12: Évaluer le régressseur SGB

Les hyperparamètres d'un modèle de Machine Learning sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'ajustement du modèle sur l'ensemble d'entraînement. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle à base d'arbres à l'aide d'une validation croisée par grille de recherche.

Exercise 1: Ajuster les hyperparamètres d'un CART Exercise 2: Hyperparamètres d'un arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Rechercher l'arbre optimal Exercise 5: Évaluer l'arbre optimal

Exercice en cours

Exercise 6: Ajuster les hyperparamètres d'une RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Trouver la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !