Préparez le terrain

Dans les exercices suivants, vous comparerez la précision OOB à la précision du jeu de test d'un classificateur bagging formé sur l'ensemble de données Indian Liver Patient.

Dans sklearn, il est possible d'évaluer la précision OOB d'un classificateur d'ensemble en définissant le paramètre oob_score sur True lors de l'instanciation. Après avoir formé le classificateur, la précision OOB peut être obtenue en accédant à l'attribut « .oob_score_ » (précision hors échantillon) à partir de l'instance correspondante.

Dans votre environnement, nous avons mis à disposition la classe DecisionTreeClassifier à partir de sklearn.tree.

Cet exercice fait partie du cours

Machine learning avec des modèles arborescents en Python

Afficher le cours

Instructions

Importez BaggingClassifier à partir de sklearn.ensemble.
Instancier un objet DecisionTreeClassifier avec min_samples_leaf défini sur 8.
Instanciez une classe BaggingClassifier composée de 50 arbres et définissez oob_score sur True.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Import BaggingClassifier
____

# Instantiate dt
dt = ____(min_samples_leaf=____, random_state=1)

# Instantiate bc
bc = ____(base_estimator=____, 
            n_estimators=____,
            oob_score=____,
            random_state=1)

Modifier et exécuter le code

Cet exercice fait partie du cours

Machine learning avec des modèles arborescents en Python

IntermédiaireNiveau de compétence

4.9+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) sont un ensemble de modèles d'apprentissage supervisé utilisés pour les problèmes impliquant la classification et la régression. Dans ce chapitre, vous découvrirez l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique et arbre de classification Exercise 5: Arbre de classification Apprentissage Exercise 6: Développer un arbre de classification Exercise 7: Utilisation de l'entropie comme critère Exercise 8: Entropie par rapport à l'indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire et arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux de l'apprentissage automatique supervisé. Dans ce chapitre, vous apprendrez à diagnostiquer les problèmes de surajustement et de sous-ajustement. Vous découvrirez également le concept d'ensembling, qui consiste à agréger les prédictions de plusieurs modèles afin d'obtenir des prédictions plus fiables.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surajustement et sous-ajustement Exercise 4: Identifier les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Veuillez évaluer l'erreur CV décuple.Exercise 7: Veuillez évaluer l'erreur de formation.Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage en ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: Amélioration des performances grâce à un classificateur de vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme à l'aide de différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous apprendrez comment utiliser le bagging pour créer un ensemble d'arbres. Vous découvrirez également comment l'algorithme des forêts aléatoires peut conduire à une plus grande diversité de l'ensemble grâce à la randomisation au niveau de chaque division dans les arbres formant l'ensemble.

Exercise 1: Ensachage Exercise 2: Définir le classificateur d'ensachage Exercise 3: Évaluer les performances de l'ensachage Exercise 4: Évaluation hors sac Exercise 5: Préparez le terrain

Exercice en cours

Exercise 6: Score OOB par rapport au score du jeu de test Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régresseur RF Exercise 9: Évaluer le régresseur RF Exercise 10: Visualisation de l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble dans laquelle plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant à partir des erreurs de ses prédécesseurs. Dans ce chapitre, vous découvrirez les deux méthodes de renforcement AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Amélioration par gradient (GB)Exercise 6: Définir le régresseur GB Exercise 7: Entraîner le régresseur GB Exercise 8: Évaluer le régresseur GB Exercise 9: Amélioration stochastique du gradient (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régresseur SGB Exercise 12: Évaluer le régresseur SGB

Les hyperparamètres d'un modèle d'apprentissage automatique sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant d'adapter le modèle à l'ensemble d'apprentissage. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle basé sur un arbre à l'aide d'une validation croisée par recherche par grille.

Exercise 1: Réglage des hyperparamètres d'un CART Exercise 2: Hyperparamètres de l'arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Recherche de l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Réglage des hyperparamètres d'un RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Recherche de la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !