Entraînez votre premier arbre de classification

Dans cet exercice, vous allez travailler avec le jeu de données Wisconsin Breast Cancer du référentiel UCI de Machine Learning. Vous prédirez si une tumeur est maligne ou bénigne à partir de deux variables : le rayon moyen de la tumeur (radius_mean) et son nombre moyen de points concaves (concave points_mean).

Le jeu de données est déjà chargé dans votre espace de travail et est séparé en 80 % entraînement et 20 % test. Les matrices de caractéristiques sont assignées à X_train et X_test, tandis que les tableaux d'étiquettes sont assignés à y_train et y_test, où la classe 1 correspond à une tumeur maligne et la classe 0 à une tumeur bénigne. Pour obtenir des résultats reproductibles, nous avons aussi défini une variable appelée SEED dont la valeur est 1.

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

Instructions de l’exercice

Importez DecisionTreeClassifier depuis sklearn.tree.
Instanciez un DecisionTreeClassifier dt avec une profondeur maximale égale à 6.
Ajustez dt à l'ensemble d'entraînement.
Prédisez les étiquettes de l'ensemble de test et assignez le résultat à y_pred.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import DecisionTreeClassifier from sklearn.tree
from ____.____ import ____

# Instantiate a DecisionTreeClassifier 'dt' with a maximum depth of 6
dt = ____(____=____, random_state=SEED)

# Fit dt to the training set
____.____(____, ____)

# Predict test set labels
y_pred = ____.____(____)
print(y_pred[0:5])

Modifier et exécuter le code

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) forment un ensemble de modèles d'apprentissage supervisé utilisés pour des problèmes de classification et de régression. Dans ce chapitre, vous serez initié à l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification

Exercice en cours

Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique vs arbre de classification Exercise 5: Apprentissage d'un arbre de classification Exercise 6: Faire croître un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie vs indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire vs arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux en apprentissage supervisé. Dans ce chapitre, vous verrez comment diagnostiquer les problèmes de surapprentissage et de sous-apprentissage. Vous serez aussi initié à la mise en ensemble, où les prédictions de plusieurs modèles sont agrégées pour produire des résultats plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surapprentissage et sous-apprentissage Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluer l'erreur de CV à 10 volets Exercise 7: Évaluer l'erreur d'entraînement Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage par ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classifieur par vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme sur différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous verrez comment le bagging peut servir à créer un ensemble d'arbres. Vous apprendrez aussi comment l'algorithme des forêts aléatoires peut accroître la diversité de l'ensemble grâce à une randomisation à chaque division dans les arbres qui le composent.

Exercise 1: Bagging Exercise 2: Définir le classifieur par bagging Exercise 3: Évaluer la performance du bagging Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: Pointage OOB vs pointage sur l'ensemble de test Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régressseur RF Exercise 9: Évaluer le régleur RF Exercise 10: Visualiser l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble où plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant des erreurs de ses prédécesseurs. Dans ce chapitre, vous serez initié aux deux méthodes de boosting : AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Définir le régleur GB Exercise 7: Entraîner le régressseur GB Exercise 8: Évaluer le régressseur GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régressseur SGB Exercise 12: Évaluer le régressseur SGB

Les hyperparamètres d'un modèle de Machine Learning sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'ajustement du modèle sur l'ensemble d'entraînement. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle à base d'arbres à l'aide d'une validation croisée par grille de recherche.

Exercise 1: Ajuster les hyperparamètres d'un CART Exercise 2: Hyperparamètres d'un arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Rechercher l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajuster les hyperparamètres d'une RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Trouver la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !