Utiliser l'entropie comme critère

Dans cet exercice, vous allez entraîner un arbre de classification sur l'ensemble de données Wisconsin Breast Cancer en utilisant l'entropie comme critère d'information. Vous utiliserez les 30 variables du jeu de données, séparé en 80 % pour l'entraînement et 20 % pour le test.

X_train ainsi que le tableau d'étiquettes y_train sont disponibles dans votre environnement de travail.

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

Instructions de l’exercice

Importez DecisionTreeClassifier depuis sklearn.tree.
Instanciez un DecisionTreeClassifier dt_entropy avec une profondeur maximale de 8.
Définissez le critère d'information à 'entropy'.
Entraînez (fit) dt_entropy sur l'ensemble d'entraînement.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import DecisionTreeClassifier from sklearn.tree
from ____.____ import ____

# Instantiate dt_entropy, set 'entropy' as the information criterion
dt_entropy = ____(____=____, ____='____', random_state=1)

# Fit dt_entropy to the training set
____.____(____, ____)

Modifier et exécuter le code

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) forment un ensemble de modèles d'apprentissage supervisé utilisés pour des problèmes de classification et de régression. Dans ce chapitre, vous serez initié à l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique vs arbre de classification Exercise 5: Apprentissage d'un arbre de classification Exercise 6: Faire croître un arbre de classification Exercise 7: Utiliser l'entropie comme critère

Exercice en cours

Exercise 8: Entropie vs indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire vs arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux en apprentissage supervisé. Dans ce chapitre, vous verrez comment diagnostiquer les problèmes de surapprentissage et de sous-apprentissage. Vous serez aussi initié à la mise en ensemble, où les prédictions de plusieurs modèles sont agrégées pour produire des résultats plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surapprentissage et sous-apprentissage Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluer l'erreur de CV à 10 volets Exercise 7: Évaluer l'erreur d'entraînement Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage par ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classifieur par vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme sur différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous verrez comment le bagging peut servir à créer un ensemble d'arbres. Vous apprendrez aussi comment l'algorithme des forêts aléatoires peut accroître la diversité de l'ensemble grâce à une randomisation à chaque division dans les arbres qui le composent.

Exercise 1: Bagging Exercise 2: Définir le classifieur par bagging Exercise 3: Évaluer la performance du bagging Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: Pointage OOB vs pointage sur l'ensemble de test Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régressseur RF Exercise 9: Évaluer le régleur RF Exercise 10: Visualiser l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble où plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant des erreurs de ses prédécesseurs. Dans ce chapitre, vous serez initié aux deux méthodes de boosting : AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Définir le régleur GB Exercise 7: Entraîner le régressseur GB Exercise 8: Évaluer le régressseur GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régressseur SGB Exercise 12: Évaluer le régressseur SGB

Les hyperparamètres d'un modèle de Machine Learning sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'ajustement du modèle sur l'ensemble d'entraînement. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle à base d'arbres à l'aide d'une validation croisée par grille de recherche.

Exercise 1: Ajuster les hyperparamètres d'un CART Exercise 2: Hyperparamètres d'un arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Rechercher l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajuster les hyperparamètres d'une RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Trouver la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !