Utiliser l'entropie comme critère

Dans cet exercice, vous formerez un arbre de classification sur l'ensemble de données Wisconsin Breast Cancer en utilisant l'entropie comme critère d'information. Pour ce faire, vous utiliserez les 30 caractéristiques de l'ensemble de données, qui est divisé en 80 % de formation et 20 % de test.

X_train ainsi que l'ensemble des étiquettes y_train sont disponibles dans votre espace de travail.

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

Afficher le cours

Instructions

Importez DecisionTreeClassifier à partir de sklearn.tree.
Instanciez un site DecisionTreeClassifier dt_entropy avec une profondeur maximale de 8.
Fixez le critère d'information à 'entropy'.
Ajustez dt_entropy sur l'ensemble d'apprentissage.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import DecisionTreeClassifier from sklearn.tree
from ____.____ import ____

# Instantiate dt_entropy, set 'entropy' as the information criterion
dt_entropy = ____(____=____, ____='____', random_state=1)

# Fit dt_entropy to the training set
____.____(____, ____)

Modifier et exécuter le code

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

IntermédiaireNiveau de compétence

4.9+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) sont un ensemble de modèles d'apprentissage supervisé utilisés pour les problèmes de classification et de régression. Dans ce chapitre, vous découvrirez l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique ou arbre de classification Exercise 5: Arbre de classification Apprentissage Exercise 6: Croissance d'un arbre de classification Exercise 7: Utiliser l'entropie comme critère

Exercice en cours

Exercise 8: Entropie et indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Formez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire ou arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux de l'apprentissage automatique supervisé. Dans ce chapitre, vous comprendrez comment diagnostiquer les problèmes d'overfitting et d'underfitting. Vous serez également initié au concept d'assemblage, qui consiste à agréger les prévisions de plusieurs modèles afin de produire des prévisions plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surajustement et sous-ajustement Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluez l'erreur 10 fois supérieure CV Exercise 7: Évaluer l'erreur d'apprentissage Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage d'ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classificateur de vote

L'agrégation est une méthode d'ensemble qui consiste à entraîner le même algorithme plusieurs fois en utilisant différents sous-ensembles échantillonnés à partir des données d'apprentissage. Dans ce chapitre, vous comprendrez comment l'ensachage peut être utilisé pour créer un ensemble d'arbres. Vous apprendrez également comment l'algorithme des forêts aléatoires peut conduire à une plus grande diversité de l'ensemble grâce à la randomisation au niveau de chaque division des arbres formant l'ensemble.

Exercise 1: Ensachage Exercise 2: Définir le classificateur à sac Exercise 3: Évaluer les performances de l'ensachage Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: OOB Score par rapport au score de l'ensemble des tests Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraînement d'un régresseur RF Exercise 9: Évaluez le régresseur RF Exercise 10: Visualisation de l'importance des caractéristiques

Le boosting fait référence à une méthode d'ensemble dans laquelle plusieurs modèles sont formés de manière séquentielle, chaque modèle apprenant à partir des erreurs de ses prédécesseurs. Dans ce chapitre, vous découvrirez les deux méthodes de boosting, AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraînez le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Renforcement du gradient (GB)Exercise 6: Définissez le régresseur GB Exercise 7: Entraînez le régresseur GB Exercise 8: Évaluez le régresseur GB Exercise 9: Boosting stochastique de gradient (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraînez le régresseur SGB Exercise 12: Évaluez le régresseur SGB

Les hyperparamètres d'un modèle d'apprentissage automatique sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'adaptation du modèle à l'ensemble d'apprentissage. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle arborescent à l'aide de la validation croisée par recherche en grille.

Exercise 1: Ajustement des hyperparamètres d'un site CART Exercise 2: Hyperparamètres de l'arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Recherche de l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajustement des hyperparamètres d'un site RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définissez la grille d'hyperparamètres de RF Exercise 9: Recherche de la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !