Entropie et indice de Gini

Dans cet exercice, vous allez comparer la précision de l'ensemble de test de dt_entropy à la précision d'un autre arbre appelé dt_gini. L'arbre dt_gini a été entraîné sur le même ensemble de données en utilisant les mêmes paramètres, à l'exception du critère d'information qui a été fixé à l'indice de Gini en utilisant le mot-clé 'gini'.

X_test, y_test, dt_entropy, ainsi que accuracy_gini qui correspond à la précision de l'ensemble de tests obtenue par dt_gini sont disponibles dans votre espace de travail.

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

Afficher le cours

Instructions

Importez accuracy_score à partir de sklearn.metrics.
Prédire les étiquettes de l'ensemble de test de dt_entropy et attribuer le résultat à y_pred.
Évaluez la précision de l'ensemble de test de dt_entropy et attribuez le résultat à accuracy_entropy.
Consultez les sites accuracy_entropy et accuracy_gini.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import accuracy_score from sklearn.metrics
from ____.____ import ____

# Use dt_entropy to predict test set labels
____= ____.____(____)

# Evaluate accuracy_entropy
accuracy_entropy = ____(____, ____)

# Print accuracy_entropy
print(f'Accuracy achieved by using entropy: {accuracy_entropy:.3f}')

# Print accuracy_gini
print(f'Accuracy achieved by using the gini index: {accuracy_gini:.3f}')

Modifier et exécuter le code

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

IntermédiaireNiveau de compétence

4.9+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) sont un ensemble de modèles d'apprentissage supervisé utilisés pour les problèmes de classification et de régression. Dans ce chapitre, vous découvrirez l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique ou arbre de classification Exercise 5: Arbre de classification Apprentissage Exercise 6: Croissance d'un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie et indice de Gini

Exercice en cours

Exercise 9: Arbre de décision pour la régression Exercise 10: Formez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire ou arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux de l'apprentissage automatique supervisé. Dans ce chapitre, vous comprendrez comment diagnostiquer les problèmes d'overfitting et d'underfitting. Vous serez également initié au concept d'assemblage, qui consiste à agréger les prévisions de plusieurs modèles afin de produire des prévisions plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surajustement et sous-ajustement Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluez l'erreur 10 fois supérieure CV Exercise 7: Évaluer l'erreur d'apprentissage Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage d'ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classificateur de vote

L'agrégation est une méthode d'ensemble qui consiste à entraîner le même algorithme plusieurs fois en utilisant différents sous-ensembles échantillonnés à partir des données d'apprentissage. Dans ce chapitre, vous comprendrez comment l'ensachage peut être utilisé pour créer un ensemble d'arbres. Vous apprendrez également comment l'algorithme des forêts aléatoires peut conduire à une plus grande diversité de l'ensemble grâce à la randomisation au niveau de chaque division des arbres formant l'ensemble.

Exercise 1: Ensachage Exercise 2: Définir le classificateur à sac Exercise 3: Évaluer les performances de l'ensachage Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: OOB Score par rapport au score de l'ensemble des tests Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraînement d'un régresseur RF Exercise 9: Évaluez le régresseur RF Exercise 10: Visualisation de l'importance des caractéristiques

Le boosting fait référence à une méthode d'ensemble dans laquelle plusieurs modèles sont formés de manière séquentielle, chaque modèle apprenant à partir des erreurs de ses prédécesseurs. Dans ce chapitre, vous découvrirez les deux méthodes de boosting, AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraînez le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Renforcement du gradient (GB)Exercise 6: Définissez le régresseur GB Exercise 7: Entraînez le régresseur GB Exercise 8: Évaluez le régresseur GB Exercise 9: Boosting stochastique de gradient (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraînez le régresseur SGB Exercise 12: Évaluez le régresseur SGB

Les hyperparamètres d'un modèle d'apprentissage automatique sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'adaptation du modèle à l'ensemble d'apprentissage. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle arborescent à l'aide de la validation croisée par recherche en grille.

Exercise 1: Ajustement des hyperparamètres d'un site CART Exercise 2: Hyperparamètres de l'arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Recherche de l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajustement des hyperparamètres d'un site RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définissez la grille d'hyperparamètres de RF Exercise 9: Recherche de la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !