Surapprentissage et sous-apprentissage

Dans cet exercice, vous allez diagnostiquer visuellement si un modèle fait du surapprentissage ou du sous-apprentissage sur l’ensemble d’entraînement.

À cette fin, nous avons entraîné deux modèles différents, \(A\) et \(B\), sur le jeu de données auto pour prédire la consommation mpg d’une voiture en utilisant uniquement la cylindrée (displ) comme caractéristique.

La figure suivante présente des nuages de points de mpg en fonction de displ, accompagnés des lignes en rouge correspondant aux prédictions sur l’ensemble d’entraînement des modèles \(A\) et \(B\).

diagnose

Laquelle des affirmations suivantes est vraie ?

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Machine Learning avec des modèles à base d'arbres en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) forment un ensemble de modèles d'apprentissage supervisé utilisés pour des problèmes de classification et de régression. Dans ce chapitre, vous serez initié à l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique vs arbre de classification Exercise 5: Apprentissage d'un arbre de classification Exercise 6: Faire croître un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie vs indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Entraînez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire vs arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux en apprentissage supervisé. Dans ce chapitre, vous verrez comment diagnostiquer les problèmes de surapprentissage et de sous-apprentissage. Vous serez aussi initié à la mise en ensemble, où les prédictions de plusieurs modèles sont agrégées pour produire des résultats plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surapprentissage et sous-apprentissage

Exercice en cours

Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle Exercise 6: Évaluer l'erreur de CV à 10 volets Exercise 7: Évaluer l'erreur d'entraînement Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage par ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classifieur par vote

Le bagging est une méthode d'ensemble qui consiste à entraîner plusieurs fois le même algorithme sur différents sous-ensembles échantillonnés à partir des données d'entraînement. Dans ce chapitre, vous verrez comment le bagging peut servir à créer un ensemble d'arbres. Vous apprendrez aussi comment l'algorithme des forêts aléatoires peut accroître la diversité de l'ensemble grâce à une randomisation à chaque division dans les arbres qui le composent.

Exercise 1: Bagging Exercise 2: Définir le classifieur par bagging Exercise 3: Évaluer la performance du bagging Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: Pointage OOB vs pointage sur l'ensemble de test Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraîner un régressseur RF Exercise 9: Évaluer le régleur RF Exercise 10: Visualiser l'importance des caractéristiques

Le boosting désigne une méthode d'ensemble où plusieurs modèles sont entraînés séquentiellement, chaque modèle apprenant des erreurs de ses prédécesseurs. Dans ce chapitre, vous serez initié aux deux méthodes de boosting : AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraîner le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Définir le régleur GB Exercise 7: Entraîner le régressseur GB Exercise 8: Évaluer le régressseur GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraîner le régressseur SGB Exercise 12: Évaluer le régressseur SGB

Les hyperparamètres d'un modèle de Machine Learning sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'ajustement du modèle sur l'ensemble d'entraînement. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle à base d'arbres à l'aide d'une validation croisée par grille de recherche.

Exercise 1: Ajuster les hyperparamètres d'un CART Exercise 2: Hyperparamètres d'un arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Rechercher l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajuster les hyperparamètres d'une RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définir la grille d'hyperparamètres de RF Exercise 9: Trouver la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !