Instancier le modèle

Dans les exercices suivants, vous allez diagnostiquer les problèmes de biais et de variance d'un arbre de régression. L'arbre de régression que vous définirez dans cet exercice sera utilisé pour prédire la consommation en miles par heure des voitures de l'ensemble de données automobiles en utilisant toutes les caractéristiques disponibles.

Nous avons déjà traité les données et chargé la matrice de caractéristiques X et le tableau y dans votre espace de travail. En outre, la classe DecisionTreeRegressor a été importée de sklearn.tree.

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

Afficher le cours

Instructions

Importez train_test_split à partir de sklearn.model_selection.
Divisez les données en 70 % pour la formation et 30 % pour le test.
Instanciez un site DecisionTreeRegressor avec une profondeur maximale de 4 et une valeur de 0,26 pour min_samples_leaf.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import train_test_split from sklearn.model_selection
____

# Set SEED for reproducibility
SEED = 1

# Split the data into 70% train and 30% test
X_train, X_test, y_train, y_test = ____(____, ____, test_size=____, random_state=SEED)

# Instantiate a DecisionTreeRegressor dt
dt = ____(____=____, ____=____, random_state=SEED)

Modifier et exécuter le code

Cet exercice fait partie du cours

Apprentissage automatique avec des modèles arborescents en Python

IntermédiaireNiveau de compétence

4.9+

Commencer le cours gratuitement

Les arbres de classification et de régression (CART) sont un ensemble de modèles d'apprentissage supervisé utilisés pour les problèmes de classification et de régression. Dans ce chapitre, vous découvrirez l'algorithme CART.

Exercise 1: Arbre de décision pour la classification Exercise 2: Entraînez votre premier arbre de classification Exercise 3: Évaluer l'arbre de classification Exercise 4: Régression logistique ou arbre de classification Exercise 5: Arbre de classification Apprentissage Exercise 6: Croissance d'un arbre de classification Exercise 7: Utiliser l'entropie comme critère Exercise 8: Entropie et indice de Gini Exercise 9: Arbre de décision pour la régression Exercise 10: Formez votre premier arbre de régression Exercise 11: Évaluer l'arbre de régression Exercise 12: Régression linéaire ou arbre de régression

Le compromis biais-variance est l'un des concepts fondamentaux de l'apprentissage automatique supervisé. Dans ce chapitre, vous comprendrez comment diagnostiquer les problèmes d'overfitting et d'underfitting. Vous serez également initié au concept d'assemblage, qui consiste à agréger les prévisions de plusieurs modèles afin de produire des prévisions plus robustes.

Exercise 1: Erreur de généralisation Exercise 2: Complexité, biais et variance Exercise 3: Surajustement et sous-ajustement Exercise 4: Diagnostiquer les problèmes de biais et de variance Exercise 5: Instancier le modèle

Exercice en cours

Exercise 6: Évaluez l'erreur 10 fois supérieure CV Exercise 7: Évaluer l'erreur d'apprentissage Exercise 8: Biais élevé ou variance élevée ?Exercise 9: Apprentissage d'ensemble Exercise 10: Définir l'ensemble Exercise 11: Évaluer les classificateurs individuels Exercise 12: De meilleures performances avec un classificateur de vote

L'agrégation est une méthode d'ensemble qui consiste à entraîner le même algorithme plusieurs fois en utilisant différents sous-ensembles échantillonnés à partir des données d'apprentissage. Dans ce chapitre, vous comprendrez comment l'ensachage peut être utilisé pour créer un ensemble d'arbres. Vous apprendrez également comment l'algorithme des forêts aléatoires peut conduire à une plus grande diversité de l'ensemble grâce à la randomisation au niveau de chaque division des arbres formant l'ensemble.

Exercise 1: Ensachage Exercise 2: Définir le classificateur à sac Exercise 3: Évaluer les performances de l'ensachage Exercise 4: Évaluation hors sac Exercise 5: Préparer le terrain Exercise 6: OOB Score par rapport au score de l'ensemble des tests Exercise 7: Forêts aléatoires (RF)Exercise 8: Entraînement d'un régresseur RF Exercise 9: Évaluez le régresseur RF Exercise 10: Visualisation de l'importance des caractéristiques

Le boosting fait référence à une méthode d'ensemble dans laquelle plusieurs modèles sont formés de manière séquentielle, chaque modèle apprenant à partir des erreurs de ses prédécesseurs. Dans ce chapitre, vous découvrirez les deux méthodes de boosting, AdaBoost et Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Définir le classificateur AdaBoost Exercise 3: Entraînez le classificateur AdaBoost Exercise 4: Évaluer le classificateur AdaBoost Exercise 5: Renforcement du gradient (GB)Exercise 6: Définissez le régresseur GB Exercise 7: Entraînez le régresseur GB Exercise 8: Évaluez le régresseur GB Exercise 9: Boosting stochastique de gradient (SGB)Exercise 10: Régression avec SGB Exercise 11: Entraînez le régresseur SGB Exercise 12: Évaluez le régresseur SGB

Les hyperparamètres d'un modèle d'apprentissage automatique sont des paramètres qui ne sont pas appris à partir des données. Ils doivent être définis avant l'adaptation du modèle à l'ensemble d'apprentissage. Dans ce chapitre, vous apprendrez à ajuster les hyperparamètres d'un modèle arborescent à l'aide de la validation croisée par recherche en grille.

Exercise 1: Ajustement des hyperparamètres d'un site CART Exercise 2: Hyperparamètres de l'arbre Exercise 3: Définir la grille d'hyperparamètres de l'arbre Exercise 4: Recherche de l'arbre optimal Exercise 5: Évaluer l'arbre optimal Exercise 6: Ajustement des hyperparamètres d'un site RF Exercise 7: Hyperparamètres des forêts aléatoires Exercise 8: Définissez la grille d'hyperparamètres de RF Exercise 9: Recherche de la forêt optimale Exercise 10: Évaluer la forêt optimale Exercise 11: Félicitations !