Évaluer les résultats d’un réglage d’hyperparamètres

Ici, vous allez évaluer les résultats d’une exécution de réglage d’hyperparamètres pour un arbre de décision entraîné avec le package rpart. Le jeu de données knowledge_train_data a déjà été chargé pour vous, ainsi que les packages mlr et tidyverse. Le code suivant a également été exécuté :

task <- makeClassifTask(data = knowledge_train_data, 
                        target = "UNS")

lrn <- makeLearner(cl = "classif.rpart", fix.factors.prediction = TRUE)

param_set <- makeParamSet(
  makeIntegerParam("minsplit", lower = 1, upper = 30),
  makeIntegerParam("minbucket", lower = 1, upper = 30),
  makeIntegerParam("maxdepth", lower = 3, upper = 10)
)

ctrl_random <- makeTuneControlRandom(maxit = 10)

Cet exercice fait partie du cours

<cours>Optimisation des hyperparamètres en R</cours>

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create holdout sampling
holdout <- makeResampleDesc(___)

# Perform tuning
lrn_tune <- tuneParams(learner = lrn, task = task, resampling = holdout, control = ctrl_random, par.set = param_set)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Optimisation des hyperparamètres en R</cours>

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Pourquoi utilise-t-on ce terme étrange « hyperparamètre » ? Qu’a-t-il d’« hyper » ? Ici, vous comprendrez ce que sont les paramètres d’un modèle et en quoi ils diffèrent des hyperparamètres en Machine Learning. Vous verrez ensuite pourquoi nous souhaitons les optimiser et comment la configuration par défaut de caret inclut automatiquement une optimisation des hyperparamètres.

Exercise 1: Paramètres vs hyperparamètres Exercise 2: Paramètres du modèle vs hyperparamètres Exercise 3: Hyperparamètres dans les modèles linéaires Exercise 4: Quels sont les coefficients ?Exercise 5: Rappel des bases du Machine Learning Exercise 6: Machine Learning avec caret Exercise 7: Schémas de rééchantillonnage Exercise 8: Ajustement des hyperparamètres avec caret Exercise 9: Hyperparamètres dans le Stochastic Gradient Boosting Exercise 10: Modifier le nombre d’hyperparamètres à ajuster Exercise 11: Ajuster les hyperparamètres manuellement

Dans ce chapitre, vous apprendrez à optimiser des hyperparamètres avec une grille cartésienne. Vous mettrez ensuite en œuvre des approches plus rapides et plus efficaces. Vous utiliserez la recherche aléatoire et le rééchantillonnage adaptatif pour explorer la grille de paramètres, en concentrant la recherche sur les valeurs proches des réglages optimaux.

Exercise 1: Réglage des hyperparamètres avec caret Exercise 2: Identifier les hyperparamètres Exercise 3: Recherche en grille cartésienne avec caret Exercise 4: Tracer la sortie du modèle d’hyperparamètres Exercise 5: Recherche par grille vs recherche aléatoire Exercise 6: Recherche par grille avec des plages d’hyperparamètres Exercise 7: Trouver l’option de train() pour la recherche aléatoire Exercise 8: Recherche aléatoire avec caret Exercise 9: Rééchantillonnage adaptatif Exercise 10: Avantages de l’Adaptive Resampling Exercise 11: Rééchantillonnage adaptatif avec caret

Ici, vous utiliserez un autre package de Machine Learning qui propose des fonctions très pratiques pour l’optimisation des hyperparamètres. Vous définirez une grille cartésienne ou effectuerez une recherche aléatoire, ainsi que des techniques avancées. Vous découvrirez aussi différentes manières de visualiser et d’évaluer des modèles selon leurs hyperparamètres.

Exercise 1: Machine Learning avec mlr Exercise 2: Machine Learning avec mlr Exercise 3: Modéliser avec mlr Exercise 4: Recherche par grille et aléatoire avec mlr Exercise 5: Recherche aléatoire avec mlr Exercise 6: Réaliser un réglage d’hyperparamètres avec mlr Exercise 7: Évaluer les hyperparamètres avec mlr Exercise 8: Pourquoi évaluer l’optimisation ?Exercise 9: Évaluer les résultats d’un réglage d’hyperparamètres

Exercice actuel

Exercise 10: Ajustements avancés avec mlr Exercise 11: Définir des contrôles d’optimisation avancés Exercise 12: Définir des mesures agrégées Exercise 13: Définir des hyperparamètres

Dans ce dernier chapitre, vous utiliserez h2o, un autre package de Machine Learning offrant des fonctions très pratiques pour l’optimisation des hyperparamètres. Vous l’utiliserez pour entraîner différents modèles et définir une grille cartésienne. Ensuite, vous effectuerez une recherche aléatoire avec des critères d’arrêt. Enfin, vous découvrirez AutoML, une interface h2o qui permet une optimisation très rapide et pratique des modèles et de leurs hyperparamètres avec une seule fonction.

Exercise 1: Machine Learning avec h2o Exercise 2: Préparer les données pour le modélisation avec h2o Exercise 3: Modéliser avec h2o Exercise 4: Recherche par grille et aléatoire avec h2o Exercise 5: Recherche par grille avec h2o Exercise 6: Recherche aléatoire avec h2o Exercise 7: Critères d’arrêt Exercise 8: Machine Learning automatique avec H2O Exercise 9: AutoML avec h2o Exercise 10: Évaluer le leaderboard Exercise 11: Extraire des modèles h2o et évaluer les performances Exercise 12: Conclusion