Évaluer le tableau de tête

La fonction AutoML de H2O retourne les résultats de modèles dans le tableau de tête (leaderboard). Sans validation croisée, quels ensembles de données devez-vous définir si vous voulez :

utiliser les données d'entraînement telles quelles
utiliser la moitié des données de validation pour la validation
et utiliser l'autre moitié des données de validation pour évaluer le tableau de tête

Cette activité fait partie du cours

Ajustement d'hyperparamètres en R

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Ajustement d'hyperparamètres en R

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Pourquoi utilise-t-on le terme « hyperparamètre »? Qu'a-t-il d'« hyper »? Ici, vous comprendrez ce que sont les paramètres d'un modèle et en quoi ils diffèrent des hyperparamètres en Machine Learning. Vous verrez ensuite pourquoi on souhaite les ajuster et comment les réglages par défaut de caret incluent automatiquement un ajustement des hyperparamètres.

Exercise 1: Paramètres et hyperparamètres Exercise 2: Paramètres du modèle et hyperparamètres Exercise 3: Hyperparamètres dans les modèles linéaires Exercise 4: Quels sont les coefficients?Exercise 5: Rappel des notions de base en Machine Learning Exercise 6: Machine Learning avec caret Exercise 7: Schémas de rééchantillonnage Exercise 8: Ajustement des hyperparamètres avec caret Exercise 9: Hyperparamètres dans Stochastic Gradient Boosting Exercise 10: Modifier le nombre d'hyperparamètres à optimiser Exercise 11: Ajuster les hyperparamètres manuellement

Dans ce chapitre, vous apprendrez à ajuster des hyperparamètres avec une grille cartésienne. Puis, vous mettrez en œuvre des approches plus rapides et plus efficaces. Vous utiliserez la Random Search et le rééchantillonnage adaptatif pour affiner la grille de paramètres, de manière à vous concentrer sur les valeurs près des réglages optimaux.

Exercise 1: Réglage des hyperparamètres avec caret Exercise 2: Repérer les hyperparamètres Exercise 3: Recherche en grille cartésienne avec caret Exercise 4: Tracer les résultats du modèle selon les hyperparamètres Exercise 5: Recherche par grille vs recherche aléatoire Exercise 6: Recherche par grille avec étendue d'hyperparamètres Exercise 7: Trouver l'option de train() pour la recherche aléatoire Exercise 8: Recherche aléatoire avec caret Exercise 9: Rééchantillonnage adaptatif Exercise 10: Avantages de l'Adaptive Resampling Exercise 11: Rééchantillonnage adaptatif avec caret

Ici, vous utiliserez un autre package de Machine Learning qui offre des fonctions très pratiques pour l'ajustement des hyperparamètres. Vous définirez une grille cartésienne ou effectuerez une Random Search, ainsi que des techniques avancées. Vous apprendrez aussi différentes façons de tracer et d'évaluer des modèles avec divers hyperparamètres.

Exercise 1: Machine Learning avec mlr Exercise 2: Machine Learning avec mlr Exercise 3: Modéliser avec mlr Exercise 4: Recherche par grille et aléatoire avec mlr Exercise 5: Recherche aléatoire avec mlr Exercise 6: Effectuer l'ajustement d'hyperparamètres avec mlr Exercise 7: Évaluer les hyperparamètres avec mlr Exercise 8: Pourquoi évaluer l'optimisation?Exercise 9: Évaluer les résultats de l'ajustement d'hyperparamètres Exercise 10: Ajustement avancé avec mlr Exercise 11: Définir des paramètres avancés d'optimisation Exercise 12: Définir des mesures agrégées Exercise 13: Définir des hyperparamètres

Dans ce dernier chapitre, vous utiliserez h2o, un autre package de Machine Learning doté de fonctions très pratiques pour l'ajustement des hyperparamètres. Vous l'utiliserez pour entraîner différents modèles et définir une grille cartésienne. Ensuite, vous mettrez en œuvre une Random Search avec des critères d'arrêt. Enfin, vous apprendrez AutoML, une interface de h2o qui permet un réglage très rapide et pratique des modèles et des hyperparamètres avec une seule fonction.

Exercise 1: Machine Learning avec h2o Exercise 2: Préparer les données pour la modélisation avec h2o Exercise 3: Modélisation avec h2o Exercise 4: Recherche par grille et aléatoire avec h2o Exercise 5: Recherche en grille avec h2o Exercise 6: Recherche aléatoire avec h2o Exercise 7: Critères d'arrêt Exercise 8: Machine learning automatisé avec H2O Exercise 9: AutoML dans h2o Exercise 10: Évaluer le tableau de tête

Exercice en cours

Exercise 11: Extraire des modèles h2o et évaluer leur performance Exercise 12: Récapitulatif