RandomizedSearchCV dans Scikit Learn

Entraînons-nous à construire un objet RandomizedSearchCV avec Scikit Learn.

La grille d’hyperparamètres doit couvrir max_depth (toutes les valeurs de 5 à 25 incluses) et max_features ('auto' et 'sqrt').

Les options souhaitées pour l’objet RandomizedSearchCV sont :

Un estimateur RandomForestClassifier avec n_estimators à 80.
Validation croisée en 3 plis (cv)
Utiliser roc_auc pour noter les modèles
Utiliser 4 cœurs pour le traitement en parallèle (n_jobs)
Veiller à réentraîner le meilleur modèle et à renvoyer les scores d’entraînement
Échantillonner seulement 5 configurations pour l’efficacité (n_iter)

Les jeux de données X_train et y_train sont déjà chargés pour vous.

Rappelez-vous que pour extraire les hyperparamètres choisis, ils se trouvent dans cv_results_ avec une colonne par hyperparamètre. Par exemple, la colonne de l’hyperparamètre criterion est param_criterion.

Cet exercice fait partie du cours

Optimisation des hyperparamètres en Python

Afficher le cours

Instructions

Créez une grille d’hyperparamètres comme indiqué ci-dessus.
Créez un objet RandomizedSearchCV tel que décrit ci-dessus.
Ajustez l’objet RandomizedSearchCV sur les données d’entraînement.
Indexez l’objet cv_results_ pour afficher les valeurs sélectionnées par le processus de modélisation pour les deux hyperparamètres (max_depth et max_features).

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Create the parameter grid
param_grid = {'max_depth': list(range(____,26)), 'max_features': [____ , ____]} 

# Create a random search object
random_rf_class = RandomizedSearchCV(
    estimator = ____(n_estimators=____),
    param_distributions = ____, n_iter = ____,
    scoring=____, n_jobs=____, cv = ____, refit=____, return_train_score = ____ )

# Fit to the training data
____.fit(X_train, y_train)

# Print the values used for both hyperparameters
print(random_rf_class.cv_results_[____])
print(random_rf_class.cv_results_[____])

Modifier et exécuter le code

Cet exercice fait partie du cours

Optimisation des hyperparamètres en Python

IntermédiaireNiveau de compétence

4.9+

Commencer le cours gratuitement

Dans ce chapitre d’introduction, vous apprendrez la différence entre hyperparamètres et paramètres. Vous vous exercerez à extraire et analyser des paramètres, puis à définir des valeurs d’hyperparamètres pour plusieurs algorithmes de Machine Learning courants. Au passage, vous verrez des bonnes pratiques pour choisir quels hyperparamètres optimiser, quelles valeurs tester, et vous construirez des courbes d’apprentissage pour analyser vos choix.

Exercise 1: Introduction et « Paramètres »Exercise 2: Paramètres dans la régression logistique Exercise 3: Extraire un paramètre de régression logistique Exercise 4: Extraire un paramètre d’un Random Forest Exercise 5: Introduction aux hyperparamètres Exercise 6: Hyperparamètres dans les Random Forests Exercise 7: Explorer les hyperparamètres de Random Forest Exercise 8: Hyperparamètres de KNN Exercise 9: Définir et analyser les valeurs d’hyperparamètres Exercise 10: Automatiser le choix des hyperparamètres Exercise 11: Construire des courbes d’apprentissage

Ce chapitre vous présente une méthode populaire d’optimisation automatique des hyperparamètres appelée Grid Search. Vous verrez de quoi il s’agit, comment cela fonctionne, et vous pratiquerez une Grid Search avec Scikit Learn. Vous apprendrez ensuite à analyser les résultats d’une Grid Search et vous entraînerez sur des exemples concrets.

Exercise 1: Introduction à la Grid Search Exercise 2: Créer des fonctions de grid search Exercise 3: Ajuster itérativement plusieurs hyperparamètres Exercise 4: Combien de modèles ?Exercise 5: Grid Search avec Scikit Learn Exercise 6: Entrées de GridSearchCV Exercise 7: GridSearchCV avec Scikit Learn Exercise 8: Comprendre la sortie d’une grid search Exercise 9: Utiliser les meilleurs résultats Exercise 10: Explorer les résultats de la grid search Exercise 11: Analyser les meilleurs résultats Exercise 12: Exploiter les meilleurs résultats

Dans ce chapitre, vous découvrirez une autre méthode populaire d’optimisation automatique des hyperparamètres : la Random Search. Vous verrez ce que c’est, comment elle fonctionne et, surtout, en quoi elle diffère de la grid search. Vous étudierez ses avantages et ses limites, et quand la privilégier par rapport à la Grid Search. Vous pratiquerez une Random Search avec Scikit Learn, ainsi que la visualisation et l’interprétation des résultats.

Exercise 1: Introduction à la Random Search Exercise 2: Échantillonner aléatoirement des hyperparamètres Exercise 3: Recherche aléatoire avec Random Forest Exercise 4: Visualiser une Random Search Exercise 5: Random Search avec Scikit Learn Exercise 6: Entrées de RandomSearchCV Exercise 7: L’objet RandomizedSearchCV Exercise 8: RandomizedSearchCV dans Scikit Learn

Exercice en cours

Exercise 9: Comparer Grid Search et Random Search Exercise 10: Comparer Random Search et Grid Search Exercise 11: Grid Search et Random Search côte à côte

Dans ce dernier chapitre, vous aurez un aperçu de méthodes plus avancées d’optimisation des hyperparamètres, regroupées sous le terme « informed search ». Cela inclut une approche dite « coarse to fine », ainsi que des algorithmes bayésiens et génétiques. Vous verrez en quoi l’informed search se distingue de l’uninformed search et acquerrez des compétences pratiques sur chacune des approches mentionnées, en les comparant au fil du chapitre.

Exercise 1: Recherche informée : du global au fin Exercise 2: Visualiser la méthode « du grossier au précis »Exercise 3: Itérations du grossier au fin Exercise 4: Recherche informée : statistiques bayésiennes Exercise 5: Règle de Bayes en Python Exercise 6: Optimisation bayésienne des hyperparamètres avec Hyperopt Exercise 7: Recherche informée : algorithmes génétiques Exercise 8: Réglage génétique des hyperparamètres avec TPOT Exercise 9: Analyser la stabilité de TPOT Exercise 10: Félicitations !