RandomizedSearchCV dans Scikit Learn

Exerçons-nous à construire un objet RandomizedSearchCV avec Scikit Learn.

La grille d'hyperparamètres doit couvrir max_depth (toutes les valeurs de 5 à 25, inclusivement) et max_features ('auto' et 'sqrt').

Les options souhaitées pour l'objet RandomizedSearchCV sont :

Un estimateur RandomForestClassifier avec n_estimators à 80.
Validation croisée à 3 plis (cv)
Utiliser roc_auc pour évaluer les modèles
Utiliser 4 cœurs pour le traitement en parallèle (n_jobs)
S'assurer de réentraîner (refit) le meilleur modèle et de retourner les scores d'entraînement
Échantillonner seulement 5 configurations pour l'efficacité (n_iter)

Les jeux de données X_train et y_train sont déjà chargés pour vous.

Rappelez-vous que pour extraire les hyperparamètres choisis, ils se trouvent dans cv_results_, avec une colonne par hyperparamètre. Par exemple, la colonne pour l'hyperparamètre criterion serait param_criterion.

Cette activité fait partie du cours

Ajustement des hyperparamètres en Python

Instructions de l’exercice

Créez une grille d'hyperparamètres comme indiqué ci-dessus.
Créez un objet RandomizedSearchCV tel que décrit ci-dessus.
Ajustez (fit) l'objet RandomizedSearchCV aux données d'entraînement.
Indexez dans l'objet cv_results_ pour afficher les valeurs choisies par le processus de modélisation pour les deux hyperparamètres (max_depth et max_features).

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create the parameter grid
param_grid = {'max_depth': list(range(____,26)), 'max_features': [____ , ____]} 

# Create a random search object
random_rf_class = RandomizedSearchCV(
    estimator = ____(n_estimators=____),
    param_distributions = ____, n_iter = ____,
    scoring=____, n_jobs=____, cv = ____, refit=____, return_train_score = ____ )

# Fit to the training data
____.fit(X_train, y_train)

# Print the values used for both hyperparameters
print(random_rf_class.cv_results_[____])
print(random_rf_class.cv_results_[____])

Modifier et exécuter le code

Cette activité fait partie du cours

Ajustement des hyperparamètres en Python

SkillTag.level.intermediateSkillTag.label

4.9+

Commencer le cours gratuitement

Dans ce chapitre d'introduction, vous verrez la différence entre hyperparamètres et paramètres. Vous vous exercerez à extraire et analyser des paramètres, puis à définir des valeurs d'hyperparamètres pour plusieurs algorithmes populaires de Machine Learning. En cours de route, vous découvrirez des conseils et astuces de bonnes pratiques pour choisir quels hyperparamètres ajuster, quelles valeurs définir, et vous construirez des courbes d'apprentissage pour analyser vos choix d'hyperparamètres.

Exercise 1: Introduction et « paramètres »Exercise 2: Paramètres dans la régression logistique Exercise 3: Extraire un paramètre de la régression logistique Exercise 4: Extraire un paramètre d'un Random Forest Exercise 5: Introduction aux hyperparamètres Exercise 6: Hyperparamètres dans les forêts aléatoires Exercise 7: Explorer les hyperparamètres d'un Random Forest Exercise 8: Hyperparamètres de KNN Exercise 9: Définir et analyser les valeurs d'hyperparamètres Exercise 10: Automatiser le choix des hyperparamètres Exercise 11: Tracer des courbes d'apprentissage

Ce chapitre vous présente une méthode populaire d'ajustement automatisé des hyperparamètres appelée Grid Search. Vous apprendrez ce que c'est, comment cela fonctionne et vous pratiquerez l'exécution d'un Grid Search avec Scikit Learn. Vous verrez ensuite comment analyser les résultats d'un Grid Search et vous exercerez concrètement à le faire.

Exercise 1: Introduction à la recherche par grille Exercise 2: Créer des fonctions de recherche par grille Exercise 3: Ajuster plusieurs hyperparamètres de façon itérative Exercise 4: Combien de modèles?Exercise 5: Recherche sur grille avec Scikit Learn Exercise 6: Entrées de GridSearchCV Exercise 7: GridSearchCV avec Scikit Learn Exercise 8: Comprendre les résultats d'une grid search Exercise 9: Utiliser les meilleurs résultats Exercise 10: Explorer les résultats de la recherche exhaustive (grid search)Exercise 11: Analyser les meilleurs résultats Exercise 12: Utiliser les meilleurs résultats

Dans ce chapitre, vous découvrirez une autre méthode populaire d'ajustement automatisé des hyperparamètres appelée Random Search. Vous apprendrez ce que c'est, comment cela fonctionne et, surtout, en quoi cela diffère de Grid Search. Vous verrez les avantages et limites de cette approche et quand la privilégier par rapport à Grid Search. Vous pratiquerez l'exécution d'un Random Search avec Scikit Learn ainsi que la visualisation et l'interprétation des résultats.

Exercise 1: Introduction à la Random Search Exercise 2: Échantillonner des hyperparamètres au hasard Exercise 3: Recherche aléatoire avec Random Forest Exercise 4: Visualiser un Random Search Exercise 5: Random Search avec Scikit Learn Exercise 6: Paramètres de RandomSearchCV Exercise 7: L'objet RandomizedSearchCV Exercise 8: RandomizedSearchCV dans Scikit Learn

Exercice en cours

Exercise 9: Comparer la recherche par grille et la recherche aléatoire Exercise 10: Comparer la Random Search et la Grid Search Exercise 11: Recherche par grille et aléatoire côte à côte

Dans ce dernier chapitre, vous aurez un aperçu de méthodes plus avancées d'ajustement des hyperparamètres, appelées « informed search ». Cela inclut une approche dite « coarse to fine », ainsi que des algorithmes d'ajustement bayésiens et génétiques. Vous apprendrez en quoi l'informed search diffère de l'uninformed search et acquerrez des compétences pratiques avec chacune des méthodes mentionnées, en les comparant au fur et à mesure.

Exercise 1: Recherche informée : du grossier au fin Exercise 2: Visualiser l'approche « Coarse to Fine »Exercise 3: Itérations du grossier au précis Exercise 4: Recherche informée : statistiques bayésiennes Exercise 5: La règle de Bayes en Python Exercise 6: Réglage bayésien des hyperparamètres avec Hyperopt Exercise 7: Recherche informée : algorithmes génétiques Exercise 8: Ajustement génétique des hyperparamètres avec TPOT Exercise 9: Analyser la stabilité de TPOT Exercise 10: Félicitations !