Grid Search et Random Search côte à côte

Visualiser conjointement l’espace de recherche de Random Search et de Grid Search permet de voir d’un coup d’œil la couverture de chaque technique et donc de mieux comprendre leurs avantages et limites respectifs.

Dans cet exercice, vous allez échantillonner des combinaisons d’hyperparamètres selon une approche de grid search et une approche de random search, puis les tracer pour observer la différence.

Vous disposez de :

• combinations_list, une liste de combinaisons de learn_rate et min_samples_leaf pour cet algorithme ;
• la fonction visualize_search() qui transforme vos combinaisons d’hyperparamètres en coordonnées X et Y et trace à la fois les combinaisons de grid search et de random search sur le même graphique. Elle prend en entrée deux listes de combinaisons d’hyperparamètres.

Si vous souhaitez consulter la définition de la fonction visualize_search(), vous pouvez exécuter ce code :

import inspect
print(inspect.getsource(visualize_search))