Recherche par grille

Rappelez-vous que nous avons créé un modèle de base de Gradient Boosting dans la leçon précédente. Votre objectif est maintenant de trouver la meilleure valeur d’hyperparamètre max_depth pour ce modèle de Gradient Boosting. Cet hyperparamètre limite le nombre de nœuds dans chaque arbre individuel. Vous utiliserez une validation croisée en K plis pour mesurer la performance locale du modèle pour chaque valeur d’hyperparamètre.

On vous fournit une fonction get_cv_score() qui prend le jeu d’entraînement et un dictionnaire de paramètres du modèle en arguments et renvoie le score global de RMSE de validation sur une validation croisée à 3 plis.

Cet exercice fait partie du cours

Gagner une compétition Kaggle en Python

Afficher le cours

Instructions

Définissez la grille des valeurs possibles de max_depth avec 3, 6, 9, 12 et 15.
Passez chaque valeur candidate d’hyperparamètre de la grille au dictionnaire params du modèle.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Possible max depth values
max_depth_grid = [____]
results = {}

# For each value in the grid
for max_depth_candidate in max_depth_grid:
    # Specify parameters for the model
    params = {'max_depth': ____}

    # Calculate validation score for a particular hyperparameter
    validation_score = get_cv_score(train, params)

    # Save the results for each max depth value
    results[max_depth_candidate] = validation_score   
print(results)

Modifier et exécuter le code