二维网格搜索

分别调优每个超参数的缺点在于，不同超参数之间可能存在依赖关系。更好的做法是尝试所有可能的超参数组合。然而，这会导致网格搜索空间迅速膨胀。例如，若有 2 个参数、每个有 10 个可能取值，将产生 100 次实验运行。

您的目标是为梯度提升模型找到 max_depth 与 subsample 的最佳组合。subsample 表示用于拟合单棵树的样本占比。

您将获得函数 get_cv_score()，它以训练数据集和模型参数字典为参数，返回 3 折交叉验证下的整体验证 RMSE 分数。

本练习是课程的一部分

用 Python 赢下 Kaggle 竞赛

查看课程

练习说明

指定 max_depth 和 subsample 的候选网格。max_depth：3、5、7。subsample：0.8、0.9、1.0。
使用 itertools 包中的 product() 函数作用于这两个超参数网格。它会返回这两个网格的所有可能组合。
将每一对超参数候选传入模型的 params 字典。

交互式实操练习

通过完成这段示例代码来试试这个练习。

import itertools

# Hyperparameter grids
max_depth_grid = [____]
subsample_grid = [____]
results = {}

# For each couple in the grid
for max_depth_candidate, subsample_candidate in itertools.____(max_depth_grid, subsample_grid):
    params = {'max_depth': ____,
              'subsample': ____}
    validation_score = get_cv_score(train, params)
    # Save the results for each couple
    results[(max_depth_candidate, subsample_candidate)] = validation_score   
print(results)

编辑并运行代码