Применение регуляризации в XGBoost

В видео вы познакомились с примером регуляризации l1. Теперь вы будете изменять штраф регуляризации l2 — также известный как "lambda" — и наблюдать, как он влияет на общую производительность модели на наборе данных о ценах на жильё в Эймсе.

Это упражнение является частью курса

Экстремальный градиентный бустинг с XGBoost

Посмотреть курс

Инструкции к упражнению

Создайте DMatrix из X и y, как делали это раньше.
Создайте начальный словарь параметров, указав "objective" равным "reg:squarederror" и "max_depth" равным 3.
Используйте xgb.cv() внутри цикла for и последовательно изменяйте значение "lambda", передавая текущее значение l2 (reg).
Добавьте значение "test-rmse-mean" с последнего раунда бустинга для каждой кросс-валидированной модели xgboost.
Нажмите Отправить ответ, чтобы посмотреть результаты. Что вы замечаете?

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create the DMatrix: housing_dmatrix
housing_dmatrix = xgb.DMatrix(data=X, label=y)

reg_params = [1, 10, 100]

# Create the initial parameter dictionary for varying l2 strength: params
params = {"____":"____","____":____}

# Create an empty list for storing rmses as a function of l2 complexity
rmses_l2 = []

# Iterate over reg_params
for reg in reg_params:

    # Update l2 strength
    params["lambda"] = ____
    
    # Pass this updated param dictionary into cv
    cv_results_rmse = ____.____(dtrain=____, params=____, nfold=2, num_boost_round=5, metrics="rmse", as_pandas=True, seed=123)
    
    # Append best rmse (final round) to rmses_l2
    ____.____(____["____"].tail(1).values[0])

# Look at best rmse per l2 param
print("Best rmse as a function of l2:")
print(pd.DataFrame(list(zip(reg_params, rmses_l2)), columns=["l2", "rmse"]))

Редактировать и запускать код