本章将向您介绍 XGBoost 背后的核心思想——提升式学习器。理解 XGBoost 的工作机制后，您将把它应用到业界常见的分类任务：预测某位客户在未来某个时点是否会流失。

欢迎来到本课程！

以下哪一项是分类问题？

以下哪些属于二分类问题？

XGBoost 介绍

XGBoost：拟合/预测

什么是决策树？

决策树

什么是 Boosting？

衡量准确率

衡量 AUC

什么时候该使用 XGBoost？

使用 XGBoost

使用 XGBoost 进行分类

在简要回顾监督回归之后，您将把 XGBoost 应用于回归任务，预测爱荷华州 Ames 的房价。您还将了解 XGBoost 可用作弱学习器的两类基学习器，并回顾如何评估回归模型的质量。

回归回顾

以下哪一项是回归问题？

目标（损失）函数与基学习器

以决策树作为基学习器

线性基学习器

评估模型质量

XGBoost 中的正则化与基学习器

在 XGBoost 中使用正则化

可视化单棵 XGBoost 决策树

可视化特征重要性：数据集中哪些特征最重要

使用 XGBoost 进行回归

本章将教您如何最大化提升 XGBoost 模型的表现。您将学习可以调节以改变 XGBoost 行为的各类参数，以及如何高效地调优它们，以显著增强模型性能。

为什么要调优模型？

什么时候不该调参？

调优提升轮数

使用 early_stopping 自动选择 boosting 轮数

XGBoost 超参数概览

调优 eta

调优 max_depth

调优 colsample_bytree

网格搜索与随机搜索回顾

使用 XGBoost 进行网格搜索

使用 XGBoost 进行随机搜索

网格搜索与随机搜索的局限性

何时应使用网格搜索和随机搜索？

微调您的 XGBoost 模型

通过将模型整合进两个端到端的机器学习流水线，进一步提升您的 XGBoost 技能。您将学习如何在流水线中高效调优最重要的 XGBoost 超参数，并初步了解一些更高级的预处理技术。

使用 sklearn 回顾流水线

探索性数据分析

对分类列进行编码 I：LabelEncoder

分类列编码 II：OneHotEncoder

对分类列进行编码 III：DictVectorizer

在流水线中进行预处理

将 XGBoost 融入流水线

对 XGBoost 模型进行交叉验证

肾病案例研究 I：分类变量插补器

肾病案例研究 II：特征联合（Feature Union）

肾病案例研究 III：完整流水线

调优 XGBoost 超参数

整合所学

结语

在流水线中使用 XGBoost

Ames housing prices (preprocessed)

Ames housing prices (original)

Chronic kidney disease

您已经掌握了监督学习的基础，想在真实数据集上使用最先进的模型吗？梯度提升是当前对各类规模表格数据进行高效建模的热门技术之一。XGBoost 是梯度提升的一个非常快速、可扩展的实现，基于 XGBoost 的模型经常在在线数据科学竞赛中获胜，并在各行业大规模应用。本课程将带您结合 pandas 和 scikit-learn 使用这一强大的库来构建与调优监督学习模型。您将使用真实数据集解决分类与回归问题。

Supervised Learning with scikit-learn

探索梯度提升基础，重点是使用XGBoost进行回归、在管道中应用及微调模型。

使用 XGBoost 的极端梯度提升

学习梯度提升基础，并使用 XGBoost 构建最先进的机器学习模型，解决分类和回归问题。

机器学习科学家 在 Python 中

监督机器学习 在 Python 中

何时应使用网格搜索和随机搜索？

使用 XGBoost 的极端梯度提升

动手互动练习