本章將帶你認識 XGBoost 背後的核心概念——提升式學習器。理解 XGBoost 的運作方式後，你會把它應用到產業中常見的分類問題：預測某位客戶在未來某個時間點是否會流失。

歡迎加入本課程！

以下哪些屬於分類問題？

以下哪些是二元分類問題？

認識 XGBoost

XGBoost：訓練／預測

什麼是決策樹？

決策樹

什麼是 Boosting？

衡量準確率

衡量 AUC

什麼時候該使用 XGBoost？

使用 XGBoost

使用 XGBoost 進行分類

在簡短複習監督式迴歸之後，你將把 XGBoost 應用於迴歸任務，預測愛荷華州艾姆斯的房價。你會學到 XGBoost 可用作弱學習器的兩種基底學習器，並複習如何評估迴歸模型的品質。

回顧回歸

以下哪一個是回歸問題？

目標（損失）函式與基學習器

以決策樹作為基學習器

線性基學習器

評估模型品質

XGBoost 的正則化與基學習器

在 XGBoost 中使用正規化

視覺化單一 XGBoost 決策樹

視覺化特徵重要性：資料集中哪些特徵最重要

使用 XGBoost 進行迴歸

本章將教你如何讓 XGBoost 模型發揮最佳效能。你會認識各種可調整以改變 XGBoost 行為的參數，並學會如何有效率地調校它們，進一步大幅提升模型效能。

為什麼要調整你的模型？

什麼情況下不適合調整你的模型？

調整 boosting 次數

使用 early_stopping 自動選擇 boosting 回合數

XGBoost 超參數總覽

調整 eta

微調 max_depth

調整 colsample_bytree

格點搜尋與隨機搜尋複習

使用 XGBoost 進行 Grid search

使用 XGBoost 進行隨機搜尋

網格搜尋與隨機搜尋的限制

什麼時候該用 grid search 與 random search？

微調你的 XGBoost 模型

把你的 XGBoost 技能更往前推進，將模型整合進兩個端到端的機器學習管線。你會學到如何在管線內有效率地調整最重要的 XGBoost 超參數，並初步認識一些更進階的前處理技巧。

使用 sklearn 的管線回顧

探索式資料分析

類別欄位編碼 I：LabelEncoder

類別欄位編碼 II：OneHotEncoder

類別欄位編碼 III：DictVectorizer

在 pipeline 中進行前處理

將 XGBoost 納入 pipeline

對你的 XGBoost 模型做交叉驗證

腎臟疾病案例研究 I：類別型補值器

腎臟疾病個案研究 II：Feature Union

腎臟疾病個案研討 III：完整 pipeline

調整 XGBoost 超參數

整合所學

總結與後記

在管線中使用 XGBoost

Ames housing prices (preprocessed)

Ames housing prices (original)

Chronic kidney disease

你已經了解監督式學習的基礎，並想把最先進的模型用在真實世界的資料集上嗎？梯度提升目前是用於各種規模表格型資料集的高效建模技術之一。XGBoost 是梯度提升的一個非常快速且可擴充的實作，使用 XGBoost 的模型經常在線上資料科學競賽中獲勝，並在各產業大規模採用。在本課程中，你將學會如何搭配 pandas 與 scikit-learn 使用這個強大的函式庫，來建立與調整監督式學習模型。你會使用真實資料集來解決分類與迴歸問題。

Supervised Learning with scikit-learn

探索梯度提升的基礎，專注於使用XGBoost進行回歸，管道應用及模型調優。

使用 XGBoost 的極端梯度提升

機器學習科學家 使用 Python

監督式機器學習 使用 Python

什麼時候該用 grid search 與 random search？

使用 XGBoost 的極端梯度提升

動手互動練習