分類與回歸樹（CART）是一組用於分類與回歸問題的監督式學習模型。本章將帶你認識 CART 演算法。

分類用決策樹

訓練你的第一棵分類樹

評估分類樹

邏輯斯迴歸 vs. 分類樹

分類樹學習

成長一棵分類樹

使用 entropy 作為衡量準則

Entropy 與 Gini 指標比較

用於回歸的決策樹

訓練你的第一棵迴歸樹

評估回歸樹

線性迴歸 vs 迴歸樹

分類與回歸樹

偏差—變異權衡是監督式機器學習中的核心概念之一。本章中，你將學會如何診斷過度擬合與欠擬合的問題。你也會認識集成的概念，透過彙整多個模型的預測，產生更穩健的結果。

泛化誤差

複雜度、偏差與變異

過度擬合與欠擬合

診斷偏差與變異問題

實例化模型

評估 10 折交叉驗證誤差

評估訓練誤差

高偏差還是高變異？

集成式學習

定義集成模型

評估各個分類器

使用 Voting Classifier 的更佳效能

偏差—變異權衡

Bagging 是一種集成方法，做法是用從訓練資料抽樣出的不同子集，多次訓練同一演算法。本章你將理解如何用 bagging 建立樹的集成。你也會學到隨機森林演算法如何在樹的每個切分層級引入隨機性，以進一步提升集成的多樣性。

Bagging（自助聚合法）

定義 Bagging 分類器

評估 Bagging 的效能

袋外評估

做好準備

OOB 分數 vs 測試集分數

Random Forests（RF）

訓練 RF 迴歸器

評估 RF 迴歸器

視覺化特徵重要度

Bagging 與隨機森林

Boosting 是一種集成方法，會將多個模型依序訓練，且每個模型都從前一個模型的錯誤中學習。本章將介紹兩種 boosting 方法：AdaBoost 與 Gradient Boosting。

Adaboost

定義 AdaBoost 分類器

訓練 AdaBoost 分類器

評估 AdaBoost 分類器

Gradient Boosting（GB）

定義 GB 迴歸器

訓練 GB 迴歸器

評估 GB 回歸器

隨機梯度提升（SGB）

使用 SGB 的迴歸

訓練 SGB 回歸器

評估 SGB 迴歸器

Boosting

機器學習模型的超參數是不從資料中學得的參數，需在擬合訓練集之前先行設定。本章你將學會如何使用網格搜尋交叉驗證來調整樹為基礎模型的超參數。

調整 CART 的超參數

樹的超參數

設定樹的超參數網格

搜尋最佳決策樹

評估最佳樹模型

調整 RF 的超參數

隨機森林的超參數

設定 RF 的超參數網格

搜尋最佳的森林

評估最佳的隨機森林

恭喜！

模型調校

Wisconsin Breast Cancer

Auto-mpg

Bike Sharing Demand

Indian Liver Patient

決策樹是用於分類與回歸問題的監督式學習模型。樹模型具有高度彈性，但也有代價：一方面，樹能捕捉複雜的非線性關係；另一方面，它們也容易記住資料集中的雜訊。透過整合同一演算法在不同條件下訓練出的多棵樹的預測，集成方法既能發揮樹的彈性，又能降低其記住雜訊的傾向。集成方法廣泛應用於各領域，並多次在機器學習競賽中獲勝，成效已獲驗證。
在本課程中，你將學習如何使用 Python 與操作直觀的 scikit-learn 機器學習函式庫來訓練決策樹與各式樹為基礎的模型。你會理解樹模型的優勢與侷限，並示範如何用集成來緩解這些侷限，同時以真實世界資料集進行練習。最後，你也會學會如何調整影響力最大的超參數，以充分發揮模型效能。

Supervised Learning with scikit-learn

在此課程中，您將學習如何使用樹模型和集成方法進行迴歸和分類。

Machine Learning with Tree-Based Models in Python

學會使用 scikit-learn 的樹狀模型與集成方法，進行回歸與分類分析。 

Bagging（自助聚合法）

Create Your Free Account