在開始驗證模型之前，你需要先了解如何建立並操作模型。本章將介紹如何在 scikit-learn 執行迴歸與分類模型。接下來各章都會以這套建模基礎為依據。

模型驗證導論

建模步驟

已見資料 vs. 未見資料

迴歸模型

設定參數並訓練模型

特徵重要性

分類模型

分類預測

重用模型參數

隨機森林分類器

在 scikit-learn 進行基礎建模

本章聚焦於模型驗證的基本觀念。從將資料分成訓練集、驗證集與測試集，到理解偏差—變異取捨（bias-variance tradeoff），我們為第三章要練習的 K-Fold 與 Leave-One-Out 驗證技術打下基礎。

建立訓練集、測試集與驗證集

建立一個保留集（holdout set）

建立兩個留出集

為什麼要使用保留集（holdout sets）

評估指標：回歸模型

平均絕對誤差

均方誤差

以資料子集評估效能

分類評估指標

混淆矩陣

再來看一次混淆矩陣

Precision 與 Recall

偏差－變異權衡

欠擬合／過擬合造成的誤差

我是不是在欠擬合？

驗證基礎

保留集是一個很好的模型驗證起點。然而，只用單一訓練集與測試集往往不夠。交叉驗證被視為評估模型效能的黃金標準，幾乎在調整模型超參數時都會使用。本章重點在於執行交叉驗證來驗證模型效能。

Holdout set 的問題

兩個樣本

潛在問題

交叉驗證

scikit-learn 的 KFold()

使用 KFold 索引

sklearn 的 cross_val_score()

scikit-learn 的方法

實作 cross_val_score()

留一法交叉驗證（LOOCV）

什麼時候該用 LOOCV

Leave-one-out cross-validation

前面三章著重在模型驗證技巧。第 4 章會把這些技巧（特別是交叉驗證）用在學習超參數調校。畢竟，有了模型驗證，才能進行調校並幫助你選出整體最佳的模型。

超參數調校入門

建立超參數

使用範圍來執行模型

RandomizedSearchCV

準備進行 RandomizedSearch

實作 RandomizedSearchCV

選擇最終模型

最佳分類準確率

選出最高 precision 的模型

課程完成！

用超參數調校挑選最佳模型。

Tic-Tac-Toe dataset

Candy dataset

現在要實作機器學習模型比以往任何時候都容易。但如果沒有正確的驗證，把新資料丟進模型後得到的結果，可能沒有你預期中那麼準確。模型驗證能讓分析人員有把握地回答：你的模型表現到底如何？我們會用井字遊戲（tic-tac-toe）終局的完整情境來說明分類模型，並用 fivethirtyeight 的萬聖節糖果排行榜資料集來說明迴歸模型。這門課會涵蓋模型驗證的基礎、各種驗證技巧，並帶你開始建立可驗證且高效能的模型工具。

Supervised Learning with scikit-learn

學習模型驗證基礎、驗證技術，並開始創建經驗證且高效的模型。

Python 的模型驗證

掌握模型驗證基礎、驗證技術，開始打造經過驗證且高效的模型。

sklearn 的 cross_val_score()

Create Your Free Account