在验证模型之前，您需要先了解如何创建并使用模型。本章将介绍在 scikit-learn 中运行回归和分类模型。接下来几章都会在此建模基础上展开。

模型验证简介

建模步骤

已见数据 vs. 未见数据

回归模型

设置参数并拟合模型

特征重要性

分类模型

分类预测

复用模型参数

随机森林分类器

scikit-learn 的基础建模

本章聚焦模型验证的基本概念。从将数据拆分为训练集、验证集和测试集，到理解偏差-方差权衡，我们为第 3 章将要练习的 K 折和留一法验证技术打下基础。

创建训练集、测试集和验证集

创建一个留出集（holdout set）

创建两个留出集

为何使用留出集

准确率指标：回归模型

平均绝对误差

均方误差

在数据子集上的表现

分类评估指标

混淆矩阵

再次练习混淆矩阵

Precision vs. Recall

偏差-方差权衡

欠拟合/过拟合导致的误差

我是在欠拟合吗？

验证基础

留出集是进行模型验证的良好起点。然而，仅使用单一的训练集与测试集往往不够。交叉验证被视为评估模型性能的黄金标准，并且在调优模型超参数时几乎总会使用。本章将重点讲解如何执行交叉验证来验证模型性能。

留出法的问题

两个样本

潜在问题

交叉验证

scikit-learn 的 KFold()

使用 KFold 索引

sklearn 的 cross_val_score()

scikit-learn 的方法

实现 cross_val_score()

留一法交叉验证（LOOCV）

何时使用 LOOCV

留一法交叉验证

前 3 章集中介绍了模型验证技术。在第 4 章中，您将学习超参数调优，并应用这些技术，尤其是交叉验证。归根结底，模型验证让调优成为可能，并帮助我们选出整体表现最好的模型。

超参数调优简介

创建超参数

使用范围运行模型

RandomizedSearchCV

为 RandomizedSearch 做准备

实现 RandomizedSearchCV

选择最终模型

最佳分类准确率

选择最佳精确率模型

课程已完成！

用超参数调优选择最佳模型

Tic-Tac-Toe dataset

Candy dataset

如今实现机器学习模型比以往更容易。但如果没有妥善验证，将新数据输入模型后得到的结果可能达不到预期准确度。模型验证能让分析师有把握地回答：您的模型到底有多好？本课程将用井字棋终局的完整情形来回答分类模型的问题，用 FiveThirtyEight 的"终极万圣节糖果实力排行榜"数据集来回答回归模型的问题。课程将讲解模型验证的基础，讨论多种验证技术，并开始构建创建可验证且高性能模型的工具。

Supervised Learning with scikit-learn

学习模型验证基础、验证技术，并开始创建经过验证且高性能的模型。

创建训练集、测试集和验证集

Create Your Free Account