在本章中，您将学习如何使用数值与图形化摘要来非正式地评估数据中是否包含异常点。您将使用名为 Grubbs 检验的统计程序来判定某个点是否为离群点，并了解 Seasonal-Hybrid ESD 算法，该算法可帮助在时间序列数据中识别离群点。

我们所说的异常是什么？

识别异常类型

探索河流水硝酸盐数据

使用 Grubbs 检验测试极端值

正态性可视化检查

Grubbs 检验

使用 Grubbs 检验追踪多个离群点

时间序列中的异常

季节性可视化评估

Seasonal Hybrid ESD 算法

解读 Seasonal-Hybrid ESD 的输出

Seasonal-Hybrid ESD 与 Grubbs 检验的比较

统计离群点检测

在本章中，您将学习如何计算 k 近邻距离与局部离群因子，用于在多特征数据中为每个数据点构建连续的异常评分。您还将了解局部异常与全局异常的区别，以及这两种算法分别如何发挥作用。

k 近邻距离评分

探索葡萄酒数据

kNN 距离矩阵

kNN 距离分数

可视化 kNN 距离

标准化特征

追加 kNN 分数

可视化 kNN 距离分数

局部离群因子（Local Outlier Factor）

LOF 计算

LOF 可视化

LOF 与 kNN

基于距离与密度的异常检测

k 近邻距离与局部离群因子使用最近邻的距离或相对密度为每个点打分。本章将介绍一种替代的树模型方法——隔离森林。这是一种快速且稳健的异常检测方法，通过随机将数据不断划分为更小的区域，来衡量样本被分离的难易程度。

Isolation 树

使用隔离树进行拟合与预测

分数解读

Isolation Forest

拟合 Isolation Forest

检查收敛性

可视化 isolation 分数

点网格

在网格上进行预测

异常等高线

隔离森林

您已经接触了多种异常评分算法。在最后一章中，您将学习在存在已标注异常的情况下比较各算法的检测性能。您将学会计算并解读异常评分的精准率（precision）与召回率（recall），以及如何调整算法以适配包含分类特征的数据。

带标签的异常

甲状腺数据

可视化甲状腺疾病

异常分数

衡量性能

二值化评分

二元评分的交叉列联

甲状腺的精准率与召回率

处理分类特征

将 character 转换为 factor

含分类变量的 Isolation Forest

包含因子的 LOF

总结

性能对比

Wine

Thyroid

Furniture

是否担心数据中存在不准确或可疑的记录，却不知道从哪里入手？异常检测算法可以帮到您！异常检测是一组用于识别异常数据点的技术，对于发现欺诈行为、保护计算机网络免受恶意活动至关重要。本课程将带您了解用于识别离群点的统计检验，并学习使用更复杂的异常评分算法，如局部离群因子（local outlier factor）和隔离森林（isolation forest）。您将把异常检测算法应用到 UCI Wine 质量数据集，以识别异常葡萄酒样本，并通过异常的激素测量来检测甲状腺疾病病例。

Intermediate R

学习统计测试识别异常值及使用复杂的异常评分算法。

R 异常检测入门

学习用于识别异常值的统计检验，以及如何使用复杂的异常评分算法。 

我们所说的异常是什么？

Create Your Free Account