本章介绍如何使用直方图、散点图、箱线图、z 分数和改进的 z 分数来检测一维数据中的离群点。

什么是异常与离群值？

打印 5 数概括

用于异常值检测的直方图

用于异常值检测的散点图

箱线图与 IQR

使用箱线图进行异常值检测

使用 IQR 计算离群值阈限

使用异常值阈值进行筛选

使用 z-score 进行异常检测

用 z-score 查找离群值

在 PyOD 中使用改进的 z 分数

单变量离群点检测

本章将带您全面理解 Isolation Forest 算法的工作原理。您将了解 Isolation Tree 的构建方式、PyOD 中 IForest 的关键参数及其调优方法，并学会如何使用离群点概率分数来解释 IForest 的输出。

Isolation Forest 入门

单变量与多变量异常的区别

使用 IForest 检测异常点

Isolation Forest 超参数概览

IForest 的重要参数

选择 contamination

选择 n_estimators

检验一下理论

Isolation Forest 的超参数调优

调参：contamination

同时调优多个超参数

解读 IForest 的输出

使用 IForest 的另一种分类方式

使用离群点概率

使用 PyOD 的 Isolation Forest

在基于树的离群点分类器之后，您将学习一类基于距离与密度的检测方法。KNN 与局部离群因子（Local Outlier Factor）分类器在该领域效果显著，您将学会如何使用它们。

用于异常检测的 KNN

首次使用 KNN

KNN 与异常概率

对离群值鲁棒的特征缩放

手动计算欧氏距离

使用 SciPy 计算欧氏距离

练习标准化

测试 QuantileTransformer

KNN 的超参数

区分各类距离度量

手动计算 Manhattan 距离

调优 n_neighbors

微调聚合方法

局部离群因子（Local Outlier Factor）

初次使用 LOF

带异常概率的 LOF

基于距离与密度的算法

本章将介绍如何对时间序列数据集进行异常检测，并通过离群点集成方法让您的预测更加稳定、可信。

时间序列简介

处理 DateTime 列

创建 DateTimeIndex

时间序列上的 MAD

基于时间序列的 Isolation Forest

用于异常检测的时间序列分解

分解练习

基于残差拟合

离群点分类器集成

对数据集的部分列进行缩放

手动构建异常值集成——创建数组

存储离群点概率

聚合并设定概率阈值

如何处理已识别的离群点

选项

数据录入错误

抽样错误

自然变异

按离群点出现原因进行分类

删除

不删除

何时删除离群点

处理离群值的非激进方法

恭喜您！

时间序列异常检测与离群点集成

几乎所有数据集中都会存在异常值，在继续进行统计分析之前，检测并处理它们至关重要。本课程将教您使用 Python 实现多种异常检测方法。您将通过可视化识别离群点，并将统计方法应用于单变量和多变量数据。此外，您还将学习如何组合多个离群点分类器，以获得更可靠的最终评估。将这项技能加入您现有的 Python 工具箱，有助于完成数据清洗、欺诈检测以及系统扰动识别。

<h2>在数据分析中识别异常</h2><br>
极端值或异常几乎存在于任何数据集中，在继续进行统计探索之前，检测并处理它们至关重要。 如果不加处理，异常值很容易干扰你的分析并扭曲机器学习模型的性能。<br>
<br>
<h2>学习使用 Isolation Forest 和 Local Outlier Factor 等估计器</h2><br>
在本课程中，你将利用 Python 实现多种异常检测方法。 您将通过视觉识别极端值，并使用经过验证的统计技术，如中位数绝对偏差，来处理单变量数据集。 对于多变量数据，你将学习使用 Isolation Forest、k-Nearest-Neighbors 和 Local Outlier Factor 等估计器。 您还将学习如何将多个异常值分类器集成为一个低风险的最终估计器。 你将掌握一项必备的数据科学工具：使用 Python 进行异常检测。<br>
<br>
<h2>扩展你的 Python 统计工具包</h2><br>
更好的异常检测意味着更好地理解您的数据，尤其意味着更出色的根因分析以及对系统行为的沟通。 将这项技能加入你现有的 Python 技能组合，将帮助你进行数据清洗、欺诈检测以及识别系统异常。

Supervised Learning with scikit-learn

使用Python和孤立森林、局部异常因子等估计器检测数据异常，参加此四小时课程。

Python 中的异常检测

在这门四小时课程中，检测数据分析中的异常，并扩展你的 Python 统计工具包。


如何处理已识别的离群点

Create Your Free Account