本章將介紹如何在 1 維資料中使用長條圖、散佈圖、盒鬚圖、z 分數與修正 z 分數來偵測離群值。

什麼是異常與離群值？

列印 5-number summary

用直方圖做離群值偵測

用散佈圖偵測離群值

盒鬚圖與 IQR

用箱型圖偵測離群值

使用 IQR 計算離群值界線

用離群值門檻來過濾

使用 z 分數進行異常偵測

用 z-score 尋找離群值

在 PyOD 中使用修正 z 分數

單變數離群值偵測

本章你將深入了解 Isolation Forest 演算法的運作原理。探索 Isolation Trees 如何建立、PyOD 的 IForest 之關鍵參數與調校方式，以及如何利用離群值機率分數來解讀 IForest 的輸出。

開始使用 Isolation Forests

單變量與多變量異常的差異

用 IForest 偵測離群值

Isolation Forest 超參數總覽

IForest 最重要的參數

選擇 contamination

選擇 n_estimators

檢驗理論

Isolation Forest 的超參數調校

調整 contamination

同時調整多個超參數

解讀 IForest 的輸出

使用 IForest 進行分類的另一種方式

使用離群機率

使用 PyOD 的 Isolation Forest

在學習樹為基礎的離群值分類器之後，你將進一步探索一類基於距離與密度的偵測器。KNN 與 Local Outlier Factor 分類器在此領域成效卓越，你將學到如何使用它們。

用 KNN 進行離群值偵測

第一次使用 KNN

含離群機率的 KNN

對離群值具韌性的特徵縮放

手動計算歐幾里得距離

用 SciPy 計算歐幾里得距離

練習標準化

測試 QuantileTransformer

KNN 的超參數

區分各種距離度量

手動計算曼哈頓距離

調整 n_neighbors

調整聚合方法

Local Outlier Factor（LOF）

第一次使用 LOF

LOF 與離群機率

基於距離與密度的演算法

本章你將學會如何在時間序列資料集上進行異常偵測，並透過離群值集成讓你的預測更穩定、更可信。

時間序列導論

操作 DateTime 欄位

建立 DateTimeIndex

時間序列上的 MAD

在時間序列上使用 Isolation Forest

使用時間序列分解進行離群值偵測

分解實作練習

以殘差進行擬合

離群點分類器集成

只縮放資料集的部分欄位

手動建立離群值集成：建立陣列

儲存離群點機率

彙總並對機率設門檻

如何處理已識別的離群值

選項

資料輸入錯誤

抽樣錯誤

自然變異

將離群值出現的原因分類

移除

不移除

何時該移除離群值

以非激烈方式處理離群值

恭喜你！

時間序列異常偵測與離群值集成

異常幾乎存在於所有資料集中，在進行統計探索前偵測並處理它們至關重要。本課程將教你使用 Python 採用各種異常偵測方法。你會以視覺化方式辨識離群值，並對單變數與多變數資料套用統計方法與技術。此外，你也會學到如何結合多個離群值分類器，得到更可靠的最終評估。把這項技能加入你既有的 Python 工具箱，能幫助你進行資料清理、詐欺偵測，以及找出系統異常。

<h2>Spot Anomalies in Your Data Analysis</h2><br>
Extreme values or anomalies are present in almost any dataset, and it is critical to detect and deal with them before continuing statistical exploration. When left untouched, anomalies can easily disrupt your analyses and skew the performance of machine learning models.<br>
<br>
<h2>Learn to Use Estimators Like Isolation Forest and Local Outlier Factor</h2><br>
In this course, you'll leverage Python to implement a variety of anomaly detection methods. You'll spot extreme values visually and use tested statistical techniques like Median Absolute Deviation for univariate datasets. For multivariate data, you'll learn to use estimators such as Isolation Forest, k-Nearest-Neighbors, and Local Outlier Factor. You'll also learn how to ensemble multiple outlier classifiers into a low-risk final estimator. You'll walk away with an essential data science tool in your belt: anomaly detection with Python.<br>
<br>
<h2>Expand Your Python Statistical Toolkit</h2><br>
Better anomaly detection means better understanding of your data, and particularly, better root cause analysis and communication around system behavior. Adding this skill to your existing Python repertoire will help you with data cleaning, fraud detection, and identifying system disturbances.

Supervised Learning with scikit-learn

使用Python和孤立森林、局部離群因子等估計器檢測數據異常，參加此四小時課程。

Python 中的異常偵測

Detect anomalies in your data analysis and expand your Python statistical toolkit in this four-hour course.


何時該移除離群值

Python 中的異常偵測

動手互動練習