在本章中，你將學習如何使用數值與圖形化摘要，非正式地評估資料是否包含不尋常的點。你會使用名為 Grubbs 檢定的統計程序來檢查某個點是否為離群值，並學習 Seasonal-Hybrid ESD 演算法，這能在資料為時間序列時協助找出離群值。

我們所說的「異常」是什麼意思？

辨識異常類型

探索河川硝酸鹽資料

用 Grubbs 檢定測試極端值

以視覺方式檢查常態性

Grubbs 檢定

使用 Grubbs 檢定尋找多個離群值

時間序列中的異常值

季節性視覺化評估

Seasonal Hybrid ESD 演算法

解讀 Seasonal-Hybrid ESD 的輸出

Seasonal-Hybrid ESD 與 Grubbs 檢定

統計式離群值偵測

在本章中，你將學會計算 k-nearest neighbors 距離與 local outlier factor，這兩者可在資料具有多個特徵時，為每個資料點建立連續的異常分數。你也會理解區域性與全域性異常的差異，以及這兩種演算法在各種情況下如何提供協助。

k 最近鄰距離分數

探索葡萄酒

kNN 距離矩陣

kNN 距離分數

視覺化 kNN 距離

標準化特徵

附加 kNN 分數

視覺化 kNN 距離分數

Local outlier factor（LOF）

LOF 計算

LOF 視覺化

LOF 與 kNN 比一比

以距離與密度為基礎的異常偵測

k-nearest neighbors 距離與 local outlier factor 會利用最近鄰的距離或相對密度來為每個點評分。在本章中，你將探索另一種名為 isolation forest 的樹狀方法。這是一種快速且穩健的異常偵測方法，透過隨機將資料分割成越來越小的區域，來衡量資料點被分離的難易程度。

Isolation tree

使用 isolation tree 進行擬合與預測

分數詮釋

Isolation forest（孤立森林）

擬合 isolation forest

檢查收斂

視覺化 isolation 分數

點格網格

在網格上進行預測

異常值等高線

Isolation forest

你已經認識了數種異常評分演算法。在最後一章，你將學會在有標記異常可用的情況下，比較各演算法的偵測效能。你會計算並解讀異常分數的 precision 與 recall 統計量，並了解如何調整演算法以容納含有類別型特徵的資料。

具標籤的異常

甲狀腺資料

視覺化甲狀腺疾病

異常分數

衡量效能

二元化分數

交叉列聯二元分數

甲狀腺的 precision 與 recall

處理類別型特徵

將 character 轉換為 factor

含類別變數的 Isolation forest

含類別變數的 LOF

總結

效能比較

Wine

Thyroid

Furniture

你是否擔心資料裡有不精確或可疑的紀錄，卻不知道從哪裡開始？異常偵測演算法可以幫上忙！異常偵測是一系列用來找出不尋常資料點的技術，對於偵測詐欺與保護電腦網路免於惡意行為至關重要。本課程將帶你探索用於辨識離群值的統計檢定，並學習使用更進階的異常評分演算法，例如 local outlier factor 與 isolation forest。你會把異常偵測演算法應用在 UCI Wine quality 資料集，以找出不尋常的葡萄酒樣本，也會透過異常的荷爾蒙量測來偵測甲狀腺疾病個案。

Local outlier factor（LOF）

Create Your Free Account