In this chapter, you'll learn how numerical and graphical summaries can be used to informally assess whether data contain unusual points.  You'll use a statistical procedure called Grubbs' test to check whether a point is an outlier, and learn about the Seasonal-Hybrid ESD algorithm, which can help identify outliers when the data are a time series.

What do we mean when we talk about anomalies?

Recognizing anomaly types

Exploring the river nitrate data

Testing the extremes with Grubbs' test

Visual check of normality

Grubbs' test

Hunting multiple outliers using Grubbs' test

Anomalies in time series

Visual assessment of seasonality

Seasonal Hybrid ESD algorithm

Interpreting Seasonal-Hybrid ESD output

Seasonal-Hybrid ESD versus Grubbs' test

Statistical outlier detection

In this chapter, you'll learn how to calculate the  k-nearest neighbors distance and the local outlier factor, which are used to construct continuous anomaly scores for each data point when the data have multiple features.   You'll learn the difference between local and global anomalies and how the two algorithms can help in each case.

k-en yakın komşu uzaklık skoru

Şarabı keşfetme

kNN uzaklık matrisi

kNN mesafe skoru

kNN mesafesini görselleştirme

Özellikleri standartlaştırma

kNN skorunu ekleme

kNN uzaklık skorunu görselleştirme

Yerel aykırılık faktörü

LOF hesaplama

LOF görselleştirmesi

LOF ve kNN

Distance and density based anomaly detection

k-nearest neighbors distance and local outlier factor use the distance or relative density of the nearest neighbors to score each point.  In this chapter, you'll explore an alternative tree-based approach called an isolation forest, which is a fast and robust method of detecting anomalies that measures how easily points can be separated by randomly splitting the data into smaller and smaller regions.

Isolation trees

Fit and predict with an isolation tree

Score interpretation

Isolation forest

Fit an isolation forest

Checking convergence

Visualizing the isolation score

A grid of points

Prediction over a grid

Anomaly contours

 You've now been introduced to a few different algorithms for anomaly scoring. In this final chapter, you'll learn to compare the detection performance of the algorithms in instances where labeled anomalies are available.  You'll learn to calculate and interpret the precision and recall statistics for an anomaly score, and how to adapt the algorithms so they can accommodate data with categorical features.

Labeled anomalies

Thyroid data

Visualizing thyroid disease

Anomaly score

Measuring performance

Binarized scores

Cross-tabulate binary scores

Thyroid precision and recall

Working with categorical features

Converting character to factor

Isolation forest with factors

LOF with factors

Wrap-up

Comparing performance

Furniture

Wine

Thyroid

Verinde hatalı ya da şüpheli kayıtlar olduğundan endişe ediyor ama nereden başlayacağını bilmiyor musun? Anomaly detection algoritmaları işine yarayabilir! Anomaly detection, olağan dışı veri noktalarını belirlemek için tasarlanmış tekniklerin bir bütünüdür ve dolandırıcılığı tespit etmek ile bilgisayar ağlarını kötü amaçlı etkinliklere karşı korumak için kritiktir. Bu derste, aykırı değerleri belirlemek için istatistiksel testleri inceleyecek ve local outlier factor ile isolation forest gibi gelişmiş anomali puanlama algoritmalarını kullanmayı öğreneceksin. UCI Wine kalite veri kümesinde sıra dışı şarapları belirlemek ve anormal hormon ölçümlerinden tiroit hastalığı vakalarını tespit etmek için anomaly detection algoritmalarını uygulayacaksın.

Intermediate R

Aykırı değerleri belirlemek için istatistiksel testleri ve gelişmiş anomali algoritmalarını öğrenin.

R ile Anomali Tespitine Giriş

Aykırı değerleri belirlemek için istatistiksel testleri ve gelişmiş anomali puanlama algoritmalarını kullanmayı öğrenin. 

Data Scientist

Mobilya boyutları

k-en yakın komşu (kNN) uzaklığı

Uzaklık matrisi hesaplaması için girdiler

Uzaklık matrisi çıktısı

kNN uzaklık skoru

Haydi pratik yapalım!

Distance and density based anomaly detection - k-en yakın komşu uzaklık skoru

k-en yakın komşu uzaklık skoru

Create Your Free Account