In this chapter, you'll learn how numerical and graphical summaries can be used to informally assess whether data contain unusual points.  You'll use a statistical procedure called Grubbs' test to check whether a point is an outlier, and learn about the Seasonal-Hybrid ESD algorithm, which can help identify outliers when the data are a time series.

Wat bedoelen we als we het over anomalieën hebben?

Anomalietypen herkennen

De riviernitraatgegevens verkennen

Extremen testen met de Grubbs-test

Visuele controle op normaliteit

Grubbs-test

Meerdere uitschieters opsporen met de Grubbs-toets

Afwijkingen in tijdreeksen

Visuele beoordeling van seizoenspatronen

Seasonal Hybrid ESD-algoritme

De output van Seasonal-Hybrid ESD interpreteren

Seasonal-Hybrid ESD versus Grubbs' test

Statistical outlier detection

In this chapter, you'll learn how to calculate the  k-nearest neighbors distance and the local outlier factor, which are used to construct continuous anomaly scores for each data point when the data have multiple features.   You'll learn the difference between local and global anomalies and how the two algorithms can help in each case.

k-nearest neighbors distance score

Exploring wine

kNN distance matrix

kNN distance score

Visualizing kNN distance

Standardizing features

Appending the kNN score

Visualizing kNN distance score

Local outlier factor

LOF calculation

LOF visualization

LOF vs kNN

Distance and density based anomaly detection

k-nearest neighbors distance and local outlier factor use the distance or relative density of the nearest neighbors to score each point.  In this chapter, you'll explore an alternative tree-based approach called an isolation forest, which is a fast and robust method of detecting anomalies that measures how easily points can be separated by randomly splitting the data into smaller and smaller regions.

Isolation trees

Fit and predict with an isolation tree

Score interpretation

Isolation forest

Fit an isolation forest

Checking convergence

Visualizing the isolation score

A grid of points

Prediction over a grid

Anomaly contours

 You've now been introduced to a few different algorithms for anomaly scoring. In this final chapter, you'll learn to compare the detection performance of the algorithms in instances where labeled anomalies are available.  You'll learn to calculate and interpret the precision and recall statistics for an anomaly score, and how to adapt the algorithms so they can accommodate data with categorical features.

Labeled anomalies

Thyroid data

Visualizing thyroid disease

Anomaly score

Measuring performance

Binarized scores

Cross-tabulate binary scores

Thyroid precision and recall

Working with categorical features

Converting character to factor

Isolation forest with factors

LOF with factors

Wrap-up

Comparing performance

Furniture

Wine

Thyroid

Maak je je zorgen over onjuiste of verdachte records in je data, maar weet je niet waar je moet beginnen? Een anomaliedetectie-algoritme kan helpen! Anomaliedetectie is een verzameling technieken die zijn ontwikkeld om ongewone datapunten te identificeren en is cruciaal voor het opsporen van fraude en het beschermen van computernetwerken tegen schadelijke activiteiten. In deze cursus verken je statistische toetsen om uitschieters te identificeren en leer je geavanceerde anomaliescore-algoritmen gebruiken, zoals de local outlier factor en de isolation forest. Je past anomaliedetectie toe om ongewone wijnen te vinden in de UCI Wine Quality-gegevensset en om gevallen van schildklieraandoeningen te detecteren op basis van afwijkende hormoonmetingen.

Intermediate R

Leer statistische tests voor het identificeren van uitschieters en gebruik geavanceerde algoritmen.

Introductie tot anomaliedetectie in R

Leer statistische tests om uitschieters te vinden en hoe je slimme algoritmes voor het scoren van afwijkingen kunt gebruiken. 

Anomalietypen herkennen

Introductie tot anomaliedetectie in R

Praktische interactieve oefening