LOF-berekening

kNN is handig om globale anomalieën te vinden, maar haalt lokale uitschieters minder goed naar boven. In deze oefening ga je met de functie lof() lokale outlierfactoren berekenen voor de wine-gegevens.

lof() heeft de volgende argumenten:

x: de data om te scoren,
k: het aantal buren dat wordt gebruikt om de LOF te berekenen.

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

Bekijk cursus

Oefeninstructies

Bereken de local outlier factor met de 5-dichtsbijzijnde buren.
Voeg de LOF toe aan de wine-gegevensset als een nieuwe kolom score.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Calculate the LOF for wine data
wine_lof <- lof(___, ___)

# Append the LOF score as a new column
___$score <- ___

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Begin gratis met de cursus

In dit hoofdstuk leer je hoe numerieke en grafische samenvattingen kunnen helpen om informeel te beoordelen of data ongewone punten bevatten. Je gebruikt een statistische procedure genaamd de toets van Grubbs om te controleren of een punt een uitschieter is, en je leert over het Seasonal-Hybrid ESD-algoritme, dat kan helpen uitschieters te identificeren wanneer de data een tijdreeks vormen.

Exercise 1: Wat bedoelen we als we het over anomalieën hebben?Exercise 2: Anomalietypen herkennen Exercise 3: De riviernitraatgegevens verkennen Exercise 4: Extremen testen met de Grubbs-test Exercise 5: Visuele controle op normaliteit Exercise 6: Grubbs-test Exercise 7: Meerdere uitschieters opsporen met de Grubbs-toets Exercise 8: Afwijkingen in tijdreeksen Exercise 9: Visuele beoordeling van seizoenspatronen Exercise 10: Seasonal Hybrid ESD-algoritme Exercise 11: De output van Seasonal-Hybrid ESD interpreteren Exercise 12: Seasonal-Hybrid ESD versus Grubbs' test

In dit hoofdstuk leer je hoe je de k-nearest neighbors-afstand en de local outlier factor berekent, die worden gebruikt om continue anomaliescores te construeren voor elk datapunt wanneer de data meerdere kenmerken hebben. Je leert het verschil tussen lokale en globale anomalieën en hoe beide algoritmen in elk geval kunnen helpen.

Exercise 1: k-nearest neighbors-afstandsscore Exercise 2: Wijn verkennen Exercise 3: kNN-afstandsmatrix Exercise 4: kNN-afstandsscore Exercise 5: kNN-afstand visualiseren Exercise 6: Features standaardiseren Exercise 7: De kNN-score toevoegen Exercise 8: kNN-afstandsscore visualiseren Exercise 9: Local outlier factor Exercise 10: LOF-berekening

Huidige oefening

Exercise 11: LOF-visualisatie Exercise 12: LOF vs kNN

k-nearest neighbors-afstand en local outlier factor gebruiken de afstand of relatieve dichtheid van de naaste buren om elk punt te scoren. In dit hoofdstuk verken je een alternatieve boomgebaseerde aanpak, een isolation forest, een snelle en robuuste methode om anomalieën te detecteren die meet hoe gemakkelijk punten kunnen worden gescheiden door de data willekeurig in steeds kleinere regio’s te splitsen.

Exercise 1: Isolation trees Exercise 2: Fitten en voorspellen met een isolation tree Exercise 3: Score-interpretatie Exercise 4: Isolation forest Exercise 5: Een isolation forest fitten Exercise 6: Convergentie controleren Exercise 7: De isolatiescore visualiseren Exercise 8: Een raster van punten Exercise 9: Voorspelling over een raster Exercise 10: Anomaly-contouren

Je hebt nu kennisgemaakt met een paar verschillende algoritmen voor het toekennen van anomaliescores. In dit laatste hoofdstuk leer je de detectieprestaties van de algoritmen te vergelijken in situaties waarin gelabelde anomalieën beschikbaar zijn. Je leert de precisie- en recall-statistieken voor een anomaliescore te berekenen en interpreteren, en hoe je de algoritmen kunt aanpassen zodat ze data met categorische kenmerken aankunnen.

Exercise 1: Gelabelde anomalieën Exercise 2: Schildkliergegevens Exercise 3: Schildklieraandoening visualiseren Exercise 4: Anomaliescore Exercise 5: Prestaties meten Exercise 6: Gebinariseerde scores Exercise 7: Kruistabelle van binaire scores Exercise 8: Precisie en recall voor schildklier Exercise 9: Werken met categorische kenmerken Exercise 10: Tekst naar factor omzetten Exercise 11: Isolation forest met factoren Exercise 12: LOF met factoren Exercise 13: Afronding