LOF-visualisatie

Net als bij kNN-afstandsscores kan een spreidingsdiagram helpen om te begrijpen waarom een lage of hoge score is toegekend. In deze oefening visualiseer je de LOF-score door de punten te schalen op basis van de grootte van de score. Je zou enkele verschillen moeten zien in de ligging van punten met de hoogste scores vergeleken met kNN-afstand.

De wine-gegevens voor deze oefening bevatten al de kolom score die in de vorige oefening is toegevoegd.

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

Bekijk cursus

Oefeninstructies

Gebruik een spreidingsdiagram om pH tegen alcohol uit de wine-gegevens te tonen. De punten moeten als gevulde stippen worden weergegeven, waarvan de grootte afhangt van de LOF-score.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Scatterplot showing pH, alcohol and LOF score
plot(pH ~ alcohol, ___)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Begin gratis met de cursus

In dit hoofdstuk leer je hoe numerieke en grafische samenvattingen kunnen helpen om informeel te beoordelen of data ongewone punten bevatten. Je gebruikt een statistische procedure genaamd de toets van Grubbs om te controleren of een punt een uitschieter is, en je leert over het Seasonal-Hybrid ESD-algoritme, dat kan helpen uitschieters te identificeren wanneer de data een tijdreeks vormen.

Exercise 1: Wat bedoelen we als we het over anomalieën hebben?Exercise 2: Anomalietypen herkennen Exercise 3: De riviernitraatgegevens verkennen Exercise 4: Extremen testen met de Grubbs-test Exercise 5: Visuele controle op normaliteit Exercise 6: Grubbs-test Exercise 7: Meerdere uitschieters opsporen met de Grubbs-toets Exercise 8: Afwijkingen in tijdreeksen Exercise 9: Visuele beoordeling van seizoenspatronen Exercise 10: Seasonal Hybrid ESD-algoritme Exercise 11: De output van Seasonal-Hybrid ESD interpreteren Exercise 12: Seasonal-Hybrid ESD versus Grubbs' test

In dit hoofdstuk leer je hoe je de k-nearest neighbors-afstand en de local outlier factor berekent, die worden gebruikt om continue anomaliescores te construeren voor elk datapunt wanneer de data meerdere kenmerken hebben. Je leert het verschil tussen lokale en globale anomalieën en hoe beide algoritmen in elk geval kunnen helpen.

Exercise 1: k-nearest neighbors-afstandsscore Exercise 2: Wijn verkennen Exercise 3: kNN-afstandsmatrix Exercise 4: kNN-afstandsscore Exercise 5: kNN-afstand visualiseren Exercise 6: Features standaardiseren Exercise 7: De kNN-score toevoegen Exercise 8: kNN-afstandsscore visualiseren Exercise 9: Local outlier factor Exercise 10: LOF-berekening Exercise 11: LOF-visualisatie

Huidige oefening

Exercise 12: LOF vs kNN

k-nearest neighbors-afstand en local outlier factor gebruiken de afstand of relatieve dichtheid van de naaste buren om elk punt te scoren. In dit hoofdstuk verken je een alternatieve boomgebaseerde aanpak, een isolation forest, een snelle en robuuste methode om anomalieën te detecteren die meet hoe gemakkelijk punten kunnen worden gescheiden door de data willekeurig in steeds kleinere regio’s te splitsen.

Exercise 1: Isolation trees Exercise 2: Fitten en voorspellen met een isolation tree Exercise 3: Score-interpretatie Exercise 4: Isolation forest Exercise 5: Een isolation forest fitten Exercise 6: Convergentie controleren Exercise 7: De isolatiescore visualiseren Exercise 8: Een raster van punten Exercise 9: Voorspelling over een raster Exercise 10: Anomaly-contouren

Je hebt nu kennisgemaakt met een paar verschillende algoritmen voor het toekennen van anomaliescores. In dit laatste hoofdstuk leer je de detectieprestaties van de algoritmen te vergelijken in situaties waarin gelabelde anomalieën beschikbaar zijn. Je leert de precisie- en recall-statistieken voor een anomaliescore te berekenen en interpreteren, en hoe je de algoritmen kunt aanpassen zodat ze data met categorische kenmerken aankunnen.

Exercise 1: Gelabelde anomalieën Exercise 2: Schildkliergegevens Exercise 3: Schildklieraandoening visualiseren Exercise 4: Anomaliescore Exercise 5: Prestaties meten Exercise 6: Gebinariseerde scores Exercise 7: Kruistabelle van binaire scores Exercise 8: Precisie en recall voor schildklier Exercise 9: Werken met categorische kenmerken Exercise 10: Tekst naar factor omzetten Exercise 11: Isolation forest met factoren Exercise 12: LOF met factoren Exercise 13: Afronding