kNN-afstandsscore visualiseren

De kNN-afstandsscore is lastig te interpreteren door alleen naar de waarden te kijken. Het is handig om scatterplots te gebruiken om de kNN-afstandsscore te visualiseren en zo te begrijpen hoe de score werkt. Bij het interpreteren van de plot is de relatieve grootte van de kNN-afstandsscore informatiever dan de absolute waarde.

De wine-gegevens zijn geladen met de kNN-afstandsscore toegevoegd vanuit de vorige oefening.

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

Oefeninstructies

Gebruik een scatterplot om pH en alcohol op hun oorspronkelijke schalen te tonen.
Geef een geschikte waarde aan het cex-argument zodat elk punt in grootte evenredig is met de vierkantswortel van de score.
Pas het tekentekenargument pch aan zodat punten als massieve bolletjes worden weergegeven.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Scatterplot showing pH, alcohol and kNN score
plot(pH ~ alcohol, ___, cex = ___, pch = ___)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

SkillTag.level.intermediateSkillTag.label

4.8+

Begin gratis met de cursus

In dit hoofdstuk leer je hoe numerieke en grafische samenvattingen kunnen helpen om informeel te beoordelen of data ongewone punten bevatten. Je gebruikt een statistische procedure genaamd de toets van Grubbs om te controleren of een punt een uitschieter is, en je leert over het Seasonal-Hybrid ESD-algoritme, dat kan helpen uitschieters te identificeren wanneer de data een tijdreeks vormen.

Exercise 1: Wat bedoelen we als we het over anomalieën hebben?Exercise 2: Anomalietypen herkennen Exercise 3: De riviernitraatgegevens verkennen Exercise 4: Extremen testen met de Grubbs-test Exercise 5: Visuele controle op normaliteit Exercise 6: Grubbs-test Exercise 7: Meerdere uitschieters opsporen met de Grubbs-toets Exercise 8: Afwijkingen in tijdreeksen Exercise 9: Visuele beoordeling van seizoenspatronen Exercise 10: Seasonal Hybrid ESD-algoritme Exercise 11: De output van Seasonal-Hybrid ESD interpreteren Exercise 12: Seasonal-Hybrid ESD versus Grubbs' test

In dit hoofdstuk leer je hoe je de k-nearest neighbors-afstand en de local outlier factor berekent, die worden gebruikt om continue anomaliescores te construeren voor elk datapunt wanneer de data meerdere kenmerken hebben. Je leert het verschil tussen lokale en globale anomalieën en hoe beide algoritmen in elk geval kunnen helpen.

Exercise 1: k-nearest neighbors-afstandsscore Exercise 2: Wijn verkennen Exercise 3: kNN-afstandsmatrix Exercise 4: kNN-afstandsscore Exercise 5: kNN-afstand visualiseren Exercise 6: Features standaardiseren Exercise 7: De kNN-score toevoegen Exercise 8: kNN-afstandsscore visualiseren

Huidige oefening

Exercise 9: Local outlier factor Exercise 10: LOF-berekening Exercise 11: LOF-visualisatie Exercise 12: LOF vs kNN

k-nearest neighbors-afstand en local outlier factor gebruiken de afstand of relatieve dichtheid van de naaste buren om elk punt te scoren. In dit hoofdstuk verken je een alternatieve boomgebaseerde aanpak, een isolation forest, een snelle en robuuste methode om anomalieën te detecteren die meet hoe gemakkelijk punten kunnen worden gescheiden door de data willekeurig in steeds kleinere regio’s te splitsen.

Exercise 1: Isolation trees Exercise 2: Fitten en voorspellen met een isolation tree Exercise 3: Score-interpretatie Exercise 4: Isolation forest Exercise 5: Een isolation forest fitten Exercise 6: Convergentie controleren Exercise 7: De isolatiescore visualiseren Exercise 8: Een raster van punten Exercise 9: Voorspelling over een raster Exercise 10: Anomaly-contouren

Je hebt nu kennisgemaakt met een paar verschillende algoritmen voor het toekennen van anomaliescores. In dit laatste hoofdstuk leer je de detectieprestaties van de algoritmen te vergelijken in situaties waarin gelabelde anomalieën beschikbaar zijn. Je leert de precisie- en recall-statistieken voor een anomaliescore te berekenen en interpreteren, en hoe je de algoritmen kunt aanpassen zodat ze data met categorische kenmerken aankunnen.

Exercise 1: Gelabelde anomalieën Exercise 2: Schildkliergegevens Exercise 3: Schildklieraandoening visualiseren Exercise 4: Anomaliescore Exercise 5: Prestaties meten Exercise 6: Gebinariseerde scores Exercise 7: Kruistabelle van binaire scores Exercise 8: Precisie en recall voor schildklier Exercise 9: Werken met categorische kenmerken Exercise 10: Tekst naar factor omzetten Exercise 11: Isolation forest met factoren Exercise 12: LOF met factoren Exercise 13: Afronding