Visuele controle op normaliteit

Voordat je Grubbs' test gebruikt, moet je eerst nagaan of de observaties aannemelijk normaal verdeeld zijn. De functie hist() in R geeft een histogram van de observaties terug, wat je helpt een oordeel te vormen over de aanname van normaliteit. hist() gebruik je als volgt

hist(data, xlab = "My x-axis label", breaks = 30)

data is een vector met numerieke waarden
breaks het aantal breekpunten dat wordt gebruikt om de gegevens in vakken te verdelen
xlab een optionele tekst voor het label van de x-as

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

Bekijk cursus

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

head(river)

# Plot a histogram of the nitrate column
hist(___)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot anomaliedetectie in R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Begin gratis met de cursus

In dit hoofdstuk leer je hoe numerieke en grafische samenvattingen kunnen helpen om informeel te beoordelen of data ongewone punten bevatten. Je gebruikt een statistische procedure genaamd de toets van Grubbs om te controleren of een punt een uitschieter is, en je leert over het Seasonal-Hybrid ESD-algoritme, dat kan helpen uitschieters te identificeren wanneer de data een tijdreeks vormen.

Exercise 1: Wat bedoelen we als we het over anomalieën hebben?Exercise 2: Anomalietypen herkennen Exercise 3: De riviernitraatgegevens verkennen Exercise 4: Extremen testen met de Grubbs-test Exercise 5: Visuele controle op normaliteit

Huidige oefening

Exercise 6: Grubbs-test Exercise 7: Meerdere uitschieters opsporen met de Grubbs-toets Exercise 8: Afwijkingen in tijdreeksen Exercise 9: Visuele beoordeling van seizoenspatronen Exercise 10: Seasonal Hybrid ESD-algoritme Exercise 11: De output van Seasonal-Hybrid ESD interpreteren Exercise 12: Seasonal-Hybrid ESD versus Grubbs' test

In dit hoofdstuk leer je hoe je de k-nearest neighbors-afstand en de local outlier factor berekent, die worden gebruikt om continue anomaliescores te construeren voor elk datapunt wanneer de data meerdere kenmerken hebben. Je leert het verschil tussen lokale en globale anomalieën en hoe beide algoritmen in elk geval kunnen helpen.

Exercise 1: k-nearest neighbors-afstandsscore Exercise 2: Wijn verkennen Exercise 3: kNN-afstandsmatrix Exercise 4: kNN-afstandsscore Exercise 5: kNN-afstand visualiseren Exercise 6: Features standaardiseren Exercise 7: De kNN-score toevoegen Exercise 8: kNN-afstandsscore visualiseren Exercise 9: Local outlier factor Exercise 10: LOF-berekening Exercise 11: LOF-visualisatie Exercise 12: LOF vs kNN

k-nearest neighbors-afstand en local outlier factor gebruiken de afstand of relatieve dichtheid van de naaste buren om elk punt te scoren. In dit hoofdstuk verken je een alternatieve boomgebaseerde aanpak, een isolation forest, een snelle en robuuste methode om anomalieën te detecteren die meet hoe gemakkelijk punten kunnen worden gescheiden door de data willekeurig in steeds kleinere regio’s te splitsen.

Exercise 1: Isolation trees Exercise 2: Fitten en voorspellen met een isolation tree Exercise 3: Score-interpretatie Exercise 4: Isolation forest Exercise 5: Een isolation forest fitten Exercise 6: Convergentie controleren Exercise 7: De isolatiescore visualiseren Exercise 8: Een raster van punten Exercise 9: Voorspelling over een raster Exercise 10: Anomaly-contouren

Je hebt nu kennisgemaakt met een paar verschillende algoritmen voor het toekennen van anomaliescores. In dit laatste hoofdstuk leer je de detectieprestaties van de algoritmen te vergelijken in situaties waarin gelabelde anomalieën beschikbaar zijn. Je leert de precisie- en recall-statistieken voor een anomaliescore te berekenen en interpreteren, en hoe je de algoritmen kunt aanpassen zodat ze data met categorische kenmerken aankunnen.

Exercise 1: Gelabelde anomalieën Exercise 2: Schildkliergegevens Exercise 3: Schildklieraandoening visualiseren Exercise 4: Anomaliescore Exercise 5: Prestaties meten Exercise 6: Gebinariseerde scores Exercise 7: Kruistabelle van binaire scores Exercise 8: Precisie en recall voor schildklier Exercise 9: Werken met categorische kenmerken Exercise 10: Tekst naar factor omzetten Exercise 11: Isolation forest met factoren Exercise 12: LOF met factoren Exercise 13: Afronding