Avvikelsebedömning

Din visualisering antydde att sköldkörtelsjukdom kan upptäckas utifrån avvikande hormonmätvärden.

I den här övningen använder du en isolationsskog för att generera en avvikelsebedömning för sköldkörtelnivåer och jämför resultatet med det verkliga sjukdomsstatusen.

Den här övningen är en del av kursen

Introduktion till avvikelsedetektering i R

Övningsinstruktioner

Anpassa en isolationsskog till hormommätvärdena i thyroid.
Generera avvikelsebedömningar för sköldkörteldata och lägg till resultatet i thyroid som den nya kolumnen iso_score.
Använd funktionen boxplot() för att jämföra fördelningen av bedömningar för patienter med och utan sköldkörtelsjukdom, med hjälp av kolumnen label.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Fit isolation forest
thyroid_forest <- iForest(___, ___ = 200, phi = 100)

# Anomaly score 
thyroid$iso_score <- predict(thyroid_forest, ___)

# Boxplot of the anomaly score against labels
boxplot(___ ~ ___, ___, col = "olivedrab4")

Redigera och kör kod

Den här övningen är en del av kursen

Introduktion till avvikelsedetektering i R

SkillTag.level.intermediateSkillTag.label

4.9+

Starta kursen gratis

I det här kapitlet lär du dig hur numeriska och grafiska sammanfattningar kan användas för att informellt bedöma om data innehåller ovanliga punkter. Du använder ett statistiskt förfarande som kallas Grubbs test för att kontrollera om en punkt är ett extremvärde, och lär dig om algoritmen Seasonal-Hybrid ESD, som kan hjälpa till att identifiera extremvärden när data utgör en tidsserie.

Exercise 1: Vad menar vi när vi talar om anomalier?Exercise 2: Identifiera typer av anomalier Exercise 3: Utforska flodens nitratdata Exercise 4: Testa extremvärden med Grubbs test Exercise 5: Visuell kontroll av normalfördelning Exercise 6: Grubbs test Exercise 7: Hitta flera avvikare med Grubbs' test Exercise 8: Avvikelser i tidsserier Exercise 9: Visuell bedömning av säsongsvariation Exercise 10: Seasonal Hybrid ESD-algoritmen Exercise 11: Tolka utdata från Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD jämfört med Grubbs test

I det här kapitlet lär du dig hur man beräknar avståndet till de k närmaste grannarna och den lokala extremvärdesdetektor (local outlier factor), som används för att konstruera kontinuerliga avvikelsepoäng för varje datapunkt när data har flera egenskaper. Du lär dig skillnaden mellan lokala och globala avvikelser, och hur de två algoritmerna kan vara användbara i respektive fall.

Exercise 1: k-närmaste grannar – distanspoäng Exercise 2: Utforska vin Exercise 3: kNN-distansmatris Exercise 4: kNN-distanspoäng Exercise 5: Visualisera kNN-avstånd Exercise 6: Standardisera särdrag Exercise 7: Lägg till kNN-poängen Exercise 8: Visualisering av kNN-distanspoäng Exercise 9: Lokal avvikelsefaktor Exercise 10: Beräkning av LOF Exercise 11: Visualisering av LOF Exercise 12: LOF vs kNN

Avståndet till k närmaste grannar och lokal extremvärdesdetektor använder avståndet eller den relativa densiteten hos de närmaste grannarna för att poängsätta varje punkt. I det här kapitlet utforskar du ett alternativt trädbaserat tillvägagångssätt som kallas isolation forest – en snabb och robust metod för avvikelsedetektering som mäter hur lätt punkter kan separeras genom att slumpmässigt dela upp data i allt mindre regioner.

Exercise 1: Isolationsträd Exercise 2: Anpassa och förutsäg med ett isoleringsträd Exercise 3: Tolkning av poäng Exercise 4: Isoleringsskog Exercise 5: Anpassa en isolation forest Exercise 6: Kontrollera konvergens Exercise 7: Visualisering av isoleringspoäng Exercise 8: Ett rutnät av punkter Exercise 9: Förutsägelse över ett rutnät Exercise 10: Anomalikonturer

Nu har du bekantat dig med ett antal olika algoritmer för avvikelsepoängsättning. I det här avslutande kapitlet lär du dig att jämföra algoritmernas detekteringsprestanda i fall där märkta avvikelser finns tillgängliga. Du lär dig att beräkna och tolka precision och återanrop för en avvikelsepoäng, samt hur algoritmerna kan anpassas för att hantera data med kategoriska egenskaper.

Exercise 1: Märkta avvikelser Exercise 2: Sköldkörteldata Exercise 3: Visualisering av sköldkörtelsjukdom Exercise 4: Avvikelsebedömning

Aktuell övning

Exercise 5: Mäta prestanda Exercise 6: Binariserade poäng Exercise 7: Korstabulera binära poäng Exercise 8: Precision och recall för sköldkörteldata Exercise 9: Arbeta med kategoriska särdrag Exercise 10: Konvertera tecken till faktor Exercise 11: Isoleringsskog med faktorer Exercise 12: LOF med faktorer Exercise 13: Avslutning