Scor de anomalie

Vizualizarea ta a sugerat că boala tiroidiană poate fi detectată pe baza măsurătorilor hormonale anormale.

În acest exercițiu vei folosi un isolation forest pentru a genera un scor de anomalie pentru nivelurile tiroidiene și vei compara scorul obținut cu statusul real al bolii.

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

Instrucțiuni pentru exercițiu

Antrenează un isolation forest pe măsurătorile hormonale din setul de date thyroid.
Generează scoruri de anomalie pentru datele tiroidiene și adaugă rezultatul în thyroid ca nouă coloană, iso_score.
Folosește funcția boxplot() pentru a compara distribuția scorurilor la pacienții cu și fără boală tiroidiană, utilizând coloana label.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Fit isolation forest
thyroid_forest <- iForest(___, ___ = 200, phi = 100)

# Anomaly score 
thyroid$iso_score <- predict(thyroid_forest, ___)

# Boxplot of the anomaly score against labels
boxplot(___ ~ ___, ___, col = "olivedrab4")

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța cum pot fi folosite rezumatele numerice și grafice pentru a evalua informal dacă datele conțin puncte neobișnuite. Vei aplica o procedură statistică numită testul Grubbs pentru a verifica dacă un punct este o valoare extremă și vei afla despre algoritmul Seasonal-Hybrid ESD, care poate ajuta la identificarea valorilor extreme în cazul seriilor de timp.

Exercise 1: Ce înțelegem prin anomalii?Exercise 2: Identificarea tipurilor de anomalii Exercise 3: Explorarea datelor privind nitrații din râu Exercise 4: Testarea valorilor extreme cu testul Grubbs Exercise 5: Verificare vizuală a normalității Exercise 6: Testul Grubbs Exercise 7: Identificarea mai multor valori aberante cu testul Grubbs Exercise 8: Anomalii în serii de timp Exercise 9: Evaluarea vizuală a sezonalității Exercise 10: Algoritmul Seasonal Hybrid ESD Exercise 11: Interpretarea rezultatelor algoritmului Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus testul Grubbs

În acest capitol, vei învăța cum să calculezi distanța față de cei mai apropiați k vecini și factorul local de devianță, folosite pentru a construi scoruri continue de anomalie pentru fiecare punct de date atunci când datele au mai multe atribute. Vei înțelege diferența dintre anomaliile locale și cele globale și cum pot ajuta cei doi algoritmi în fiecare caz.

Exercise 1: Scorul de distanță k-nearest neighbors Exercise 2: Explorând vinurile Exercise 3: Matricea distanțelor kNN Exercise 4: Scorul de distanță kNN Exercise 5: Vizualizarea distanței kNN Exercise 6: Standardizarea caracteristicilor Exercise 7: Adăugarea scorului kNN Exercise 8: Vizualizarea scorului de distanță kNN Exercise 9: Factorul de anomalie locală Exercise 10: Calculul LOF Exercise 11: Vizualizarea LOF Exercise 12: LOF vs kNN

Distanța față de cei mai apropiați k vecini și factorul local de devianță utilizează distanța sau densitatea relativă a vecinilor cei mai apropiați pentru a scora fiecare punct. În acest capitol, vei explora o abordare alternativă bazată pe arbori, numită pădure de izolare – o metodă rapidă și robustă de detectare a anomaliilor, care măsoară cât de ușor pot fi separate punctele prin împărțirea aleatorie a datelor în regiuni din ce în ce mai mici.

Exercise 1: Arbori de izolare Exercise 2: Antrenează și prezice cu un isolation tree Exercise 3: Interpretarea scorurilor Exercise 4: Isolation forest Exercise 5: Antrenează un isolation forest Exercise 6: Verificarea convergenței Exercise 7: Vizualizarea scorului de izolare Exercise 8: O grilă de puncte Exercise 9: Predicție pe o grilă Exercise 10: Contururi de anomalii

Ai explorat deja câțiva algoritmi diferiți pentru scorarea anomaliilor. În acest capitol final, vei învăța să compari performanța de detecție a algoritmilor în situațiile în care anomaliile sunt etichetate. Vei calcula și interpreta statisticile de precizie și recuperare pentru un scor de anomalie și vei afla cum să adaptezi algoritmii astfel încât să poată gestiona date cu atribute categoriale.

Exercise 1: Anomalii etichetate Exercise 2: Date despre tiroidă Exercise 3: Vizualizarea bolii tiroidiene Exercise 4: Scor de anomalie

Exercițiul curent

Exercise 5: Măsurarea performanței Exercise 6: Scoruri binarizate Exercise 7: Tabelează încrucișat scorurile binare Exercise 8: Precizie și recall pentru date tiroidiene Exercise 9: Lucrul cu caracteristici categoriale Exercise 10: Conversia coloanelor de tip character în factor Exercise 11: Isolation forest cu factori Exercise 12: LOF cu factori Exercise 13: Concluzie