Vizualizarea scorului de distanță kNN

Scorul de distanță kNN poate fi dificil de interpretat dacă te uiți pur și simplu la o listă de valori. Este util să folosești diagrame de dispersie pentru a vizualiza scorul de distanță kNN și a înțelege cum funcționează. Când interpretezi graficul, dimensiunea relativă a scorului de distanță kNN este mai informativă decât valoarea absolută.

Setul de date wine a fost încărcat cu scorul de distanță kNN adăugat din exercițiul anterior.

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

Instrucțiuni pentru exercițiu

Folosește o diagramă de dispersie pentru a reprezenta pH și alcohol la scările lor originale.
Furnizează o valoare potrivită pentru argumentul cex, astfel încât fiecare punct să fie proporțional ca dimensiune cu rădăcina pătrată a score.
Ajustează argumentul pentru caracterul de reprezentare pch astfel încât punctele să fie afișate ca cercuri pline.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Scatterplot showing pH, alcohol and kNN score
plot(pH ~ alcohol, ___, cex = ___, pch = ___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța cum pot fi folosite rezumatele numerice și grafice pentru a evalua informal dacă datele conțin puncte neobișnuite. Vei aplica o procedură statistică numită testul Grubbs pentru a verifica dacă un punct este o valoare extremă și vei afla despre algoritmul Seasonal-Hybrid ESD, care poate ajuta la identificarea valorilor extreme în cazul seriilor de timp.

Exercise 1: Ce înțelegem prin anomalii?Exercise 2: Identificarea tipurilor de anomalii Exercise 3: Explorarea datelor privind nitrații din râu Exercise 4: Testarea valorilor extreme cu testul Grubbs Exercise 5: Verificare vizuală a normalității Exercise 6: Testul Grubbs Exercise 7: Identificarea mai multor valori aberante cu testul Grubbs Exercise 8: Anomalii în serii de timp Exercise 9: Evaluarea vizuală a sezonalității Exercise 10: Algoritmul Seasonal Hybrid ESD Exercise 11: Interpretarea rezultatelor algoritmului Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus testul Grubbs

În acest capitol, vei învăța cum să calculezi distanța față de cei mai apropiați k vecini și factorul local de devianță, folosite pentru a construi scoruri continue de anomalie pentru fiecare punct de date atunci când datele au mai multe atribute. Vei înțelege diferența dintre anomaliile locale și cele globale și cum pot ajuta cei doi algoritmi în fiecare caz.

Exercise 1: Scorul de distanță k-nearest neighbors Exercise 2: Explorând vinurile Exercise 3: Matricea distanțelor kNN Exercise 4: Scorul de distanță kNN Exercise 5: Vizualizarea distanței kNN Exercise 6: Standardizarea caracteristicilor Exercise 7: Adăugarea scorului kNN Exercise 8: Vizualizarea scorului de distanță kNN

Exercițiul curent

Exercise 9: Factorul de anomalie locală Exercise 10: Calculul LOF Exercise 11: Vizualizarea LOF Exercise 12: LOF vs kNN

Distanța față de cei mai apropiați k vecini și factorul local de devianță utilizează distanța sau densitatea relativă a vecinilor cei mai apropiați pentru a scora fiecare punct. În acest capitol, vei explora o abordare alternativă bazată pe arbori, numită pădure de izolare – o metodă rapidă și robustă de detectare a anomaliilor, care măsoară cât de ușor pot fi separate punctele prin împărțirea aleatorie a datelor în regiuni din ce în ce mai mici.

Exercise 1: Arbori de izolare Exercise 2: Antrenează și prezice cu un isolation tree Exercise 3: Interpretarea scorurilor Exercise 4: Isolation forest Exercise 5: Antrenează un isolation forest Exercise 6: Verificarea convergenței Exercise 7: Vizualizarea scorului de izolare Exercise 8: O grilă de puncte Exercise 9: Predicție pe o grilă Exercise 10: Contururi de anomalii

Ai explorat deja câțiva algoritmi diferiți pentru scorarea anomaliilor. În acest capitol final, vei învăța să compari performanța de detecție a algoritmilor în situațiile în care anomaliile sunt etichetate. Vei calcula și interpreta statisticile de precizie și recuperare pentru un scor de anomalie și vei afla cum să adaptezi algoritmii astfel încât să poată gestiona date cu atribute categoriale.

Exercise 1: Anomalii etichetate Exercise 2: Date despre tiroidă Exercise 3: Vizualizarea bolii tiroidiene Exercise 4: Scor de anomalie Exercise 5: Măsurarea performanței Exercise 6: Scoruri binarizate Exercise 7: Tabelează încrucișat scorurile binare Exercise 8: Precizie și recall pentru date tiroidiene Exercise 9: Lucrul cu caracteristici categoriale Exercise 10: Conversia coloanelor de tip character în factor Exercise 11: Isolation forest cu factori Exercise 12: LOF cu factori Exercise 13: Concluzie