Adăugarea scorului kNN

Acum că ai standardizat caracteristicile de intrare, este momentul să calculezi scorul de distanță kNN pentru datele wine standardizate și să îl adaugi ca o nouă coloană.

În acest exercițiu, scorul de distanță față de cei mai apropiați 5 vecini este deja disponibil în obiectul wine_nnd. Pentru a putea folosi scorul cu ușurință în vizualizări sau analize ulterioare, îl vei adăuga ca o nouă coloană în setul de date nestandardizat.

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

Vezi cursul

Instrucțiuni pentru exercițiu

Adaugă scorul celor mai apropiați 5 vecini în data frame-ul wine ca o nouă coloană numită score.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Print the 5-nearest neighbor distance score
wine_nnd[1:5]

# Append the score as a new column

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Începe cursul gratuit

În acest capitol, vei învăța cum pot fi folosite rezumatele numerice și grafice pentru a evalua informal dacă datele conțin puncte neobișnuite. Vei aplica o procedură statistică numită testul Grubbs pentru a verifica dacă un punct este o valoare extremă și vei afla despre algoritmul Seasonal-Hybrid ESD, care poate ajuta la identificarea valorilor extreme în cazul seriilor de timp.

Exercise 1: Ce înțelegem prin anomalii?Exercise 2: Identificarea tipurilor de anomalii Exercise 3: Explorarea datelor privind nitrații din râu Exercise 4: Testarea valorilor extreme cu testul Grubbs Exercise 5: Verificare vizuală a normalității Exercise 6: Testul Grubbs Exercise 7: Identificarea mai multor valori aberante cu testul Grubbs Exercise 8: Anomalii în serii de timp Exercise 9: Evaluarea vizuală a sezonalității Exercise 10: Algoritmul Seasonal Hybrid ESD Exercise 11: Interpretarea rezultatelor algoritmului Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus testul Grubbs

În acest capitol, vei învăța cum să calculezi distanța față de cei mai apropiați k vecini și factorul local de devianță, folosite pentru a construi scoruri continue de anomalie pentru fiecare punct de date atunci când datele au mai multe atribute. Vei înțelege diferența dintre anomaliile locale și cele globale și cum pot ajuta cei doi algoritmi în fiecare caz.

Exercise 1: Scorul de distanță k-nearest neighbors Exercise 2: Explorând vinurile Exercise 3: Matricea distanțelor kNN Exercise 4: Scorul de distanță kNN Exercise 5: Vizualizarea distanței kNN Exercise 6: Standardizarea caracteristicilor Exercise 7: Adăugarea scorului kNN

Exercițiul curent

Exercise 8: Vizualizarea scorului de distanță kNN Exercise 9: Factorul de anomalie locală Exercise 10: Calculul LOF Exercise 11: Vizualizarea LOF Exercise 12: LOF vs kNN

Distanța față de cei mai apropiați k vecini și factorul local de devianță utilizează distanța sau densitatea relativă a vecinilor cei mai apropiați pentru a scora fiecare punct. În acest capitol, vei explora o abordare alternativă bazată pe arbori, numită pădure de izolare – o metodă rapidă și robustă de detectare a anomaliilor, care măsoară cât de ușor pot fi separate punctele prin împărțirea aleatorie a datelor în regiuni din ce în ce mai mici.

Exercise 1: Arbori de izolare Exercise 2: Antrenează și prezice cu un isolation tree Exercise 3: Interpretarea scorurilor Exercise 4: Isolation forest Exercise 5: Antrenează un isolation forest Exercise 6: Verificarea convergenței Exercise 7: Vizualizarea scorului de izolare Exercise 8: O grilă de puncte Exercise 9: Predicție pe o grilă Exercise 10: Contururi de anomalii

Ai explorat deja câțiva algoritmi diferiți pentru scorarea anomaliilor. În acest capitol final, vei învăța să compari performanța de detecție a algoritmilor în situațiile în care anomaliile sunt etichetate. Vei calcula și interpreta statisticile de precizie și recuperare pentru un scor de anomalie și vei afla cum să adaptezi algoritmii astfel încât să poată gestiona date cu atribute categoriale.

Exercise 1: Anomalii etichetate Exercise 2: Date despre tiroidă Exercise 3: Vizualizarea bolii tiroidiene Exercise 4: Scor de anomalie Exercise 5: Măsurarea performanței Exercise 6: Scoruri binarizate Exercise 7: Tabelează încrucișat scorurile binare Exercise 8: Precizie și recall pentru date tiroidiene Exercise 9: Lucrul cu caracteristici categoriale Exercise 10: Conversia coloanelor de tip character în factor Exercise 11: Isolation forest cu factori Exercise 12: LOF cu factori Exercise 13: Concluzie