Standardizarea caracteristicilor

Este important să te asiguri că valorile de intrare ale caracteristicilor folosite în calculul distanței kNN sunt standardizate cu funcția scale(). Standardizarea garantează că variabilele cu medie sau varianță mare nu influențează în mod disproporționat scorul distanței kNN.

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

Instrucțiuni pentru exercițiu

Aplică funcția summary() asupra setului de date wine pentru a calcula media, minimul și maximul pentru pH și alcohol.
Folosește funcția scale() pentru a crea o versiune standardizată a setului de date wine, numită wine_scaled.
Aplică funcția summary() pe wine_scaled pentru a verifica că media și intervalele de valori s-au modificat.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Without standardization, features have different scales
summary(wine)

# Standardize the wine columns
wine_scaled <- ___

# Standardized features have similar means and quartiles
___(___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța cum pot fi folosite rezumatele numerice și grafice pentru a evalua informal dacă datele conțin puncte neobișnuite. Vei aplica o procedură statistică numită testul Grubbs pentru a verifica dacă un punct este o valoare extremă și vei afla despre algoritmul Seasonal-Hybrid ESD, care poate ajuta la identificarea valorilor extreme în cazul seriilor de timp.

Exercise 1: Ce înțelegem prin anomalii?Exercise 2: Identificarea tipurilor de anomalii Exercise 3: Explorarea datelor privind nitrații din râu Exercise 4: Testarea valorilor extreme cu testul Grubbs Exercise 5: Verificare vizuală a normalității Exercise 6: Testul Grubbs Exercise 7: Identificarea mai multor valori aberante cu testul Grubbs Exercise 8: Anomalii în serii de timp Exercise 9: Evaluarea vizuală a sezonalității Exercise 10: Algoritmul Seasonal Hybrid ESD Exercise 11: Interpretarea rezultatelor algoritmului Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus testul Grubbs

În acest capitol, vei învăța cum să calculezi distanța față de cei mai apropiați k vecini și factorul local de devianță, folosite pentru a construi scoruri continue de anomalie pentru fiecare punct de date atunci când datele au mai multe atribute. Vei înțelege diferența dintre anomaliile locale și cele globale și cum pot ajuta cei doi algoritmi în fiecare caz.

Exercise 1: Scorul de distanță k-nearest neighbors Exercise 2: Explorând vinurile Exercise 3: Matricea distanțelor kNN Exercise 4: Scorul de distanță kNN Exercise 5: Vizualizarea distanței kNN Exercise 6: Standardizarea caracteristicilor

Exercițiul curent

Exercise 7: Adăugarea scorului kNN Exercise 8: Vizualizarea scorului de distanță kNN Exercise 9: Factorul de anomalie locală Exercise 10: Calculul LOF Exercise 11: Vizualizarea LOF Exercise 12: LOF vs kNN

Distanța față de cei mai apropiați k vecini și factorul local de devianță utilizează distanța sau densitatea relativă a vecinilor cei mai apropiați pentru a scora fiecare punct. În acest capitol, vei explora o abordare alternativă bazată pe arbori, numită pădure de izolare – o metodă rapidă și robustă de detectare a anomaliilor, care măsoară cât de ușor pot fi separate punctele prin împărțirea aleatorie a datelor în regiuni din ce în ce mai mici.

Exercise 1: Arbori de izolare Exercise 2: Antrenează și prezice cu un isolation tree Exercise 3: Interpretarea scorurilor Exercise 4: Isolation forest Exercise 5: Antrenează un isolation forest Exercise 6: Verificarea convergenței Exercise 7: Vizualizarea scorului de izolare Exercise 8: O grilă de puncte Exercise 9: Predicție pe o grilă Exercise 10: Contururi de anomalii

Ai explorat deja câțiva algoritmi diferiți pentru scorarea anomaliilor. În acest capitol final, vei învăța să compari performanța de detecție a algoritmilor în situațiile în care anomaliile sunt etichetate. Vei calcula și interpreta statisticile de precizie și recuperare pentru un scor de anomalie și vei afla cum să adaptezi algoritmii astfel încât să poată gestiona date cu atribute categoriale.

Exercise 1: Anomalii etichetate Exercise 2: Date despre tiroidă Exercise 3: Vizualizarea bolii tiroidiene Exercise 4: Scor de anomalie Exercise 5: Măsurarea performanței Exercise 6: Scoruri binarizate Exercise 7: Tabelează încrucișat scorurile binare Exercise 8: Precizie și recall pentru date tiroidiene Exercise 9: Lucrul cu caracteristici categoriale Exercise 10: Conversia coloanelor de tip character în factor Exercise 11: Isolation forest cu factori Exercise 12: LOF cu factori Exercise 13: Concluzie