Explorarea datelor privind nitrații din râu

În acest exercițiu, vei explora setul de date river, care va fi folosit pe parcursul acestui capitol pentru a ilustra tehnici comune de detectare a anomaliilor. river este un data.frame ce conține următoarele trei coloane:

index - numere întregi care descriu ordinea observațiilor nitrate
nitrate - concentrații lunare de nitrați dizolvați măsurate într-un râu
month - un factor care conține luna corespunzătoare fiecărei observații nitrate

Vei explora coloana nitrate folosind statistici descriptive și diagrame boxplot pentru a evalua dacă există anomalii punctuale în date.

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Explore contents of dataset
___(___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Detecția Anomaliilor în R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Începe cursul gratuit

În acest capitol, vei învăța cum pot fi folosite rezumatele numerice și grafice pentru a evalua informal dacă datele conțin puncte neobișnuite. Vei aplica o procedură statistică numită testul Grubbs pentru a verifica dacă un punct este o valoare extremă și vei afla despre algoritmul Seasonal-Hybrid ESD, care poate ajuta la identificarea valorilor extreme în cazul seriilor de timp.

Exercise 1: Ce înțelegem prin anomalii?Exercise 2: Identificarea tipurilor de anomalii Exercise 3: Explorarea datelor privind nitrații din râu

Exercițiul curent

Exercise 4: Testarea valorilor extreme cu testul Grubbs Exercise 5: Verificare vizuală a normalității Exercise 6: Testul Grubbs Exercise 7: Identificarea mai multor valori aberante cu testul Grubbs Exercise 8: Anomalii în serii de timp Exercise 9: Evaluarea vizuală a sezonalității Exercise 10: Algoritmul Seasonal Hybrid ESD Exercise 11: Interpretarea rezultatelor algoritmului Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus testul Grubbs

În acest capitol, vei învăța cum să calculezi distanța față de cei mai apropiați k vecini și factorul local de devianță, folosite pentru a construi scoruri continue de anomalie pentru fiecare punct de date atunci când datele au mai multe atribute. Vei înțelege diferența dintre anomaliile locale și cele globale și cum pot ajuta cei doi algoritmi în fiecare caz.

Exercise 1: Scorul de distanță k-nearest neighbors Exercise 2: Explorând vinurile Exercise 3: Matricea distanțelor kNN Exercise 4: Scorul de distanță kNN Exercise 5: Vizualizarea distanței kNN Exercise 6: Standardizarea caracteristicilor Exercise 7: Adăugarea scorului kNN Exercise 8: Vizualizarea scorului de distanță kNN Exercise 9: Factorul de anomalie locală Exercise 10: Calculul LOF Exercise 11: Vizualizarea LOF Exercise 12: LOF vs kNN

Distanța față de cei mai apropiați k vecini și factorul local de devianță utilizează distanța sau densitatea relativă a vecinilor cei mai apropiați pentru a scora fiecare punct. În acest capitol, vei explora o abordare alternativă bazată pe arbori, numită pădure de izolare – o metodă rapidă și robustă de detectare a anomaliilor, care măsoară cât de ușor pot fi separate punctele prin împărțirea aleatorie a datelor în regiuni din ce în ce mai mici.

Exercise 1: Arbori de izolare Exercise 2: Antrenează și prezice cu un isolation tree Exercise 3: Interpretarea scorurilor Exercise 4: Isolation forest Exercise 5: Antrenează un isolation forest Exercise 6: Verificarea convergenței Exercise 7: Vizualizarea scorului de izolare Exercise 8: O grilă de puncte Exercise 9: Predicție pe o grilă Exercise 10: Contururi de anomalii

Ai explorat deja câțiva algoritmi diferiți pentru scorarea anomaliilor. În acest capitol final, vei învăța să compari performanța de detecție a algoritmilor în situațiile în care anomaliile sunt etichetate. Vei calcula și interpreta statisticile de precizie și recuperare pentru un scor de anomalie și vei afla cum să adaptezi algoritmii astfel încât să poată gestiona date cu atribute categoriale.

Exercise 1: Anomalii etichetate Exercise 2: Date despre tiroidă Exercise 3: Vizualizarea bolii tiroidiene Exercise 4: Scor de anomalie Exercise 5: Măsurarea performanței Exercise 6: Scoruri binarizate Exercise 7: Tabelează încrucișat scorurile binare Exercise 8: Precizie și recall pentru date tiroidiene Exercise 9: Lucrul cu caracteristici categoriale Exercise 10: Conversia coloanelor de tip character în factor Exercise 11: Isolation forest cu factori Exercise 12: LOF cu factori Exercise 13: Concluzie