Testování extrémů pomocí Grubbsova testu

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Toto cvičení je součástí kurzu

Úvod do detekce anomálií v R

SkillTag.level.intermediateSkillTag.label

4.8+

V této kapitole se naučíš, jak lze pomocí numerických a grafických přehledů neformálně posoudit, zda data obsahují neobvyklé body. Použiješ statistickou metodu zvanou Grubbsův test k ověření, zda je daný bod odlehlou hodnotou, a seznámíš se s algoritmem Seasonal-Hybrid ESD, který pomáhá odhalovat odlehlé hodnoty v časových řadách.

Exercise 1: Co máme na mysli, když mluvíme o anomáliích?Exercise 2: Rozpoznávání typů anomálií Exercise 3: Prozkoumání dat o dusičnanech v řece Exercise 4: Testování extrémů pomocí Grubbsova testu

Aktuální cvičení

Exercise 5: Vizuální kontrola normality Exercise 6: Grubbsův test Exercise 7: Hledání více odlehlých hodnot pomocí Grubbsova testu Exercise 8: Anomálie v časových řadách Exercise 9: Vizuální posouzení sezónnosti Exercise 10: Sezónní Hybrid ESD algoritmus Exercise 11: Interpretace výstupu algoritmu Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus Grubbsův test

V této kapitole se naučíš počítat vzdálenost k nejbližším sousedům (k-nearest neighbors) a faktor lokálního odlehlého bodu (local outlier factor). Tyto metody slouží k vytváření průběžných skóre anomálií pro každý datový bod v případě, kdy data mají více příznaků. Zjistíš také rozdíl mezi lokálními a globálními anomáliemi a jak ti oba algoritmy mohou pomoct v každém z těchto případů.

Exercise 1: Skóre vzdálenosti k nejbližších sousedů Exercise 2: Průzkum vín Exercise 3: Matice kNN vzdáleností Exercise 4: Skóre kNN vzdálenosti Exercise 5: Vizualizace vzdálenosti kNN Exercise 6: Standardizace příznaků Exercise 7: Přidání skóre kNN Exercise 8: Vizualizace skóre vzdálenosti kNN Exercise 9: Lokální faktor odlehlosti Exercise 10: Výpočet LOF Exercise 11: Vizualizace LOF Exercise 12: LOF vs kNN

Vzdálenost k nejbližším sousedům a faktor lokálního odlehlého bodu využívají vzdálenost nebo relativní hustotu nejbližších sousedů k ohodnocení každého bodu. V této kapitole prozkoumáš alternativní přístup založený na stromech – isolation forest. Jde o rychlou a robustní metodu detekce anomálií, která měří, jak snadno lze body oddělit náhodným rozdělováním dat na stále menší oblasti.

Exercise 1: Izolační stromy Exercise 2: Trénování a predikce s isolation tree Exercise 3: Interpretace skóre Exercise 4: Isolation forest Exercise 5: Trénování isolation forestu Exercise 6: Kontrola konvergence Exercise 7: Vizualizace skóre izolace Exercise 8: Mřížka bodů Exercise 9: Predikce nad mřížkou Exercise 10: Vrstevnice anomálií

Teď už znáš několik různých algoritmů pro skórování anomálií. V této závěrečné kapitole se naučíš porovnávat výkon algoritmů v situacích, kdy jsou k dispozici označené anomálie. Zjistíš, jak vypočítat a interpretovat statistiky přesnosti (precision) a úplnosti (recall) pro skóre anomálie, a naučíš se upravit algoritmy tak, aby zvládaly data s kategoriálními příznaky.

Exercise 1: Označené anomálie Exercise 2: Data o štítné žláze Exercise 3: Vizualizace onemocnění štítné žlázy Exercise 4: Skóre anomálie Exercise 5: Měření výkonu Exercise 6: Binarizovaná skóre Exercise 7: Křížová tabulka binárních skóre Exercise 8: Přesnost a úplnost pro data o štítné žláze Exercise 9: Práce s kategorickými příznaky Exercise 10: Převod typu character na factor Exercise 11: Isolation forest s faktory Exercise 12: LOF s faktory Exercise 13: Závěr