Seasonal-Hybrid ESD versus Grubbsův test

Vzpomeň si, že při použití Grubbsova testu na data o dusičnanech v řece (river) byl jako anomální označen pouze řádek 156, zatímco algoritmus Seasonal-Hybrid ESD identifikoval ještě 2 další anomálie s vysokými hodnotami. Které z následujících vysvětlení nejlépe popisuje rozdíl mezi oběma přístupy?

Toto cvičení je součástí kurzu

Úvod do detekce anomálií v R

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Úvod do detekce anomálií v R

SkillTag.level.intermediateSkillTag.label

4.8+

26 reviews

Začněte kurz zdarma

V této kapitole se naučíš, jak lze pomocí numerických a grafických přehledů neformálně posoudit, zda data obsahují neobvyklé body. Použiješ statistickou metodu zvanou Grubbsův test k ověření, zda je daný bod odlehlou hodnotou, a seznámíš se s algoritmem Seasonal-Hybrid ESD, který pomáhá odhalovat odlehlé hodnoty v časových řadách.

Exercise 1: Co máme na mysli, když mluvíme o anomáliích?Exercise 2: Rozpoznávání typů anomálií Exercise 3: Prozkoumání dat o dusičnanech v řece Exercise 4: Testování extrémů pomocí Grubbsova testu Exercise 5: Vizuální kontrola normality Exercise 6: Grubbsův test Exercise 7: Hledání více odlehlých hodnot pomocí Grubbsova testu Exercise 8: Anomálie v časových řadách Exercise 9: Vizuální posouzení sezónnosti Exercise 10: Sezónní Hybrid ESD algoritmus Exercise 11: Interpretace výstupu algoritmu Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus Grubbsův test

Aktuální cvičení

V této kapitole se naučíš počítat vzdálenost k nejbližším sousedům (k-nearest neighbors) a faktor lokálního odlehlého bodu (local outlier factor). Tyto metody slouží k vytváření průběžných skóre anomálií pro každý datový bod v případě, kdy data mají více příznaků. Zjistíš také rozdíl mezi lokálními a globálními anomáliemi a jak ti oba algoritmy mohou pomoct v každém z těchto případů.

Exercise 1: Skóre vzdálenosti k nejbližších sousedů Exercise 2: Průzkum vín Exercise 3: Matice kNN vzdáleností Exercise 4: Skóre kNN vzdálenosti Exercise 5: Vizualizace vzdálenosti kNN Exercise 6: Standardizace příznaků Exercise 7: Přidání skóre kNN Exercise 8: Vizualizace skóre vzdálenosti kNN Exercise 9: Lokální faktor odlehlosti Exercise 10: Výpočet LOF Exercise 11: Vizualizace LOF Exercise 12: LOF vs kNN

Vzdálenost k nejbližším sousedům a faktor lokálního odlehlého bodu využívají vzdálenost nebo relativní hustotu nejbližších sousedů k ohodnocení každého bodu. V této kapitole prozkoumáš alternativní přístup založený na stromech – isolation forest. Jde o rychlou a robustní metodu detekce anomálií, která měří, jak snadno lze body oddělit náhodným rozdělováním dat na stále menší oblasti.

Exercise 1: Izolační stromy Exercise 2: Trénování a predikce s isolation tree Exercise 3: Interpretace skóre Exercise 4: Isolation forest Exercise 5: Trénování isolation forestu Exercise 6: Kontrola konvergence Exercise 7: Vizualizace skóre izolace Exercise 8: Mřížka bodů Exercise 9: Predikce nad mřížkou Exercise 10: Vrstevnice anomálií

Teď už znáš několik různých algoritmů pro skórování anomálií. V této závěrečné kapitole se naučíš porovnávat výkon algoritmů v situacích, kdy jsou k dispozici označené anomálie. Zjistíš, jak vypočítat a interpretovat statistiky přesnosti (precision) a úplnosti (recall) pro skóre anomálie, a naučíš se upravit algoritmy tak, aby zvládaly data s kategoriálními příznaky.

Exercise 1: Označené anomálie Exercise 2: Data o štítné žláze Exercise 3: Vizualizace onemocnění štítné žlázy Exercise 4: Skóre anomálie Exercise 5: Měření výkonu Exercise 6: Binarizovaná skóre Exercise 7: Křížová tabulka binárních skóre Exercise 8: Přesnost a úplnost pro data o štítné žláze Exercise 9: Práce s kategorickými příznaky Exercise 10: Převod typu character na factor Exercise 11: Isolation forest s faktory Exercise 12: LOF s faktory Exercise 13: Závěr