Vizualizace skóre vzdálenosti kNN

Skóre vzdálenosti kNN může být těžké interpretovat pouhým pohledem na sadu hodnot. Užitečné je vizualizovat ho pomocí bodových grafů, které ti pomohou pochopit, jak skóre funguje. Při interpretaci grafu je důležitější relativní velikost skóre kNN vzdálenosti než jeho absolutní hodnota.

Data wine jsou načtena se skóre kNN vzdálenosti přidaným z předchozího cvičení.

Toto cvičení je součástí kurzu

Úvod do detekce anomálií v R

Pokyny k cvičení

Pomocí bodového grafu zobraz pH a alcohol v jejich původních škálách.
Zadej vhodnou hodnotu argumentu cex tak, aby byla velikost každého bodu úměrná druhé odmocnině hodnoty score.
Uprav argument vykreslovaného znaku pch tak, aby se body zobrazily jako plné kolečka.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Scatterplot showing pH, alcohol and kNN score
plot(pH ~ alcohol, ___, cex = ___, pch = ___)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Úvod do detekce anomálií v R

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole se naučíš, jak lze pomocí numerických a grafických přehledů neformálně posoudit, zda data obsahují neobvyklé body. Použiješ statistickou metodu zvanou Grubbsův test k ověření, zda je daný bod odlehlou hodnotou, a seznámíš se s algoritmem Seasonal-Hybrid ESD, který pomáhá odhalovat odlehlé hodnoty v časových řadách.

Exercise 1: Co máme na mysli, když mluvíme o anomáliích?Exercise 2: Rozpoznávání typů anomálií Exercise 3: Prozkoumání dat o dusičnanech v řece Exercise 4: Testování extrémů pomocí Grubbsova testu Exercise 5: Vizuální kontrola normality Exercise 6: Grubbsův test Exercise 7: Hledání více odlehlých hodnot pomocí Grubbsova testu Exercise 8: Anomálie v časových řadách Exercise 9: Vizuální posouzení sezónnosti Exercise 10: Sezónní Hybrid ESD algoritmus Exercise 11: Interpretace výstupu algoritmu Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD versus Grubbsův test

V této kapitole se naučíš počítat vzdálenost k nejbližším sousedům (k-nearest neighbors) a faktor lokálního odlehlého bodu (local outlier factor). Tyto metody slouží k vytváření průběžných skóre anomálií pro každý datový bod v případě, kdy data mají více příznaků. Zjistíš také rozdíl mezi lokálními a globálními anomáliemi a jak ti oba algoritmy mohou pomoct v každém z těchto případů.

Exercise 1: Skóre vzdálenosti k nejbližších sousedů Exercise 2: Průzkum vín Exercise 3: Matice kNN vzdáleností Exercise 4: Skóre kNN vzdálenosti Exercise 5: Vizualizace vzdálenosti kNN Exercise 6: Standardizace příznaků Exercise 7: Přidání skóre kNN Exercise 8: Vizualizace skóre vzdálenosti kNN

Aktuální cvičení

Exercise 9: Lokální faktor odlehlosti Exercise 10: Výpočet LOF Exercise 11: Vizualizace LOF Exercise 12: LOF vs kNN

Vzdálenost k nejbližším sousedům a faktor lokálního odlehlého bodu využívají vzdálenost nebo relativní hustotu nejbližších sousedů k ohodnocení každého bodu. V této kapitole prozkoumáš alternativní přístup založený na stromech – isolation forest. Jde o rychlou a robustní metodu detekce anomálií, která měří, jak snadno lze body oddělit náhodným rozdělováním dat na stále menší oblasti.

Exercise 1: Izolační stromy Exercise 2: Trénování a predikce s isolation tree Exercise 3: Interpretace skóre Exercise 4: Isolation forest Exercise 5: Trénování isolation forestu Exercise 6: Kontrola konvergence Exercise 7: Vizualizace skóre izolace Exercise 8: Mřížka bodů Exercise 9: Predikce nad mřížkou Exercise 10: Vrstevnice anomálií

Teď už znáš několik různých algoritmů pro skórování anomálií. V této závěrečné kapitole se naučíš porovnávat výkon algoritmů v situacích, kdy jsou k dispozici označené anomálie. Zjistíš, jak vypočítat a interpretovat statistiky přesnosti (precision) a úplnosti (recall) pro skóre anomálie, a naučíš se upravit algoritmy tak, aby zvládaly data s kategoriálními příznaky.

Exercise 1: Označené anomálie Exercise 2: Data o štítné žláze Exercise 3: Vizualizace onemocnění štítné žlázy Exercise 4: Skóre anomálie Exercise 5: Měření výkonu Exercise 6: Binarizovaná skóre Exercise 7: Křížová tabulka binárních skóre Exercise 8: Přesnost a úplnost pro data o štítné žláze Exercise 9: Práce s kategorickými příznaky Exercise 10: Převod typu character na factor Exercise 11: Isolation forest s faktory Exercise 12: LOF s faktory Exercise 13: Závěr