LOF z czynnikami

Funkcja lof() może przyjmować jako dane wejściowe zarówno numeryczną ramkę danych, jak i macierz odległości, na podstawie której oblicza wyniki LOF. W tym ćwiczeniu przećwiczysz obliczanie macierzy odległości przy użyciu odległości Gowera, którą następnie przekażesz do funkcji lof() w celu wyznaczenia wyników.

Podobnie jak w poprzednim ćwiczeniu, zbiór danych thyroid z kolumnami znakowymi przekonwertowanymi na czynniki został wcześniej wczytany i jest gotowy do użycia.

To ćwiczenie jest częścią kursu

Wprowadzenie do wykrywania anomalii w R

Instrukcje do ćwiczenia

Oblicz macierz odległości Gowera dla zbioru danych thyroid i przypisz wynik do nowego obiektu thyroid_dist.
Użyj thyroid_dist, aby wygenerować wynik LOF dla każdego pacjenta, przyjmując k = 10.
Wyświetl zakres odległości zawartych w macierzy thyroid_dist.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Calculate Gower's distance matrix
thyroid_dist <- daisy(___, metric = ___)

# Generate LOF scores for thyroid data
thyroid_lof <- lof(thyroid_dist, k = 10)

# Range of values in the distance matrix
___(as.matrix(___))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Wprowadzenie do wykrywania anomalii w R

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale dowiesz się, jak podsumowania numeryczne i graficzne mogą służyć do nieformalnej oceny tego, czy dane zawierają nietypowe punkty. Użyjesz procedury statystycznej zwanej testem Grubbsa, aby sprawdzić, czy dany punkt jest wartością odstającą, oraz poznasz algorytm Seasonal-Hybrid ESD, który pomaga identyfikować wartości odstające w danych szeregów czasowych.

Exercise 1: Co rozumiemy przez anomalie?Exercise 2: Rozpoznawanie typów anomalii Exercise 3: Eksploracja danych o azotanach w rzece Exercise 4: Testowanie wartości ekstremalnych testem Grubbs'a Exercise 5: Wizualna ocena normalności Exercise 6: Test Grubbsa Exercise 7: Wykrywanie wielu wartości odstających testem Grubbs'a Exercise 8: Anomalie w szeregach czasowych Exercise 9: Wizualna ocena sezonowości Exercise 10: Algorytm Seasonal Hybrid ESD Exercise 11: Interpretacja wyników algorytmu Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD a test Grubbsa

W tym rozdziale nauczysz się obliczać odległość k-najbliższych sąsiadów oraz lokalny współczynnik wartości odstającej. Służą one do tworzenia ciągłych ocen anomalii dla każdego punktu danych w przypadku danych wielocechowych. Poznasz różnicę między anomaliami lokalnymi a globalnymi oraz dowiesz się, jak oba algorytmy sprawdzają się w każdym z tych przypadków.

Exercise 1: Ocena odległości k-najbliższych sąsiadów Exercise 2: Odkrywanie win Exercise 3: Macierz odległości kNN Exercise 4: Wynik odległości kNN Exercise 5: Wizualizacja odległości kNN Exercise 6: Standaryzacja cech Exercise 7: Dodawanie wyniku kNN Exercise 8: Wizualizacja wyniku odległości kNN Exercise 9: Lokalny współczynnik odstającości (LOF)Exercise 10: Obliczanie LOF Exercise 11: Wizualizacja LOF Exercise 12: LOF kontra kNN

Odległość k-najbliższych sąsiadów i lokalny współczynnik wartości odstającej wykorzystują odległość lub względną gęstość najbliższych sąsiadów do oceny każdego punktu. W tym rozdziale poznasz alternatywne podejście oparte na drzewach – las izolacyjny. To szybka i solidna metoda wykrywania anomalii, która mierzy, jak łatwo można odizolować punkty poprzez losowe dzielenie danych na coraz mniejsze obszary.

Exercise 1: Drzewa izolacyjne Exercise 2: Dopasowanie i prognozowanie z użyciem izolowanego drzewa Exercise 3: Interpretacja wyników Exercise 4: Isolation forest Exercise 5: Dopasowanie lasu izolacyjnego Exercise 6: Sprawdzanie zbieżności Exercise 7: Wizualizacja wyniku izolacji Exercise 8: Siatka punktów Exercise 9: Predykcja na siatce punktów Exercise 10: Kontury anomalii

Poznałeś już kilka różnych algorytmów oceny anomalii. W tym ostatnim rozdziale nauczysz się porównywać wydajność wykrywania poszczególnych algorytmów w sytuacjach, gdy dostępne są oznaczone anomalie. Dowiesz się, jak obliczać i interpretować statystyki precyzji i czułości dla oceny anomalii, oraz jak dostosować algorytmy, aby obsługiwały dane z cechami kategorycznymi.

Exercise 1: Oznaczone anomalie Exercise 2: Dane o tarczycy Exercise 3: Wizualizacja chorób tarczycy Exercise 4: Wynik anomalii Exercise 5: Mierzenie skuteczności Exercise 6: Binaryzacja wyników Exercise 7: Tworzenie tabeli krzyżowej dla wyników binarnych Exercise 8: Precyzja i czułość dla danych tarczycowych Exercise 9: Praca z cechami kategorycznymi Exercise 10: Konwersja typu character na factor Exercise 11: Las izolacji z cechami kategorycznymi Exercise 12: LOF z czynnikami

Bieżące ćwiczenie

Exercise 13: Podsumowanie