Wizualizacja LOF

Podobnie jak w przypadku oceniania odległości kNN, wykres rozrzutu może być pomocnym narzędziem wizualnym do zrozumienia, dlaczego danemu punktowi przypisano niski lub wysoki wynik. W tym ćwiczeniu wynik LOF jest wizualizowany przez skalowanie punktów zgodnie z wartością wyniku. Zwróć uwagę na różnice w położeniu punktów z najwyższymi wynikami w porównaniu z odległością kNN.

Zbiór danych wine użyty w tym ćwiczeniu zawiera już kolumnę score dodaną w poprzednim ćwiczeniu.

To ćwiczenie jest częścią kursu

Wprowadzenie do wykrywania anomalii w R

Instrukcje do ćwiczenia

Utwórz wykres rozrzutu przedstawiający pH w zależności od alcohol na podstawie danych wine. Punkty powinny być wyświetlane jako wypełnione koła, których rozmiar zależy od wyniku LOF.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Scatterplot showing pH, alcohol and LOF score
plot(pH ~ alcohol, ___)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Wprowadzenie do wykrywania anomalii w R

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale dowiesz się, jak podsumowania numeryczne i graficzne mogą służyć do nieformalnej oceny tego, czy dane zawierają nietypowe punkty. Użyjesz procedury statystycznej zwanej testem Grubbsa, aby sprawdzić, czy dany punkt jest wartością odstającą, oraz poznasz algorytm Seasonal-Hybrid ESD, który pomaga identyfikować wartości odstające w danych szeregów czasowych.

Exercise 1: Co rozumiemy przez anomalie?Exercise 2: Rozpoznawanie typów anomalii Exercise 3: Eksploracja danych o azotanach w rzece Exercise 4: Testowanie wartości ekstremalnych testem Grubbs'a Exercise 5: Wizualna ocena normalności Exercise 6: Test Grubbsa Exercise 7: Wykrywanie wielu wartości odstających testem Grubbs'a Exercise 8: Anomalie w szeregach czasowych Exercise 9: Wizualna ocena sezonowości Exercise 10: Algorytm Seasonal Hybrid ESD Exercise 11: Interpretacja wyników algorytmu Seasonal-Hybrid ESD Exercise 12: Seasonal-Hybrid ESD a test Grubbsa

W tym rozdziale nauczysz się obliczać odległość k-najbliższych sąsiadów oraz lokalny współczynnik wartości odstającej. Służą one do tworzenia ciągłych ocen anomalii dla każdego punktu danych w przypadku danych wielocechowych. Poznasz różnicę między anomaliami lokalnymi a globalnymi oraz dowiesz się, jak oba algorytmy sprawdzają się w każdym z tych przypadków.

Exercise 1: Ocena odległości k-najbliższych sąsiadów Exercise 2: Odkrywanie win Exercise 3: Macierz odległości kNN Exercise 4: Wynik odległości kNN Exercise 5: Wizualizacja odległości kNN Exercise 6: Standaryzacja cech Exercise 7: Dodawanie wyniku kNN Exercise 8: Wizualizacja wyniku odległości kNN Exercise 9: Lokalny współczynnik odstającości (LOF)Exercise 10: Obliczanie LOF Exercise 11: Wizualizacja LOF

Bieżące ćwiczenie

Exercise 12: LOF kontra kNN

Odległość k-najbliższych sąsiadów i lokalny współczynnik wartości odstającej wykorzystują odległość lub względną gęstość najbliższych sąsiadów do oceny każdego punktu. W tym rozdziale poznasz alternatywne podejście oparte na drzewach – las izolacyjny. To szybka i solidna metoda wykrywania anomalii, która mierzy, jak łatwo można odizolować punkty poprzez losowe dzielenie danych na coraz mniejsze obszary.

Exercise 1: Drzewa izolacyjne Exercise 2: Dopasowanie i prognozowanie z użyciem izolowanego drzewa Exercise 3: Interpretacja wyników Exercise 4: Isolation forest Exercise 5: Dopasowanie lasu izolacyjnego Exercise 6: Sprawdzanie zbieżności Exercise 7: Wizualizacja wyniku izolacji Exercise 8: Siatka punktów Exercise 9: Predykcja na siatce punktów Exercise 10: Kontury anomalii

Poznałeś już kilka różnych algorytmów oceny anomalii. W tym ostatnim rozdziale nauczysz się porównywać wydajność wykrywania poszczególnych algorytmów w sytuacjach, gdy dostępne są oznaczone anomalie. Dowiesz się, jak obliczać i interpretować statystyki precyzji i czułości dla oceny anomalii, oraz jak dostosować algorytmy, aby obsługiwały dane z cechami kategorycznymi.

Exercise 1: Oznaczone anomalie Exercise 2: Dane o tarczycy Exercise 3: Wizualizacja chorób tarczycy Exercise 4: Wynik anomalii Exercise 5: Mierzenie skuteczności Exercise 6: Binaryzacja wyników Exercise 7: Tworzenie tabeli krzyżowej dla wyników binarnych Exercise 8: Precyzja i czułość dla danych tarczycowych Exercise 9: Praca z cechami kategorycznymi Exercise 10: Konwersja typu character na factor Exercise 11: Las izolacji z cechami kategorycznymi Exercise 12: LOF z czynnikami Exercise 13: Podsumowanie