Pada bab ini, Anda akan mempelajari bagaimana ringkasan numerik dan grafis dapat digunakan untuk menilai secara informal apakah data mengandung titik yang tidak biasa. Anda akan menggunakan prosedur statistik yang disebut uji Grubbs untuk memeriksa apakah suatu titik merupakan pencilan, dan mempelajari algoritme Seasonal-Hybrid ESD, yang dapat membantu mengidentifikasi pencilan ketika datanya berupa deret waktu.

Apa yang dimaksud ketika kita membicarakan anomali?

Mengenali jenis-jenis anomali

Menjelajahi data nitrat sungai

Menguji nilai ekstrem dengan uji Grubbs

Pemeriksaan visual kenormalan

Uji Grubbs

Memburu beberapa pencilan dengan uji Grubbs

Anomali dalam deret waktu

Penilaian visual terhadap musiman

Algoritme Seasonal Hybrid ESD

Menafsirkan keluaran Seasonal-Hybrid ESD

Seasonal-Hybrid ESD versus Grubbs' test

Deteksi pencilan statistik

Pada bab ini, Anda akan mempelajari cara menghitung jarak k-nearest neighbors dan local outlier factor, yang digunakan untuk membangun skor anomali kontinu bagi setiap titik data ketika data memiliki banyak fitur. Anda akan mempelajari perbedaan antara anomali lokal dan global serta bagaimana kedua algoritme dapat membantu dalam masing-masing kasus.

skor jarak k-nearest neighbors

Mengeksplorasi wine

Matriks jarak kNN

Skor jarak kNN

Memvisualisasikan jarak kNN

Standardisasi fitur

Menambahkan skor kNN

Memvisualisasikan skor jarak kNN

Faktor pencilan lokal

Perhitungan LOF

Visualisasi LOF

LOF vs kNN

Deteksi anomali berbasis jarak dan kerapatan

Jarak k-nearest neighbors dan local outlier factor menggunakan jarak atau kerapatan relatif dari tetangga terdekat untuk memberi skor pada setiap titik. Pada bab ini, Anda akan mengeksplorasi pendekatan alternatif berbasis pohon yang disebut isolation forest, yaitu metode cepat dan andal untuk mendeteksi anomali yang mengukur seberapa mudah titik-titik dapat dipisahkan dengan membagi data secara acak menjadi wilayah yang semakin kecil.

Pohon isolasi

Melatih dan memprediksi dengan isolation tree

Interpretasi skor

Isolation forest

Melatih isolation forest

Memeriksa konvergensi

Memvisualisasikan skor isolasi

Sebuah kisi titik

Prediksi pada grid

Kontur anomali

Anda kini telah diperkenalkan pada beberapa algoritme untuk pemeringkatan anomali. Pada bab terakhir ini, Anda akan mempelajari cara membandingkan kinerja deteksi dari algoritme ketika anomali berlabel tersedia. Anda akan mempelajari cara menghitung dan menafsirkan statistik precision dan recall untuk sebuah skor anomali, serta bagaimana menyesuaikan algoritme agar dapat mengakomodasi data dengan fitur kategorikal.

Anomali berlabel

Data tiroid

Memvisualisasikan penyakit tiroid

Skor anomali

Mengukur kinerja

Skor terbiner

Tabulasi silang skor biner

Presisi dan recall untuk tiroid

Bekerja dengan fitur kategorikal

Mengonversi character menjadi factor

Isolation forest dengan faktor

LOF dengan faktor

Rangkuman

Membandingkan kinerja

Wine

Thyroid

Furniture

Apakah Anda khawatir ada catatan yang tidak akurat atau mencurigakan dalam data Anda, tetapi tidak tahu harus mulai dari mana? Algoritme deteksi anomali dapat membantu! Deteksi anomali adalah kumpulan teknik yang dirancang untuk mengidentifikasi titik data yang tidak biasa, dan sangat penting untuk mendeteksi penipuan serta melindungi jaringan komputer dari aktivitas berbahaya. Dalam kursus ini, Anda akan mengeksplorasi uji statistik untuk mengidentifikasi pencilan, dan mempelajari penggunaan algoritme pemeringkatan anomali yang canggih seperti local outlier factor dan isolation forest. Anda akan menerapkan algoritme deteksi anomali untuk mengidentifikasi wine yang tidak biasa dalam himpunan data UCI Wine Quality dan juga mendeteksi kasus penyakit tiroid dari pengukuran hormon yang abnormal.

Intermediate R

Pelajari uji statistik untuk mengidentifikasi outlier dan algoritma penilaian anomali canggih.

Pengantar Deteksi Anomali di R

Pelajari uji statistik untuk mengidentifikasi outlier dan cara menggunakan algoritma penilaian anomali yang canggih. 

Menguji nilai ekstrem dengan uji Grubbs

Create Your Free Account