Bab ini membahas teknik untuk mendeteksi pencilan pada data 1-dimensi menggunakan histogram, scatterplot, box plot, z-score, dan modified z-score.

Apa itu anomali dan pencilan?

Cetak ringkasan 5 angka

Histogram untuk deteksi outlier

Scatterplot untuk deteksi outlier

Box plot dan IQR

Box plot untuk deteksi outlier

Menghitung batas outlier dengan IQR

Menggunakan batas pencilan untuk pemfilteran

Menggunakan z-score untuk Deteksi Anomali

Menemukan pencilan dengan z-score

Menggunakan modified z-scores dengan PyOD

Mendeteksi Pencilan Univariat

Di bab ini, Anda akan mempelajari seluk-beluk cara kerja algoritma Isolation Forest. Telusuri bagaimana Isolation Tree dibangun, parameter penting IForest milik PyOD dan cara menyesuaikannya, serta cara menafsirkan keluaran IForest menggunakan skor probabilitas pencilan.

Memulai dengan Isolation Forest

Perbedaan antara anomali univariat dan multivariat

Mendeteksi outlier dengan IForest

Tinjauan hyperparameter Isolation Forest

Parameter terpenting pada IForest

Memilih contamination

Memilih n_estimators

Mengecek teori

Penyetelan hiperparameter Isolation Forest

Menyetel contamination

Menyetel beberapa hiperparameter

Menafsirkan keluaran IForest

Cara alternatif mengklasifikasikan dengan IForest

Menggunakan probabilitas outlier

Isolation Forest dengan PyOD

Setelah pengklasifikasi pencilan berbasis pohon, Anda akan mengeksplorasi kelas detektor berbasis jarak dan kepadatan. Pengklasifikasi KNN dan Local Outlier Factor terbukti sangat efektif dalam area ini, dan Anda akan mempelajari cara menggunakannya.

KNN untuk deteksi outlier

KNN untuk pertama kali

KNN dengan probabilitas pencilan

Penskalakan fitur yang tahan terhadap outlier

Menghitung jarak euclidean secara manual

Menemukan jarak euclidean dengan SciPy

Latihan standardisasi

Menguji QuantileTransformer

Hyperparameter pada KNN

Membedakan metrik jarak

Menghitung jarak Manhattan secara manual

Menyetel n_neighbors

Menyetel metode agregasi

Faktor Pencilan Lokal

LOF untuk pertama kali

LOF dengan probabilitas outlier

Algoritma Berbasis Jarak dan Kepadatan

Di bab ini, Anda akan mempelajari cara melakukan deteksi anomali pada himpunan data deret waktu dan membuat prediksi Anda lebih stabil serta tepercaya menggunakan ensambel pencilan.

Pengantar deret waktu

Bekerja dengan kolom DateTime

Membuat DateTimeIndex

MAD pada deret waktu

Isolation Forest pada deret waktu

Dekomposisi Deret Waktu untuk Deteksi Pencilan

Berlatih dekomposisi

Melatih pada residual

Ansambel pengklasifikasi outlier

Menskalakan sebagian himpunan data

Ansambel outlier manual - membuat array

Menyimpan probabilitas outlier

Mengagregasi dan menetapkan ambang pada probabilitas

Cara menangani pencilan yang teridentifikasi

Opsi

Kesalahan entri data

Kesalahan pengambilan sampel

Variabilitas alami

Mengklasifikasikan alasan kemunculan outlier

Buang

Jangan buang

Kapan harus membuang outlier

Metode non-agresif untuk menangani pencilan

Selamat!

Deteksi Anomali Deret Waktu dan Ensambel Pencilan

Anomali ada di hampir setiap himpunan data, dan penting untuk mendeteksinya serta menanganinya sebelum melanjutkan eksplorasi statistik. Kursus ini akan mengajarkan Anda menggunakan Python untuk berbagai metode deteksi anomali. Anda akan mengidentifikasi pencilan secara visual dan menerapkan metode serta teknik statistik untuk data univariat dan multivariat. Selain itu, Anda akan mempelajari cara menggabungkan beberapa pengklasifikasi pencilan untuk memperoleh estimasi akhir yang andal. Menambahkan keterampilan ini ke repertoar Python Anda akan membantu dalam pembersihan data, deteksi penipuan, dan mengidentifikasi gangguan sistem.

<h2>Deteksi Anomali dalam Analisis Data Anda</h2><br>
Nilai ekstrem atau anomali terdapat hampir di setiap dataset, dan sangat penting untuk mendeteksinya dan mengatasinya sebelum melanjutkan analisis statistik. Jika dibiarkan tanpa penanganan, anomali dapat dengan mudah mengganggu analisis Anda dan memengaruhi kinerja model pembelajaran mesin.<br>
<br>
<h2>Pelajari cara menggunakan estimator seperti Isolation Forest dan Local Outlier Factor.</h2><br>
Dalam kursus ini, Anda akan memanfaatkan Python untuk mengimplementasikan berbagai metode deteksi anomali. Anda akan dapat mengidentifikasi nilai ekstrem secara visual dan menggunakan teknik statistik yang teruji seperti Median Absolute Deviation (MAD) untuk dataset univariat. Untuk data multivariat, Anda akan belajar menggunakan estimator seperti Isolation Forest, k-Nearest-Neighbors, dan Local Outlier Factor. Anda juga akan belajar cara menggabungkan beberapa klasifikasi outlier menjadi estimator akhir berisiko rendah. Anda akan mendapatkan alat penting dalam bidang data science: deteksi anomali dengan Python.<br>
<br>
<h2>Perluas Perangkat Statistik Python Anda</h2><br>
Deteksi anomali yang lebih baik berarti pemahaman yang lebih baik terhadap data Anda, dan khususnya, analisis akar masalah yang lebih baik serta komunikasi yang lebih baik terkait perilaku sistem. Menambahkan keterampilan ini ke dalam keterampilan Python yang sudah Anda miliki akan membantu Anda dalam membersihkan data, mendeteksi penipuan, dan mengidentifikasi gangguan sistem.

Supervised Learning with scikit-learn

Gunakan Python dan estimator seperti isolation forest dan local outlier factor untuk deteksi anomali.

Deteksi Anomali dengan Python

Deteksi anomali dalam analisis data Anda dan perluas koleksi alat statistik Python Anda dalam kursus berdurasi empat jam ini.


Selamat!

Create Your Free Account