This chapter covers techniques to detect outliers in 1-dimensional data using histograms, scatterplots, box plots, z-scores, and modified z-scores.

What are anomalies and outliers?

Print a 5-number summary

Histograms for outlier detection

Scatterplots for outlier detection

Box plots and IQR

Boxplots for outlier detection

Calculating outlier limits with IQR

Using outlier limits for filtering

Using z-scores for Anomaly Detection

Finding outliers with z-scores

Using modified z-scores with PyOD

Detecting Univariate Outliers

In this chapter, you’ll learn the ins and outs of how the Isolation Forest algorithm works. Explore how Isolation Trees are built, the essential parameters of PyOD's IForest and how to tune them, and how to interpret the output of IForest using outlier probability scores.

Getting started with Isolation Forests

The difference between univariate and multivariate anomalies

Detecting outliers with IForest

Overview of Isolation Forest hyperparameters

Most important IForest parameters

Choosing contamination

Choosing n_estimators

Checking the theory

Hyperparameter tuning of Isolation Forest

Tuning contamination

Tuning multiple hyperparameters

Interpreting the output of IForest

Alternative way of classifying with IForest

Using outlier probabilities

Isolation Forests with PyOD

After a tree-based outlier classifier, you will explore a class of distance and density-based detectors. KNN and Local Outlier Factor classifiers have been proven highly effective in this area, and you will learn how to use them.

KNN untuk deteksi outlier

KNN untuk pertama kali

KNN dengan probabilitas pencilan

Penskalakan fitur yang tahan terhadap outlier

Menghitung jarak euclidean secara manual

Menemukan jarak euclidean dengan SciPy

Latihan standardisasi

Menguji QuantileTransformer

Hyperparameter pada KNN

Opsi

Euclidean

Manhattan

Minkowski

Membedakan metrik jarak

Menghitung jarak Manhattan secara manual

Menyetel n_neighbors

Menyetel metode agregasi

Faktor Pencilan Lokal

LOF untuk pertama kali

LOF dengan probabilitas outlier

Distance and Density-based Algorithms

In this chapter, you’ll learn how to perform anomaly detection on time series datasets and make your predictions more stable and trustworthy using outlier ensembles.

Introduction to time series

Working with DateTime columns

Creating a DateTimeIndex

MAD on time series

Isolation Forest on time series

Time Series Decomposition for Outlier Detection

Practicing decomposition

Fitting on residuals

Outlier classifier ensembles

Scaling parts of a dataset

Manual outlier ensembles - creating the arrays

Storing outlier probabilities

Aggregating and thresholding the probabilities

How to deal with identified outliers

Classifying the reasons for outlier presence

When to drop outliers

Non-aggressive methods of dealing with outliers

Congratulations!

Time Series Anomaly Detection and Outlier Ensembles

Anomali ada di hampir setiap himpunan data, dan penting untuk mendeteksinya serta menanganinya sebelum melanjutkan eksplorasi statistik. Kursus ini akan mengajarkan Anda menggunakan Python untuk berbagai metode deteksi anomali. Anda akan mengidentifikasi pencilan secara visual dan menerapkan metode serta teknik statistik untuk data univariat dan multivariat. Selain itu, Anda akan mempelajari cara menggabungkan beberapa pengklasifikasi pencilan untuk memperoleh estimasi akhir yang andal. Menambahkan keterampilan ini ke repertoar Python Anda akan membantu dalam pembersihan data, deteksi penipuan, dan mengidentifikasi gangguan sistem.

<h2>Deteksi Anomali dalam Analisis Data Anda</h2><br>
Nilai ekstrem atau anomali terdapat hampir di setiap dataset, dan sangat penting untuk mendeteksinya dan mengatasinya sebelum melanjutkan analisis statistik. Jika dibiarkan tanpa penanganan, anomali dapat dengan mudah mengganggu analisis Anda dan memengaruhi kinerja model pembelajaran mesin.<br>
<br>
<h2>Pelajari cara menggunakan estimator seperti Isolation Forest dan Local Outlier Factor.</h2><br>
Dalam kursus ini, Anda akan memanfaatkan Python untuk mengimplementasikan berbagai metode deteksi anomali. Anda akan dapat mengidentifikasi nilai ekstrem secara visual dan menggunakan teknik statistik yang teruji seperti Median Absolute Deviation (MAD) untuk dataset univariat. Untuk data multivariat, Anda akan belajar menggunakan estimator seperti Isolation Forest, k-Nearest-Neighbors, dan Local Outlier Factor. Anda juga akan belajar cara menggabungkan beberapa klasifikasi outlier menjadi estimator akhir berisiko rendah. Anda akan mendapatkan alat penting dalam bidang data science: deteksi anomali dengan Python.<br>
<br>
<h2>Perluas Perangkat Statistik Python Anda</h2><br>
Deteksi anomali yang lebih baik berarti pemahaman yang lebih baik terhadap data Anda, dan khususnya, analisis akar masalah yang lebih baik serta komunikasi yang lebih baik terkait perilaku sistem. Menambahkan keterampilan ini ke dalam keterampilan Python yang sudah Anda miliki akan membantu Anda dalam membersihkan data, mendeteksi penipuan, dan mengidentifikasi gangguan sistem.

Supervised Learning with scikit-learn

Gunakan Python dan estimator seperti isolation forest dan local outlier factor untuk deteksi anomali.

Deteksi Anomali dengan Python

Deteksi anomali dalam analisis data Anda dan perluas koleksi alat statistik Python Anda dalam kursus berdurasi empat jam ini.


Kaggle Master, Data Science Content Creator

Penskalaan fitur tahan outlier

Jarak Euclidean

Euclidean di SciPy

Standardisasi

StandardScaler

Transformasi

fit_transform

QuantileTransformer

Menjaga nama kolom

Histogram seragam

Histogram normal

Ayo berlatih!

Distance and Density-based Algorithms - Penskalakan fitur yang tahan terhadap outlier

Penskalakan fitur yang tahan terhadap outlier

Create Your Free Account