This chapter covers techniques to detect outliers in 1-dimensional data using histograms, scatterplots, box plots, z-scores, and modified z-scores.

Apa itu anomali dan pencilan?

Cetak ringkasan 5 angka

Histogram untuk deteksi outlier

Scatterplot untuk deteksi outlier

Box plot dan IQR

Box plot untuk deteksi outlier

Menghitung batas outlier dengan IQR

Menggunakan batas pencilan untuk pemfilteran

Menggunakan z-score untuk Deteksi Anomali

Menemukan pencilan dengan z-score

Menggunakan modified z-scores dengan PyOD

Detecting Univariate Outliers

In this chapter, you’ll learn the ins and outs of how the Isolation Forest algorithm works. Explore how Isolation Trees are built, the essential parameters of PyOD's IForest and how to tune them, and how to interpret the output of IForest using outlier probability scores.

Getting started with Isolation Forests

The difference between univariate and multivariate anomalies

Detecting outliers with IForest

Overview of Isolation Forest hyperparameters

Most important IForest parameters

Choosing contamination

Choosing n_estimators

Checking the theory

Hyperparameter tuning of Isolation Forest

Tuning contamination

Tuning multiple hyperparameters

Interpreting the output of IForest

Alternative way of classifying with IForest

Using outlier probabilities

Isolation Forests with PyOD

After a tree-based outlier classifier, you will explore a class of distance and density-based detectors. KNN and Local Outlier Factor classifiers have been proven highly effective in this area, and you will learn how to use them.

KNN for outlier detection

KNN for the first time

KNN with outlier probabilities

Outlier-robust feature scaling

Finding the euclidean distance manually

Finding the euclidean distance with SciPy

Practicing standardization

Testing QuantileTransformer

Hyperparameters of KNN

Differentiating distance metrics

Calculating manhattan distance manually

Tuning n_neighbors

Tuning the aggregation method

Local Outlier Factor

LOF for the first time

LOF with outlier probabilities

Distance and Density-based Algorithms

In this chapter, you’ll learn how to perform anomaly detection on time series datasets and make your predictions more stable and trustworthy using outlier ensembles.

Introduction to time series

Working with DateTime columns

Creating a DateTimeIndex

MAD on time series

Isolation Forest on time series

Time Series Decomposition for Outlier Detection

Practicing decomposition

Fitting on residuals

Outlier classifier ensembles

Scaling parts of a dataset

Manual outlier ensembles - creating the arrays

Storing outlier probabilities

Aggregating and thresholding the probabilities

How to deal with identified outliers

Classifying the reasons for outlier presence

When to drop outliers

Non-aggressive methods of dealing with outliers

Congratulations!

Time Series Anomaly Detection and Outlier Ensembles

Anomali ada di hampir setiap himpunan data, dan penting untuk mendeteksinya serta menanganinya sebelum melanjutkan eksplorasi statistik. Kursus ini akan mengajarkan Anda menggunakan Python untuk berbagai metode deteksi anomali. Anda akan mengidentifikasi pencilan secara visual dan menerapkan metode serta teknik statistik untuk data univariat dan multivariat. Selain itu, Anda akan mempelajari cara menggabungkan beberapa pengklasifikasi pencilan untuk memperoleh estimasi akhir yang andal. Menambahkan keterampilan ini ke repertoar Python Anda akan membantu dalam pembersihan data, deteksi penipuan, dan mengidentifikasi gangguan sistem.

<h2>Deteksi Anomali dalam Analisis Data Anda</h2><br>
Nilai ekstrem atau anomali terdapat hampir di setiap dataset, dan sangat penting untuk mendeteksinya dan mengatasinya sebelum melanjutkan analisis statistik. Jika dibiarkan tanpa penanganan, anomali dapat dengan mudah mengganggu analisis Anda dan memengaruhi kinerja model pembelajaran mesin.<br>
<br>
<h2>Pelajari cara menggunakan estimator seperti Isolation Forest dan Local Outlier Factor.</h2><br>
Dalam kursus ini, Anda akan memanfaatkan Python untuk mengimplementasikan berbagai metode deteksi anomali. Anda akan dapat mengidentifikasi nilai ekstrem secara visual dan menggunakan teknik statistik yang teruji seperti Median Absolute Deviation (MAD) untuk dataset univariat. Untuk data multivariat, Anda akan belajar menggunakan estimator seperti Isolation Forest, k-Nearest-Neighbors, dan Local Outlier Factor. Anda juga akan belajar cara menggabungkan beberapa klasifikasi outlier menjadi estimator akhir berisiko rendah. Anda akan mendapatkan alat penting dalam bidang data science: deteksi anomali dengan Python.<br>
<br>
<h2>Perluas Perangkat Statistik Python Anda</h2><br>
Deteksi anomali yang lebih baik berarti pemahaman yang lebih baik terhadap data Anda, dan khususnya, analisis akar masalah yang lebih baik serta komunikasi yang lebih baik terkait perilaku sistem. Menambahkan keterampilan ini ke dalam keterampilan Python yang sudah Anda miliki akan membantu Anda dalam membersihkan data, mendeteksi penipuan, dan mengidentifikasi gangguan sistem.

Supervised Learning with scikit-learn

Gunakan Python dan estimator seperti isolation forest dan local outlier factor untuk deteksi anomali.

Deteksi Anomali dengan Python

Deteksi anomali dalam analisis data Anda dan perluas koleksi alat statistik Python Anda dalam kursus berdurasi empat jam ini.


Menggunakan z-score untuk Deteksi Anomali

Create Your Free Account