Kenali data hilang dan dampaknya terhadap analisis Anda! Pelajari berbagai operasi nilai null dalam himpunan data Anda, cara menemukan data hilang, serta merangkum tingkat kehilangan data.

Mengapa menangani data hilang?

Langkah-langkah menangani nilai hilang

Operasi nilai null

Menemukan nilai Null

Menangani nilai yang hilang

Mendeteksi nilai hilang

Mengganti nilai yang hilang

Mengganti nilai hilang yang tersembunyi

Analisis jumlah kemissingan

Menganalisis persentase missingness

Visualisasikan missingness

Permasalahan Data Hilang

Menganalisis jenis kehilangan data dalam himpunan data Anda adalah langkah penting untuk menangani nilai hilang. Di bab ini, Anda akan mempelajari secara rinci cara mengidentifikasi pola pada data yang hilang dan tidak hilang, serta cara menanganinya dengan tepat menggunakan teknik sederhana seperti penghapusan baris (listwise deletion).

Apakah data hilang secara acak?

Tebak jenis missingness

Menentukan MNAR

Menemukan pola dalam data yang hilang

Menemukan korelasi dalam data Anda

Identifikasi tipe missingness

Memvisualisasikan kemissingan pada suatu variabel

Isi nilai dummy

Buat scatter plot dengan indikasi missingness

Kapan dan bagaimana menghapus data yang hilang

Hapus MCAR

Apakah Anda akan menghapusnya?

Apakah Kehilangan Data Memiliki Pola?

Mulailah menjelajahi dunia imputasi data! Di bab ini, Anda akan menerapkan teknik imputasi dasar untuk mengisi data yang hilang dan memvisualisasikan hasil imputasi agar dapat mengevaluasi kinerjanya.

Imputasi mean, median, & mode

Imputasi mean & median

Imputasi modus dan konstan

Visualisasikan imputasi

Mengimputasi data deret waktu

Mengisi data deret waktu yang hilang

Imputasi dengan metode interpolate

Memvisualisasikan imputasi deret waktu

Visualisasikan imputasi forward fill

Visualisasikan imputasi backward fill

Plot interpolations

Teknik Imputasi

Akhirnya, melangkah lebih jauh dari teknik imputasi sederhana dan maksimalkan himpunan data Anda dengan menggunakan teknik imputasi lanjutan yang mengandalkan model Machine Learning, sehingga Anda dapat mengimputasi dan mengevaluasi data hilang secara akurat. Anda akan menggunakan metode seperti KNN dan MICE untuk memperoleh hasil terbaik dari data hilang Anda.

Imputasi menggunakan fancyimpute

Imputasi KNN

Imputasi MICE

Imputasi nilai kategorikal

Penyandian ordinal pada kolom kategorikal

Ordinal encoding pada DataFrame

Imputasi KNN untuk nilai kategorikal

Evaluasi berbagai teknik imputasi

Analisis ringkasan model linear

Membandingkan dan memilih adjusted R-squared terbaik

Membandingkan plot densitas

Kesimpulan

Teknik Imputasi Lanjutan

Diabetes

Air Quality

Lelah bekerja dengan data yang berantakan? Tahukah Anda bahwa sebagian besar waktu seorang data scientist dihabiskan untuk mencari, membersihkan, dan menata ulang data? Ternyata, Anda bisa membersihkan data secara cerdas! Dalam kursus Menangani Data Hilang di Python ini, Anda akan mempelajari cara tersebut. Anda akan belajar menangani nilai hilang untuk data numerik, kategorikal, serta data deret waktu. Anda juga akan mempelajari cara melihat pola yang ditunjukkan oleh data hilang. Sambil bekerja dengan data kualitas udara dan diabetes, Anda akan belajar menganalisis, melakukan imputasi, dan mengevaluasi dampak imputasi pada data.

Introduction to Data Visualization with Matplotlib

Supervised Learning with scikit-learn

Pelajari cara menangani nilai hilang untuk data numerik, kategorikal, dan deret waktu, serta analisisnya.

Menangani Data Hilang di Python

Pelajari cara mengidentifikasi, menganalisis, menghapus, dan mengisi data yang hilang dalam Python. 

Identifikasi tipe missingness

Menangani Data Hilang di Python

Latihan interaktif langsung