Di bab ini, Anda akan mempelajari cara mengatasi beberapa masalah data kotor yang paling umum. Anda akan mengonversi tipe data, menerapkan batasan rentang untuk menghapus titik data masa depan, dan menghapus duplikasi titik data untuk menghindari penghitungan ganda.

Kendala tipe data

Tipe data umum

Data numerik atau ... ?

Menjumlahkan string dan menggabungkan angka

Kendala rentang data

Kendala ukuran ban

Kembali ke masa depan

Kendala keunikan

Seberapa besar subset Anda?

Menemukan duplikat

Menangani duplikasi

Masalah data umum

Data kategorikal dan teks sering kali menjadi bagian yang paling berantakan dalam suatu himpunan data karena sifatnya yang tidak terstruktur. Di bab ini, Anda akan belajar memperbaiki ketidakkonsistenan spasi kosong dan kapitalisasi pada label kategori, menggabungkan beberapa kategori menjadi satu, serta memformat ulang string agar konsisten.

Kendala keanggotaan

Khusus anggota

Menemukan konsistensi

Variabel kategori

Kategori kesalahan

Kategori tidak konsisten

Memetakan ulang kategori

Membersihkan data teks

Menghapus gelar dan mengambil nama

Tetap deskriptif

Masalah data teks dan kategorikal

Di bab ini, Anda akan membahas masalah pembersihan data yang lebih lanjut, seperti memastikan bahwa semua bobot ditulis dalam kilogram, bukan pon. Anda juga akan memperoleh keterampilan berharga untuk membantu memverifikasi bahwa nilai telah dijumlahkan dengan benar, serta memastikan nilai hilang tidak berdampak negatif pada analisis Anda.

Keseragaman

Tanggal ambigu

Penyamaan mata uang

Tanggal seragam

Validasi lintas bidang

Opsi

Validasi lintas kolom

Bukan validasi lintas kolom

Lintas kolom atau bukan lintas kolom?

Bagaimana integritas data kita?

Kelengkapan

Apakah ini missing at random?

Investor yang hilang

Ikuti aliran dana

Masalah data lanjutan

Record linkage adalah teknik yang kuat untuk menggabungkan beberapa himpunan data, digunakan ketika nilai memiliki salah ketik atau ejaan berbeda. Di bab ini, Anda akan mempelajari cara menautkan record dengan menghitung kemiripan antarstring—kemudian Anda akan menggunakan keterampilan baru ini untuk menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data induk yang bersih.

Membandingkan string

Jarak edit minimum

Titik batas (cutoff)

Pemetaan ulang kategori II

Membuat pasangan

Mengaitkan atau tidak?

Pasangan restoran

Restoran serupa

Menghubungkan DataFrame

Mengambil indeks yang benar

Menghubungkannya bersama!

Selamat!

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

Sering dikatakan bahwa data scientist menghabiskan 80% waktunya untuk membersihkan dan memanipulasi data, dan hanya 20% untuk menganalisisnya. Waktu yang digunakan untuk pembersihan sangat penting karena menganalisis data yang kotor dapat membuat Anda menarik kesimpulan yang tidak akurat.

Video dilengkapi transkrip langsung yang dapat Anda tampilkan dengan mengeklik "Show transcript" di kiri bawah video.
Glosarium kursus dapat ditemukan di sebelah kanan pada bagian sumber daya.
Untuk memperoleh kredit CPE, Anda perlu menyelesaikan kursus dan mencapai skor 70% pada asesmen terverifikasi. Anda dapat menuju ke asesmen dengan mengeklik pemberitahuan kredit CPE di sebelah kanan.

Pembersihan data merupakan tugas penting dalam data science. Tanpa data yang dibersihkan dengan benar, hasil analisis data atau model Machine Learning apa pun bisa menjadi tidak akurat. Dalam kursus ini, Anda akan mempelajari cara mengidentifikasi, mendiagnosis, dan menangani berbagai masalah pembersihan data di Python, mulai dari yang sederhana hingga tingkat lanjut. Anda akan menangani tipe data yang tidak tepat, memeriksa apakah data berada dalam rentang yang benar, mengelola data hilang, melakukan record linkage, dan banyak lagi!

Python Toolbox

Joining Data with pandas

Kuasi data Python dalam kursus 4 jam ini. Pelajari cara membersihkan masalah data umum dan lanjut.

Membersihkan Data di Python

Pelajari cara mendiagnosis dan menangani data kotor serta kembangkan keterampilan yang dibutuhkan untuk mengubah data mentah Anda menjadi wawasan yang akurat! 

Associate Data Scientist  dalam Python

Data Engineer dalam Python

Impor & Pembersihan Data  dalam Python

Tanggal ambigu

Membersihkan Data di Python

Latihan interaktif langsung