Di bab ini, Anda akan mempelajari cara mengatasi beberapa masalah data kotor yang paling umum. Anda akan mengonversi tipe data, menerapkan batasan rentang untuk menghapus titik data di masa depan, dan menghapus titik data yang terduplikasi untuk menghindari penghitungan ganda.

Kendala tipe data

Tipe data umum

Mengonversi tipe data

Memangkas string

Kendala rentang

Kendala durasi perjalanan

Kembali ke masa depan

Kendala keunikan

Duplikat penuh

Menghapus duplikasi parsial

Mengagregasi duplikat parsial

Masalah Data Umum

Data kategorikal dan teks sering kali menjadi bagian paling berantakan dari sebuah himpunan data karena sifatnya yang tidak terstruktur. Di bab ini, Anda akan belajar memperbaiki ketidakkonsistenan spasi kosong dan kapitalisasi pada label kategori, menggabungkan beberapa kategori menjadi satu, serta memformat ulang string agar konsisten.

Memeriksa keanggotaan

Hanya untuk anggota

Bukan anggota

Masalah data kategorikal

Mengidentifikasi inkonsistensi

Mengoreksi ketidakkonsistenan

Menggabungkan kategori

Membersihkan data teks

Mendeteksi data teks yang tidak konsisten

Mengganti dan menghapus

Nomor telepon tidak valid

Data Kategorikal dan Teks

Di bab ini, Anda akan menyelami masalah pembersihan data yang lebih lanjut, misalnya memastikan bahwa semua bobot ditulis dalam kilogram alih-alih pon. Anda juga akan memperoleh keterampilan penting untuk membantu Anda memverifikasi bahwa nilai telah ditambahkan dengan benar dan bahwa nilai hilang tidak berdampak negatif pada analisis Anda.

Keseragaman

Keseragaman tanggal

Keseragaman mata uang

Validasi lintas kolom

Memvalidasi total

Memvalidasi usia

Kelengkapan

Pilihan

Missing completely at random

Missing at random

Missing not at random

Jenis-jenis missingness

Memvisualisasikan data hilang

Menangani data hilang

Masalah Data Lanjutan

Record linkage adalah teknik yang kuat untuk menggabungkan beberapa himpunan data, digunakan ketika nilai memiliki salah ketik atau ejaan berbeda. Di bab ini, Anda akan belajar menautkan rekaman dengan menghitung kesamaan antar-string—lalu menggunakan keterampilan baru Anda untuk menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data induk yang bersih.

Membandingkan string

Menghitung jarak

Jarak kecil, perbedaan kecil

Memperbaiki salah ketik dengan jarak string

Membuat dan membandingkan pasangan

Tautkan atau gabungkan?

Pemblokiran pasangan

Membandingkan pasangan

Pemberian skor dan pengaitan

Nilai lalu pilih atau pilih lalu nilai?

Menggabungkan semuanya

Selamat!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Atasi Masalah Data Umum seperti Menghapus Duplikat di R</h2>
Sering dikatakan bahwa data scientist menghabiskan 80% waktunya untuk membersihkan dan memanipulasi data, dan hanya 20% untuk menganalisisnya. Waktu untuk pembersihan ini sangat penting karena menganalisis data kotor dapat membuat Anda menarik kesimpulan yang keliru.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membantu membersihkan data kotor menggunakan R. Anda akan mulai dengan mengonversi tipe data, menerapkan batasan rentang, serta menangani duplikat penuh dan parsial untuk menghindari penghitungan ganda.
<br><br>
<h2>Dalami Tantangan Data Lanjutan</h2>
Setelah berlatih menangani masalah data yang umum, Anda akan berlanjut ke tantangan yang lebih lanjut seperti memastikan konsistensi satuan pengukuran dan menangani data hilang. Setelah setiap konsep baru, Anda akan berkesempatan mengerjakan latihan praktik untuk memperkuat pengetahuan dan membangun pengalaman Anda.
<br><br>
<h2>Pelajari Penggunaan Record Linkage Saat Membersihkan Data</h2>
Record Linkage digunakan untuk menggabungkan himpunan data ketika nilainya bermasalah, seperti salah ketik atau ejaan yang berbeda. Anda akan mengeksplorasi teknik bermanfaat ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua himpunan data ulasan restoran menjadi satu himpunan data.

<h2>Atasi Masalah Data Umum Seperti Menghapus Duplikat di R </h2>
Sering dikatakan bahwa ilmuwan data menghabiskan 80% waktu mereka untuk membersihkan dan memanipulasi data, dan hanya 20% waktu mereka untuk menganalisisnya. Waktu yang dihabiskan untuk membersihkan data sangat penting, karena menganalisis data yang kotor dapat membuat Anda menarik kesimpulan yang tidak akurat.
<br><br>
Dalam kursus ini, Anda akan mempelajari berbagai teknik untuk membersihkan data kotor menggunakan R. Anda akan memulai dengan mengubah tipe data, menerapkan batasan rentang, dan menangani duplikat penuh dan sebagian untuk menghindari penghitungan ganda.
<br><br>
<h2>Menyelami Tantangan Data Tingkat Lanjut </h2>
Setelah Anda berlatih menangani masalah data umum, Anda akan beralih ke tantangan yang lebih kompleks, seperti memastikan konsistensi dalam pengukuran dan menangani data yang hilang. Setelah setiap konsep baru, Anda akan memiliki kesempatan untuk menyelesaikan latihan praktis untuk memperkuat pemahaman Anda dan mengembangkan pengalaman Anda.
<br><br>
<h2>Pelajari Cara Menggunakan Rekoneksi Data Selama Pembersihan Data </h2>
Rekonsiliasi Data digunakan untuk menggabungkan dataset ketika nilai-nilai dalam dataset tersebut memiliki masalah seperti kesalahan ketik atau perbedaan ejaan. Anda akan mempelajari teknik berguna ini di bab terakhir dan mempraktikkan penerapannya dengan menggabungkan dua dataset ulasan restoran menjadi satu dataset tunggal.

Joining Data with dplyr

Pelajari cara membersihkan data dengan cepat dan akurat untuk mengubah data mentah jadi wawasan hebat.

Membersihkan Data di R

Pelajari cara membersihkan data dengan cepat dan akurat agar Anda dapat beralih dari data mentah menjadi wawasan yang luar biasa.

Associate Data Scientist di R

Impor & Pembersihan Data  di R

Kuesioner secara acak hilang di pengiriman pos.

Nilai ujian hilang untuk siswa dari suatu distrik sekolah tertentu, tetapi tidak untuk distrik lain.

Orang yang lebih muda cenderung tidak memeriksakan tekanan darah ke dokter, sehingga rekam medis mereka tidak memiliki data tekanan darah.

Sebuah timbangan memiliki batas 30 lb, sehingga pengiriman di atas 30 lb tidak memiliki bobot yang tercatat.

Sampel darah yang diuji pada shift malam lebih rentan terkontaminasi, menyebabkan hasil tes hilang, tetapi waktu pengujian tidak dicatat.

Jenis-jenis missingness

Membersihkan Data di R

Latihan interaktif langsung